CN113566793A - 基于无人机倾斜影像的真正射影像生成方法和装置 - Google Patents
基于无人机倾斜影像的真正射影像生成方法和装置 Download PDFInfo
- Publication number
- CN113566793A CN113566793A CN202110661308.0A CN202110661308A CN113566793A CN 113566793 A CN113566793 A CN 113566793A CN 202110661308 A CN202110661308 A CN 202110661308A CN 113566793 A CN113566793 A CN 113566793A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned aerial
- aerial vehicle
- images
- oblique
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本公开提供了基于无人机倾斜影像的真正射影像生成方法，包括：获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据位置和姿态信息确定无人机倾斜影像间的相对位置关系；根据相对位置关系对无人机倾斜影像进行特征点匹配，确定相邻影像上的像点间的对应关系；根据位置和姿态信息，以及像点间的对应关系计算无人机倾斜影像的定向参数；利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，在三维网格上进行纹理映射；对纹理映射后的三维网格进行正射投影，生成真正射影像。以此方式，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建。
Description
技术领域
本公开的实施例一般涉及图像处理技术领域，并且更具体地，涉及基于无人机倾斜影像的真正射影像生成方法和装置。
背景技术
倾斜影像(oblique image)是指由一定倾斜角度的航摄相机所获取的影像，又可以称为多视倾斜影像。倾斜摄影技术是国际测绘遥感领域近年发展起来的一项高新技术，通过在同一飞行平台上搭载多台传感器，同时从垂直、倾斜等不同的角度采集影像，获取地面物体更为完整准确的信息。
随着影像获取手段的不断发展和各需求部门对影像的更高要求，越来越多的大比例尺正射影像进入了生产领域。但是大比例尺对航空摄影和农业生产都有很多新挑战。尤其在城市区域，正射影像的拼接和接边区域地物的过渡实现起来十分困难，建筑物密集地区高大建筑物对地表信息造成了遮挡，使得传统的正射影像使用时缺少部分地物信息。
发明内容
根据本公开的实施例，提供了一种在地表信息被高大建筑物遮挡的情况下，仍然能够获取地物信息的正射影像的基于无人机倾斜影像的真正射影像生成方案。
在本公开的第一方面，提供了一种基于无人机倾斜影像的真正射影像生成方法，包括：
获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系；
根据所述相对位置关系对所述无人机倾斜影像进行特征点匹配，确定相邻影像上的像点间的对应关系；
根据所述位置和姿态信息，以及所述像点间的对应关系计算无人机倾斜影像的定向参数；
利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射；
对纹理映射后的三维网格进行正射投影，生成真正射影像。
在一些实施例中，所述获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系，包括：
获取无人机在拍摄所述无人机倾斜影像集中的无人机倾斜影像时的位置和姿态信息，确定相邻的所述无人机倾斜影像的航向或旁向的概略重叠区域，根据所述概略重叠区域确定所述无人机倾斜影像间的相对位置关系。
在一些实施例中，所述根据所述概略重叠区域确定所述无人机倾斜影像间的相对位置关系，包括：
对于在航向或旁向存在重叠区域的两张无人机倾斜影像，其中一张作为基准影像，另外一张作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系。
在一些实施例中，所述根据所述位置和姿态信息，以及所述像点间的对应关系计算倾斜影像的定向参数，包括：
根据无人机倾斜影像的位置和姿态信息确定该无人机倾斜影像的成像模型；
对所述成像模型按照泰勒级数线性化，生成线性化模型；
将所述线性化模型作为平差的基本模型，利用所述无人机倾斜影像上的特征点的坐标建立误差方程组；
根据所述误差方程组建立法方程组，通过求解法方程组确定所述位置和姿态信息对应的外方位元素的改正数，根据所述改正数对所述位置和姿态信息对应的外方位元素进行改正，进而确定所述无人机倾斜影像上的特征点对应的地面坐标。
在一些实施例中，所述方法还包括：
利用多片前方交会，计算所述无人机倾斜影像中重叠区域外的其他点的地面坐标。
在一些实施例中，所述利用深度图方法获取密集点云，包括：
根据预设条件选取倾斜影像对；
根据倾斜影像对中的同名像点确定对应的地面点；
利用邻域深度图删除错误深度图点，得到各无人机倾斜影像对应的精确深度图；
对所述精确深度图进行融合，生成密集点云。
在一些实施例中，所述利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射，包括：
把稠密点云的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取满足预设条件的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子对重构后的曲面进行简化。
在本公开的第二方面，提供一种基于无人机倾斜影像的真正射影像生成装置，包括：
相对位置关系确定模块，用于获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系；
特征点匹配模块，用于根据所述相对位置关系对所述无人机倾斜影像进行特征点匹配，确定相邻影像上的像点间的对应关系；
定向参数确定模块，用于根据所述位置和姿态信息，以及所述像点间的对应关系计算无人机倾斜影像的定向参数；
曲面重构模块，用于利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射；
真正射影像生成模块，用于对纹理映射后的三维网格进行正射投影，生成真正射影像。
在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
通过本公开的基于无人机倾斜影像的真正射影像生成方法，能够根据被遮挡地物信息的无人机倾斜影像获取该地物信息的真正射影像，从而克服了存在遮挡物时地物信息的正射影像存在缺失的技术问题，从而能够生成更加完整的地物信息的正射影像。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开实施例一的基于无人机倾斜影像的真正射影像生成方法的流程图；
图2示出了本公开实施例二的基于无人机倾斜影像的真正射影像生成方法的纹理映射的流程图；
图3示出了本公开实施例三的基于无人机倾斜影像的真正射影像生成装置的功能结构示意图；
图4示出了本公开实施例四的基于无人机倾斜影像的真正射影像生成设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本公开实施例的基于无人机倾斜影像的真正射影像生成方法，能够获取存在遮挡物时的地物信息的正射影像，能够实现正射影像的拼接和接边区域地物的过渡，使得地物信息的正射影像更加完整。
具体地，如图1所示，为本公开实施例一的基于无人机倾斜影像的真正射影像生成方法的流程图。从图1中可以看出，本实施例的方法，可以包括以下步骤：
S101：获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系。
本实施例的方法，可以应用于城市区域的地物目标的大比例尺的真正射影像的制作，并且具体地，可以对存在遮挡物的地物目标进行正射影像的制作，例如对城市区域中的建筑物的拼接和接边区域位置处的地物目标的正射影像的制作。在本公开的实施例中，是通过无人机采集目标区域的倾斜影像，然后根据采集到的倾斜影响进行对应的真正射影像的制作。
在利用本实施例的方法制作目标区域的真正射影像时，首先需要获取目标区域的无人机倾斜影像。通常情况下，可以通过无人机获取目标区域的倾斜影像，可与预先确定无人机的航线，然后根据无人机的飞行速度设置影像采集间隔，使得采集到的影像在航向或旁向上与相邻的影像存在重叠区域，即使得采集到的影像能够覆盖目标区域。
在无人机采集每张倾斜影像时，都会对应一个无人机的POS信息，即无人机拍摄影像时的位置和姿态信息，利用这些值可以计算影像的航向和旁向的大致重叠区域；获得影像的重叠关系后，根据影像的长宽可以建立所有影像之间的概略关系，即第一张影像上的点在第二张影像上同名像点的大概位置。
S102：根据所述相对位置关系对所述无人机倾斜影像进行特征点匹配，确定相邻影像上的像点间的对应关系。
在本实施例中，当建立所有影像之间的概略关系后，对于在航向或者旁向上相邻(存在重叠区域)的两张倾斜影像，进行特征点匹配，进而确定相邻无人机倾斜影像上的像点间的对应关系，例如第一张影像上的点与第二张影像上的哪个点对应。这里确定的相邻无人机倾斜影像上的像点间的对应关系是指相邻无人机倾斜影像上的重叠区域内的像点的对应关系。
具体地，对于在航向或旁向存在重叠区域的两张无人机倾斜影像，将其中一张作为基准影像，另外一张作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系，具体包括：
建立影像金字塔，在基准影像进行特征点提取，在影像金字塔顶层进行SIFT特征初匹配，建立二者的初始仿射变换关系，以初始仿射变换关系为几何约束条件，将特征点位窗口变换到搜索影像，同时将搜索影像窗口采样纠正到基准影像的像方空间坐标系下，进行相关系数匹配，接着在局部范围内采用多项式迭代剔除粗差，利用获得同名像点再次解算、更新二者的仿射变换关系；然后进行下层影像匹配直至底层影像，最后，将匹配结果转换到搜索影像的像方空间坐标系下，并进行最小二乘匹配，确定所述基准影像和所述搜索影像的仿射变换关系。即先确定基准影像和搜索影像之间的本质矩阵，然后对本质矩阵进行奇异值分解，确定相机的运动参数旋转矩阵和平移向量，根据相机的运动参数旋转矩阵和平移向量确定同名像点对应的特征点的三维坐标。
具体地，预先对每一张无人机影像建立影像金字塔，金字塔最顶层不小于512×512，然后对于每一张无人机影像的影像金字塔，在金字塔的最底层利用Forstner算子提取特征点，特征点的分布尽可能均匀，并进行逻辑分块，确保每一块内都有数量大致相同的特征点，并将特征点和对应的逻辑分块映射到影像金字塔的其他层。
在影像金字塔的最顶层，利用SURF算子进行影像匹配，确定具有重叠区域的两张影像，即存在对应特征点的两张影像，其中一张作为基准影像，另外一张作为搜索影像，这两张影像可以是无人机航向方向上具有重叠区域的无人机影像，也可以是无人机旁向方向上具有重叠区域的无人机影像。
根据基准影像和搜索影像的重叠区域内的对应特征点计算基准影像和搜索影像间的初始仿射变换参数。将基准影像中对应重叠区域的影像划分为多个基准窗口，在影像金字塔的最顶层，根据初始仿射变换参数，利用公式(1)计算搜索影像上与基准窗口对应的匹配窗口，并利用公式(1)对匹配窗口进行影像重采样。
其中，a0、a1、a2、b0、b1、b2为仿射变换参数，X、Y为影像上的特征点的坐标，x、y为影像重采样后得到的像素点的坐标。
在影像金字塔的最顶层，根据Fonstner算子提取并映射得到的特征点(如共m个)，利用相关系数法影像匹配计算各特征点在重采样后的搜索窗口中的共轭像点，将各相关系数最大且大于阈值的共轭点(如共k个，k<m)保留下来，利用Ransac思想剔除误匹配点，保留共轭点(如共l个，l<k)。然后利用上述匹配结果(l个共轭点)更新顶层基准窗口与匹配窗口的仿射变换参数，利用该组仿射变换参数，计算顶层基准窗口其他特征点(m-l个)的准共轭点，和匹配成功的l个共轭点一样一并保留下来。
将上述匹配结果(m个共轭点)传导至搜索影像的影像金字塔的下一层，根据更新后的仿射变换参数，利用公式(1)计算该层上与基准窗口对应的匹配窗口，并利用公式(1)对匹配窗口进行影像重采样。根据Fonstner算子提取并映射得到的特征点(如共nm个)，利用相关系数法影像匹配计算各特征点在重采样后的搜索窗口中的共轭像点，将各相关系数最大且大于阈值的共轭点(如共nk个，nk<m)保留下来，利用Ransac思想剔除误匹配点，保留共轭点(如共nl个，nl<nk)。然后利用上述匹配结果(nl个共轭点)更新顶层基准窗口与匹配窗口的仿射变换参数，利用该组仿射变换参数，计算顶层基准窗口其他特征点(nm-nl个)的准共轭点，和匹配成功的nl个共轭点一样一并保留下来。其中n为该层影像相对于影像金字塔的上一层的放大倍数。
重复上述过程，直到传导到影像金字塔的最底层。在影像金字塔的最底层，得到基准窗口的可靠共轭点，在此基础上进行最小二乘匹配，以提高影像匹配的精度。最后利用公式(1)计算搜索影像上对应的同名像点。
在本实施例中，多个基准窗口可以进行同步匹配，以确定搜索影像上与基准影像对应的同名像点。
S103：根据所述位置和姿态信息，以及所述像点间的对应关系计算无人机倾斜影像的定向参数。
在本实施例中，还可以利用区域网平差技术对同名像点对应的特征点的三维坐标进行校正，生成更加准确的三维坐标。根据无人机倾斜影像的位置和姿态信息确定该无人机倾斜影像的成像模型；对所述成像模型按照泰勒级数线性化，生成线性化模型；将所述线性化模型作为平差的基本模型，利用所述无人机倾斜影像上的特征点的坐标建立误差方程组；根据所述误差方程组建立法方程组，通过求解法方程组确定所述位置和姿态信息对应的外方位元素的改正数，根据所述改正数对所述位置和姿态信息对应的外方位元素进行改正，进而确定所述无人机倾斜影像上的特征点对应的地面坐标。
具体地，利用无人机获取的POS参数作为影像外方位元素的初始值，利用外方位元素初值，计算得到所有像点对应的旋转矩阵，计算像点的变换坐标和像点坐标，根据平差模型，建立的误差方程式组，根据误差方程式组建立法方程组，并求解该法方程组，得到外方位元素的改正数，并根据不同的外方位元素模型改正前一次外方位元素的近似值，然后利用多片前方交会公式计算所有加密点的坐标改正数，并计算改正后加密点坐标的近似值。重复上述过程，直到所有影像的外方位元素的改正数及所有像点坐标的改正数都小于给定的限差。在得到重叠求的特征点的地面坐标后，利用多片前方交会，计算无人机倾斜影像中非重叠区域中的点的地面坐标。
下面以一个具体地实例对上述过程进行说明，其中，定向参数是指相机的位置和姿态参数、畸变参数。
假设第i张像片的外方位元素为XSi、YSi、ZSi、
ωi、κi，则成像模型为：
将上式按照泰勒级数线性化后可以得到：
V＝CΔ+BX-L
其中，
lx、ly是常数项：
得到线性化模型：
将线性化模型作为平差的基本模型，利用各类观测值点坐标建立误差方程进行即可。
利用多片前方交会公式计算所有特征点的坐标改正数，并计算改正后特征点坐标的近似值，公式如下：
S104：利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射。
关于该步骤中的利用深度图方法获取密集点云的具体实现过程参见实施例二，本实施例不再详细赘述。在获取到密集点云后，把稠密点云的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取满足预设条件的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差度量中加入三角形法向约束因子对重构后的曲面进行简化。
S105：对纹理映射后的三维网格进行正射投影，生成真正射影像。
在生成纹理映射后的三维网格后，对纹理映射后的三维网格进行正射投影，生成真正射影像。
本公开实施例的基于无人机倾斜影像的真正射影像生成方法，能够根据被遮挡地物信息的无人机倾斜影像获取该地物信息的真正射影像，从而克服了存在遮挡物时地物信息的正射影像存在缺失的技术问题，从而能够生成更加完整的地物信息的正射影像。
如图2所示，为本公开实施例二的基于无人机倾斜影像的真正射影像生成方法的纹理映射的流程图。本实施例针对利用深度图方法获取密集点云的具体实现过程进行说明，具体包括以下步骤：
S201：根据预设条件选取倾斜影像对。
对于每一张无人机倾斜影像，需要选择一张参考影像用于立体计算，立体像对的选择不仅影响立体匹配精度，而且对于最终重建的结果至关重要。好的参考影像不仅要和目标影像有相似的视角方向，还要有合适的基线。
假设有n张影像，对于第i张目标影像，计算它与第j张影像主光轴之间的夹角θij(j＝1.....n)，然后对于5°＜θij＜60°的影像，计算与目标影像i的距离dij，利用dij计算平均距离
移除距离
或者
的影像。如果满足要求的邻域影像个数小于k1(k1＝10)，这些影像都作为第i张影像的参考影像，否则计算dij*θij，选择数值最大的前k1张影像作为第i张影像的参考影像组成立体像对。
S202：根据倾斜影像对中的同名像点确定对应的地面点。
利用随机算法进行初始化：对于输入影像上的每一个像素，期望找到一个平面f，使该像素和其在参考影像上的同名像点有最小的匹配误差。
本质上该平面f是三维场景表面的一个切面，可以用相机坐标系下的三维坐标Xi和它的法线ni表示，对于输入影像上的每一像素点p，估计其对应的三维平面，Ci和Cj分别是目标影像和对应的参考影像的相机中心。假设平面用在相机Ci坐标系下的一个三维坐标Xi，和它的法线ni表示，Ci是i个输入影像，Ci-xyz是相机坐标系。对于数据集里的第i张输入影像Ii，和其参考影像Ij，相机参数分别为{Ki,Ci,Ri}，{Kj,Cj,Rj}。首先随机给定影像Ii上的像素点P一个三维平面f。三维坐标Xi必须在P的投影射线上，随机选取一个投影深度λ(λmin＜λ＜λmax)，Xi在Ci坐标系下的坐标为：
Xi＝λKiP
P为像素点的齐次坐标。然后随机的给定平面f的法线ni，其计算公式如下：
其中θ为
范围内的一个随机角度，
为
范围内的一个角度，这些范围的设定基于一个简单的假设，即当一个面片的法线和相机Ci坐标系下的Z轴的夹角小于一个阈值时(假定阈值为60°)，它在影像Ii是可见的。
以上的随机初始化过程很容易得到三维场景中的每个平面的至少一个好的假设平面，因为随着影像分辨率的提高，每个场景平面内包含的像素点越来越多，可以利用的像素点越来越多。利用上面的方法得到影像Ii的深度图，Ii上每个像素点的深度可以映射到其参考影像Ij上，作为参考影像上对应像素的初始化深度，对于没有对应点的像素仍然使用随机方法给定初始值。利用这种方法可以更好的给定Ij上每个有映射的像素更好的假设平面，因为引入了立体像对Ii和Ij平面一致性限制。
利用每个像素的估计平面f和影像间单应矩阵，可以计算每个像点对应的地面点，及其在参考影像上的同名匹配点。在以像素点P为中心的7*7的窗口内，利用单应矩阵计算窗口内每个像素在参考影像上的同名像点，然后利用归一化互相关算法计算匹配代价，这种匹配方法即归一化互相关匹配算法。
S203：利用邻域深度图删除错误深度图点，得到各无人机倾斜影像对应的精确深度图。
初始化之后，图像Ii中的每个像素都关联一个三维平面。然后，我们逐个处理Ii中的像素，迭代2次对平面进行优化。在迭代中，我们开始从影像左上角到右下逐个传播，然后从右下角到左上角再进行传播。在每次迭代中每个像素都有两个操作，称为空间传播和随机分配。空间传播用于比较和传播相邻像素到当前像素的三维平面，假设fp是当前像素邻域的平面，f是当前像素的平面，利用fp和f分别计算匹配代价，如果fp匹配代价优于f则将当前像素对应的平面更新为fp。这种空间传播过程依赖于相邻像素很可能具有相似的三维空间平面，尤其是高分辨率图像。理论上，甚至一个好的猜测在第一次和第二次空间传播之后就足以传播这个平面到匹配窗口的其它像素。在空间传播之后，我们利用随机分配进一步减少匹配代价，在给定范围内随机选取每个像素的投影深度λ和法线角度θ和
计算匹配代价，匹配代价优于上次迭代结果的则进行随机分配，逐渐缩小深度和法线的随机范围，最终获取最优深度和法线。
在空间传播和随机分配之后过程，我们删除深度图中不可靠点即匹配成本高于某个阈值的匹配点。
由于深度误差的存在，由以上过程计算的深度图在公共区域可能不完全一致，对此对于影像Ii中的每一个点p，利用相机参数和深度λ后向投影到三维空间中，公式如下：
X＝λRTK-1P+Ci
其中P为齐次坐标，X为世界坐标系下的三维坐标。把X投影到它的邻域影像上，假设N(i)是在立体像对选择步骤中选取的Ii的邻域影像。假设Nk是N(i)中的第K张影像，d(X，Nk)是相机Nk在X点的深度，λ(X，Nk)是计算X在Nk上的投影像素，在Nk的深度图上获取的此像素的深度。如果λ(X，Nk)和d(X，Nk)足够接近，认为X在Ii和Nk上是一致的。如果X至少在K张邻域影像上是一致的，认为X是可靠的场景点，其在深度图中对应的像素被保留，否则移除该点。
经过以上优化大部分错误点被移除，每一张影像得到相对干净和正确的深度图。
S204：对所述精确深度图进行融合，生成密集点云。
本实施例的方法，能够有效使得无人机倾斜影像中的错误点被移除，得到每一张无人机倾斜影像的相对干净和正确的深度图，进而能够生成更加完整的地物信息的正射影像。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
如图3所示，为本公开实施例三的基于无人机倾斜影像的真正射影像生成装置的功能结构示意图。本实施例的基于无人机倾斜影像的真正射影像生成装置，包括：
相对位置关系确定模块301，用于获取无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定所述无人机倾斜影像间的相对位置关系。
特征点匹配模块302，用于根据所述相对位置关系对所述无人机倾斜影像进行特征点匹配，确定相邻无人机倾斜影像上的像点间的对应关系。
定向参数确定模块303，用于根据所述位置和姿态信息，以及所述像点间的对应关系计算倾斜影像的定向参数。
曲面重构模块304，用于利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射。
真正射影像生成模块305，用于对纹理映射后的三维网格进行正射投影，生成真正射影像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4示出了可以用来实施本公开的实施例的电子设备400的示意性框图。如图所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可以存储设备400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元401执行上文所描述的各个方法和处理，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 703并由CPU401执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，CPU401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种基于无人机倾斜影像的真正射影像生成方法，其特征在于，包括：
获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系；
根据所述相对位置关系对所述无人机倾斜影像进行特征点匹配，确定相邻影像上的像点间的对应关系；
根据所述位置和姿态信息，以及所述像点间的对应关系计算无人机倾斜影像的定向参数；
利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射；
对纹理映射后的三维网格进行正射投影，生成真正射影像。
2.根据权利要求1所述的基于无人机倾斜影像的真正射影像生成方法，其特征在于，所述获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系，包括：
获取无人机在拍摄所述无人机倾斜影像集中的无人机倾斜影像时的位置和姿态信息，确定相邻的所述无人机倾斜影像的航向或旁向的概略重叠区域，根据所述概略重叠区域确定所述无人机倾斜影像间的相对位置关系。
3.根据权利要求2所述的基于无人机倾斜影像的真正射影像生成方法，其特征在于，所述根据所述概略重叠区域确定所述无人机倾斜影像间的相对位置关系，包括：
对于在航向或旁向存在重叠区域的两张无人机倾斜影像，其中一张作为基准影像，另外一张作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系。
4.根据权利要求3所述的基于无人机倾斜影像的真正射影像生成方法，其特征在于，所述根据所述位置和姿态信息，以及所述像点间的对应关系计算倾斜影像的定向参数，包括：
根据无人机倾斜影像的位置和姿态信息确定该无人机倾斜影像的成像模型；
对所述成像模型按照泰勒级数线性化，生成线性化模型；
将所述线性化模型作为平差的基本模型，利用所述无人机倾斜影像上的特征点的坐标建立误差方程组；
根据所述误差方程组建立法方程组，通过求解法方程组确定所述位置和姿态信息对应的外方位元素的改正数，根据所述改正数对所述位置和姿态信息对应的外方位元素进行改正，进而确定所述无人机倾斜影像上的特征点对应的地面坐标。
5.根据权利要求4所述的基于无人机倾斜影像的真正射影像生成方法，其特征在于，所述方法还包括：
利用多片前方交会，计算所述无人机倾斜影像中重叠区域外的其他点的地面坐标。
6.根据权利要求5所述的基于无人机倾斜影像的真正射影像生成方法，其特征在于，所述利用深度图方法获取密集点云，包括：
根据预设条件选取倾斜影像对；
根据倾斜影像对中的同名像点确定对应的地面点；
利用邻域深度图删除错误深度图点，得到各无人机倾斜影像对应的精确深度图；
对所述精确深度图进行融合，生成密集点云。
7.根据权利要求6所述的基于无人机倾斜影像的真正射影像生成方法，其特征在于，所述利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射，包括：
把稠密点云的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取满足预设条件的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子对重构后的曲面进行简化。
8.一种基于无人机倾斜影像的真正射影像生成装置，其特征在于，包括：
相对位置关系确定模块，用于获取无人机倾斜影像集中的无人机倾斜影像对应的位置和姿态信息，根据所述位置和姿态信息确定无人机倾斜影像间的相对位置关系；
特征点匹配模块，用于根据所述相对位置关系对所述无人机倾斜影像进行特征点匹配，确定相邻影像上的像点间的对应关系；
定向参数确定模块，用于根据所述位置和姿态信息，以及所述像点间的对应关系计算无人机倾斜影像的定向参数；
曲面重构模块，用于利用深度图方法获取密集点云，根据获取的密集点云利用泊松曲面重建算法进行曲面重构，获取无人机倾斜影像对应的场景的三维网格，并在三维网格上进行纹理映射；
真正射影像生成模块，用于对纹理映射后的三维网格进行正射投影，生成真正射影像。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661308.0A CN113566793A (zh) | 2021-06-15 | 2021-06-15 | 基于无人机倾斜影像的真正射影像生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661308.0A CN113566793A (zh) | 2021-06-15 | 2021-06-15 | 基于无人机倾斜影像的真正射影像生成方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113566793A true CN113566793A (zh) | 2021-10-29 |
Family
ID=78162135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110661308.0A Pending CN113566793A (zh) | 2021-06-15 | 2021-06-15 | 基于无人机倾斜影像的真正射影像生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113566793A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913297A (zh) * | 2022-05-09 | 2022-08-16 | 北京航空航天大学 | 一种基于mvs稠密点云的场景正射影像生成方法 |
| CN116880551A (zh) * | 2023-07-13 | 2023-10-13 | 之江实验室 | 基于随机事件捕获的飞行轨迹规划方法，系统及存储介质 |
| CN117095119A (zh) * | 2023-08-17 | 2023-11-21 | 郑州众益信息科技有限公司 | 一种地空一体测绘方法及系统 |
| CN117372273A (zh) * | 2023-10-26 | 2024-01-09 | 航天科工(北京)空间信息应用股份有限公司 | 无人机影像的正射影像生成方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106352855A (zh) * | 2016-09-26 | 2017-01-25 | 北京建筑大学 | 一种摄影测量方法及装置 |
| CN110246221A (zh) * | 2019-06-25 | 2019-09-17 | 中煤航测遥感集团有限公司 | 真正射影像获得方法及装置 |
| CN111028341A (zh) * | 2019-12-12 | 2020-04-17 | 天目爱视（北京）科技有限公司 | 一种三维模型生成方法 |
| CN111292364A (zh) * | 2020-01-21 | 2020-06-16 | 天目爱视（北京）科技有限公司 | 一种三维模型构建过程中图像快速匹配的方法 |
-
2021
- 2021-06-15 CN CN202110661308.0A patent/CN113566793A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106352855A (zh) * | 2016-09-26 | 2017-01-25 | 北京建筑大学 | 一种摄影测量方法及装置 |
| CN110246221A (zh) * | 2019-06-25 | 2019-09-17 | 中煤航测遥感集团有限公司 | 真正射影像获得方法及装置 |
| CN111028341A (zh) * | 2019-12-12 | 2020-04-17 | 天目爱视（北京）科技有限公司 | 一种三维模型生成方法 |
| CN111292364A (zh) * | 2020-01-21 | 2020-06-16 | 天目爱视（北京）科技有限公司 | 一种三维模型构建过程中图像快速匹配的方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913297A (zh) * | 2022-05-09 | 2022-08-16 | 北京航空航天大学 | 一种基于mvs稠密点云的场景正射影像生成方法 |
| CN116880551A (zh) * | 2023-07-13 | 2023-10-13 | 之江实验室 | 基于随机事件捕获的飞行轨迹规划方法，系统及存储介质 |
| CN117095119A (zh) * | 2023-08-17 | 2023-11-21 | 郑州众益信息科技有限公司 | 一种地空一体测绘方法及系统 |
| CN117095119B (zh) * | 2023-08-17 | 2024-05-28 | 郑州众益信息科技有限公司 | 一种地空一体测绘方法及系统 |
| CN117372273A (zh) * | 2023-10-26 | 2024-01-09 | 航天科工(北京)空间信息应用股份有限公司 | 无人机影像的正射影像生成方法、装置、设备和存储介质 |
| CN117372273B (zh) * | 2023-10-26 | 2024-04-19 | 航天科工(北京)空间信息应用股份有限公司 | 无人机影像的正射影像生成方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113566793A (zh) | 基于无人机倾斜影像的真正射影像生成方法和装置 | |
| US20140015924A1 (en) | Rapid 3D Modeling | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| KR20090064679A (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
| KR20140053870A (ko) | 3d 거리 | |
| CN108399631B (zh) | 一种尺度不变性的倾斜影像多视密集匹配方法 | |
| Kuschk | Large scale urban reconstruction from remote sensing imagery | |
| CN113689535B (zh) | 基于无人机影像的建筑物模型的生成方法和装置 | |
| CN114241125B (zh) | 一种基于多视角卫星影像精细三维建模方法及系统 | |
| CN113077552A (zh) | 基于无人机影像的dsm生成方法和装置 | |
| Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
| Gong et al. | A detailed study about digital surface model generation using high resolution satellite stereo imagery | |
| CN114896679A (zh) | 一种建筑物的三维模型优化方法、智能终端及存储介质 | |
| CN111881985A (zh) | 立体匹配方法、装置、终端和存储介质 | |
| CN108444451B (zh) | 一种行星表面影像匹配方法与装置 | |
| Zhang et al. | An enhanced multi-view vertical line locus matching algorithm of object space ground primitives based on positioning consistency for aerial and space images | |
| Haggag et al. | Towards automated generation of true orthoimages for urban areas | |
| CN112991525B (zh) | 像方和物方混合匹配基元的数字表面模型生成方法 | |
| CN114549779A (zh) | 场景模型重建方法、装置、电子设备和存储介质 | |
| Rumpler et al. | Rapid 3d city model approximation from publicly available geographic data sources and georeferenced aerial images | |
| Previtali et al. | An automatic multi-image procedure for accurate 3D object reconstruction | |
| Zhang et al. | Tests and performance evaluation of DMC images and new methods for their processing | |
| Aliakbarpour et al. | Geometric exploration of virtual planes in a fusion-based 3D data registration framework | |
| US11776148B1 (en) | Multi-view height estimation from satellite images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100085 room 703, 7 / F, block C, 8 malianwa North Road, Haidian District, Beijing Applicant after: Beijing daoda Tianji Technology Co.,Ltd. Address before: 100085 room 703, 7 / F, block C, 8 malianwa North Road, Haidian District, Beijing Applicant before: Beijing daoda Tianji Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211029 |
|
| RJ01 | Rejection of invention patent application after publication |