CN113077552A - 基于无人机影像的dsm生成方法和装置 - Google Patents

基于无人机影像的dsm生成方法和装置 Download PDF

Info

Publication number
CN113077552A
CN113077552A CN202110615398.XA CN202110615398A CN113077552A CN 113077552 A CN113077552 A CN 113077552A CN 202110615398 A CN202110615398 A CN 202110615398A CN 113077552 A CN113077552 A CN 113077552A
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
images
dsm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110615398.XA
Other languages
English (en)
Inventor
吴丽沙
张谷生
刘建明
王海强
杨晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Daoda Tianji Technology Co ltd
Original Assignee
Beijing Daoda Tianji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Daoda Tianji Technology Co ltd filed Critical Beijing Daoda Tianji Technology Co ltd
Priority to CN202110615398.XA priority Critical patent/CN113077552A/zh
Publication of CN113077552A publication Critical patent/CN113077552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了基于无人机影像的DSM生成方法和装置，所述方法包括：获取无人机影像集，根据所述无人机影像集中无人机影像的标签数据分别确定对应的相机初始内参数；根据所述无人机影像集中基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系；确定重叠区域大于预设阈值的影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云；利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。以此方式，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建，生成对应的DSM。

Description

基于无人机影像的DSM生成方法和装置
技术领域
本公开的实施例一般涉及图像处理技术领域，并且更具体地，涉及基于无人机影像的DSM生成方法和装置。
背景技术
目前，行业内尚无利用无人机影像进行DSM生成的方法，在传统的DSM生成工作中，常采用传统测量法、激光雷达法、数字摄影测量法完成。这些方法进行DSM生成时会存在不同的问题：
一、利用传统测量法进行DSM生成时，需要大量的人力物力，数据获取时间长，更新周期长，并且在人工实地采集数据区域困难区域难以获取DSM成果。
二、利用激光雷达法进行DSM生成时，虽然能够获取精度较高的高程数据，但是缺少地物信息，只能采集到高程值，数据类型过于单一。
三、利用摄影测量方法进行DSM生成时，多以卫星静态遥感影像构成立体像对作为数据源，例如三线阵卫星只能得到同轨三个不同角度的地物信息，不同角度的细节信息过少或者需要执行多次拍摄任务。
无人机能够连续获取重叠度大的高精度序列影像，但获取的影像会丢失深度信息。基于图像的三维重建，是指利用多幅数码相机图像全自动恢复出场景三维结构的方法与技术。近年来三维重建技术在视频、图像三维重建处理领域获得了巨大的成功，将其应用到无人机图像处理领域，对无人机图像进行全自动重建相关的应用，可以拓展无人机的应用范围，提高无人机的应用水平。
发明内容
根据本公开的实施例，提供了一种能够对大区域建模时，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建的基于无人机影像的DSM生成方案。
在本公开的第一方面，提供了一种基于无人机影像的DSM生成方法，包括：
获取无人机影像集，根据所述无人机影像集中无人机影像的标签数据分别确定对应的相机初始内参数；
根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系；
基于SFM算法根据所述仿射变换关系确定重叠区域大于预设阈值的影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云；
利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。
在一些实施例中，所述根据无人机影像的标签数据确定相机的初始内参数，包括：
根据无人机影像的标签数据确定无人机影像宽度Width和高度Height、焦距f，进而确定相机的初始内参数K，
Figure 100002_DEST_PATH_IMAGE001
其中，w为相机传感器的宽度，d x 、d y 为像主点的初始位置，F 1 为无人机影像到相机传感器之间的距离。
在一些实施例中，所述根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系，包括：
根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，建立影像金字塔，在基准影像进行特征点提取，在影像金字塔顶层进行SURF特征初匹配，建立二者的初始仿射变换关系，以初始仿射变换关系为几何约束条件，将特征点位窗口变换到搜索影像，同时将搜索影像窗口采样纠正到基准影像的像方空间坐标系下，进行相关系数匹配，接着在局部范围内采用多项式迭代剔除粗差，利用获得同名像点再次解算、更新二者的仿射变换关系；然后进行下层影像匹配直至底层影像，最后，将匹配结果转换到搜索影像的像方空间坐标系下，并进行最小二乘匹配，确定所述基准影像和所述搜索影像的仿射变换关系。
在一些实施例中，所述基于SFM算法根据所述仿射变换关系确定重叠区域大于预设阈值的影像的重叠区域内的同名像点对应的特征点的三维坐标，包括：
确定所述基准影像和所述搜索影像之间的本质矩阵；
对所述本质矩阵进行奇异值分解，确定相机的运动参数旋转矩阵和平移向量；
根据相机的运动参数旋转矩阵和平移向量确定同名像点对应的特征点的三维坐标。
在一些实施例中，所述利用多视图立体重建的方法根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的三维坐标获得稠密点云，包括：
根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的坐标确定面片坐标，生成稀疏点云对应的面片集合；
循环添加新邻域到所述面片集合中对所述面片集合进行更新，直到场景被所有可视的面全覆盖；
基于一致性约束条件，对更新后的面片集合中的面片进行剔除，生成稠密点云，从而生成无人机影像对应的DSM。
在本公开的第二个方面，提供了一种基于无人机影像的DSM生成装置，包括：
初始内参数确定模块，用于根据无人机影像的标签数据确定相机的初始内参数；
仿射变换关系确定模块，用于根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系；
稀疏点云生成模块，用于基于SFM算法根据所述仿射变换关系确定所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云；
稠密点云生成模块，用于利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。
在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
通过本公开的基于无人机影像的DSM生成方法，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建，生成对应的DSM。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开实施例一的基于无人机影像的DSM生成方法的流程图；
图2示出了本公开实施例二的基于无人机影像的DSM生成方法的三维模型生成方法的流程图；
图3示出了本公开实施例三的基于无人机影像的DSM生成装置的功能结构示意图；
图4示出了本公开实施例四的基于无人机影像的DSM生成设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本公开实施例的基于无人机影像的DSM生成方法，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建，生成DSM。
具体地，如图1所示，为本公开实施例一的基于无人机影像的DSM生成方法的流程图。从图1中可以看出，本实施例的方法，可以包括以下步骤：
S101：获取无人机影像，根据无人机影像的标签数据确定相机的初始内参数。
在本实施例中，当利用无人机影像进行三维重建时，需要获取通过无人机预先采集的无人机影像，这些无人机影像可以是无序的。例如，可以是通过多架无人机同时扫描目标地面区域获取到的无人机影像，而无须预先规划无人机的飞行轨迹，或者，也可以是由一架无人机扫描目标地面区域获取到的无人机影像。
对于每一张无人机影像，可以根据该无人机影像的格式标签数据，确定对应的相机的初始内参数。具体地，可以根据无人机影像的标签数据确定无人机影像宽度Width和高度Height、焦距f，进而确定相机的初始内参数K，
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
其中，w为相机传感器的宽度，d x 、d y 为像主点的初始位置，F 1 为无人机影像到相机传感器之间的距离。
S102：根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系。
具体地，预先对每一张无人机影像建立影像金字塔，金字塔最顶层不小于512×512，然后对于每一张无人机影像的影像金字塔，在金字塔的最底层利用Fonstner算子提取特征点，特征点的分布尽可能均匀，并进行逻辑分块，确保每一块内都有数量大致相同的特征点，并将特征点和对应的逻辑分块映射到影像金字塔的其他层。
根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，这些张影像可以是无人机航向方向上具有重叠区域的无人机影像，也可以是无人机旁向方向上具有重叠区域的无人机影像。
根据基准影像和搜索影像的重叠区域内的对应特征点计算基准影像和搜索影像间的初始仿射变换参数。将基准影像中对应重叠区域的影像划分为多个基准窗口，在影像金字塔的最顶层，根据初始仿射变换参数，利用公式（1）计算搜索影像上与基准窗口对应的匹配窗口，并利用公式（1）对匹配窗口进行影像重采样。
Figure DEST_PATH_IMAGE004
（1）
其中，a 0 、a 1 、a 2 、b 0 、b 1 、b 2 为仿射变换参数，X、Y为影像上的特征点的坐标，x、y为影像重采样后得到的像素点的坐标。
在影像金字塔的最顶层，根据Fonstner算子提取并映射得到的特征点（如共m个），利用相关系数法影像匹配计算各特征点在重采样后的搜索窗口中的共轭像点，将各相关系数最大且大于阈值的共轭点（如共k个，k<m）保留下来，利用Ransac思想剔除误匹配点，保留共轭点（如共l个，l<k）。然后利用上述匹配结果（l个共轭点）更新顶层基准窗口与匹配窗口的仿射变换参数，利用该组仿射变换参数，计算顶层基准窗口其他特征点（m-l个）的准共轭点，和匹配成功的l个共轭点一样一并保留下来。
将上述匹配结果（m个共轭点）传导至搜索影像的影像金字塔的下一层，根据更新后的仿射变换参数，利用公式（1）计算该层上与基准窗口对应的匹配窗口，并利用公式（1）对匹配窗口进行影像重采样。根据Fonstner算子提取并映射得到的特征点（如共nm个），利用相关系数法影像匹配计算各特征点在重采样后的搜索窗口中的共轭像点，将各相关系数最大且大于阈值的共轭点（如共nk个，nk<m）保留下来，利用Ransac思想剔除误匹配点，保留共轭点（如共nl个，nl<nk）。然后利用上述匹配结果（nl个共轭点）更新顶层基准窗口与匹配窗口的仿射变换参数，利用该组仿射变换参数，计算顶层基准窗口其他特征点（nm-nl个）的准共轭点，和匹配成功的nl个共轭点一样一并保留下来。其中n为该层影像相对于影像金字塔的上一层的放大倍数。
重复上述过程，直到传导到影像金字塔的最底层。在影像金字塔的最底层，得到基准窗口的可靠共轭点，在此基础上进行最小二乘匹配，以提高影像匹配的精度。最后利用公式（1）计算搜索影像上对应的同名像点。
在本实施例中，多个基准窗口可以进行同步匹配，以确定搜索影像上与基准影像对应的同名像点。
S103：基于SFM算法根据所述仿射变换关系确定重叠区域大于预设阈值的影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云。
SFM方法可以在不知道相机参数和场景中的三维信息的情况下，通过迭代来就可求解出三维点云和相机矩阵。其原理为，从不同的角度观察三维空间的同一个点，就可以得到它的三维信息。SFM方法使用不同的匹配点对，求解投影矩阵的同时，也恢复出匹配点的三维信息。主要步骤有：
计算两幅影像之间的本质矩阵；对本质矩阵进行奇异值分解，获得相机的运动参数旋转矩阵R和平移向量t；计算空间离散点的三维坐标。
对于本质矩阵的求解，先求基本矩阵F，然后在根据公式E=K T FK求解本质矩阵E。
基本矩阵F满足公式：
Figure DEST_PATH_IMAGE005
其中，x′为搜索影像匹配点坐标，x为基准影像的匹配点坐标。
在得到本质矩阵E之后，对其进行奇异值分解，E=UDV T 。由于受到精度和噪声的影响，得到的本质矩阵的奇异值不符合三个奇异值有两个值相等，另一个为0的本质矩阵，因此需要依据本质矩阵的性质来调整，使其符合要求，得到新的本质矩阵。
则转矩阵R和平移向量t为：
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
其中分解得到的平移向量t与实际的位置关系之间存在一个比例因子。
在求出相机的旋转矩阵R和平移向量t之后，可计算出两幅图像所对应的投影矩阵：
Figure DEST_PATH_IMAGE008
设(u i ,v i ,1)T为相机在目标的左侧拍摄的图像上第i个匹配点所对应的齐次坐标，X i 其所对应的三维空间点的齐次坐标，则有：
Figure DEST_PATH_IMAGE009
s为常量因子，消去s可得：
Figure DEST_PATH_IMAGE010
同理，设(u i ’,v i ’,1)T为相机在目标的右侧拍摄的图像上第i个匹配点所对应的其次坐标，可得三维空间点坐标：
Figure DEST_PATH_IMAGE011
从而可得到：
Figure DEST_PATH_IMAGE012
上式转化为：
Figure DEST_PATH_IMAGE013
由于X i 是常量因子下定义的，添加约束使空间中点的三维坐标求解问题即转化为求解ATA最小特征值所对应的特征向量。对A进行奇异值分解：
Figure DEST_PATH_IMAGE014
向量V的最后一列即为所求的空间点的三维坐标值。
通过上述过程，可以得到基准影像和搜索影像中重叠区域内的同名像点对应的特征点的三维坐标。
在确定空间点的三维坐标后，可以确定该空间点距离相机传感器的距离，同时根据初始内参数可以确定该空间点对应的像点到相机传感器的距离，进而可以根据这两个距离之间的比值，确定该空间点在影像中的坐标，从而生成稀疏点云。
S104：利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。
在生成稀疏点云后，还需要对其采取加密措施构建地形的稠密点云。本实施例采用基于图像面片的多视图立体视觉重建算法PMVS对稀疏点云进行加密。PMVS算法是一种基于面片的多视图立体重建算法，其基本思路为：首先在所有图像上提取特征点，然后利用特征匹配重建得到种子点，最后利用种子点向周围扩展得到稠密点云。
具体地，对于一幅图像I，对于I上的特征点fϵF，可在其它的图像上找到与其对应的特征点，即存在特征点对(f, f’)。这些特征点对已在前述步骤中得到，并同时得到了特征点所对应的三维位置信息。因此，直接将特征点的三维位置信息赋值给C(p)，将n(p)和R(p)赋值为：
Figure DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE016
其中，C(p)为面片，n(p)为面片C（p）的法向量。
面片扩展的目的是为了得到更多的面片，也就是稠密的点云。在此步骤中，循环添加新邻域到已存在的面片集合中，直到场景被所有可视的面全覆盖。
因此，如果面片在图像I的连续单元格C(i,j)和C(i’,j’)，并且法向量相近，则可认为它们是邻居，满足公式：
Figure DEST_PATH_IMAGE017
式中，ρ2和ρ1类似，由相应的R(p)中图像像素的c(p)深度来决定。上述条件确定之后，首先对可见图像序列R(p)的初始化；最后再进行光学一致性原则进行约束更新。若更新后仍然满足|T(p)>y|，则生成成功，将p’归入几何Q，并更新Q1、Qf ；反之，则重复之前的工作。
为了及时发现和剔除扩散步骤中出现的外点，扩散结束后需要对面片进行过滤，将光度一致性和几何一致性弱的面片剔除。通常采用三个滤波器来剔除错误的重建面片。
可见一致性约束，设U为与当前面片p可见信息不一致的面片P’集合，也就是p不是P’的邻近却存储在p的某一可见图像中的同一图像块中。若p符合下列不等式，则被当作是异常面片过滤掉。
Figure DEST_PATH_IMAGE018
在一些实施例中，更为严格的可见一致性约束，对每一个面片p，计算R(p)中可见的图像个数，如果数量小于y，则面片p被当作异常值去掉。
在一些实施例中，对于每一面片，搜索R(p)所有图像中位于p所在单元格以及邻近单元格中的面片，若其数量小于面片p周围8个领域内所有面片数量的四分之一，则将面片p作为异常面片剔除R(p)。
本公开实施例的基于无人机影像的DSM生成方法，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建，生成DSM。
作为本公开的一个可选实施例，在上述实施例中，当完成对所述稠密点云进行曲面重建和简化，生成DSM后，可以进一步对生成的DSM对进行纹理映射，从而生成对应区域的三维模型。具体地，如图2所示，为本公开实施例二的基于无人机影像的DSM生成方法的三维模型生成方法的流程图。本实施例中的三维模型生成方法，在DSM生成方法的基础上，可以进一步包括以下步骤：
S201：通过图像重建目标的表面三角面格网，包括三角面格网数据和对应的相片内外方位元素。
具体地，可以先把稠密点云的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取合适的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子对重构后的曲面进行简化。
曲面简化采用一种新的边折叠网格模型简化算法，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子，既考虑简化模型的体积变化，又能够很好地反映网格局部曲面的几何变化。另外，从三角网格形状、相邻面是否重叠等多个因素进行简化约束，得到了很好的简化效果。
例如，以边作为被删除的基本几何元素，每折叠一条边，就会生成一个新点，并把所有与被删除边相连的点与该新点相连，保持模型曲面始终由三角网格组成。通过控制边折叠的次序和数目，就可以得到不同分辨率的简化模型。具体过程：采用半边数据结构存储三角形网格数据，为了加快查找折叠边的速度，使用堆排序算法把网格中的边按折叠误差量由小到大排序。在边界边的处理问题上，为了保证模型的边界特征，当边有一个顶点为边界点时，折叠后的新顶点坐标为边界点的坐标，当边的两个顶点都为边界点时，不对该边进行折叠。
网格模型中，三角形形状的好坏直接影响模型的质量。因此，在简化过程中，应尽量避免狭长三角形的出现。在进行边折叠操作时，有时会出现网格翻转的不一致现象。为了避免这种情况，必须进行一致性判断。一致性判断即是检测边折叠后是否会出现相邻面互相重叠的情况。
S202：重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像。
S203：三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考图像纹理贴片。
S204：纹理贴片自动排序生成纹理图像。对生成的纹理贴片按照其大小关系进行排序，生成包围面积最小的纹理图像，得到每个三角面的纹理映射坐标。
S205：加权融合生成纹理像素。利用OpenGL的渲染管线技术生成各个视点的深度图像，对三角面的角度、视点深度、重投影图像距离等信息进行加权，生成纹理图像像素。
S206：纹理图像的多分辨率分解融合。对生成的纹理图像进行多分辨率分解，将低尺度信息融合到高尺度纹理图像缝隙中，消除纹理贴片的边界，生成无缝的三维纹理数据。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
如图3所示，为本公开实施例三的基于无人机影像的DSM生成装置的功能结构示意图。本实施例的基于无人机影像的DSM生成装置，包括：
初始内参数确定模块301，用于根据无人机影像的标签数据确定相机的初始内参数。
仿射变换关系确定模块302，用于根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系。
稀疏点云生成模块303，用于基于SFM算法根据所述仿射变换关系确定所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云。
稠密点云生成模块304，用于利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4示出了可以用来实施本公开的实施例的电子设备400的示意性框图。如图所示，设备400包括中央处理单元（CPU）401，其可以根据存储在只读存储器（ROM）402中的计算机程序指令或者从存储单元408加载到随机访问存储器（RAM）403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可以存储设备400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出（I/O）接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元401执行上文所描述的各个方法和处理，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 703并由CPU401执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，CPU401可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行上述方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (8)

1.一种基于无人机影像的DSM生成方法，其特征在于，包括：
获取无人机影像集，根据所述无人机影像集中无人机影像的标签数据分别确定对应的相机初始内参数；
根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系；
基于SFM算法根据所述仿射变换关系确定重叠区域大于预设阈值的影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云；
利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。
2.根据权利要求1所述的基于无人机影像的DSM生成方法，其特征在于，所述根据无人机影像的标签数据确定相机的初始内参数，包括：
根据无人机影像的标签数据确定无人机影像宽度Width和高度Height、焦距f，进而确定相机的初始内参数K，
Figure DEST_PATH_IMAGE001
其中，w为相机传感器的宽度，d x 、d y 为像主点的初始位置，F 1 为无人机影像到相机传感器之间的距离。
3.根据权利要求2所述的基于无人机影像的DSM生成方法，其特征在于，所述根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系，包括：
根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，建立影像金字塔，在基准影像进行特征点提取，在影像金字塔顶层进行SURF特征初匹配，建立二者的初始仿射变换关系，以初始仿射变换关系为几何约束条件，将特征点位窗口变换到搜索影像，同时将搜索影像窗口采样纠正到基准影像的像方空间坐标系下，进行相关系数匹配，接着在局部范围内采用多项式迭代剔除粗差，利用获得同名像点再次解算、更新二者的仿射变换关系；然后进行下层影像匹配直至底层影像，最后，将匹配结果转换到搜索影像的像方空间坐标系下，并进行最小二乘匹配，确定所述基准影像和所述搜索影像的仿射变换关系。
4.根据权利要求3所述的基于无人机影像的DSM生成方法，其特征在于，所述基于SFM算法确定所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的三维坐标，包括：
确定所述基准影像和所述搜索影像之间的本质矩阵；
对所述本质矩阵进行奇异值分解，确定相机的运动参数旋转矩阵和平移向量；
根据相机的运动参数旋转矩阵和平移向量确定同名像点对应的特征点的三维坐标。
5.根据权利要求4所述的基于无人机影像的DSM生成方法，其特征在于，所述利用多视图立体重建的方法根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的三维坐标获得稠密点云，生成无人机影像对应的DSM，包括：
根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的坐标确定面片坐标，生成稀疏点云对应的面片集合；
循环添加新邻域到所述面片集合中对所述面片集合进行更新，直到场景被所有可视的面全覆盖；
基于一致性约束条件，对更新后的面片集合中的面片进行剔除，生成稠密点云，从而生成无人机影像对应的DSM。
6.一种基于无人机影像的DSM生成装置，其特征在于，包括：
初始内参数确定模块，用于根据无人机影像的标签数据确定相机的初始内参数；
仿射变换关系确定模块，用于根据所述初始内参数确定无人机影像的区域重叠关系，从所述无人机影像集中选取重叠区域大于预设值的影像，其中一张影像作为基准影像，其他影像作为搜索影像，根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点确定所述基准影像和所述搜索影像的仿射变换关系；
稀疏点云生成模块，用于基于SFM算法根据所述仿射变换关系确定所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的三维坐标，根据所述三维坐标和所述初始内参数，生成DSM稀疏点云；
稠密点云生成模块，用于利用多视图立体重建的方法根据所述稀疏点云获得DSM稠密点云，生成无人机影像对应的DSM。
7.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~5中任一项所述的方法。
CN202110615398.XA 2021-06-02 2021-06-02 基于无人机影像的dsm生成方法和装置 Pending CN113077552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110615398.XA CN113077552A (zh) 2021-06-02 2021-06-02 基于无人机影像的dsm生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110615398.XA CN113077552A (zh) 2021-06-02 2021-06-02 基于无人机影像的dsm生成方法和装置

Publications (1)

Publication Number Publication Date
CN113077552A true CN113077552A (zh) 2021-07-06

Family

ID=76616959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110615398.XA Pending CN113077552A (zh) 2021-06-02 2021-06-02 基于无人机影像的dsm生成方法和装置

Country Status (1)

Country Link
CN (1) CN113077552A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487580A (zh) * 2021-07-16 2021-10-08 北京星天地信息科技有限公司 基于多边形分析的无人机影像重叠度计算方法及系统
CN113689535A (zh) * 2021-08-20 2021-11-23 北京道达天际科技有限公司 基于无人机影像的建筑物模型的生成方法和装置
CN114332388A (zh) * 2021-12-13 2022-04-12 武汉大学 基于栅格距离变换的dsm漏洞修补方法
CN115100535A (zh) * 2022-02-24 2022-09-23 中国科学院自动化研究所 基于仿射相机模型的卫星遥感图像快速重建方法及装置
CN116704152A (zh) * 2022-12-09 2023-09-05 荣耀终端有限公司 图像处理方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183653A1 (en) * 2006-01-31 2007-08-09 Gerard Medioni 3D Face Reconstruction from 2D Images
CN104134220A (zh) * 2014-08-15 2014-11-05 北京东方泰坦科技股份有限公司 一种像方空间一致性的低空遥感影像高精度匹配方法
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和系统
CN110162663A (zh) * 2019-05-13 2019-08-23 广州欧科信息技术股份有限公司 二三维数据增量更新方法及装置
CN111247564A (zh) * 2019-03-12 2020-06-05 深圳市大疆创新科技有限公司 一种数字地表模型的构建方法及处理设备、系统
CN111292364A (zh) * 2020-01-21 2020-06-16 天目爱视（北京）科技有限公司 一种三维模型构建过程中图像快速匹配的方法
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183653A1 (en) * 2006-01-31 2007-08-09 Gerard Medioni 3D Face Reconstruction from 2D Images
CN104134220A (zh) * 2014-08-15 2014-11-05 北京东方泰坦科技股份有限公司 一种像方空间一致性的低空遥感影像高精度匹配方法
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和系统
CN111247564A (zh) * 2019-03-12 2020-06-05 深圳市大疆创新科技有限公司 一种数字地表模型的构建方法及处理设备、系统
CN110162663A (zh) * 2019-05-13 2019-08-23 广州欧科信息技术股份有限公司 二三维数据增量更新方法及装置
CN111292364A (zh) * 2020-01-21 2020-06-16 天目爱视（北京）科技有限公司 一种三维模型构建过程中图像快速匹配的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487580A (zh) * 2021-07-16 2021-10-08 北京星天地信息科技有限公司 基于多边形分析的无人机影像重叠度计算方法及系统
CN113487580B (zh) * 2021-07-16 2022-02-15 北京星天地信息科技有限公司 基于多边形分析的无人机影像重叠度计算方法及系统
CN113689535A (zh) * 2021-08-20 2021-11-23 北京道达天际科技有限公司 基于无人机影像的建筑物模型的生成方法和装置
CN113689535B (zh) * 2021-08-20 2022-11-22 北京道达天际科技股份有限公司 基于无人机影像的建筑物模型的生成方法和装置
CN114332388A (zh) * 2021-12-13 2022-04-12 武汉大学 基于栅格距离变换的dsm漏洞修补方法
CN114332388B (zh) * 2021-12-13 2024-07-16 武汉大学 基于栅格距离变换的dsm漏洞修补方法
CN115100535A (zh) * 2022-02-24 2022-09-23 中国科学院自动化研究所 基于仿射相机模型的卫星遥感图像快速重建方法及装置
CN116704152A (zh) * 2022-12-09 2023-09-05 荣耀终端有限公司 图像处理方法和电子设备
CN116704152B (zh) * 2022-12-09 2024-04-19 荣耀终端有限公司 图像处理方法和电子设备

Similar Documents

Publication Publication Date Title
CN113077552A (zh) 基于无人机影像的dsm生成方法和装置
CN112927370B (zh) 三维建筑物模型构建方法、装置、电子设备及存储介质
CN106709947B (zh) 一种基于rgbd相机的三维人体快速建模系统
CN101604018B (zh) 高分辨率遥感影像数据处理方法及其系统
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN113689535B (zh) 基于无人机影像的建筑物模型的生成方法和装置
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN113566793A (zh) 基于无人机倾斜影像的真正射影像生成方法和装置
Kuschk Large scale urban reconstruction from remote sensing imagery
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
CN112270698A (zh) 基于最邻近曲面的非刚性几何配准方法
CN111881985B (zh) 立体匹配方法、装置、终端和存储介质
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
Zhao et al. A review of 3D reconstruction from high-resolution urban satellite images
CN114549779A (zh) 场景模型重建方法、装置、电子设备和存储介质
CN117036622B (zh) 融合航拍图像和地面扫描的三维重建方法、装置和设备
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
Hu et al. Planetary3D: A photogrammetric tool for 3D topographic mapping of planetary bodies
Li et al. Integrated photogrammetric and photoclinometric processing of multiple HRSC images for pixelwise 3-D mapping on Mars
Haggag et al. Towards automated generation of true orthoimages for urban areas
CN112991525B (zh) 像方和物方混合匹配基元的数字表面模型生成方法
Previtali et al. Multi-step and multi-photo matching for accurate 3D reconstruction
CN113487741B (zh) 稠密三维地图更新方法及装置
Yu et al. Advanced approach for automatic reconstruction of 3d buildings from aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706

RJ01 Rejection of invention patent application after publication