CN116704139A - 卫星影像三维重建方法、装置、电子设备及可读存储介质 - Google Patents
卫星影像三维重建方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116704139A CN116704139A CN202310980912.9A CN202310980912A CN116704139A CN 116704139 A CN116704139 A CN 116704139A CN 202310980912 A CN202310980912 A CN 202310980912A CN 116704139 A CN116704139 A CN 116704139A
- Authority
- CN
- China
- Prior art keywords
- target
- initial
- satellite image
- satellite
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000003707 image sharpening Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种卫星影像三维重建方法、装置、电子设备及可读存储介质,包括:获取目标卫星采集的初始卫星影像序列,并对初始卫星影像序列进行预处理得到目标卫星影像序列;对目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果;通过目标卫星对应的改进相机模型,对目标卫星影像序列中每个目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列;基于特征点匹配结果从无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据目标稀疏点云重构结构生成目标三维模型。本发明可以有效提高卫星影像的三维重建效果的一致性,从而改善卫星影像的三维重建效果。
Description
技术领域
本发明涉及三维重建技术领域,尤其是涉及一种卫星影像三维重建方法、装置、电子设备及可读存储介质。
背景技术
在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于卫星影像与普通图像之间存在较大区别,导致现有针对普通图像的三维重建算法难以适用于卫星影像,无法保证卫星影像的三维重建效果的一致性,也即卫星影像的三维重建效果较差。
发明内容
有鉴于此,本发明的目的在于提供一种卫星影像三维重建方法、装置、电子设备及可读存储介质,可以有效提高卫星影像的三维重建效果的一致性,从而改善卫星影像的三维重建效果。
第一方面,本发明实施例提供了一种卫星影像三维重建方法,包括:
获取目标卫星采集的初始卫星影像序列,并对所述初始卫星影像序列进行预处理得到目标卫星影像序列;
对所述目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果;
通过所述目标卫星对应的改进相机模型,对所述目标卫星影像序列中每个所述目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列;
基于所述特征点匹配结果从所述无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据所述目标稀疏点云重构结构生成目标三维模型。
在一种实施方式中,所述初始卫星影像序列包括多组初始卫星影像,每组所述初始卫星影像均包括初始全色影像和初始多光谱影像;对所述初始卫星影像序列进行预处理得到目标卫星影像序列,包括:
对于每组初始卫星影像,从该初始卫星影像的所述初始多光谱影像中提取感兴趣区域;
对所述感兴趣区域中每个通道分别进行伽马校正处理,得到校正后感兴趣区域;
将所述校正后感兴趣区域投影至该初始卫星影像的所述初始全色影像上,得到目标全色影像;
将每个所述目标全色影像作为目标卫星影像,以构建得到目标卫星影像序列。
在一种实施方式中,在通过所述目标卫星对应的改进相机模型,对所述目标卫星影像序列中每个所述目标卫星影像进行倾斜校正,得到无倾斜卫星影像之前,所述方法还包括:
获取所述目标卫星的初始相机模型;
将所述初始相机模型分解为仿射变换矩阵和分解后相机模型;其中,所述初始相机模型与所述分解后相机模型的逆的乘积等于所述仿射变换矩阵;
对所述分解后相机模型进行调整,以使调整后相机模型中不包含倾斜校正参数且包含平移变量;
基于所述初始相机模型与调整后相机模型,确定改进相机模型;其中,所述改进相机模型包含倾斜校正参数且不包含平移变量。
在一种实施方式中,基于所述初始相机模型与调整后相机模型,确定改进相机模型,包括:
按照如下公式确定改进相机模型:
;
其中,、/>为所述目标卫星搭载的相机在/>方向和/>方向上的焦距,/>为扭曲参数,/>、/>为像主点,/>为倾斜校正参数,/>为初始相机模型,为调整后相机模型的逆,/>为改进相机模型。
在一种实施方式中,基于所述特征点匹配结果从所述无倾斜卫星影像序列中提取目标稀疏点云重构结构,包括:
基于所述特征点匹配结果,从所述无倾斜卫星影像序列中筛选出包含有重叠部分的多个无倾斜影像对;
对所述无倾斜影像对进行图像配准处理和三角化处理,以得到初始稀疏点云重构结构;
对所述初始稀疏点云重构结构进行光束法平差处理,得到目标稀疏点云重构结构。
在一种实施方式中,根据所述目标稀疏点云重构结构生成目标三维模型,包括:
基于述目标稀疏点云重构结构,构建稠密点云重构结构;
基于所述稠密点云重构结构进行曲面重建,得到初始三维模型;
对所述初始三维模型进行纹理映射,得到目标三维模型。
在一种实施方式中,基于所述稠密点云重构结构进行曲面重建,得到初始三维模型,包括:
构建所述稠密点云重构结构对应的八叉树;为所述八叉树中每个节点设置函数空间;基于所述每个所述节点对应的所述函数空间创建所述八叉树对应的向量场;利用所述向量场求解泊松方程,以通过求解得到的所述泊松方程提取所述稠密点云重构结构中的等值面,得到初始三维模型;
或者,将所述稠密点云重构结构投影至二维平面,得到所述二维平面内的点集;在所述二维平面内进行三角剖分处理得到三角网格;基于所述三角网格确定所述稠密点云重构结构中每个点之间的拓扑结构;基于所述拓扑结构生成初始三维模型。
第二方面,本发明实施例还提供一种卫星影像三维重建装置,包括:
预处理模块,用于获取目标卫星采集的初始卫星影像序列,并对所述初始卫星影像序列进行预处理得到目标卫星影像序列;
匹配模块,用于对所述目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果;
倾斜校正模块,用于通过所述目标卫星对应的改进相机模型,对所述目标卫星影像序列中每个所述目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列;
模型重构模块,用于基于所述特征点匹配结果从所述无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据所述目标稀疏点云重构结构生成目标三维模型。
第三方面,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种卫星影像三维重建方法、装置、电子设备及可读存储介质,在对目标卫星采集的初始卫星影像序列进行预处理得到目标卫星影像序列之后,将分别对目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理得到特征点匹配结果,以及通过目标卫星对应的改进相机模型,对目标卫星影像序列中每个目标卫星影像进行倾斜校正得到无倾斜卫星影像序列;从而基于特征点匹配结果从无倾斜卫星影像序列中提取目标稀疏点云重构结构,最后即可根据目标稀疏点云重构结构生成目标三维模型。上述方法利用改进相机模型对目标卫星影像序列中每个目标卫星影像进行倾斜校正,并在无倾斜卫星影像序列的基础上提取稀疏点云重构结构,进而生成目标三维模型,可以有效提高卫星影像的三维重建效果的一致性,从而改善卫星影像的三维重建效果。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种卫星影像三维重建方法的流程示意图;
图2为本发明实施例提供的一种稀疏点云重构结构图;
图3为本发明实施例提供的一种稠密点云重构结构图;
图4为本发明实施例提供的一种泊松重建法示意图;
图5为本发明实施例提供的一种泊松重建结果图;
图6为本发明实施例提供的一种贪婪三角形生成法示意图;
图7为本发明实施例提供的一种贪婪投影三角化重建结果图;
图8为本发明实施例提供的一种物体空间、屏幕空间、纹理空间关系图;
图9为本发明实施例提供的一种正向映射算法示意图;
图10为本发明实施例提供的一种反向映射算法示意图;
图11为本发明实施例提供的一种纹理映射后最终三维模型图;
图12为本发明实施例提供的另一种卫星影像三维重建方法的流程示意图;
图13为本发明实施例提供的一种卫星影像三维重建装置的结构示意图;
图14为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,现有三维重建算法针对卫星影像的单位重建效果较差,基于此,本发明实施提供了一种卫星影像三维重建方法、装置、电子设备及可读存储介质,可以有效提高卫星影像的三维重建效果的一致性,从而改善卫星影像的三维重建效果。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种卫星影像三维重建方法进行详细介绍,参见图1所示的一种卫星影像三维重建方法的流程示意图,该方法主要包括以下步骤S102至步骤S108:
步骤S102,获取目标卫星采集的初始卫星影像序列,并对初始卫星影像序列进行预处理得到目标卫星影像序列。
其中,初始卫星影像序列包括多组初始卫星影像,每组初始卫星影像均包括初始全色影像和初始多光谱影像;目标卫星影像序列包括多个目标全色影像;预处理包括感兴趣区域提取、色调映射、全色图像锐化(也可称之为全色图像增强)。
在一种实施方式中,目标卫星搭载的相机采集初始全色影像和初始多光谱影像,对初始多光谱影像进行感兴趣区域提取和色调映射,再基于处理后的初始多光谱影像对初始全色影像进行全色图像锐化,即可得到目标全色影像,将目标全色影像作为目标卫星影像,用以构建目标卫星影像序列。
步骤S104,对目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果。
在一种实施方式中,从目标卫星影像序列中每个目标卫星影像中提取特征点,再对任意两个目标卫星影像对应的特征点进行匹配,以得到特征点匹配结果。
步骤S106,通过目标卫星对应的改进相机模型,对目标卫星影像序列中每个目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列。
其中,改进相机模型(也可称之为转换矩阵)是基于目标卫星的初始相机模型构造得到的,改进相机模型包含倾斜校正参数且不包含平移变量。
在一种实施方式中,利用改进相机模型对目标卫星影像中的像素坐标进行调整,以实现倾斜校正,得到相应的无倾斜卫星影像,每个无倾斜卫星影像构成无倾斜卫星影像序列。
步骤S108,基于特征点匹配结果从无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据目标稀疏点云重构结构生成目标三维模型。
在一种实施方式中,基于特征点匹配结果从无倾斜卫星影像序列中提取目标稀疏点云重构结构;根据目标稀疏点云重构结构重建稠密点云重构结构;采用贪婪投影三角化法或泊松重建法对稠密点云重构结构进行曲面重建;进行纹理映射即可得到目标三维模型。
本发明实施例提供的卫星影像三维重建方法,利用改进相机模型对目标卫星影像序列中每个目标卫星影像进行倾斜校正,并在无倾斜卫星影像序列的基础上提取稀疏点云重构结构,进而生成目标三维模型,可以有效提高卫星影像的三维重建效果的一致性,从而改善卫星影像的三维重建效果。
为便于对前述实施例进行理解,本发明实施例提供了一种卫星影像三维重建方法的具体实施方式。
对于前述步骤S102,在执行获取目标卫星采集的初始卫星影像序列的步骤之后,可以按照如下步骤a至步骤d执行对初始卫星影像序列进行预处理得到目标卫星影像序列的步骤:
步骤a,对于每组初始卫星影像,从该初始卫星影像的初始多光谱影像中提取感兴趣区域。
在实际应用中,由于卫星影像范围较大,受限于硬件配置,首先裁剪出感兴趣范围。具体的,可针对初始多光谱影像裁剪出感兴趣区域。
步骤b,对感兴趣区域中每个通道分别进行伽马校正处理,得到校正后感兴趣区域。其中,色调映射也即对感兴趣区域中每个通道分别进行伽马校正处理的过程。
在实际应用中,由于卫星影像是一种具有HDR(high dynamic range)特点的图像,如果简单的将真实世界的整个亮度域线性压缩到照片所能表现的亮度域内,则会在明暗两端同时丢失很多细节,这显然不是所希望的效果。为了解决这一问题,本发明实施例中对初始多光谱影像进行色调映射处理。具体的,采用伽马校正,对低于0.5%和99.5%以上进行过滤,其中,伽马校正如下所示:
,其中/>表示伽马校正图像(也即,上述校正后感兴趣区域),/>表示初始卫星图像。为了将这种方法扩展到多光谱影像,需要对多光谱影像中每个通道分别应用滤波。
步骤c,将校正后感兴趣区域投影至该初始卫星影像的初始全色影像上,得到目标全色影像。其中,全色图像锐化也即将校正后感兴趣区域投影至该初始卫星影像的初始全色影像上的过程。
在一种实施方式中,可以根据获取到的RPC(遥感影像几何校正)模型,能够将校正后感兴趣区域投影到每个初始全色影像上。通过提取得到的子部分(也即,感兴趣区域),本发明实施例得到了一个表示相同区域的对齐图像对。基于此本发明实施例能够利用利用全色图像的高分辨率和多光谱图像的颜色信息来计算包含颜色信息的高分辨率图像,最终获取到含有颜色信息的高分辨率图像,该高分辨率图像也即目标全色影像。
步骤d,将每个目标全色影像作为目标卫星影像,以构建得到目标卫星影像序列。
对于前述步骤S104至步骤S108,本发明实施例可以采用基于改进相机模型的SFM(Structure from motion)算法对目标全色影像进行稀疏点云提取;根据稀疏点重建稠密点云;采用贪婪投影三角化法和泊松重建法对稠密点云进行曲面重建;最后进行纹理映射即可得到最终的三维模型。
在一例中,本发明实施例提供了一种步骤S104的实施方式,在执行对目标卫星影像进行特征点提取与匹配处理得到特征点匹配结果的步骤时,对于输入的图像序列,可以通过对各幅图像进行特征点提取与匹配,匹配结果的质量将影响重建结构的精度以及重建点云的数量。
示例性的,可以通过SIFT (Scale-Invariant Feature Transform) 算法、SURF(Speeded-Up Robust Feature) 算法、ORB (Oriented FAST and Rotated BRIEF) 算法、Haris角点检测算法、Hessian-Laplace算法等对每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果。
进一步的,为了便于对步骤S106中的改进相机模型进行理解,本发明实施例提供了一种改进相机模型的构建过程,可以对FPC(Finite Projective Camer,有限摄像机)校准矩阵进行分解,使用不包含倾斜因子的更简单的相机模型来替代SFM重建中的相机模型。
具体可参见如下步骤1至步骤4:
步骤1,获取目标卫星的初始相机模型。
其中,初始相机模型也即FPC校准矩阵,FPC校准矩阵如下所示:
;
其中,、/>为目标卫星搭载的相机在/>方向和/>方向上的焦距,/>为扭曲参数,/>、/>为像主点。
步骤2,将初始相机模型分解为仿射变换矩阵和分解后相机模型。其中,初始相机模型与分解后相机模型的逆的乘积等于仿射变换矩阵。
在一种实施方式中,将初始相机模型分解为分解后相机模型/>和仿射变换矩阵/>,初始相机模型分解、仿射变换矩阵和分解后相机模型之间的关系如下所示:。
具体的,;
其中,、/>为目标卫星搭载的相机在/>方向和/>方向上的分解后焦距,/>为分解后扭曲参数,/>、/>为分解后像主点。
步骤3,对分解后相机模型进行调整,以使调整后相机模型中不包含倾斜校正参数且包含平移变量。
在一种实施方式中,可通过将分解后相机模型中分解后扭曲参数置0,以使调整后相机模型中不包含倾斜校正参数,另外调整分解后相机模型以使调整后相机模型中包含平移变量。
步骤4,基于初始相机模型与调整后相机模型,确定改进相机模型。
具体的,由于许多MVS库不支持含有倾斜参数的模型,根据对/>进行定义,得到初始转换矩阵/>,如下所示:
;
其中,为不包含倾斜校正参数的相机模型。
由于,初始转换矩阵不仅包含了倾斜校正参数(/>),还包含了平移变量(),因此一部分像素可能会平移到图像边界之外,会造成重要信息丢失。所以本发明实施例中根据/>来获取无平移且带倾斜校正参数的目标转换矩阵/>如下,目标转换矩阵/>也即上述改进相机模型:
;
其中,、/>为目标卫星搭载的相机在/>方向和/>方向上的焦距,/>为扭曲参数,/>、/>为像主点,/>为倾斜校正参数,/>为初始相机模型,/>为调整后相机模型的逆,/>为改进相机模型。
在上述改进相机模型的基础上,本发明实施例提供了一种步骤S106的实施方式,对于每张目标全色影像(对应一个/>),本发明实施例均可以计算出对应的无倾斜卫星影像/>,/>。
在一例中,本发明实施例提供了一种步骤S108的实施方式,在执行基于特征点匹配结果从无倾斜卫星影像序列中提取目标稀疏点云重构结构的步骤时,可以参见如下(一)至(三):(一)基于特征点匹配结果,从无倾斜卫星影像序列中筛选出包含有重叠部分的多个无倾斜影像对;(二)对无倾斜影像对进行图像配准处理和三角化处理,以得到初始稀疏点云重构结构;(三)对初始稀疏点云重构结构进行光束法平差处理,得到目标稀疏点云重构结构。
在具体实现时,利用上述特征点匹配结果筛选出包含重叠部分的图像对,并恢复图像两两之间的空间位置关系,完成二视图的重建;选择一对图像作为重建的初始状态,之后通过图像配准和三角化逐步将剩余图像添加到稀疏点云重建结构中来;最后利用光束法平差对各相机参数以及立体点坐标进行优化,提升重建精度,避免迭代过程的累积误差导致稀疏点云重建结构发生严重的偏移,最终得到诸如图2所示的一种稀疏点云重构结构图。
在一例中,本发明实施例提供了一种步骤S108的实施方式,在执行根据目标稀疏点云重构结构生成目标三维模型的步骤时,可以参见如下(1)至(3):
(1)基于目标稀疏点云重构结构,构建稠密点云重构结构。在具体实现时,可以参见如下(1.1)至(1.4):
(1.1)初始化特征匹配;
(1.2)面片生成:初始化特征匹配是为了生成一系列稀疏的面片,一般来说,PMVS(三维多视角立体视觉算法)使用的是SFM得到的结果来作为输入来生成面片。
;
;
。
其中面片的几何特征由它的中心点/>和单位法向/>组成,单位法向的方向为中心点/>与相机的光心连线方向,/>为面片的参考图像,/>表示的是图像/>的相机光心,/>和/>为同类特征点。
面片生成这一步使得在每个图像块上至少有一个面片的投影。通过上面生成的每个面片,获得一个符合要求的邻域图像块集合,然后进行面片生成。
(1.3)面片筛选:在生成面片的过程中,会有一些质量不好的面片,所以要对生成的面片进行筛选过滤来保证生成面片的质量。
(1.4)基于筛选的面片构建稠密点云重构结构,得到诸如图3所示的一种稠密点云重构结构图。
(2)基于稠密点云重构结构进行曲面重建,得到初始三维模型。在实际应用中,可以通过泊松重建法或贪婪投影三角化法,基于稠密点云重构结构进行曲面重建得到初始三维模型。本发明实施例分别提供了利用泊松重建法和贪婪投影三角化法进行三维重建的实施方式,参见如下方式一至方式二:
方式一,泊松重建法:构建稠密点云重构结构对应的八叉树;为八叉树中每个节点设置函数空间;基于每个节点对应的函数空间创建八叉树对应的向量场;利用向量场求解泊松方程,以通过求解得到的泊松方程提取稠密点云重构结构中的等值面,得到初始三维模型。
在一种实施方式中,参见图4所示的一种泊松重建法示意图,包括构建八叉树、设置函数空间、构建向量场、求解泊松方程、提取等值面、输出三角网络模型等步骤。
具体的,泊松重建(Possion)算法主要就是对一个泊松方程的求解过程,其表示如式:
;
其中,表示拉普拉斯(Laplace)算子,/>和/>表示趋势面上的复数值或实数值。
对生成的八叉树octree的每个节点o都添加一个函数空间,如下公式,其中/>和/>表示节点o的中心和宽度。
;
向量场与函数/>的关系如下公式,其中,D标识octree的最大深度。
;
转换为空间泊松方程可借助于以下公式,其中对B(t)的定义如公式;
;
;
其中表示卷积符号,/>表示n个相同函数进行卷积。B表示子项。随着n的增加,F更接近于高斯函数,且紧凑支持度也越来越大。
可以将模型曲面进行近似表示,如公式。
;
其中表示点集/>中的邻近区域,/>表示几点o的法向量,/>为数据点,/>表示最接近s深度为D的子节点,/>作为插值权重系数。
此时,泊松方程的求解可以转化为对函数/>的求解,/>的表示如公式所示,将其转换为/>,最后就变为对/>进行解算。
;
其中和/>是对连续定义域上所有的数据点的积分。o表示为八叉树上的每一个节点,o点的坐标为/>。
从该算法的描述可以看出,泊松重建的过程实际上就是一个等值面提取的过程。为了获取输入点云数据对应的表面,选取等值面的一个最优阈值,利用移动立方体(Marching Cube,MC)算法来获取最后的初始三维模型,诸如图5所示的一种泊松重建结果图。
方式二,贪婪投影三角化法:将稠密点云重构结构投影至二维平面,得到二维平面内的点集;在二维平面内进行三角剖分处理得到三角网格;基于三角网格确定稠密点云重构结构中每个点之间的拓扑结构;基于拓扑结构生成初始三维模型。
在具体实现时,该算法主要思路是将原本复杂的问题作简单化处理,即将三维空间的曲面重建转换到二维平面上进行处理,结合Delaunay三角剖分算法来获取三角网格,最终达到曲面重建的目的。诸如图6所示的一种贪婪三角形生成法示意图,包括三维点云投影到二维平面上,在平面内进行Delaunay三角剖分,确定三维点云间的拓扑结构获取初始三维模型,诸如图7所示的一种贪婪投影三角化重建结果图。
该算法主要思路是将原本复杂的问题作简单化处理,即将三维空间的曲面重建转换到二维平面上进行处理,结合Delaunay三角剖分算法来获取三角网格,最终达到曲面重建的目的。该算法的优势在于思路简单且容易实现,能够处理一个或多个点云数据,但会要求点云的密度比较均匀,不能在曲面重建的同时进行平滑与修复,这也是该算法所存在的不足之处。
对比两种重建方法重建结果得到,泊松重建:耗时较久,不能够构建出精确的封闭物体,曲面效果较平滑一些,可能会有孔洞现象;贪婪投影三角化重建:重建较快,且没有空洞。从工程应用上来看,最终采用效率高的贪婪投影三角化重建的方法。
(3)对初始三维模型进行纹理映射,得到目标三维模型。
纹理映射的本质是空间到空间的对应。要实现纹理的准确自动映射,就要建立物体空间、屏幕空间、纹理空间三者的关系,诸如图8所示的一种物体空间、屏幕空间、纹理空间关系图。根据纹理平面与屏幕空间不同方向的映射顺序,本发明实施例将纹理映射划分为正向和反向两种方式:
(1)正向映射,就是纹理空间到屏幕空间的一种映射。首先,本发明实施例假设为纹理坐标,/>为屏幕坐标,/>为正向映射函数。参见图9所示的一种正向映射算法示意图,可表示为:
;
;
(2)反向顺序的映射,是指屏幕空间到纹理平面的映射,也可以这么理解,即我们先按照一种先后顺序去访问屏幕空间的每一个像素,获取坐标信息,将颜色等属性信息赋予像素上。参见图10所示的一种反向映射算法示意图,也可表示为:
;
。
通过上述两种映射方式,对初始三维模型进行纹理映射,得到纹理映射后最终三维模型图,诸如图11所示的一种纹理映射后最终三维模型图,该纹理映射后最终三维模型图也即目标三维模型。
综上所述,本发明实施例提出了一种多日期卫星影像三维重建的方法,包括稀疏点云提取到最后的纹理映射整个算法流程。至少具有以下特点:(1)本发明实施例提出了一种FPC校准矩阵的分解,使用不包含倾斜因子的更简单的相机模型来替代SfM重建中的相机模型。(2)为了保证重建结果的一致性,本发明实施例对输入的图像应用相应的倾斜校正。上述改进使得能够在卫星图像重建领域中使用最先进的曲面重建算法。
本发明实施例提供了卫星影像三维重建方法的另一种实施方式,参见图12所示的另一种卫星影像三维重建方法的流程示意图,包括:对输入图像进行数据预处理:感兴趣区域提取,色调映射,全色图像锐化;采用基于改进相机模型的SFM算法对预处理图像进行稀疏点云提取;根据稀疏点结果重建稠密点云;采用贪婪投影三角化法和泊松重建法对稠密点云结果进行曲面重建;最后进行纹理映射即可得到最终的三维模型。本发明实施例可以有效改善卫星影像的三维重建效果。
对于前述实施例提供的卫星影像三维重建方法,本发明实施例提供了一种卫星影像三维重建装置,参见图13所示的一种卫星影像三维重建装置的结构示意图,该装置主要包括以下部分:
预处理模块1302,用于获取目标卫星采集的初始卫星影像序列,并对初始卫星影像序列进行预处理得到目标卫星影像序列;
匹配模块1304,用于对目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果;
倾斜校正模块1306,用于通过目标卫星对应的改进相机模型,对目标卫星影像序列中每个目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列;
模型重构模块1308,用于基于特征点匹配结果从无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据目标稀疏点云重构结构生成目标三维模型。
本发明实施例提供的卫星影像三维重建装置,利用改进相机模型对目标卫星影像序列中每个目标卫星影像进行倾斜校正,并在无倾斜卫星影像序列的基础上提取稀疏点云重构结构,进而生成目标三维模型,可以有效提高卫星影像的三维重建效果的一致性,从而改善卫星影像的三维重建效果。
在一种实施方式中,初始卫星影像序列包括多组初始卫星影像,每组初始卫星影像均包括初始全色影像和初始多光谱影像;预处理模块1302还用于:
对于每组初始卫星影像,从该初始卫星影像的初始多光谱影像中提取感兴趣区域;
对感兴趣区域中每个通道分别进行伽马校正处理,得到校正后感兴趣区域;
将校正后感兴趣区域投影至该初始卫星影像的初始全色影像上,得到目标全色影像;
将每个所述目标全色影像作为目标卫星影像,以构建得到目标卫星影像序列。
在一种实施方式中,还包括模型构建模块,用于:
获取目标卫星的初始相机模型;
将初始相机模型分解为仿射变换矩阵和分解后相机模型;其中,初始相机模型与分解后相机模型的逆的乘积等于仿射变换矩阵;
对分解后相机模型进行调整,以使调整后相机模型中不包含倾斜校正参数且包含平移变量;
基于初始相机模型与调整后相机模型,确定改进相机模型;其中,改进相机模型包含倾斜校正参数且不包含平移变量。
在一种实施方式中,模型构建模块,还用于:
按照如下公式确定改进相机模型:
;
其中,、/>为目标卫星搭载的相机在/>方向和/>方向上的焦距,/>为扭曲参数,/>、/>为像主点,/>为倾斜校正参数,/>为初始相机模型,为调整后相机模型的逆,/>为改进相机模型。
在一种实施方式中,模型重构模块1308还用于:
基于特征点匹配结果,从无倾斜卫星影像序列中筛选出包含有重叠部分的多个无倾斜影像对;
对无倾斜影像对进行图像配准处理和三角化处理,以得到初始稀疏点云重构结构;
对初始稀疏点云重构结构进行光束法平差处理,得到目标稀疏点云重构结构。
在一种实施方式中,模型重构模块1308还用于:
基于述目标稀疏点云重构结构,构建稠密点云重构结构;
基于稠密点云重构结构进行曲面重建,得到初始三维模型;
对初始三维模型进行纹理映射,得到目标三维模型。
在一种实施方式中,模型重构模块1308还用于:
构建稠密点云重构结构对应的八叉树;为八叉树中每个节点设置函数空间;基于每个节点对应的函数空间创建八叉树对应的向量场;利用向量场求解泊松方程,以通过求解得到的泊松方程提取稠密点云重构结构中的等值面,得到初始三维模型;
或者,将稠密点云重构结构投影至二维平面,得到二维平面内的点集;在二维平面内进行三角剖分处理得到三角网格;基于三角网格确定稠密点云重构结构中每个点之间的拓扑结构;基于拓扑结构生成初始三维模型。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
图14为本发明实施例提供的一种电子设备的结构示意图,该电子设备100包括:处理器140,存储器141,总线142和通信接口143,所述处理器140、通信接口143和存储器141通过总线142连接;处理器140用于执行存储器141中存储的可执行模块,例如计算机程序。
其中,存储器141可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口143(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线142可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器141用于存储程序,所述处理器140在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器140中,或者由处理器140实现。
处理器140可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器140中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器140可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器141,处理器140读取存储器141中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种卫星影像三维重建方法,其特征在于,包括:
获取目标卫星采集的初始卫星影像序列,并对所述初始卫星影像序列进行预处理得到目标卫星影像序列;
对所述目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果;
通过所述目标卫星对应的改进相机模型,对所述目标卫星影像序列中每个所述目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列;
基于所述特征点匹配结果从所述无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据所述目标稀疏点云重构结构生成目标三维模型。
2.根据权利要求1所述的卫星影像三维重建方法,其特征在于,所述初始卫星影像序列包括多组初始卫星影像,每组所述初始卫星影像均包括初始全色影像和初始多光谱影像;对所述初始卫星影像序列进行预处理得到目标卫星影像序列,包括:
对于每组初始卫星影像,从该初始卫星影像的所述初始多光谱影像中提取感兴趣区域;
对所述感兴趣区域中每个通道分别进行伽马校正处理,得到校正后感兴趣区域;
将所述校正后感兴趣区域投影至该初始卫星影像的所述初始全色影像上,得到目标全色影像;
将每个所述目标全色影像作为目标卫星影像,以构建得到目标卫星影像序列。
3.根据权利要求1所述的卫星影像三维重建方法,其特征在于,在通过所述目标卫星对应的改进相机模型,对所述目标卫星影像序列中每个所述目标卫星影像进行倾斜校正,得到无倾斜卫星影像之前,所述方法还包括:
获取所述目标卫星的初始相机模型;
将所述初始相机模型分解为仿射变换矩阵和分解后相机模型;其中,所述初始相机模型与所述分解后相机模型的逆的乘积等于所述仿射变换矩阵;
对所述分解后相机模型进行调整,以使调整后相机模型中不包含倾斜校正参数且包含平移变量;
基于所述初始相机模型与调整后相机模型,确定改进相机模型;其中,所述改进相机模型包含倾斜校正参数且不包含平移变量。
4.根据权利要求3所述的卫星影像三维重建方法,其特征在于,基于所述初始相机模型与调整后相机模型,确定改进相机模型,包括:
按照如下公式确定改进相机模型:
;
其中,、/>为所述目标卫星搭载的相机在/>方向和/>方向上的焦距,/>为扭曲参数,/>、为像主点,/>为倾斜校正参数,/>为初始相机模型,为调整后相机模型的逆,/>为改进相机模型。
5.根据权利要求1所述的卫星影像三维重建方法,其特征在于,基于所述特征点匹配结果从所述无倾斜卫星影像序列中提取目标稀疏点云重构结构,包括:
基于所述特征点匹配结果,从所述无倾斜卫星影像序列中筛选出包含有重叠部分的多个无倾斜影像对;
对所述无倾斜影像对进行图像配准处理和三角化处理,以得到初始稀疏点云重构结构;
对所述初始稀疏点云重构结构进行光束法平差处理,得到目标稀疏点云重构结构。
6.根据权利要求1所述的卫星影像三维重建方法,其特征在于,根据所述目标稀疏点云重构结构生成目标三维模型,包括:
基于述目标稀疏点云重构结构,构建稠密点云重构结构;
基于所述稠密点云重构结构进行曲面重建,得到初始三维模型;
对所述初始三维模型进行纹理映射,得到目标三维模型。
7.根据权利要求6所述的卫星影像三维重建方法,其特征在于,基于所述稠密点云重构结构进行曲面重建,得到初始三维模型,包括:
构建所述稠密点云重构结构对应的八叉树;为所述八叉树中每个节点设置函数空间;基于所述每个所述节点对应的所述函数空间创建所述八叉树对应的向量场;利用所述向量场求解泊松方程,以通过求解得到的所述泊松方程提取所述稠密点云重构结构中的等值面,得到初始三维模型;
或者,将所述稠密点云重构结构投影至二维平面,得到所述二维平面内的点集;在所述二维平面内进行三角剖分处理得到三角网格;基于所述三角网格确定所述稠密点云重构结构中每个点之间的拓扑结构;基于所述拓扑结构生成初始三维模型。
8.一种卫星影像三维重建装置,其特征在于,包括:
预处理模块,用于获取目标卫星采集的初始卫星影像序列,并对所述初始卫星影像序列进行预处理得到目标卫星影像序列;
匹配模块,用于对所述目标卫星影像序列中每个目标卫星影像进行特征点提取与匹配处理,得到特征点匹配结果;
倾斜校正模块,用于通过所述目标卫星对应的改进相机模型,对所述目标卫星影像序列中每个所述目标卫星影像进行倾斜校正,得到无倾斜卫星影像序列;
模型重构模块,用于基于所述特征点匹配结果从所述无倾斜卫星影像序列中提取目标稀疏点云重构结构,并根据所述目标稀疏点云重构结构生成目标三维模型。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310980912.9A CN116704139A (zh) | 2023-08-07 | 2023-08-07 | 卫星影像三维重建方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310980912.9A CN116704139A (zh) | 2023-08-07 | 2023-08-07 | 卫星影像三维重建方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116704139A true CN116704139A (zh) | 2023-09-05 |
Family
ID=87824276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310980912.9A Pending CN116704139A (zh) | 2023-08-07 | 2023-08-07 | 卫星影像三维重建方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116704139A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
US20220392156A1 (en) * | 2021-06-08 | 2022-12-08 | Vricon Systems Aktiebolag | Method for 3d reconstruction from satellite imagery |
-
2023
- 2023-08-07 CN CN202310980912.9A patent/CN116704139A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
US20220392156A1 (en) * | 2021-06-08 | 2022-12-08 | Vricon Systems Aktiebolag | Method for 3d reconstruction from satellite imagery |
Non-Patent Citations (5)
Title |
---|
SEBASTIAN BULLINGER: "3D SURFACE RECONSTRUCTION FROM MULTI-DATE SATELLITE IMAGES", pages 1 - 9, Retrieved from the Internet <URL:https://arxiv.org/abs/2102.02502> * |
UP UP UP!: ""基于VisualSFM的三维重建(一)", pages 1 - 14, Retrieved from the Internet <URL:https://blog.csdn.net/qq_42882082/article/details/117884221> * |
UP UP UP!: ""基于VisualSFM的三维重建(一)"", pages 1 - 9, Retrieved from the Internet <URL:https://blog.csdn.net/qq_42882082/article/details/117884221> * |
WINER00: "泊松曲面重建(基于PCL)", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/qq_41485193/article/details/128641388> * |
翁永红,陈尚法: "《水利水电工程三维可视化设计》", 长江出版社, pages: 315 - 316 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
Kalantari et al. | Learning-based view synthesis for light field cameras | |
Hacohen et al. | Deblurring by example using dense correspondence | |
Dong et al. | Image reconstruction with locally adaptive sparsity and nonlocal robust regularization | |
Pal et al. | A brief survey of recent edge-preserving smoothing algorithms on digital images | |
CN107507135B (zh) | 基于编码光圈和靶标的图像重构方法 | |
CN112969005A (zh) | 用于处理图像的方法和系统 | |
CN106683174B (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
Pickup | Machine learning in multi-frame image super-resolution | |
WO2008105606A1 (en) | Reconstructing three dimensional oil paintings | |
CN109671039B (zh) | 基于分层特征的图像矢量化方法 | |
CN111415310A (zh) | 一种图像处理方法及装置、存储介质 | |
KR20190009588A (ko) | 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법 | |
Ji et al. | Geometry-aware single-image full-body human relighting | |
Xu et al. | Exploiting raw images for real-scene super-resolution | |
Fotiadou et al. | Snapshot high dynamic range imaging via sparse representations and feature learning | |
WO2022233252A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
Zhao et al. | Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring | |
CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
Peng et al. | PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images | |
WO2018030593A1 (ko) | 라플라시안 패치 기반 이미지 합성 방법 및 장치 | |
CN112598789A (zh) | 图像纹理重建方法、装置、设备及存储介质 | |
Mandal et al. | Employing structural and statistical information to learn dictionary (s) for single image super-resolution in sparse domain | |
Bullinger et al. | 3D Surface Reconstruction From Multi-Date Satellite Images | |
CN117152330A (zh) | 一种基于深度学习的点云3d模型贴图方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |