CN115359195A - 一种正射影像生成方法、装置、存储介质和电子设备 - Google Patents

一种正射影像生成方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN115359195A
CN115359195A CN202210842183.6A CN202210842183A CN115359195A CN 115359195 A CN115359195 A CN 115359195A CN 202210842183 A CN202210842183 A CN 202210842183A CN 115359195 A CN115359195 A CN 115359195A
Authority
CN
China
Prior art keywords
target
scene
image
value
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210842183.6A
Other languages
English (en)
Other versions
CN115359195B (zh
Inventor
杨军星
王天骄
于鼎龙
黄鹤
王坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202210842183.6A priority Critical patent/CN115359195B/zh
Publication of CN115359195A publication Critical patent/CN115359195A/zh
Application granted granted Critical
Publication of CN115359195B publication Critical patent/CN115359195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种正射影像生成方法、装置、存储介质和电子设备。其中方法包括：获取目标拍摄场景的若干视角图像；基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。本申请中的正射影像生成方法可以获得无侧立面、地物边缘无弯曲的高质量正射影像。

Description

一种正射影像生成方法、装置、存储介质和电子设备
技术领域
本发明涉及正射影像生成领域，特别涉及一种正射影像生成方法、装置、存储介质和电子设备。
背景技术
随着科学技术的不断发展，空间地理信息作为国民生产的空间基底在越来越多的领域中得到运用。同时具有地图几何精度和影像特征的数字正射影像(DigitalOrthophoto Map，简称DOM)，具备精度高、信息丰富、易获取等优点，己经成为国民经济、国防建设、社会发展和人民生活中最重要的空间地理信息数据之一。使用数字高程模型(Digital Elevation Model，简称DEM)、数字表面模型(Digital Surface Model，简称DSM)将卫星影像等数据进行微分纠正是制作DOM的方法。然而，由于DEM不存在建筑物等信息、DSM精度受限等原因导致影像前景区域非正射现象明显，正射影像在建筑物等区域不可避免的出现侧立面、地物边缘弯曲等非正射的问题。
由此，亟需一种正射影像生成方法，以解决现有技术中正射影像生成过程中容易出现侧立面、地物边缘弯曲等非正射问题。
发明内容
有鉴于此，本发明提供了一种正射影像生成方法、装置及设备，主要目的在于解决目前存在正射影像生成过程中容易出现侧立面、地物边缘弯曲等非正射问题。
为解决上述问题，本申请提供一种正射影像生成方法，包括：
获取目标拍摄场景的若干视角图像；
基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
可选的，所述将各所述视角图像作为训练样本，对预设的神经辐射网络进行训练，得到目标神经辐射场之前，所述方法还包括：构建目标场景体素网格，以在所述目标场景体素网格内构建所述目标神经辐射场，具体包括：
获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据；
基于各所述稀疏点的位置数据构建场景区域包围盒，以预设的分辨率构建第一场景体素网格；
基于各几何信息对所述第一场景体素网格进行处理，获得目标场景体素网格，所述几何信息包括各视角图像的影像高度、三维网格和稀疏点云中的一种或几种。
可选的，所述获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据，具体包括：
对目标拍摄场景的若干视角图像进行特征提取处理，得到各所述视角图像对应的特征信息；
基于各所述特征信息进行图像匹配，获得由包括各所述视角图像和各所述视角图像之间的映射关系的关联图；
基于所述关联图，采用增量式运动恢复估计算法，计算获得各所述视角图像对应的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据。
可选的，所述基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练之前，所述方法还包括：构建目标神经辐射网络，以基于所述目标神经辐射网络构建目标神经辐射场，具体包括：
步骤一：对所述关联图进行区域划分，获得与所述关联图对应的若干子区域，所述子区域中包含各视角图像的重叠区域；
步骤二：基于各摄影中心和视角影像确定若干条射线，在各所述射线上进行采样，得到目标子区域对应的各目标采样点的位置数据，所述目标采样点在目标场景体素网格中；
步骤三：将各所述目标采样点输入至与所述目标子区域对应的预设的初始神经辐射网络中，得到与目标子区域对应的各所述目标采样点的颜色预测值和透明度预测值；
步骤四：根据目标子区域对应的各所述目标采样点的颜色参考值、透明度参考值、所述颜色预测值和所述透明度预测值以及几何信息的约束能量计算损失值，根据所述损失值对预先构建的各初始神经网络进行训练，调整各所述目标采样点对应的球谐函数系数值，得到与各所述子区域对应的第一神经辐射网络；
步骤五：获取目标子区域的所述目标采样点在预设采样方向上的第一色彩值和第一透明度值；
步骤六：基于各所述第一色彩值和第一透明度值计算所述目标子区域中重叠区域的第二色彩值和第二透明度值；
步骤七：基于所述第二色彩值和所述第二透明度值作为先验约束条件对各第一神经辐射网络进行训练，调整各目标采样点的球谐函数系数值，得到由更新后的各所述第一神经辐射网络组成的第二神经辐射网络；
步骤八：判断当前迭代次数是否达到预设迭代次数，若当前迭代次数大于或者等于预设迭代次数阈值时执行步骤九；若当前迭代次数小于预设迭代次数阈值时，将各所述目标采样点输入各第一神经辐射网络，得到更新后的颜色预测值和更新后的透明度预测值，重复执行步骤四至步骤八；
步骤九：将第二神经辐射网络作为目标神经辐射网络。
可选的，所述步骤一：基于各摄影中心和视角影像确定若干条射线，在各所述射线上进行采样，得到若干目标采样点对应的的位置数据，具体包括：
基于各摄影中心和各视角影像确定若干条穿过所述目标场景体素网格的射线；
在所述目标体素网格中的各射线上进行采样，获得各目标采样点对应的位置数据。
可选的，所述基于各所述视角图像对预设的神经网络进行训练，得到目标神经辐射场之前所述方法还包括：
对各所述视角图像进行隐特征提取，获得与各所述视角图像对应的光照特征向量；
所述所述基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像，具体包括：
设置正射影像投影面；
根据所述正射影像投影面上的各像素点的位置，确定若干投影面法线；
基于所述目标辐射场中投影面法线上的各目标离散点的光照特征向量、色彩值和透明度值采用体渲染的方法，得到与目标正射影像各像素点对应的色彩值。
为解决上述问题，本申请提供一种正射影像生成装置，包括：
获取模块：用于获取目标拍摄场景的若干视角图像；
训练模块:用于基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
生成模块：用于基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
可选的，所述装置还包括：目标场景体素网格构建模块，所述目标场景体素网格构建模块具体用于：
获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据；
基于各所述稀疏点的位置数据构建场景区域包围盒，以预设的分辨率构建第一场景体素网格；
基于各几何信息对所述第一场景体素网格进行处理，获得目标场景体素网格，所述几何信息包括各视角图像的影像高度、三维网格和稀疏点云中的一种或几种。
为解决上述问题，本申请提供一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述正射影像生成方法的步骤。
为解决上述问题，本申请提供一种电子设备，其特征在于，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述所述正射影像生成方法的步骤。
本申请通过预先获取若干视角图像，将所述若干视角图像作为训练样本进行训练得到目标神经辐射场，基于所述目标神经辐射场渲染出目标拍摄场景中各目标离散点对应的色彩值和透明度值，最终通过体渲染的方法对所述色彩值和透明度值进行绘制得到最终的正射影像。通过本申请中的方法可以得到无侧立面、地物边缘弯曲问题的高质量的正射影像。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例一种正射影像生成方法的流程图；
图2为本申请又一实施例一种正射影像生成方法的流程图；
图3为本申请又一实施例一种正射影像生成装置的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例提供一种正射影像生成方法，如图1所示，包括：
步骤S101：获取目标拍摄场景的若干视角图像；
本步骤在具体实施过程中，可以通过无人机对目标拍摄场景在不同视角下进行视角图像的拍摄，本申请对视角影像的获取方法不做限制，视角影像的视角方向可以根据实际需要具体设置或者选择，得到各所述视角影像后，基于所述视角影像作为训练样本对初始神经辐射网络进行训练，获得目标神经网络，为后续以基于所述目标神经网络构建目标神经辐射场，基于所述目标神经辐射场获得正射影像奠定了基础。
步骤S102：基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
本步骤在具体实施过程中，首先，建立目标场景体素网格。建立所述目标场景体素网格包括：获取各所述视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据，基于各所述稀疏点的位置数据建立所述目标场景的包围盒，确定目标场景的大致有效区域，即所述第一场景体素网格；然后通过预先获取的各视角图像的影像高度、三维网格和稀疏点云等几何信息对所述第一场景体素网格进行处理，排除第一场景体素网格中的一些无效区域，例如：空中等大部分无效区域，获得目标场景体素网格。然后基于所述视角图像作为训练样本，在所述目标场景体素网格内对预设的目标神经辐射网络进行训练，得到所述目标神经辐射场，通过神经辐射场进行正射影像生成可以有效的避免生成正射影像过程中出现侧立面、地物边缘弯曲的问题。然后基于所述目标神经辐射场和预设的正射影像投影面，生成所述正射影像。
步骤S103：基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
本步骤在具体实施过程中，首先设置正射影像的投影面，在正射影像投影面上按照预设的分辨率确定各像素点；基于各所述像素点的位置，确定若干投影面的的法线，基于所述目标辐射场中投影面法线上的各目标离散点的光照特征向量、色彩值和透明度值采用体渲染方法生成所述正射影像。
本申请通过预先获取若干视角图像，将所述若干视角图像作为训练样本进行训练得到目标神经辐射场，基于所述目标神经辐射场渲染出目标拍摄场景中各目标离散点对应的色彩值和透明度值，最终通过体渲染的方法对所述色彩值和透明度值进行绘制得到最终的正射影像。通过本申请中的方法可以得到无侧立面、地物边缘弯曲问题的高质量的正射影像。
本申请又一实施例，提供一种正射影像生成方法，如图2所示，包括：
步骤S201：获取目标拍摄场景的若干视角图像；
本步骤在具体实施过程中，可以通过无人机对目标拍摄场景在不同视角下进行视角图像的拍摄，本申请对视角影像的获取方法不做限制，视角影像的视角方向可以根据实际需要具体设置或者选择，得到各所述视角影像后，基于所述视角影像作为训练样本对初始神经辐射网络进行训练，获得目标神经网络，为后续以基于所述目标神经网络构建目标神经辐射场，基于所述目标神经辐射场获得正射影像奠定了基础。
步骤S202：基于各所述视角图像，构建目标场景体素网格；
本步骤在具体实施过程中，首先获取目标拍摄场景的若干视角图像的位姿信息以及目标拍摄场景中的若干稀疏点的位置数据；具体的，对目标拍摄场景的若干视角图像进行特征提取处理，得到各所述视角图像对应的特征信息，所述特征信息包括：尺度不变特征变换特征(Scale-invariant feature transform，简称：SIFT)，ORB特征(Oriented FASTand Rotated BRIEF简称ORB)等；然后基于各所述特征信息进行图像匹配，获得由包括各所述视角图像和各所述视角图像之间的映射关系的关联图；关联图反映各图像之间的位置关系以及各图像之间重叠区域，最后基于所述关联图，采用增量式运动恢复估计算法，计算获得各所述视角图像对应的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据。其次：基于各所述稀疏点的位置数据构建场景区域包围盒，以预设的分辨率构建第一场景体素网格；最后：基于预先获取的各视角图像的影像高度、三维网格和稀疏点云各几何信息对所述第一场景体素网格进行处理，获得目标场景体素网格，本步骤中构建目标场景体素网格是为了确定目标场景的有效区域，先经过各稀疏点确定一个大致有效的区域，即所述第一场景体素网格，然后通过几何信息对第一场景体素网格进行处理，排除一些无效区域，例如：排除无效区域天空等，这样就可以减少第一场景体素网格中稀疏体素的数量，同时通过这些额外的各视角图像的影像高度、三维网格和稀疏点云等几何信息，自适应的引导辐射场在不同区域的采样密度，有各视角图像的影像高度、三维网格和稀疏点云等几何信息的地方加大采样密度，其他地方减少采样密度，为得到目标神经辐射场奠定了基础。
步骤S203：构建目标神经辐射网络；
本步骤在具体实施过程中，包括如下步骤：
步骤一：对所述关联图进行区域划分，获得与所述关联图对应的若干子区域，所述子区域中包含各视角图像的重叠区域；
本步骤在具体实施过程中，为了提高神经辐射场的优化效率，将所述神经辐射网络场分成若干子区域，以对若干区域进行优化后再对整体区域进行优化，得到最终的目标神经辐射网络。
步骤二：基于各摄影中心和视角影像确定若干条射线，在各所述射线上进行采样，得到目标子区域对应的各目标采样点的位置数据，所述目标采样点在目标场景体素网格中；
本步骤在具体实施过程中，基于各摄影中心和各视角影像确定若干条穿过所述目标场景体素网格的射线；在所述目标体素网格中的各射线上进行采样，获得各目标采样点的位置数据。
步骤三：将各所述目标采样点输入至与所述目标子区域对应的预设的初始神经辐射网络中，得到与目标子区域对应的各所述目标采样点的颜色预测值和透明度预测值；
步骤四：根据目标子区域对应的各所述目标采样点的颜色参考值、透明度参考值、所述颜色预测值和所述透明度预测值以及几何信息的约束能量计算损失值，根据所述损失值对预先构建的各初始神经网络进行训练，调整各所述目标采样点对应的球谐函数系数值，得到与各所述子区域对应的第一神经辐射网络；
具体的，损失函数公式为：C＝Cc+Cf，其中Cc为目标采样点经过初始神经辐射网络渲染得到的色彩值预测值与目标采样点对应的视角影像色彩值参考值的差值的二范数，其中Cf表示点云、三维网格等额外信息的约束能量。基于所述损失值的大小对预先构建的各初始神经网络进行训练，调整各目标采样点对应的球谐函数系数值以及神经网络权重值，得到与各所述子区域对应的第一神经辐射网络。
步骤五：获取目标子区域的所述目标采样点在预设采样方向上的第一色彩值和第一透明度值；
步骤六：基于各所述第一色彩值和第一透明度值计算所述目标子区域中重叠区域的第二色彩值和第二透明度值；
步骤七：基于所述第二色彩值和所述第二透明度值作为先验约束条件对各第一神经辐射网络进行训练，调整各目标采样点的球谐函数系数值，得到由更新后的各所述第一神经辐射网络组成的第二神经辐射网络；
步骤八：判断当前迭代次数是否达到预设迭代次数，若当前迭代次数大于或者等于预设迭代次数阈值时执行步骤九；若当前迭代次数小于预设迭代次数阈值时，将各所述目标采样点输入各第一神经辐射网络，得到更新后的颜色预测值和更新后的透明度预测值，重复执行步骤四至步骤八；
步骤九：将第二神经辐射网络作为目标神经辐射网络。
步骤S204：基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，在所述目标场景体素网格内构建目标神经辐射场；
本步骤在具体实施过程中，将各所述视角图像作为训练样本，在所述目标场景体素网格内训练所述目标神经网络，得到所述目标神经辐射场，通过目标神经辐射场进行正射影像生成可以有效的避免生成正射影像过程中出现侧立面、地物边缘弯曲的问题。然后基于所述目标神经辐射场和预设的正射影像投影面，生成所述正射影像。
步骤S205：基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
本步骤在具体实施过程中，首先设置正射影像的投影面，在正射影像投影面上按照预设的分辨率确定各像素点；基于各所述像素点的位置，确定若干投影面的的法线，基于所述目标辐射场中投影面法线上的各目标离散点的光照特征向量、色彩值和透明度值采用体渲染的方法，得到拍摄场景中各目标离散点对应的色彩值。生成所述目标正射影像。本步骤中采用的体渲染的方法如如下公式1所示：
Figure BDA0003751576360000101
其中
Figure BDA0003751576360000102
表示神经网络预测的RGB色彩值，ci表示神经网络预测的第i个采样点的色彩值，σi表示该点的透明度，exp为指数函数，δi相邻两个目标离散点的距离。
本申请通过预先获取若干视角图像，将所述若干视角图像作为训练样本进行训练得到目标神经辐射场，基于所述目标神经辐射场渲染目标拍摄场景各目标离散点对应的色彩值和透明度值，最终通过体渲染的方法对所述色彩值和透明度值进行绘制得到最终的正射影像。通过本申请中的方法可以得到无侧立面、地物边缘弯曲问题的高质量的正射影像。
本申请另一实施例提供一种正射影像生成装置，如图3所示，包括：
获取模块1：用于获取目标拍摄场景的若干视角图像；
训练模块2:用于基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
生成模块3：基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
具体实施过程中，所述正射影像生成装置还包括：第一构建模块，所述构建模块具体用于构建目标场景体素网格，以在所述目标场景体素网格内构建所述目标神经辐射场，具体包括：获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据；基于各所述稀疏点的位置数据构建场景区域包围盒，以预设的分辨率构建第一场景体素网格；基于各几何信息对所述第一场景体素网格进行处理，获得目标场景体素网格，所述几何信息包括各视角图像的影像高度、三维网格和稀疏点云中的一种或几种。
具体实施过程中，所述第一构建模块还用于：对目标拍摄场景的若干视角图像进行特征提取处理，得到各所述视角图像对应的特征信息；基于各所述特征信息进行图像匹配，获得由包括各所述视角图像和各所述视角图像之间的映射关系的关联图；基于所述关联图，采用增量式运动恢复估计算法，计算获得各所述视角图像对应的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据。
具体实施过程中，所述正射影像生成装置还包括：第二构建模块，所述第二构建模块具体用于：构建目标神经辐射网络，以基于所述目标神经辐射网络构建目标神经辐射场，具体包括：步骤一：对所述关联图进行区域划分，获得与所述关联图对应的若干子区域，所述子区域中包含各视角图像的重叠区域；步骤二：基于各摄影中心和视角影像确定若干条射线，在各所述射线上进行采样，得到目标子区域对应的各目标采样点的位置数据，所述目标采样点在目标场景体素网格中；步骤三：将各所述目标采样点输入至与所述目标子区域对应的预设的初始神经辐射网络中，得到与目标子区域对应的各所述目标采样点的颜色预测值和透明度预测值；步骤四：根据目标子区域对应的各所述目标采样点的颜色参考值、透明度参考值、所述颜色预测值和所述透明度预测值以及几何信息的约束能量计算损失值，根据所述损失值对预先构建的各初始神经网络进行训练，调整各所述目标采样点对应的球谐函数系数值，得到与各所述子区域对应的第一神经辐射网络；步骤五：获取目标子区域的所述目标采样点在预设采样方向上的第一色彩值和第一透明度值；步骤六：基于各所述第一色彩值和第一透明度值计算所述目标子区域中重叠区域的第二色彩值和第二透明度值；步骤七：基于所述第二色彩值和所述第二透明度值作为先验约束条件对各第一神经辐射网络进行训练，调整各目标采样点的球谐函数系数值，得到由更新后的各所述第一神经辐射网络组成的第二神经辐射网络；步骤八：判断当前迭代次数是否达到预设迭代次数，若当前迭代次数大于或者等于预设迭代次数阈值时执行步骤九；若当前迭代次数小于预设迭代次数阈值时，将各所述目标采样点输入各第一神经辐射网络，得到更新后的颜色预测值和更新后的透明度预测值，重复执行步骤四至步骤八；步骤九：将第二神经辐射网络作为目标神经辐射网络。
具体实施过程中，所述第二构建模块还用于：基于各摄影中心和各视角影像确定若干条穿过所述目标场景体素网格的射线；在所述目标体素网格中的各射线上进行采样，获得各目标采样点的位置数据。
具体实施过程中，所述正射影像生成装置还包括：隐特征提取模块，所述隐特征提取模块具体用于对各所述视角图像进行隐特征提取，获得与各所述视角图像对应的光照特征向量；所述基于所述目标神经辐射场，获得目标正射影像各目标离散点对应的色彩值和透明度值，具体包括：设置正射影像投影面；根据所述正射影像投影面上的各像素点的位置，确定若干投影面法线；基于所述目标辐射场中投影面法线上的各目标离散点的光照特征向量、色彩值和透明度值采用体渲染的方法，得到与目标正射影像各像素点对应的色彩值和透明度值。
本申请通过预先获取若干视角图像，将所述若干视角图像作为训练样本进行训练得到目标神经辐射场，基于所述目标神经辐射场渲染出正射影像中的每个目标离散点对应的色彩值和透明度值，最终通过体渲染的方法对所述色彩值和透明度值进行绘制得到最终的正射影像。通过本申请中的方法可以得到无侧立面、地物边缘弯曲问题的高质量的正射影像。
本申请另一实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
步骤一、获取目标拍摄场景的若干视角图像；
步骤二、基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
步骤三、基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
上述方法步骤的具体实施过程可参见上述任意正射影像生成方法的实施例，本实施例在此不再重复赘述。
本申请通过预先获取若干视角图像，将所述若干视角图像作为训练样本进行训练得到目标神经辐射场，基于所述目标神经辐射场渲染出目标拍摄场景中各目标离散点对应的色彩值和透明度值，最终通过体渲染的方法对所述色彩值和透明度值进行绘制得到最终的正射影像。通过本申请中的方法可以得到无侧立面、地物边缘弯曲问题的高质量的正射影像。
本申请另一实施例提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现如下方法步骤：
步骤一、获取目标拍摄场景的若干视角图像；
步骤二、基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
步骤三、基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
上述方法步骤的具体实施过程可参见上述任意正射影像生成方法的实施例，本实施例在此不再重复赘述。
本申请通过预先获取若干视角图像，将所述若干视角图像作为训练样本进行训练得到目标神经辐射场，基于所述目标神经辐射场渲染出目标拍摄场景中的各目标离散点对应的色彩值和透明度值，最终通过体渲染的方法对所述色彩值和透明度值进行绘制得到最终的正射影像。通过本申请中的方法可以得到无侧立面、地物边缘弯曲问题的高质量的正射影像。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种正射影像生成方法，其特征在于，包括：
获取目标拍摄场景的若干视角图像；
基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
2.如权利要求1所述的方法，其特征在于，所述将各所述视角图像作为训练样本，对预设的神经辐射网络进行训练，得到目标神经辐射场之前，所述方法还包括：构建目标场景体素网格，以在所述目标场景体素网格内构建所述目标神经辐射场，具体包括：
获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据；
基于各所述稀疏点的位置数据构建场景区域包围盒，以预设的分辨率构建第一场景体素网格；
基于各几何信息对所述第一场景体素网格进行处理，获得目标场景体素网格，所述几何信息包括各视角图像的影像高度、三维网格和稀疏点云中的一种或几种。
3.如权利要求2所述的方法，其特征在于，所述获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据，具体包括：
对目标拍摄场景的若干视角图像进行特征提取处理，得到各所述视角图像对应的特征信息；
基于各所述特征信息进行图像匹配，获得由包括各所述视角图像和各所述视角图像之间的映射关系关联图；
基于所述映射关系关联图，采用增量式运动恢复估计算法，计算获得各所述视角图像对应的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据。
4.如权利要求3所述的方法，其特征在于，所述基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练之前，所述方法还包括：构建目标神经辐射网络，以基于所述目标神经辐射网络构建目标神经辐射场，具体包括：
步骤一：对所述关联图进行区域划分，获得与所述关联图对应的若干子区域，所述子区域中包含各视角图像的重叠区域；
步骤二：基于各摄影中心和视角影像确定若干条射线，在各所述射线上进行采样，得到目标子区域对应的各目标采样点的位置数据，所述目标采样点在目标场景体素网格中；
步骤三：将各所述目标采样点输入至与所述目标子区域对应的预设的初始神经辐射网络中，得到与目标子区域对应的各所述目标采样点的颜色预测值和透明度预测值；
步骤四：根据目标子区域对应的各所述目标采样点的颜色参考值、透明度参考值、所述颜色预测值和所述透明度预测值以及几何信息的约束能量计算损失值，根据所述损失值对预先构建的各初始神经网络进行训练，调整各所述目标采样点对应的球谐函数系数值，得到与各所述子区域对应的第一神经辐射网络；
步骤五：获取目标子区域的所述目标采样点在预设采样方向上的第一色彩值和第一透明度值；
步骤六：基于各所述第一色彩值和第一透明度值计算所述目标子区域中重叠区域的第二色彩值和第二透明度值；
步骤七：基于所述第二色彩值和所述第二透明度值作为先验约束条件对各第一神经辐射网络进行训练，调整各目标采样点的球谐函数系数值，得到由更新后的各所述第一神经辐射网络组成的第二神经辐射网络；
步骤八：判断当前迭代次数是否达到预设迭代次数，若当前迭代次数大于或者等于预设迭代次数阈值时执行步骤九；若当前迭代次数小于预设迭代次数阈值时，将各所述目标采样点输入各第一神经辐射网络，得到更新后的颜色预测值和更新后的透明度预测值，重复执行步骤四至步骤八；
步骤九：将第二神经辐射网络作为目标神经辐射网络。
5.如权利要求4所述的方法，其特征在于，所述步骤一：基于各摄影中心和视角影像确定若干条射线，在各所述射线上进行采样，得到若干目标采样点的位置数据，具体包括：
基于各摄影中心和各视角影像确定若干条穿过所述目标场景体素网格的射线；
在所述目标体素网格中的各射线上进行采样，获得各所述目标采样点的位置数据。
6.如权利要求1所述的方法，其特征在于，所述基于各所述视角图像对预设的神经网络进行训练，得到目标神经辐射场之前所述方法还包括：
对各所述视角图像进行隐特征提取，获得与各所述视角图像对应的光照特征向量；
所述基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像，具体包括：
设置正射影像投影面；
根据所述正射影像投影面上的各像素点的位置，确定若干投影面法线；
基于所述目标辐射场中各投影面法线上的各目标离散点的光照特征向量、色彩值和透明度值采用体渲染的方法，得到与目标正射影像各像素点对应的色彩值。
7.一种正射影像生成装置，其特征在于，包括：
获取模块：用于获取目标拍摄场景的若干视角图像；
训练模块:用于基于各所述视角图像作为训练样本，采用预设的目标神经辐射网络进行训练，得到目标神经辐射场；
生成模块：用于基于所述目标神经辐射场，采用预设的图像渲染方法生成目标正射影像。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：目标场景体素网格构建模块，所述目标场景体素网格构建模块具体用于：
获取目标拍摄场景的若干视角图像的位姿信息以及所述目标拍摄场景中的若干稀疏点的位置数据；
基于各所述稀疏点的位置数据构建场景区域包围盒，以预设的分辨率构建第一场景体素网格；
基于各几何信息对所述第一场景体素网格进行处理，获得目标场景体素网格，所述几何信息包括各视角图像的影像高度、三维网格和稀疏点云中的一种或几种。
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述正射影像生成方法的步骤。
10.一种电子设备，其特征在于，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述权利要求1-7任一项所述正射影像生成方法的步骤。
CN202210842183.6A 2022-07-18 2022-07-18 一种正射影像生成方法、装置、存储介质和电子设备 Active CN115359195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842183.6A CN115359195B (zh) 2022-07-18 2022-07-18 一种正射影像生成方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842183.6A CN115359195B (zh) 2022-07-18 2022-07-18 一种正射影像生成方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN115359195A true CN115359195A (zh) 2022-11-18
CN115359195B CN115359195B (zh) 2023-06-20

Family

ID=84030983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842183.6A Active CN115359195B (zh) 2022-07-18 2022-07-18 一种正射影像生成方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN115359195B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984458A (zh) * 2022-12-12 2023-04-18 广东横琴全域空间人工智能有限公司 基于辐射场的目标物体模型提取方法、系统及控制器
CN116152323A (zh) * 2023-04-18 2023-05-23 荣耀终端有限公司 深度估计方法、单目深度估计模型生成方法和电子设备
CN116433822A (zh) * 2023-04-28 2023-07-14 北京数原数字化城市研究中心 一种神经辐射场训练方法、装置、设备及介质
CN117274472A (zh) * 2023-08-16 2023-12-22 武汉大学 一种基于隐式三维表达的航空真正射影像生成方法和系统
CN117274472B (zh) * 2023-08-16 2024-05-31 武汉大学 一种基于隐式三维表达的航空真正射影像生成方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
CN112154484A (zh) * 2019-09-12 2020-12-29 深圳市大疆创新科技有限公司 正射影像生成方法、系统和存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN114140510A (zh) * 2021-12-03 2022-03-04 北京影谱科技股份有限公司 一种增量式三维重建方法、装置以及计算机设备
CN114549731A (zh) * 2022-04-22 2022-05-27 清华大学 视角图像的生成方法、装置、电子设备及存储介质
CN114581581A (zh) * 2022-03-04 2022-06-03 杭州像衍科技有限公司 基于自适应划分区域的神经体辐射场渲染加速方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
CN112154484A (zh) * 2019-09-12 2020-12-29 深圳市大疆创新科技有限公司 正射影像生成方法、系统和存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN114140510A (zh) * 2021-12-03 2022-03-04 北京影谱科技股份有限公司 一种增量式三维重建方法、装置以及计算机设备
CN114581581A (zh) * 2022-03-04 2022-06-03 杭州像衍科技有限公司 基于自适应划分区域的神经体辐射场渲染加速方法及装置
CN114549731A (zh) * 2022-04-22 2022-05-27 清华大学 视角图像的生成方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王传旭;刘云;: "基于时空运动特征的运动姿态视频检索方法" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984458A (zh) * 2022-12-12 2023-04-18 广东横琴全域空间人工智能有限公司 基于辐射场的目标物体模型提取方法、系统及控制器
CN115984458B (zh) * 2022-12-12 2023-10-03 广东横琴全域空间人工智能有限公司 基于辐射场的目标物体模型提取方法、系统及控制器
CN116152323A (zh) * 2023-04-18 2023-05-23 荣耀终端有限公司 深度估计方法、单目深度估计模型生成方法和电子设备
CN116152323B (zh) * 2023-04-18 2023-09-08 荣耀终端有限公司 深度估计方法、单目深度估计模型生成方法和电子设备
CN116433822A (zh) * 2023-04-28 2023-07-14 北京数原数字化城市研究中心 一种神经辐射场训练方法、装置、设备及介质
CN116433822B (zh) * 2023-04-28 2023-11-07 北京数原数字化城市研究中心 一种神经辐射场训练方法、装置、设备及介质
CN117274472A (zh) * 2023-08-16 2023-12-22 武汉大学 一种基于隐式三维表达的航空真正射影像生成方法和系统
CN117274472B (zh) * 2023-08-16 2024-05-31 武汉大学 一种基于隐式三维表达的航空真正射影像生成方法和系统

Also Published As

Publication number Publication date
CN115359195B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN115359195B (zh) 一种正射影像生成方法、装置、存储介质和电子设备
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
CN110826357A (zh) 对象三维检测及智能驾驶控制的方法、装置、介质及设备
CN107843251A (zh) 移动机器人的位姿估计方法
CN110827302A (zh) 基于深度图卷积网络的点云目标提取方法及装置
CN113298947B (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN109766896B (zh) 一种相似度度量方法、装置、设备和存储介质
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN117115243B (zh) 一种基于街景图片的建筑群外立面窗户定位方法及装置
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
CN115984439A (zh) 一种伪装目标的三维对抗纹理生成方法和装置
CN113487713B (zh) 一种点云特征提取方法、装置及电子设备
CN114998496A (zh) 一种基于场景航拍图及稀疏点云的正射影像快速生成方法
CN114332364A (zh) 一种基于地基云图的三维云场景建模与可视化方法
CN117649602B (zh) 基于人工智能的图像处理方法及系统
CN116612184B (zh) 一种基于监控场景的无人机相机位姿精确估算方法
CN117274472B (zh) 一种基于隐式三维表达的航空真正射影像生成方法和系统
CN116680871B (zh) 一种全球背景辐射数据及丰度的获取方法、装置及设备
CN114022385B (zh) 一种基于局部曲面拟合的图像复原方法
US20220164986A1 (en) Rotation equivariant orientation estimation for omnidirectional localization
CN117274472A (zh) 一种基于隐式三维表达的航空真正射影像生成方法和系统
CN116184366A (zh) 一种基于鱼眼相机和激光雷达联合标定方法及装置
CN114758049A (zh) 模型纹理更新方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant