CN115222875A - 模型的确定方法、局部场景重建方法、介质、设备及产品 - Google Patents

模型的确定方法、局部场景重建方法、介质、设备及产品 Download PDF

Info

Publication number
CN115222875A
CN115222875A CN202210632505.4A CN202210632505A CN115222875A CN 115222875 A CN115222875 A CN 115222875A CN 202210632505 A CN202210632505 A CN 202210632505A CN 115222875 A CN115222875 A CN 115222875A
Authority
CN
China
Prior art keywords
scene
reconstruction model
local
target
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210632505.4A
Other languages
English (en)
Inventor
曹佳炯
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210632505.4A priority Critical patent/CN115222875A/zh
Publication of CN115222875A publication Critical patent/CN115222875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种局部场景重建模型的确定方法及装置、局部场景重建方法及装置、计算机可读存储介质、电子设备及计算机程序产品，方法包括：一方面，确定该目标场景的全局场景重建模型，为通过目标场景的全局图像训练原始重建模型得到；还获取该目标场景的多张局部更新图像，并通过上述全局场景重建模型对上述多张局部更新图像进行筛选，得到有利于反映局部更新特征的样本图像。另一方面，在全局场景重建模型的基础上添加全连接层，通过对原始重建模型的调整得到中间重建模型。进一步地，通过上述样本图像训练该中间重建模型，便可以得到目标场景的局部场景重建模型。在目标场景的局部改动后，利用上述局部场景重建模型便可以实现场景重建。

Description

模型的确定方法、局部场景重建方法、介质、设备及产品
技术领域
本说明书涉及场景数字化技术领域，尤其涉及一种局部场景重建模型的确定方法及装置、局部场景重建方法及装置、计算机可读存储介质、电子设备以及计算机程序产品。
背景技术
随着元宇宙以及数字孪生概念的兴起，人们对于物理世界在数字世界的各种重建(即，场景重建)的需求变得愈加强烈。例如，在数字世界重建一条购物街，让用户拥有和线下完全一致的逛街体验，相比传统的手机浏览商品就会有更加真实的感受。
相关技术中，可以为需要重建的场景A训练一机器学习模型，得到该场景A对应的场景重建模型a，从而通过该场景重建模型a能够实现对应场景A的重建。然而，当场景A中发生改动的情况下，为了让用户体验和线下完全一致，则需要将变动后的场景A看作另一个场景(记作场景B)，并需要场景B重新训练一机器学习模型，得到该场景B对应的场景重建模型b。
可见，相关技术提供的场景重建方案存在重建效率有待提高的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本说明书的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本说明书的目的在于提供一种局部场景重建模型的确定方法及装置、局部场景重建方法及装置、计算机可读存储介质、电子设备以及计算机程序产品，至少在一定程度上有利于提升场景的重建效率。
本说明书的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本说明书的实践而习得。
根据本说明书的一个方面，提供一种局部场景重建模型的确定方法，该方法包括：确定目标场景的全局场景重建模型，其中，所述全局场景重建模型为通过所述目标场景的全局图像训练原始重建模型得到；获取所述目标场景的多张局部更新图像，并通过所述全局场景重建模型对所述多张局部更新图像进行筛选，得到样本图像；在所述全局场景重建模型的基础上添加全连接层，得到中间重建模型；以及，通过所述样本图像训练所述中间重建模型，得到所述目标场景的局部场景重建模型。
根据本说明书的另一个方面，提供一种局部场景重建模型的确定装置，该装置包括：第一确定模块、筛选模块、调整模块，以及第二确定模块。
其中，上述第一确定模块，用于确定目标场景的全局场景重建模型，其中，所述全局场景重建模型为通过所述目标场景的全局图像训练原始重建模型得到；上述筛选模型，用于获取所述目标场景的多张局部更新图像，并通过所述全局场景重建模型对所述多张局部更新图像进行筛选，得到样本图像；上述调整模块，用于在所述全局场景重建模型的基础上添加全连接层，得到中间重建模型；以及，上述第二确定模块，用于通过所述样本图像训练所述中间重建模型，得到所述目标场景的局部场景重建模型。
根据本说明书的再一个方面，提供一种局部场景重建方法，该方法包括：在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据上述第一方面实施例确定所述目标场景的局部场景重建模型；其中，所述目标场景的全局场景重建模型为通过多个所述全局图像训练得到；以及，将目标视角输入至所述局部场景重建模型，根据所述局部场景重建模型的输出确定目标重建图像，所述目标重建图像为在所述目标场景的所述目标位置发生变动后再所述目标视角下的图像。
根据本说明书的再一个方面，提供一种局部场景重建装置，该装置包括：第三确定模块和重建模块。
其中，上述第三确定模块，用于在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据上述实施例确定所述目标场景的局部场景重建模型；其中，所述目标场景的全局场景重建模型为通过多个所述全局图像训练得到；以及，上述重建模块，用于将目标视角输入至所述局部场景重建模型，根据所述局部场景重建模型的输出确定目标重建图像，所述目标重建图像为在所述目标场景的所述目标位置发生变动后再所述目标视角下的图像。
根据本说明书的另一个方面，提供一种电子设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述实施例中的局部场景重建模型的确定方法，以及实现上述实施例中的局部场景重建方法。
根据本说明书的一个方面，提供一种计算机可读存储介质，上述计算机可读存储介质中存储有指令，当上述指令在计算机或处理器上运行时，使得上述计算机或处理器执行如上述实施例中的局部场景重建模型的确定方法，以及实现上述实施例中的局部场景重建方法。
根据本说明书的另一个方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行如上述实施例中的局部场景重建模型的确定方法，以及实现上述实施例中的局部场景重建方法。
本说明书的实施例所提供的局部场景重建模型的确定方法及装置、局部场景重建方法及装置、计算机可读存储介质、电子设备以及计算机程序产品，具备以下技术效果：
本说明书示例性的实施例提供的用于实现目标场景的局部改动后场景重建的模型，记作“目标场景的局部场景重建模型”。具体地，一方面，确定该目标场景的全局场景重建模型，其中，全局场景重建模型为通过目标场景的全局图像训练原始重建模型得到。还获取该目标场景的多张局部更新图像，并通过上述全局场景重建模型对上述多张局部更新图像进行筛选，得到有利于反映局部更新特征的样本图像。另一方面，在全局场景重建模型的基础上添加全连接层，通过对原始重建模型的调整得到中间重建模型。进一步地，通过上述样本图像训练该中间重建模型，便可以得到目标场景的局部场景重建模型。在目标场景的局部改动后，利用本技术方案提供的局部场景重建模型便可以实现场景重建。并且，通过全局场景重建模型筛选后的样本图像来训练上述中间重建模型的过程中，仅定位至局部更新特征便可以实现模型训练，从而可以有效节省模型训练时间，进而有利于提升场景的重建效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一实施例提供的局部场景重建模型的确定方法的流程示意图。
图2为本说明书另一实施例提供的局部场景重建模型的确定方法的流程示意图。
图3为本说明书一实施例提供的获取目标场景的全局图像的示意图。
图4为本说明书一实施例提供的全局场景重建模型的确定方法的流程示意图。
图5为本说明书一实施例提供的样本图像的确定方法的流程示意图。
图6为本说明书另一实施例提供的样本图像的确定方法的流程示意图。
图7为本说明书另一实施例提供的局部场景重建模型的确定方法的流程示意图。
图8为本说明书一实施例提供的确定中间重建模型的示意图。
图9为本说明书一实施例提供的局部场景重建方法的流程示意图。
图10为本说明书另一实施例提供的局部场景重建方法的流程示意图。
图11为本说明书一实施例提供的局部场景重建模型的确定装置的结构示意图。
图12为本说明书另一实施例提供的局部场景重建模型的确定装置的结构示意图。
图13为本说明书一实施例提供的局部场景重建装置的结构示意图。
图14为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合附图对本说明书实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本说明书将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本说明书的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本说明书的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本说明书的各方面变得模糊。
此外，附图仅为本说明书的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在数字世界除了重建线下店铺，另外物理世界的街道、建筑等也有重建的需求。这类场景重建的过程可以称作为场景数字化(或者称为场景重建)。目前进行场景数字化的方式主要有两种。
一种是基于特定采集设备的场景数字化方法。这类方法需要事先购买采集设备(一般包括RGB摄像头，深度摄像头，配套云台等等)，然后通过特定的采集流程，将采集到的RGB图像和深度数据上传到云端。云端通过传统的重建算法将整个场景重建出来。其采用RGB特征和深度特征实现场景重建，因而重建精度高且整个体系成熟。但是，场景数字化的门槛高，需要付出较高的成本，导致不易规模化。
另一种方法是基于神经辐射场的场景数字化方法。这类方法需要采集较为密集的多视角场景图像(仅需要RGB信息)，然后通过估计不同视角的相机姿态，得到RGB信息和姿态信息作为模型的输入信息。进一步地，使用输入信息训练神经网络估计得到场景密度和各个视角的RGB信息，最终利用这个模型可以完成场景的各角度展示。其优点在于成本低，使用手机等通用采集设备就可以完成重建工作。但是缺点在于精度相对第一种方法较低。
另外，以上两种方法都存在以下缺点，即当场景发生变化时(例如，服装店到了新款衣服或者小卖部进了新品类的货物)，整个采集和重建的流程需要重新走一遍，不利于维护且在场景发生更新后再次实现场景重建的耗时较长。
为了解决相关技术中，由于场景局部变化带来的维护成本升高及场景重建效率低的问题，本说明书实施例提出了一种局部场景重建模型的确定方法及装置、局部场景重建方法及装置、计算机可读存储介质、电子设备以及计算机程序产品。具体的，以下先通过图1至图8对本说明书提供的局部场景重建模型的确定方法实施例进行详细阐述：
示例性的，图1为本说明书一实施例提供的局部场景重建模型的确定方法的流程示意图。参考图1，该图所示实施例包括：S110-S140。
在S110中，确定目标场景的全局场景重建模型，其中，上述全局场景重建模型为通过上述目标场景的全局图像训练原始重建模型得到。
在示例性的实施例中，在多角度下拍摄(步骤(1))目标场景10，得到多张全局图像20。进一步地，通过多张全局图像20训练(步骤(2))原始重建模型30，可以得到(步骤(3))目标场景的全局场景重建模型40。其中，上述原始重建模型30可以采用神经辐射场(NeuralRadiance Fields，NeRF)，采用神经辐射场可仅基于RGB图像训练神经网络估计得到场景密度和各个视角的RGB信息，最终利用这个模型可以完成场景的各角度展示。然而，同相关技术所述，该方法需要对每一个场景单独训练一个模型，且在场景发生变化时需要完全重新训练。也就是说，本实施例中，当目标场景发生改变的情况下，上述训练得到的全局场景重建模型无法实现对更新后场景的重建。但是，本说明书实施例是通过全局场景重建模型来对局部更新图像进行筛选，以确定出能够反映局部更新特征的样本图像(将在下述实施例中进行详细介绍)，从而降低下述局部场景重建模型的训练耗时，并实现目标场景的局部可维护性。
在S120中，获取上述目标场景的多张局部更新图像，并通过上述全局场景重建模型对上述多张局部更新图像进行筛选，得到样本图像。
在示例性的实施例中，当目标场景发生局部变动(步骤(4))后，例如，服装店到了新款衣服或者小卖部进了新品类的货物，得到变动后的目标场景50。进一步地，对变动后的目标场景中的变动处进行RGB图像拍摄(步骤(5))，以通过所拍摄的局部更新图像60作为局部场景重建模型的训练样本。
在示例性的实施例中，为了使得训练样本能够更加突出的反映局部更新特征，本说明书实施例将通过上述全局场景重建模型40对上述多张局部更新图像60进行筛选。参考图2，将上述多张局部更新图像60输入(步骤(6))至全局场景重建模型40，经其筛选(步骤(7))后得到训练样本70。
在S130中，在上述全局场景重建模型的基础上添加全连接层，得到中间重建模型。以及，在S140中，通过上述样本图像训练上述中间重建模型，得到上述目标场景的局部场景重建模型。
本说明是实施例采用的中间重建模型是在原始重建模型的基础上实现的。参考图2，经过对原始重建模型30的调制(步骤(8))，得到中间重建模型80。然后，通过训练样本70来训练(步骤(9))中间重建模型80，可以得到(步骤(10))目标场景的局部场景重建模型90。
本说明书实施例中，在场景发生局部变化的情况下(只需要采集场景变化的区域)，通过在局部更新特征对上对全局场景重建特征做出微调，就可以实现对变动后场景的重建。也就是说，仅针对场景的变化部分进行增量训练。从而避免了整个流程的重新计算和训练(例如，一般重新训练的时间需要数天)。并且，通过全局场景重建模型筛选后的样本图像来训练上述中间重建模型的过程中，仅定位至局部更新特征便可以实现模型训练，从而可以有效节省模型训练时间。本说明书实施例大大降低了场景重建模型的维护成本，进而使得其规模化成为可能。
以下对图1所示方案中各个步骤的具体实施方式进行详细说明：
在示例性的实施例中，通过获取目标场景在多个角度下的全局图像来训练原始重建模型。参考图3，采集设备可以是手机或者外接摄像头等等，对于架子鼓场景32，可以在多个角度(如图中34)下拍摄图像，从而获取关于架子鼓场景32的多张全局图像，例如，采集不同视角数据约100-200张。
示例性的，图4为本说明书一实施例提供的全局场景重建模型的确定方法的流程示意图。以下结合图4并以第i个局部图像为例，介绍S110的具体实施方式：
参考图4，本实施例中，所采用的原始重建模型30为神经辐射场NeRF，且原始重建模型30包括多层感知器(Multi-Layer Perception，MLP)部分310和原始全连接部分320。通过第i个局部图像训练原始重建模型的过程如下：
S1：对第i个全局图像进行视角估计：使用已有方法p()对第i个全局图像xi进行视角估计，得到视角参数θi，如下面公式(1)所示：
θi＝p(xi) (1)
S2：将第i个全局图像输入(步骤(1))至原始重建模型30的MLP部分310进行特征处理，MLP部分310输出(步骤(2))第i场景密度特征和第i中间特征。本实施例中包含N个全局图像，则i的取值为不大于N的正整数。
示例性的，当场景的面积较大时，可以适当增加模型的层数和输出特征的维度。
S3：将所述第i中间特征和第i个全局图像的第i视角参数θi输入(步骤(3))原始重建模型30的原始全连接部分320进行特征处理，原始全连接部分320输出(步骤(4))第i视角下的第i颜色特征。本实施例中，经过上述特征处理之后，记作C(xi,θi)。
S4：对第i场景密度特征和第i颜色特征进行渲染(步骤(5))处理，得到第i个生成图像，记作render(C(xi,θi))。
S5：根据第i个全局图像和第i个生成图像确定第一损失函数。
示例性的，上述第一损失函数Lossbase可以表示以下公式(2)，具体为多个视角的渲染重建的render(C(xi,θi))对应的第i个全局图像之间的L2范数。
Figure BDA0003673911750000091
本实施例中，N代表训练原始重建模型的全局图像的个数。
S6：基于所述第一损失函数优化上述原始重建模型的模型参数，得到所述目标场景的全局场景重建模型。示例性的，基于上述模型结构和第一损失函数进行模型训练，直至模型收敛。
通过图4所示实施例确定全局场景重建模型后，当用户从视角θ进行观察时，全局场景重建模型可以输出视角θ相应的RGB图像，向用户进行展示，从而起到对变动前目标场景数字化的效果。
在示例性的实施例中，图5和图6为本说明书一实施例提供的样本图像的确定方法的流程示意图。以下结合图5和图6介绍S120的具体实施方式：
在S120中先获取目标场景的多张局部更新图像。示例性的，获取上述目标场景中目标位置在多个角度下的图像，得到上述目标场景的多张局部更新图像；其中，上述目标位置为上述目标场景中相较于上述全局图像而发生变动的位置。
具体地，服装店在新到服装之前，通过上述实施例确定了全局场景重建模型。在新到服装之后，服装店场景中新到衣服处则可以作为上述目标场景中目标位置。进一步地，获取多个角度下服装店场景中新到衣服处的图像则可以作为上述局部更新图像。示例性的，每个目标位置处可以获取5-10张图像。
示例性的，为了使得训练样本能够更加突出的反映局部更新特征，本说明书实施例将通过上述全局场景重建模型对上述多张局部更新图像进行筛选。以下结合图5和图6，对局部更新图像进行筛选得到训练样本的具体实施方式进行介绍。
参考图5，在S1202中，将上述第j个局部更新图像输入至全局场景重建模型的MLP部分进行特征处理，得到第j场景密度特征和第j中间特征。
示例性的，参考图6，将第j个局部更新图像输入(步骤(1))至全局场景重建模型40的MLP部分410进行特征处理，MLP部分输出(步骤(2))第j场景密度特征和第j中间特征。j的取值为不大于局部更新图像总数的正整数。
在S1204中，将上述第j中间特征和上述第j个局部更新图像的第j视角参数输入全局场景重建模型的原始全连接部分进行特征处理，得到上述第j视角下的第j颜色特征。
示例性的，对第j个局部更新图像进行视角估计：使用已有方法p()对第j个局部更新图像x′j进行视角估计，得到视角参数θ'j。
示例性的，参考图6，将第j中间特征和第j个局部更新图像的第j视角参数θ'j输入(步骤(3))全局场景重建模型40的原始全连接部分420进行特征处理，原始全连接部分输出(步骤(4))第j视角下的第j颜色特征。本实施例中，经过上述特征处理之后，记作C(x′j,θ'j)。
在S1206中，对上述第j场景密度特征和上述第j颜色特征进行渲染处理，得到第j个局部生成图像。
示例性的，参考图6，对第j场景密度特征和第j颜色特征进行渲染(步骤(5))处理，得到第j个局部生成图像，记作render(C(x′j,θ'j))。
在S1208中，计算上述第j个局部更新图像和上述第j个局部生成图像之间的相似度Sj；以及，在S12010中，判断相似度Sj是否大于第一预设值。示例性的，计算x′j与render(C(x′j,θ'j))之间的欧氏距离来确定两者之间的相似度Sj。
若x′j与render(C(x′j,θ'j))之间的欧氏距离大于预设值，即上述相似度Sj大于第一预设值，则说明x′j经过全局场景重建模型处理之后的生成图像render(C(x′j,θ'j))之间的差别较少，也就是说，x′j不能够突出的反映局部更新特征，则执行S12012：筛除上述第j个局部更新图像。
若x′j与render(C(x′j,θ'j))之间的欧氏距离不大于预设值，即上述相似度Sj不大于第一预设值，则说明x′j经过全局场景重建模型处理之后的生成图像render(C(x′j,θ'j))之间的差别较大，也就是说，x′j能够突出的反映局部更新特征，则执行S12012’：保留上述第j个局部更新图像作为上述样本图像。
图5和图6所提供的实施例中，通过全局场景重建模型对局部更新图像筛选，得到确定出能够突出反映局部更新特征的样本图像。而通过能够突出反映局部更新特征的样本图像对全局场景重建模型进行调整的过程中，仅针对场景的变化部分进行增量训练，就可以实现对变动后场景的重建。
在示例性的实施例中，图7为本说明书另一实施例提供的局部场景重建模型的确定方法的流程示意图。以下结合图7介绍S130和S140的具体实施方式：
参考图7，作为S130的一种具体实施方式。在S1302中，在全局场景重建模型的MLP部分后连接第一全连接层，在全局场景重建模型的原始全连接层后连接第二全连接层，得到上述中间重建模型。
示例性的，参考图8，在全局场景重建模型40的基础上进行调整得到中间重建模型80。具体地，在全局场景重建模型40中MLP部分410之后添加一个全连接层，记作第一全连接层(Fully Connected layers，FC)810；以及，在全局场景重建模型40中原始全连接层部分420之后添加另一全连接层，记作第二全连接层(Fully Connected layers，FC)820。
本实施例中，在全局场景重建模型的基础上，将MLP部分410输出的密度特征再经过第一FC 810处理，将原始全连接层部分420输出的颜色特征再经过第二FC 810处理，从而保证模型的输入特征与输出特征的维度相同。
继续参考图7，在S1402中，将第h个样本图像输入至上述中间重建模型的MLP部分进行特征处理，得到第h场景密度特征和第h中间特征。
示例性的，参考图8，将第h个样本图像输入(步骤(1))至中间重建模型80的MLP部分410进行特征处理，MLP部分410输出(步骤(2))第h场景密度特征和第h中间特征。本实施例中包含M个样本图像，则h的取值为不大于M的正整数。
在S1404中，将上述第h场景密度特征输入至上述第一全连接层进行特征处理，得到全连接后的第h场景密度特征，以及，将上述第h中间特征输入至上述第一全连接层进行特征处理，得到全连接后的第h中间特征。
示例性的，参考图8，将上述第h场景密度特征输入至上述第一FC 810进行特征处理，得到第h’场景密度特征(全连接后的第h场景密度特征)，以及，将上述第h中间特征输入至上述第一FC 810进行特征处理，得到第h’中间特征(全连接后的第h中间特征)。
在S1406中，将上述全连接后的第h中间特征依次输入上述原始全连接部分和上述第二全连接层进行特征处理，以及，将上述第h个样本图像的第h视角参数依次输入上述原始全连接部分和上述第二全连接层进行特征处理，得到第h视角下的第h颜色特征。
示例性的，对于第h个样本图像进行视角估计：使用已有方法p()对第h个样本图像X”h进行视角估计，得到视角参数θ”h。
示例性的，参考图8，将第h’中间特征依次输入(步骤(3))上述原始全连接部分420和上述第二FC 820进行特征处理，将视角参数θ”h依次输入(步骤(3))上述原始全连接部分420和上述第二FC 820进行特征处理，第二FC 820输出(步骤(4))第h视角下的第h颜色特征。本实施例中，经过上述特征处理之后，记作C(X”h,θ”h)。
在S1408中，对上述全连接后的第h场景密度特征和上述第h颜色特征进行渲染处理，得到第h个局部生成图像。以及，在S14010中，根据上述第h个样本图像和上述第h个局部生成图像确定第二损失函数，并基于上述第二损失函数优化上述中间重建模型的模型参数，得到上述目标场景的局部场景重建模型。
示例性的，上述第二损失函数Lossnew可以表示为以下公式(3)，具体为多个视角的渲染重建的render(C(X”h,θ”h))与对应的第h个样本图像之间的L2范数。
Figure BDA0003673911750000131
进一步地，基于上述模型结构和第二损失函数进行模型训练，直至模型收敛。
在示例性的实施例中，上述局部场景重建模型可以用于改动后目标场景的场景数字化，具体地：可以将局部场景重建模型部署在云端。则当用户从视角θ进行观察时，局部场景重建模型可以输出视角θ相应的RGB图像，向用户进行展示，从而起到对变动后目标场景数字化的效果。
在图7和图8示出的实施例中，基于上述第二损失函数进行梯度反向传播的方式，优化上述中间重建模型的模型参数。在对上述第二损失函数进行梯度反向传播计算的过程中，只定位上述目标场景的局部更新特征，且对所定位到的局部更新特征进行梯度反向传播计算。从而避免了整个流程的重新计算和训练。并且，通过全局场景重建模型筛选后的样本图像来训练上述中间重建模型的过程中，仅定位至局部更新特征便可以实现模型训练，从而可以有效节省模型训练时间从而降低下述局部场景重建模型的训练耗时，并实现目标场景的局部可维护性。
以下先通过图9和图10对本说明书提供的局部场景重建方法实施例进行详细阐述：
示例性的，图9为本说明书一实施例提供的局部场景重建方法的流程示意图。参考图9，该图所示实施例包括：S910和S920。
在S910中，在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据上述实施例确定上述目标场景的局部场景重建模型；其中，上述目标场景的全局场景重建模型为通过多个上述全局图像训练得到。
在示例性的实施例中，在目标场景局部发生变动后，无需再次重新采集全局图像并重新训练原始重建模型，而是通过上述局部场景重建模型便可以直接实现场景重建。
在S920中，将目标视角输入至上述局部场景重建模型，根据上述局部场景重建模型的输出确定目标重建图像，上述目标重建图像为在上述目标场景的上述目标位置发生变动后再上述目标视角下的图像。
在示例性的实施例中，参考图10，将关于目标场景的目标视角输入至上述局部场景重建模型，则经过上述局部场景重建模型的特征处理之后，输出目标重建图像。该目标重建图像则为在上述目标场景的上述目标位置发生变动后再上述目标视角下的图像，从而供用户查看。
在示例性的实施例中，上述目标位置的数量为一个或多个，且在相同视角下上述目标位置的总面积与上述目标场景的面积之比不大于第二预设值。若目标位置的总面积与上述目标场景的面积之比大于第二预设值，则对全局场景重建模型的局部微调所消耗的训练时长以及计算量均较大。
而在相同视角下上述目标位置的总面积与上述目标场景的面积之比不大于第二预设值的情况下，对全局场景重建模型的局部微调所消耗的训练时长以及计算量均较小，从而实现目标场景的局部可维护性，以及提升了场景的重建效率。
需要注意的是，上述附图仅是根据本说明书示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本说明书装置实施例，可以用于执行本说明书方法实施例。对于本说明书装置实施例中未披露的细节，请参照本说明书方法实施例。
其中，图11示出了可以应用本说明书一实施例的局部场景重建模型的确定装置的结构示意图。请参见图11，该图所示的局部场景重建模型的确定装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分，还可以作为独立的模块集成于服务器上，还可以作为独立的模块集成于电子设备中。
本说明书实施例中的上述局部场景重建模型的确定装置1100包括：第一确定模块1110、筛选模块1120、调整模块1130，以及第二确定模块1140。
其中，上述第一确定模块1110，用于确定目标场景的全局场景重建模型，其中，上述全局场景重建模型为通过上述目标场景的全局图像训练原始重建模型得到；上述筛选模型1120，用于获取上述目标场景的多张局部更新图像，并通过上述全局场景重建模型对上述多张局部更新图像进行筛选，得到样本图像；上述调整模块1130，用于在上述全局场景重建模型的基础上添加全连接层，得到中间重建模型；以及，上述第二确定模块1140，用于通过上述样本图像训练上述中间重建模型，得到上述目标场景的局部场景重建模型。
在示例性的实施例中，图12示意性示出了根据本说明书另一示例性的实施例中局部场景重建模型的确定装置的结构图。请参见图12：
在示例性的实施例中，基于前述方案，上述局部场景重建模型的确定装置1100还包括：图像获取模块1150。
其中，上述图像获取模块1150，用于：获取上述目标场景中目标位置在多个角度下的图像，得到上述目标场景的多张局部更新图像；其中，上述目标位置为上述目标场景中相较于上述全局图像而发生变动的位置。
在示例性的实施例中，基于前述方案，上述原始重建模型为神经辐射场，上述全局场景重建模型为训练上述神经辐射场得到的；上述全局场景重建模型包括多层感知机MLP部分和原始全连接部分；上述筛选模块1120，具体用于：
将上述第j个局部更新图像输入至上述MLP部分进行特征处理，得到第j场景密度特征和第j中间特征，j取值为正整数；将上述第j中间特征和上述第j个局部更新图像的第j视角输入上述原始全连接部分进行特征处理，得到上述第j视角下的第j颜色特征；对上述第j场景密度特征和上述第j颜色特征进行渲染处理，得到第j个局部生成图像；计算上述第j个局部更新图像和上述第j个局部生成图像之间的相似度Sj；以及，在上述相似度Sj大于第一预设值的情况下，筛除上述第j个局部更新图像；在上述相似度Sj不大于第一预设值的情况下，保留上述第j个局部更新图像作为上述样本图像。
在示例性的实施例中，基于前述方案，上述全局场景重建模型为训练后的神经辐射场，上述全局场景重建模型包括MLP部分和原始全连接部分；上述调整模块1130，具体用于：在上述MLP部分后连接第一全连接层，在上述原始全连接层后连接第二全连接层，得到上述中间重建模型。
在示例性的实施例中，基于前述方案，上述第二确定模块1140，包括：特征处理单元11402和参数优化单元11404。
其中，上述特征处理单元11402，用于：将第h个样本图像输入至上述MLP部分进行特征处理，得到第h场景密度特征和第h中间特征，h取值为正整数；将上述第h场景密度特征输入至上述第一全连接层进行特征处理，得到全连接后的第h场景密度特征，以及，将上述第h中间特征输入至上述第一全连接层进行特征处理，得到全连接后的第h中间特征；将上述全连接后的第h中间特征依次输入上述原始全连接部分和上述第二全连接层进行特征处理，以及，将上述第h个样本图像的第h视角依次输入上述原始全连接部分和上述第二全连接层进行特征处理，得到第h视角下的第h颜色特征；以及，对上述全连接后的第h场景密度特征和上述第h颜色特征进行渲染处理，得到第h个局部生成图像；
上述参数优化单元11404，用于：根据上述第h个样本图像和上述第h个局部生成图像确定第二损失函数，并基于上述第二损失函数优化上述中间重建模型的模型参数，得到上述目标场景的局部场景重建模型。
在示例性的实施例中，基于前述方案，上述参数优化单元11404，具体用于：基于上述第二损失函数进行梯度反向传播的方式，优化上述中间重建模型的模型参数；
其中，在对上述第二损失函数进行梯度反向传播计算的过程中，只定位上述目标场景的局部更新特征，且对所定位到的局部更新特征进行梯度反向传播计算。
在示例性的实施例中，基于前述方案，上述原始重建模型为神经辐射场，上述原始重建模型包括MLP部分和原始全连接部分；上述第一确定模块1110，具体用于：
将第i个全局图像输入至上述MLP部分进行特征处理，得到第i场景密度特征和第i中间特征，i取值为正整数；将上述第i中间特征和上述第i个全局图像的第i视角输入上述原始全连接部分进行特征处理，得到上述第i视角下的第i颜色特征；对上述第i场景密度特征和上述第i颜色特征进行渲染处理，得到第i个生成图像；以及，根据上述第i个全局图像和上述第i个生成图像确定第一损失函数，并基于上述第一损失函数优化上述原始重建模型的模型参数，得到上述目标场景的全局场景重建模型。
需要说明的是，上述实施例提供的局部场景重建模型的确定装置在执行局部场景重建模型的确定方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的局部场景重建模型的确定装置与局部场景重建模型的确定方法实施例属于同一构思，因此对于本说明书装置实施例中未披露的细节，请参照本说明书上述的局部场景重建模型的确定方法的实施例，这里不再赘述。
其中，图13示出了可以应用本说明书一实施例的局部场景重建装置的结构示意图。请参见图13，该图所示的局部场景重建装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分，还可以作为独立的模块集成于服务器上，还可以作为独立的模块集成于电子设备中。
本说明书实施例中的上述局部场景重建装置1300包括：第三确定模块1310和重建模块1320。
其中，上述第三确定模块1310，用于在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据上述实施例确定上述目标场景的局部场景重建模型；其中，上述目标场景的全局场景重建模型为通过多个上述全局图像训练得到；以及，上述重建模块1320，用于将目标视角输入至上述局部场景重建模型，根据上述局部场景重建模型的输出确定目标重建图像，上述目标重建图像为在上述目标场景的上述目标位置发生变动后再上述目标视角下的图像。
需要说明的是，上述实施例提供的局部场景重建装置在执行局部场景重建方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的局部场景重建装置与局部场景重建方法实施例属于同一构思，因此对于本说明书装置实施例中未披露的细节，请参照本说明书上述的局部场景重建模型的确定方法的实施例，这里不再赘述。
上述本说明书实施例序号仅仅为了描述，不代表实施例的优劣。
本说明书实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例方法的步骤。
图14示意性示出了根据本说明书一示例性的实施例中电子设备的结构图。请参见图14所示，电子设备1400包括有：处理器1401和存储器1402。
本说明书实施例中，处理器1401为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在本说明书实施例中，上述处理器1401在实现局部场景重建模型的确定方法的情况下，上述处理器1401具体用于：
确定目标场景的全局场景重建模型，其中，上述全局场景重建模型为通过上述目标场景的全局图像训练原始重建模型得到；获取上述目标场景的多张局部更新图像，并通过上述全局场景重建模型对上述多张局部更新图像进行筛选，得到样本图像；在上述全局场景重建模型的基础上添加全连接层，得到中间重建模型；以及，通过上述样本图像训练上述中间重建模型，得到上述目标场景的局部场景重建模型。
进一步地，上述获取上述目标场景的多张局部更新图像，包括：获取上述目标场景中目标位置在多个角度下的图像，得到上述目标场景的多张局部更新图像；其中，上述目标位置为上述目标场景中相较于上述全局图像而发生变动的位置。
进一步地，上述原始重建模型为神经辐射场，上述全局场景重建模型为训练上述神经辐射场得到的；上述全局场景重建模型包括多层感知机MLP部分和原始全连接部分；
上述通过上述全局场景重建模型对上述多张局部更新图像进行筛选，得到样本图像，包括：将上述第j个局部更新图像输入至上述MLP部分进行特征处理，得到第j场景密度特征和第j中间特征，j取值为正整数；将上述第j中间特征和上述第j个局部更新图像的第j视角输入上述原始全连接部分进行特征处理，得到上述第j视角下的第j颜色特征；对上述第j场景密度特征和上述第j颜色特征进行渲染处理，得到第j个局部生成图像；计算上述第j个局部更新图像和上述第j个局部生成图像之间的相似度Sj；以及，在上述相似度Sj大于第一预设值的情况下，筛除上述第j个局部更新图像；在上述相似度Sj不大于第一预设值的情况下，保留上述第j个局部更新图像作为上述样本图像。
进一步地，上述全局场景重建模型为训练后的神经辐射场，上述全局场景重建模型包括MLP部分和原始全连接部分；
上述在上述全局场景重建模型的基础上添加全连接层，得到中间重建模型，包括：在上述MLP部分后连接第一全连接层，在上述原始全连接层后连接第二全连接层，得到上述中间重建模型。
进一步地，上述通过上述样本图像训练上述中间重建模型，得到上述目标场景的局部场景重建模型，包括：将第h个样本图像输入至上述MLP部分进行特征处理，得到第h场景密度特征和第h中间特征，h取值为正整数；将上述第h场景密度特征输入至上述第一全连接层进行特征处理，得到全连接后的第h场景密度特征，以及，将上述第h中间特征输入至上述第一全连接层进行特征处理，得到全连接后的第h中间特征；将上述全连接后的第h中间特征依次输入上述原始全连接部分和上述第二全连接层进行特征处理，以及，将上述第h个样本图像的第h视角依次输入上述原始全连接部分和上述第二全连接层进行特征处理，得到第h视角下的第h颜色特征；对上述全连接后的第h场景密度特征和上述第h颜色特征进行渲染处理，得到第h个局部生成图像；以及，根据上述第h个样本图像和上述第h个局部生成图像确定第二损失函数，并基于上述第二损失函数优化上述中间重建模型的模型参数，得到上述目标场景的局部场景重建模型。
进一步地，上述基于上述第二损失函数优化上述中间重建模型的模型参数，包括：基于上述第二损失函数进行梯度反向传播的方式，优化上述中间重建模型的模型参数；其中，在对上述第二损失函数进行梯度反向传播计算的过程中，只定位上述目标场景的局部更新特征，且对所定位到的局部更新特征进行梯度反向传播计算。
进一步地，上述原始重建模型为神经辐射场，上述原始重建模型包括MLP部分和原始全连接部分；
上述确定目标场景的全局场景重建模型，包括：将第i个全局图像输入至上述MLP部分进行特征处理，得到第i场景密度特征和第i中间特征，i取值为正整数；将上述第i中间特征和上述第i个全局图像的第i视角输入上述原始全连接部分进行特征处理，得到上述第i视角下的第i颜色特征；对上述第i场景密度特征和上述第i颜色特征进行渲染处理，得到第i个生成图像；以及，根据上述第i个全局图像和上述第i个生成图像确定第一损失函数，并基于上述第一损失函数优化上述原始重建模型的模型参数，得到上述目标场景的全局场景重建模型。
上述处理器1401在实现局部场景重建方法的情况下，上述处理器1401具体用于：
在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据上述实施例确定上述目标场景的局部场景重建模型；其中，上述目标场景的全局场景重建模型为通过多个上述全局图像训练得到；以及，将目标视角输入至上述局部场景重建模型，根据上述局部场景重建模型的输出确定目标重建图像，上述目标重建图像为在上述目标场景的上述目标位置发生变动后再上述目标视角下的图像。
进一步地，上述目标位置的数量为一个或多个，且在相同视角下上述目标位置的总面积与上述目标场景的面积之比不大于第二预设值。
存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在本说明书的一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本说明书实施例中的方法。
一些实施例中，电子设备1400还包括有：外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地，外围设备包括：显示屏1404、摄像头1405和音频电路1406中的至少一种。
外围设备接口1403可被用于将输入/输出(Input/Output，I/O)相关的至少一个外围设备连接到处理器1401和存储器1402。在本说明书的一些实施例中，处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上；在本说明书的一些其他实施例中，处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现。本说明书实施例对此不作具体限定。
显示屏1404用于显示用户界面(User Interface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1404是触摸显示屏时，显示屏1404还具有采集在显示屏1404的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时，显示屏1404还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在本说明书的一些实施例中，显示屏1404可以为一个，设置电子设备1400的前面板；在本说明书的另一些实施例中，显示屏1404可以为至少两个，分别设置在电子设备1400的不同表面或呈折叠设计；在本说明书的再一些实施例中，显示屏1404可以是柔性显示屏，设置在电子设备1400的弯曲表面上或折叠面上。甚至，显示屏1404还可以设置成非矩形的不规则图形，也即异形屏。显示屏1404可以采用液晶显示屏(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等材质制备。
摄像头1405用于采集图像或视频。可选地，摄像头1405包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(Virtual Reality，VR)拍摄功能或者其它融合拍摄功能。在本说明书的一些实施例中，摄像头1405还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1406可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
电源1407用于为电子设备1400中的各个组件进行供电。电源1407可以是交流电、直流电、一次性电池或可充电电池。当电源1407包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本说明书实施例中示出的电子设备结构框图并不构成对电子设备1400的限定，电子设备1400可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在本说明书的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本说明书中的具体含义。此外，在本说明书的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本说明书实施例还提供了计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述实施例中的一个或多个步骤。上述局部场景重建模型的确定装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。上述局部场景重建装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(DigitalVersatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
需要注意的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述，仅为本说明书的具体实施方式，但本说明书的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本说明书的保护范围之内。因此，依本说明书权利要求所作的等同变化，仍属本说明书所涵盖的范围。

Claims (14)

1.一种局部场景重建模型的确定方法，其中，所述方法包括：
确定目标场景的全局场景重建模型，其中，所述全局场景重建模型为通过所述目标场景的全局图像训练原始重建模型得到；
获取所述目标场景的多张局部更新图像，并通过所述全局场景重建模型对所述多张局部更新图像进行筛选，得到样本图像；
在所述全局场景重建模型的基础上添加全连接层，得到中间重建模型；
通过所述样本图像训练所述中间重建模型，得到所述目标场景的局部场景重建模型。
2.根据权利要求1所述的方法，其中，所述获取所述目标场景的多张局部更新图像，包括：
获取所述目标场景中目标位置在多个角度下的图像，得到所述目标场景的多张局部更新图像；
其中，所述目标位置为所述目标场景中相较于所述全局图像而发生变动的位置。
3.根据权利要求1所述的方法，其中，所述原始重建模型为神经辐射场，所述全局场景重建模型为训练所述神经辐射场得到的；所述全局场景重建模型包括多层感知机MLP部分和原始全连接部分；
所述通过所述全局场景重建模型对所述多张局部更新图像进行筛选，得到样本图像，包括：
将所述第j个局部更新图像输入至所述MLP部分进行特征处理，得到第j场景密度特征和第j中间特征，j取值为正整数；
将所述第j中间特征和所述第j个局部更新图像的第j视角输入所述原始全连接部分进行特征处理，得到所述第j视角下的第j颜色特征；
对所述第j场景密度特征和所述第j颜色特征进行渲染处理，得到第j个局部生成图像；
计算所述第j个局部更新图像和所述第j个局部生成图像之间的相似度Sj；
在所述相似度Sj大于第一预设值的情况下，筛除所述第j个局部更新图像；在所述相似度Sj不大于第一预设值的情况下，保留所述第j个局部更新图像作为所述样本图像。
4.根据权利要求1所述的方法，其中，所述全局场景重建模型为训练后的神经辐射场，所述全局场景重建模型包括MLP部分和原始全连接部分；
所述在所述全局场景重建模型的基础上添加全连接层，得到中间重建模型，包括：
在所述MLP部分后连接第一全连接层，在所述原始全连接层后连接第二全连接层，得到所述中间重建模型。
5.根据权利要求4所述的方法，其中，所述通过所述样本图像训练所述中间重建模型，得到所述目标场景的局部场景重建模型，包括：
将第h个样本图像输入至所述MLP部分进行特征处理，得到第h场景密度特征和第h中间特征，h取值为正整数；
将所述第h场景密度特征输入至所述第一全连接层进行特征处理，得到全连接后的第h场景密度特征，以及，将所述第h中间特征输入至所述第一全连接层进行特征处理，得到全连接后的第h中间特征；
将所述全连接后的第h中间特征依次输入所述原始全连接部分和所述第二全连接层进行特征处理，以及，将所述第h个样本图像的第h视角依次输入所述原始全连接部分和所述第二全连接层进行特征处理，得到第h视角下的第h颜色特征；
对所述全连接后的第h场景密度特征和所述第h颜色特征进行渲染处理，得到第h个局部生成图像；
根据所述第h个样本图像和所述第h个局部生成图像确定第二损失函数，并基于所述第二损失函数优化所述中间重建模型的模型参数，得到所述目标场景的局部场景重建模型。
6.根据权利要求5所述的方法，其中，所述基于所述第二损失函数优化所述中间重建模型的模型参数，包括：
基于所述第二损失函数进行梯度反向传播的方式，优化所述中间重建模型的模型参数；
其中，在对所述第二损失函数进行梯度反向传播计算的过程中，只定位所述目标场景的局部更新特征，且对所定位到的局部更新特征进行梯度反向传播计算。
7.根据权利要求1至6中任意一项所述的方法，其中，所述原始重建模型为神经辐射场，所述原始重建模型包括MLP部分和原始全连接部分；
所述确定目标场景的全局场景重建模型，包括：
将第i个全局图像输入至所述MLP部分进行特征处理，得到第i场景密度特征和第i中间特征，i取值为正整数；
将所述第i中间特征和所述第i个全局图像的第i视角输入所述原始全连接部分进行特征处理，得到所述第i视角下的第i颜色特征；
对所述第i场景密度特征和所述第i颜色特征进行渲染处理，得到第i个生成图像；
根据所述第i个全局图像和所述第i个生成图像确定第一损失函数，并基于所述第一损失函数优化所述原始重建模型的模型参数，得到所述目标场景的全局场景重建模型。
8.一种局部场景重建方法，其中，所述方法包括：
在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据权利要求1至7中任意一项确定所述目标场景的局部场景重建模型；其中，所述目标场景的全局场景重建模型为通过多个所述全局图像训练得到；
将目标视角输入至所述局部场景重建模型，根据所述局部场景重建模型的输出确定目标重建图像，所述目标重建图像为在所述目标场景的所述目标位置发生变动后再所述目标视角下的图像。
9.根据权利要求8所述的方法，其中，所述目标位置的数量为一个或多个，且在相同视角下所述目标位置的总面积与所述目标场景的面积之比不大于第二预设值。
10.一种局部场景重建模型的确定装置，其中，所述装置包括：
第一确定模块，用于确定目标场景的全局场景重建模型，其中，所述全局场景重建模型为通过所述目标场景的全局图像训练原始重建模型得到；
筛选模型，用于获取所述目标场景的多张局部更新图像，并通过所述全局场景重建模型对所述多张局部更新图像进行筛选，得到样本图像；
微调模块，用于在所述全局场景重建模型的基础上添加全连接层，得到中间重建模型；
第二确定模块，用于通过所述样本图像训练所述中间重建模型，得到所述目标场景的局部场景重建模型。
11.一种局部场景重建装置，其中，所述装置包括：
第三确定模块，用于在目标场景中出现相较于全局图像而发生变动的目标位置的情况下，根据权利要求1至7中任意一项确定所述目标场景的局部场景重建模型；其中，所述目标场景的全局场景重建模型为通过多个所述全局图像训练得到；
重建模块，用于将目标视角输入至所述局部场景重建模型，根据所述局部场景重建模型的输出确定目标重建图像，所述目标重建图像为在所述目标场景的所述目标位置发生变动后再所述目标视角下的图像。
12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至7中任意一项所述的局部场景重建模型的确定方法；以及，实现如权利要求8或9所述的局部场景重建方法。
13.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的局部场景重建模型的确定方法；以及，实现如权利要求8或9所述的局部场景重建方法。
14.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至7中任意一项所述的局部场景重建模型的确定方法；以及，实现如权利要求8或9所述的局部场景重建方法。
CN202210632505.4A 2022-06-01 2022-06-01 模型的确定方法、局部场景重建方法、介质、设备及产品 Pending CN115222875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210632505.4A CN115222875A (zh) 2022-06-01 2022-06-01 模型的确定方法、局部场景重建方法、介质、设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210632505.4A CN115222875A (zh) 2022-06-01 2022-06-01 模型的确定方法、局部场景重建方法、介质、设备及产品

Publications (1)

Publication Number Publication Date
CN115222875A true CN115222875A (zh) 2022-10-21

Family

ID=83607296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210632505.4A Pending CN115222875A (zh) 2022-06-01 2022-06-01 模型的确定方法、局部场景重建方法、介质、设备及产品

Country Status (1)

Country Link
CN (1) CN115222875A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809696A (zh) * 2022-12-01 2023-03-17 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123894A (zh) * 2019-12-30 2020-05-08 杭州电子科技大学 一种基于lstm和mlp结合的化工过程故障诊断方法
CN112037324A (zh) * 2020-11-04 2020-12-04 上海撬动网络科技有限公司 箱体图像三维重建方法、计算设备及存储介质
US20210074012A1 (en) * 2018-02-23 2021-03-11 Tsinghua University Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium
US20210390761A1 (en) * 2020-06-15 2021-12-16 Microsoft Technology Licensing, Llc Computing images of dynamic scenes
CN114049584A (zh) * 2021-10-09 2022-02-15 百果园技术(新加坡)有限公司 一种模型训练和场景识别方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210074012A1 (en) * 2018-02-23 2021-03-11 Tsinghua University Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium
CN111123894A (zh) * 2019-12-30 2020-05-08 杭州电子科技大学 一种基于lstm和mlp结合的化工过程故障诊断方法
US20210390761A1 (en) * 2020-06-15 2021-12-16 Microsoft Technology Licensing, Llc Computing images of dynamic scenes
CN112037324A (zh) * 2020-11-04 2020-12-04 上海撬动网络科技有限公司 箱体图像三维重建方法、计算设备及存储介质
CN114049584A (zh) * 2021-10-09 2022-02-15 百果园技术(新加坡)有限公司 一种模型训练和场景识别方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU-JIE YUAN等: "NeRF-Editing: Geometry Editing of Neural Radiance Fields", pages 1 - 12, Retrieved from the Internet <URL:https://arxiv.org/abs/2205.04978v1> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809696A (zh) * 2022-12-01 2023-03-17 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN115809696B (zh) * 2022-12-01 2024-04-02 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN108305236B (zh) 图像增强处理方法及装置
CN109978936B (zh) 视差图获取方法、装置、存储介质及设备
KR20210111833A (ko) 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체
CN111091166B (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN110599593B (zh) 数据合成的方法、装置、设备及存储介质
CN107113381A (zh) 时空局部变形及接缝查找的容差视频拼接
CN113706414B (zh) 视频优化模型的训练方法和电子设备
CN115049783B (zh) 模型的确定方法、场景重建模型、介质、设备及产品
CN112272311B (zh) 花屏修复方法、装置、终端、服务器及介质
CN105376484A (zh) 一种图像处理方法及终端
US11044398B2 (en) Panoramic light field capture, processing, and display
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN110636276A (zh) 视频拍摄方法、装置、存储介质及电子设备
US11748913B2 (en) Modeling objects from monocular camera outputs
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
WO2023169281A1 (zh) 图像配准方法、装置、存储介质及电子设备
CN113706678A (zh) 获取虚拟形象的方法、装置、设备及计算机可读存储介质
CN111327887A (zh) 电子装置及其操作方法，以及处理电子装置的图像的方法
CN115222875A (zh) 模型的确定方法、局部场景重建方法、介质、设备及产品
CN112508959B (zh) 视频目标分割方法、装置、电子设备及存储介质
Zhu et al. A shared augmented virtual environment for real‐time mixed reality applications
CN115223248A (zh) 手部姿态识别方法、手部姿态识别模型的训练方法及装置
CN108781251A (zh) 图像处理装置、图像处理方法和图像处理系统
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination