CN114529687A - 图像重建方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像重建方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114529687A
CN114529687A CN202210163020.5A CN202210163020A CN114529687A CN 114529687 A CN114529687 A CN 114529687A CN 202210163020 A CN202210163020 A CN 202210163020A CN 114529687 A CN114529687 A CN 114529687A
Authority
CN
China
Prior art keywords
image
information
texture
processed
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210163020.5A
Other languages
English (en)
Inventor
张振宇
葛彦昊
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210163020.5A priority Critical patent/CN114529687A/zh
Publication of CN114529687A publication Critical patent/CN114529687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像重建方法、装置、电子设备及计算机可读存储介质，涉及人工智能、计算机视觉技术、智慧交通和云技术领域。该方法包括：获取目标对象对应的待处理图像，获取待处理图像的第一纹理信息和第一几何信息。对待处理图像进行风格特征提取，得到待处理图像的第一风格特征。采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息；基于第二纹理信息和第一几何信息进行图像重建，得到重建后的目标图像。该方法基于对待处理图像进行风格特征提取所得到第一风格特征，对第一纹理信息进行修复，得到第二纹理信息。并根据该第二纹理信息和第一几何信息进行图像重建，可以得到纹理信息更加丰富的目标图像。

Description

图像重建方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及人工智能、计算机视觉技术、智慧交通和云技术领域，具体而言，本申请涉及一种图像重建方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
相关技术中，在进行图像重建时，通常采用参数化方法或非参数化方法。在采用参数化方法执行图像重建任务时，耗时较长，重建结果通常过于平滑，缺少细节以及其他显著的结构特征，且难以进行大规模的图像重建任务。在采用非参数化方法执行图像重建任务时，由于没有预先定义的拓扑结构，所得到的图像容易受到噪声和姿态的干扰，且无法实现将低质量图像重建为高质量图像。
基于上述，如何大规模地实现将低质量图像重建为高质量图像，有效提高待处理图像的图像质量，成为了本领域亟待解决的技术问题。
发明内容
本申请实施例提供了一种图像重建方法、装置、电子设备、计算机可读存储介质及计算机程序产品，该方法可以实现将目标对象对应的低质量图像重建为对应的高质量图像，有效提高了待处理图像的图像质量。
根据本申请实施例的一个方面，提供了一种图像重建方法，该方法包括：
获取目标对象对应的待处理图像；
获取待处理图像的初始图像信息，该初始图像信息包括第一纹理信息和第一几何信息；
基于待处理图像和第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：
对待处理图像进行风格特征提取，得到待处理图像的第一风格特征；采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息；
基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像，其中，目标图像的图像质量高于待处理图像的图像质量。
根据本申请实施例的另一个方面，提供了一种图像重建装置，该装置包括图像获取模块、图像信息获取模块、纹理修复模块和图像重建模块，其中：
图像获取模块，用于获取目标对象对应的待处理图像；
图像信息获取模块，用于获取待处理图像的初始图像信息，初始图像信息包括第一纹理信息和第一几何信息；
纹理修复模块，用于基于待处理图像和第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：
对待处理图像进行风格特征提取，得到待处理图像的第一风格特征；采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息；
图像重建模块，用于基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像，其中，目标图像的图像质量高于待处理图像的图像质量。
可选地，图像重建模块在基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像时，具体用于：
采用第二纹理信息，通过图像重建模型对第一几何信息进行修复，得到第二几何信息；
基于第二纹理信息和第二几何信息进行图像重建，得到目标图像。
可选地，第一几何信息包括待处理图像的初始表面法向量图，图像重建模块在采用第二纹理信息，通过图像重建模型对第一几何信息进行修复，得到第二几何信息时，具体用于：
基于第二纹理信息和第一几何信息进行图像重建，得到第一重建图像；
根据第一重建图像和待处理图像，通过图像重建模型获取初始表面法向量图对应的第一位移特征图；
采用第一位移特征图对初始的表面法向量图进行修正，得到目标表面法向量图，第二几何信息为目标表面法向量图。
可选地，图像重建模块在根据第一重建图像和待处理图像，通过图像重建模型获取初始表面法向量图对应的第一位移特征图时，具体用于：
对第一重建图像进行位移特征提取，得到第二位移特征图；
对待处理图像进行位移特征提取，得到第三位移特征图；
将第二位移特征图与第三位移特征图进行融合，得到第四位移特征图；
对第四位移特征图进行位移特征图重构，得到第一位移特征图。
可选地，初始图像信息还包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息或目标对象对应的第一姿态信息中的至少一项，图像重建模块在基于第二纹理信息和第一几何信息进行图像重建，得到第一重建图像时，具体用于：
基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，得到第一重建图像。
可选地，纹理修复模块在采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息时，具体用于：
对第一纹理信息进行特征提取，得到第一纹理特征；
根据第一风格特征对第一纹理特征进行修正，得到第二纹理特征；
根据第二纹理特征进行纹理重构，得到第二纹理信息。
可选地，上述装置还包括噪声获取模块，
该噪声获取模块用于获取随机噪声；
纹理修复模块在根据第二纹理特征进行纹理重构，得到第二纹理信息时，具体用于：
将随机噪声与第一纹理特征进行融合，得到带有噪声的第一纹理特征；
将第一风格特征与带有噪声的第一纹理特征进行融合，得到第二纹理特征。
可选地，初始图像信息还包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息或目标对象对应的第一姿态信息中的至少一项，图像重建模块在基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像时，具体用于：
基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，得到目标图像。
可选地，图像重建模型是由模型训练设备通过以下方式训练得到的：
获取训练数据集，该训练数据集中包括多个图像对，每个图像对包括图像内容相同的第一样本图像和第二样本图像，一个图像对中的第二样本图像的图像质量高于第一样本图像的图像质量；
对于每个图像对，获取该图像对中的第一样本图像的第一图像信息，以及第二样本图像的第二图像信息，其中，第一图像信息包括第三纹理信息和第三几何信息，第二图像信息包括第四纹理信息和第四几何信息；
基于各图像对、以及对应的第三纹理信和第四纹理信息，对初始纹理修复网络重复执行第一训练操作，直至满足第一条件，得到第一纹理修复网络，第一训练操作包括：
对于每个图像对，将该图像对中的第一样本图像和对应的第三纹理信息输入至初始纹理修复网络，得到第五纹理信息；基于各图像对对应的第五纹理信息和第四纹理信息，确定第一训练损失，基于第一训练损失对初始纹理修复网络的网络参数进行调整；
对于每个第一样本图像，基于该第一样本图像对应的第三几何信息，以及通过第一纹理修复网络得到的该第一样本图像的第五纹理信息进行图像重建，得到第二重建图像；
基于各图像对、以及对应的第二重建图像和第四几何信息，对初始几何修复网络重复执行第二训练操作，直至满足第二条件，得到第二纹理修复网络，其中，第二训练操作包括：
对于每个图像对，将该图像对中的第一样本图像和对应的第二重建图像输入至初始几何修复网络，得到第五几何信息；基于各图像对对应的第五几何信息和第四几何信息，确定第二训练损失，基于第二训练损失对初始几何修复网络的网络参数进行调整；
基于各图像对、以及对应的第一图像信息和第二图像信息，对中间神经网络执行第三训练操作，直至满足第三条件，得到图像重建模型，中间神经网络包括级联的第一纹理修复网络和第一几何修复网络。
根据本申请实施例的再一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行计算机程序以实现上述方法的步骤。
根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
根据本申请实施例的再一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
本申请提供的图像重建方法，在对待处理图像进行重建时，通过提取待处理图像的风格特征，并采用该风格特征对待处理图像的第一纹理信息(初始纹理信息)进行修复，得到修复后的第二纹理信息，通过将图像的风格特征融入到纹理信息的修复中，可以提升图像纹理信息的质量，从而可以基于修复后的高质量的纹理信息和待处理图像的几何信息，重建得到高质量的目标图像。采用本申请实施例提供的方法，有效改善了图像中目标对象的纹理信息，实现了将目标对象对应的低质量图像重建为对应的高质量图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像重建方法的流程图；
图2示出了本申请实施例提供的图像重建系统的结构图；
图3示出了本申请实施例中通过纹理修复网络获取第二纹理信息的示意图；
图4示出了本申请实施例中通过几何修复网络获取目标表面法向量的示意图；
图5示出了本申请实施例提供的一种图像重建系统的示意图；
图6示出了本申请实施例适用的应用场景下的信息验证方法的流程图；
图7示出了本申请实施例适用的应用场景下的门禁终端显示界面的示意图；
图8示出了本申请实施例适用的应用场景下的门禁终端显示界面的另一示意图；
图9示出了本申请实施例适用的应用场景下的车辆检测方法的流程图；
图10示出了本申请实施例的一种图像重建装置的示意图；
图11示出了本申请实施例所适用的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
如前文所描述的，无论采用参数化方法还是非参数化方法进行图像重建，都无法大规模地实现将低质量图像重建为高质量图像，有效提高待处理图像的图像质量。基于此，本申请实施例提供了一种图像重建方法、装置、电子设备、计算机可读存储介质及计算机程序产品。在该图像重建方法中，通过将图像的风格特征融入到纹理信息的修复中，可以提升图像纹理信息的质量，从而可以基于修复后的高质量的纹理信息和待处理图像的几何信息，重建得到高质量的目标图像，有效改善了图像中目标对象的纹理信息，实现了将目标对象对应的低质量图像重建为对应的高质量图像。
本申请实施例提供的图像重建方法的执行主体可以是图像重建装置。该图像重建装置可以是任一计算机设备，包括但不限于终端或服务器。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。该终端(也可以称为用户终端或用户设备(User Equipment，UE))可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备(例如智能音箱)、可穿戴电子设备(例如智能手表)、车载终端、智能家电(例如智能电视)、AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)设备等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。该图像重建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
本申请实施例提供的图像重建方法，可以基于人工智能(ArtificialIntelligence，AI)技术实现。比如，基于人工智能技术构建图像重建模型，并基于构建好的图像重建模型，将待处理图像重建为目标图像。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
上述图像重建模型还可以是基于计算机视觉技术(Computer Vision,CV)的神经网络模型。其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
本申请实施例提供的图像重建方法可以基于云技术(Cloud technology)实现，比如，在对图像重建模型进行训练的过程中所涉及的数据计算可以采用云计算(Cloudcomputing)方式。其中，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
本申请实施例提供的人脸识别方法还可以在智能交通领域实现，应用于自动驾驶或交通应用中，例如根据该图像重建方法可以对行车拍摄设备中拍摄的模糊的车辆图像、驾驶人员图像等图像进行图像重建，以进一步根据高质量的车辆图像、驾驶人员图像确定其所驾驶的车辆是否为违章车辆。
可选的，本申请实施例提供的图像重建方法还可以基于区块链技术实现。具体地，可以将图像重建过程中所用到的数据，例如训练数据集、待处理图像等，保存于区块链上。
该数据处理方法可以应用于各种不同的应用场景中，该应用场景可以为任一需要从低质量图像中获取目标对象的细节信息的场景，包括但不限于信息验证、车辆检测等场景。该应用场景也可以包括但不限于人脸挂件、贴图等的制作过程，以根据图像信息制作出与图像信息对应的人脸挂件、贴图等。其中，目标对象可以包括但不限于人、动物、车辆等。
可以理解的是，在本申请的具体实施方式中，涉及到用户图像等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
图1为本申请实施例提供的一种图像重建方法的流程图，如图1所示，该方法包括步骤S110至步骤S140。其中，
步骤S110：获取目标对象对应的待处理图像。
本申请实施例对待处理图像的图像质量不做限制。其中，可以通过一个或多个图像指标表征图像质量，本申请对此不做限制。具体地，图像指标可以包括但不限于分辨率、清晰度等。例如，所获取的目标对象的待处理图像可以为分辨率64×64的图像，也可以为分辨率124×124的图像等。
步骤S120：获取待处理图像的初始图像信息，该初始图像信息包括第一纹理信息和第一几何信息。
在该步骤中，可以通过相关技术中任一方法对待处理图像进行图像重建，并基于重建后的图像，提取待处理图像的初始图像信息，本申请实施例对此不做限制。例如，可以采用非参数化方法unsup3D(unsupervised 3Dshape reconstruction from 3D imageGANs，基于三维图像生成对抗网络(Generative Adversarial Networks，GANs)的无监督三维形状重建)进行图像重建，并提取重建图像中的图像信息，将该重建图像中的图像信息作为待处理图像的初始图像信息，该过程也可以成为3D(3dimensions，三维)人脸初始化。
待处理图像的初始图像信息可以包括对应于该待处理图像的第一纹理信息(即初始纹理信息)和第一几何信息(即初始几何信息)。可选地，待处理图像的初始图像信息还可以包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息、目标对象对应的姿态信息(即第一姿态信息或初始姿态信息)等。其中，待处理图像对应的采集环境信息可以包括但不限于第一光照信息(即初始光照信息)。其中，第一纹理信息可以为基于UV-map(UV-displacement map，UV-空间，也即标准空间(canonical view)。其中，U表示2D(2dimensions，二维)图像的横坐标轴、V表示2D图像的纵坐标轴)的纹理信息。
步骤S130：基于待处理图像和第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：
对待处理图像进行风格特征提取，得到待处理图像的第一风格特征；采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息。
可选地，可以先将UV-空间内的第一纹理信息设置为与待处理头像大小相同的类似于图像结构的纹理信息。再将待处理图像和该第一纹理信息输入至训练好的图像重建模型，以得到第二纹理信息(即修复后的纹理信息)，实现对第一纹理信息的修复。
训练好的图像重建模型可以包括训练好的纹理修复网络，可以基于待处理图像和第一纹理信息，通过纹理修复网络得到第二纹理信息。
具体地，该纹理修复网络可以包括风格编码模块，通过将待处理图像输入至该风格编码模块，可以利用风格编码模块对待处理图像进行风格特征提取，得到该待处理图像的第一风格信息(即风格编码)c1、c2、……、cn，其中，c1、c2、……、cn的大小均相同，例如，c1、c2、……、cn的大小可以均为1×1。本申请实施例对n的数值不做限制，可以根据实际情况设置，例如n为4。
该风格编码模块可以具体包括下采样特征提取单元、批归一化单元和激活函数单元。本申请实施例对该风格编码模块中的下采样特征提取单元的个数、批归一化单元的个数和激活函数单元的个数均不做限制，可以根据实际需求设置。本申请该实施例对激活函数单元的具体实现也不做限制，例如，该激活函数单元可以为ReLU激活函数(线性整流函数(Linear rectification function)，又称修正线性单元)单元。其中，在利用风格编码模块对待处理图像进行风格特征提取的具体过程可以为：基于该风格编码模块中的下采样特征提取单元进行下采样特征提取的结果(例如，3×3×1024的风格特征)，进行resize(调整大小)，得到n个大小相同的风格特征(例如，9个1×1×1024的风格特征)，再通过全连接层将n个大小相同的风格特征转换为n个大小相同的第一风格信息(例如，9个1×1的第一风格信息)，即c1、c2、……、cn。
图像的风格特征即图像的美学特征。以待处理图像为人脸图像为例，待处理图像的风格信息可以为漫画卡通风格、肖像风格、古风风格等。
基于待处理图像的第一风格特征对第一纹理信息进行修复，可以使得修复后的第二纹理信息为带有待处理图像的风格的纹理信息，更加符合真实的图像的纹理信息。
步骤S140：基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像，其中，目标图像的图像质量高于待处理图像的图像质量。
本申请实施例对图像重建的方式不作限制，可以根据实际需求确定具体的进行图像重建的方式。可选地，可以基于第二纹理信息和第一几何信息，使用可微光栅化渲染器进行图像重建，得到目标图像。其中，可微光栅化渲染器可以为Neural 3d mesh renderer(神经三维网格渲染器)。
通过基于第二纹理信息和第一几何信息进行图像重建，可以将图像的风格特征融入到纹理信息的修复中，可以提升图像纹理信息的质量，从而可以基于修复后的高质量的纹理信息和待处理图像的几何信息，重建得到高质量的目标图像，有效改善了图像中目标对象的纹理信息，实现了将目标对象对应的低质量图像重建为对应的高质量图像。
并且，该方法可以在多种应用场景中得到广泛应用，例如，可以基于该方法所得到的第二纹理信息，可以为进行3D图像设计奠定基础，节省美术设计人员的创作时间。例如，可以利用该方法所得到的第二纹理信息，进行人脸挂件、贴图等设计。在图像处理和视频等相关应用中，能够优化图像质量。并且，还可以为信息验证系统提供更可靠的人脸图像信息，对信息验证系统的输入图像的质量要求宽松，适用于多种场景，提升信息验证效果。
需要说明的是，基于本申请实施例所提供的图像重建方法，既可以适用于对单张图像的重建，也可以适用于对同一目标对象的多张图像的重建。
图2示出了本申请实施例提供的图像重建系统的结构图。如图2所示，图像重建模型包括纹理修复网络和几何修复网络。在具体实施过程中：可以基于待处理图像，获取该待处理图像对应的初始图像信息，该初始图像信息中包括第一纹理信息、第一几何信息和图像附加信息。通过纹理修复网络对该第一纹理信息进行修复，得到第二纹理信息。通过基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，可以得到第一重建图像。通过将待处理图像和第一重建图像输入至几何修复网络，可以得到第一位移特征图，基于该第一位移特征图对第一几何信息进行修复，可以得到第二几何信息。通过基于第二纹理信息、第二几何信息和图像附加信息进行图像重建，可以得到目标图像。以下将结合具体实施例对该图像重建系统进行说明：
可选地，初始图像信息还包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息或目标对象对应的第一姿态信息中的至少一项，基于第二纹理信息和第一几何信息进行图像重建，得到目标图像，包括：
基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，得到目标图像。
如前文所描述的，待处理图像对应的采集环境信息可以包括但不限于第一光照信息。可选地，可以基于第二纹理信息、第一几何信息、第一光照信息和第一姿态信息，使用可微光栅化渲染器进行图像重建，得到目标图像。
通过基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，可以使得目标图像中的几何信息为待处理图像中的第一几何信息，目标图像中的图像附加信息为待处理图像中的图像附加信息，目标图像中的纹理信息为融入了待处理图像的风格特征的第二纹理信息，提高了所构建的目标图像的仿真度，且可以使得目标图像中的纹理信息比待处理图像中的纹理信息更加清晰，有效改善了图像中目标对象的纹理信息，实现了将目标对象对应的低质量图像重建为对应的高质量图像。
可选地，采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息，包括：
对第一纹理信息进行特征提取，得到第一纹理特征；
根据第一风格特征对第一纹理特征进行修正，得到第二纹理特征；
对第二纹理特征进行纹理重构，得到第二纹理信息。
如前文所描述的，可以基于待处理图像和第一纹理信息，通过纹理修复网络得到第二纹理信息。具体地，纹理修复网络还可以包括纹理编码模块、纹理修正模块和纹理解码模块。
可选地，纹理编码模块可以包括多个级联的下采样特征提取单元、批归一化单元和激活函数单元。本申请实施例对该纹理编码模块中的下采样特征提取单元的个数、批归一化单元的个数和激活函数单元的个数均不做限制，可以根据实际需求设置。本申请该实施例对激活函数单元的具体实现也不做限制，例如，该激活函数单元可以为ReLU激活函数单元。
可以基于该纹理编码模块对第一纹理信息进行下采样特征提取，得到至少一个层级(即尺度或大小)的纹理特征。例如，所得到的纹理特征可以包括g1、g2、……、gk，其中，g1、g2、……、gk的大小依次减小。本申请实施例对k的数值不做限制，可以根据实际情况设置，例如k为5。在实际应用中，可以选取k个纹理特征中的部分或全部作为第一纹理特征。
可选地，纹理修正模块可以通过GANs实现，在本申请实施例中，纹理修正模块可以为StyleGANs(风格生成对抗网络)。以纹理修正模块可以为StyleGANs为例，该纹理修正模块中可以包括多个级联的子模块，每个子模块中包括级联的上采样特征提取单元和AdaIN(adaptive instance normalization，自适应实例归一化)单元。在AdaIN单元中，可以实现第一风格特征与第一纹理特征的融合。
可以利用该纹理修正模块，根据第一风格特征对第一纹理特征进行修正，得到至少一个层级的纹理特征。例如，所得到的纹理特征可以包括p1、p2、……、pm，其中，p1、p2、……、pm的大小依次减小。本申请实施例对m的数值不做限制，可以根据实际情况设置，例如m为9。在实际应用中，可以选取m个纹理特征中的部分或全部作为第二纹理特征。优选为第一风格特征中的特征数量为第一纹理特征中的特征数量与第二纹理特征中的特征数量之和。
可选地，纹理解码模块可以包括多个级联的上采样特征提取单元、批归一化单元和激活函数单元。本申请实施例对该纹理解码模块中的上采样特征提取单元的个数、批归一化单元的个数和激活函数单元的个数均不做限制，可以根据实际需求设置。本申请该实施例对激活函数单元的具体实现也不做限制。
可以利用该纹理解码模块，对第二纹理特征进行纹理重构，得到第二纹理信息。其中，第二纹理信息可以包括至少一个层级的纹理特征。例如，所得到的纹理特征可以包括f1、f2、……、fw，其中，f1、f2、……、fw的大小依次增大。本申请实施例对w的数值不做限制，可以根据实际情况设置，例如w为4。在实际应用中，可以选取fw作为第二纹理信息。
由于第一纹理信息为UV-空间中的纹理信息，且第一纹理信息中不包括姿态信息，对应地，在利用纹理编码模块对第一纹理信息进行特征提取后，所得到的第一纹理特征中也不包括姿态信息，进而可以在根据第一风格特征对第一纹理特征进行修正的过程中，去除姿态信息对该修正过程的影响，得到不包括姿态信息的第二纹理特征，因此，该第一纹理特征也可以成为空间引导信息。
由于根据第二纹理特征进行纹理重构就可以得到对应的第二纹理信息，也可以将第二纹理特征称为纹理先验信息，对应地，可以将纹理解码模块称为先验解码网络。
通过对第一纹理信息做进一步的特征提取，得到第一纹理特征，并根据第一风格特征对第一纹理特征进行修正，得到第二纹理特征，并对第二纹理特征进行纹理重构，实现对第一纹理信息的修复，可以使得修复后的第二纹理信息为带有待处理图像的风格的纹理信息，更加符合真实的图像的纹理信息。
可选地，上述方法还包括：获取随机噪声；
根据第一风格特征对第一纹理特征进行修正，得到第二纹理特征，包括：
将随机噪声与第一纹理特征进行融合，得到带有噪声的第一纹理特征；
将第一风格特征与带有噪声的第一纹理特征进行融合，得到第二纹理特征。
可选地，可以基于任一随机处理方法得到随机噪声，并对随机噪声进行下采样特征提取，得到与第一纹理特征大小相同的噪声特征noise(噪声)。再将该与第一纹理特征大小相同的噪声特征noise以及第一纹理特征进行融合(比如，相加或者求平均)，得到带有噪声的第一纹理特征。
通过将第一噪声特征与第一纹理特征进行融合，可以使得所得到带有噪声的第一纹理特征的细致程度更高，更加自然，符合真实图像。
如前文所记载的，第一纹理特征可以包括多个纹理特征，如g1、g2、……、gk，且g1、g2、……、gk中每个纹理特征的大小各不相同。假设将所获取的多个纹理特征g1、g2、……、gk均作为第一纹理特征，将所获取的多个风格特征c1、c2、……、cn均作为第一风格特征，对应地，在对随机噪声进行下采样特征提取，得到与第一纹理特征大小相同的噪声特征noise后，可以使得噪声特征noise的大小与纹理特征gk的大小相同。先将风格特征c1与噪声特征noise输入至AdaIN单元，基于风格特征c1与噪声特征noise进行自适应实例归一化，得到特征p1。将特征p1与纹理特征gk进行融合(比如，相加或者求平均)，可以得到带有噪声的纹理特征gk’，将风格特征c2与纹理特征gk’输入至AdaIN单元，基于风格特征c2与纹理特征gk’进行自适应实例归一化，得到纹理特征p2。并对纹理特征p2进行上采样特征提取，并将特征提取后的纹理特征p2’与纹理特征gk-1进行融合，得到融合后的纹理特征gk-1’，将风格特征c3与纹理特征gk-1’输入至AdaIN单元，基于风格特征c3与纹理特征gk-1’进行自适应实例归一化，得到纹理特征p3。以此类推，得到特征p4至pm。可选地，可以将纹理特征p2，p3，……，pm中的部分或全部作为第二纹理特征，本申请实施例对此不做限制。
基于上述处理，可以使得第二纹理特征的在细节上能够有更好的表现，更加还原待处理图像中目标对象的纹理信息。
作为一个具体示例，可以设置输入图像的大小为64×64，对应的，在对待处理图像的初始图像信息进行提取之后，可以得到大小为64×64的第一纹理信息。图3示出了本申请实施例中通过纹理修复网络获取第二纹理信息的示意图。应该理解的是，图3示出的纹理修复网络为图2中图像重建系统中的纹理修复网络的一个具体实现方式。如图3所示，纹理编码模块(即图3中的纹理编码网络)中可以包括5个级联的下采样特征提取单元，风格编码模块(即图3中的风格编码网络)中可以包括6个级联的下采样特征提取单元，纹理修正模块(即图3中的StyleGANs)可以包括9个级联的上采样特征提取单元，纹理解码模块(即图3中的先验编码网络)可以包括3个级联的上采样特征提取单元。
通过将大小为64×64的第一纹理信息输入至纹理编码模块之后，可以通过纹理编码模块中的各下采样特征提取单元依次对第一纹理信息进行下采样特征提取，得到第一纹理特征(即图3中的空间引导信息)。该示例中，以对第一纹理信息进行下采样特征提取的全部纹理特征作为第一纹理特征为例进行说明。其中，可以通过纹理编码模块中的第一个下采样特征提取单元对第一纹理信息进行下采样特征提取，可以得到大小为32×32的空间引导信息g1；可以通过纹理编码模块中的第二个下采样特征提取单元对空间引导信息g1进行下采样特征提取，可以得到大小为16×16的空间引导信息g2；以此类推，可以得到大小依次为8×8的空间引导信息g3、4×4的空间引导信息g4和2×2的空间引导信息g5。
通过将大小为64×64的输入图像输入至风格编码模块之后，可以通过风格编码模块中的各下采样特征提取单元依次对输入图像进行下采样特征提取，得到1个大小为3×3×1024的风格特征，并对该大小为3×3×1024的风格特征进行resize，得到9个大小均为1×1×1024的风格特征，再通过全连接层将8个大小均为1×1×1024的风格特征转换为8个大小均为1×1的风格特征(即图3中的风格编码)，即c1、c2、……、c8。该示例中，以对c1、c2、……、c8中的风格特征作为第一风格特征为例进行说明。
在纹理修正模块中，可以根据第一风格特征对第一纹理特征进行修正，得到第二纹理特征。其中，可以通过对随机噪声进行下采样特征提取，得到大小为2×2的噪声特征noise，先将风格特征c1与噪声特征noise输入至AdaIN单元，基于风格特征c1与噪声特征noise进行自适应实例归一化，得到大小为2×2的特征p1。并将该大小为2×2的特征p1与大小为2×2的空间引导信息g5进行融合，得到带有噪声的大小为2×2的纹理特征g5’，并将风格特征c2与该大小为2×2的纹理特征g5’输入至AdaIN单元，基于风格特征c2与将该大小为2×2的纹理特征g5’进行自适应实例归一化，得到大小为2×2的纹理特征p2。并对大小为2×2的纹理特征p2进行上采样特征提取，得到大小为4×4的纹理特征p2’，并将该大小为4×4的纹理特征p2’与大小为4×4的空间引导信息g4进行融合，得到大小为4×4的纹理特征g4’，将风格特征c3与大小为4×4的纹理特征g4’输入至AdaIN单元，基于风格特征c3与该大小为4×4的纹理特征g4’进行自适应实例归一化，得到大小为4×4的纹理特征p3。以此类推，得到大小为8×8的纹理特征p4、大小为16×16的纹理特征p5、大小为32×32的纹理特征p6。并继续对该大小为32×32的纹理特征p6进行上采样特征提取，得到大小为64×64的纹理特征p6’，并将该大小为64×64的纹理特征p6’与风格特征c7输入至AdaIN单元，基于该大小为64×64的纹理特征p6’与风格特征c7进行自适应实例归一化，得到大小为128×128的纹理特征p7。并继续对该大小为128×128的纹理特征p7进行上采样特征提取，得到大小为256×256的纹理特征p7’，并将该大小为128×128的纹理特征p7’与风格特征c8输入至AdaIN单元，基于该大小为128×128的纹理特征p7’与风格特征c8进行自适应实例归一化，得到大小为256×256的纹理特征p8。该示例中，以将纹理特征p5～p8作为第二纹理特征为例，将第二纹理特征p5～p8输入至纹理解码模块。
在纹理解码模块中，可以通过纹理解码模块中的各上采样特征提取单元依次对第二纹理特征进行上采样特征提取，得到第二纹理信息(即图3中的修复后的纹理ar)。其中，可以通过纹理解码模块中的第一个上采样特征提取单元对纹理特征p5进行上采样特征提取，得到大小为32×32的纹理特征f1，并将该大小为32×32的纹理特征f1与纹理特征p6进行融合，得到大小为32×32的纹理特征f1’。通过纹理编码模块中的第二个上采样特征提取单元对大小为32×32的纹理特征f1’进行上采样特征提取，得到大小为64×64的纹理特征f2，并将该大小为64×64的纹理特征f2与纹理特征p7进行融合，得到大小为64×64的纹理特征f2’。以此类推，得到大小为256×256的纹理特征f4’。并将该大小为256×256的纹理特征f4’作为第二纹理信息。
可选地，基于第二纹理信息和第一几何信息进行图像重建，得到目标图像，包括：
采用第二纹理信息，通过图像重建模型对第一几何信息进行修复，得到第二几何信息；
基于第二纹理信息和第二几何信息进行图像重建，得到目标图像。
可选地，可以基于第二纹理信息、第二几何信息、第一光照信息和第一姿态信息，使用可微光栅化渲染器进行图像重建，得到目标图像。
可选地，训练好的图像重建模型还可以包括训练好的几何修复网络，可以通过几何修复网络，采用第二纹理信息对第一几何信息进行修复，得到第二几何信息(即修复后的几何信息)，实现对第一几何信息的修复，使得几何信息更加丰富。
通过基于第二纹理信息和第二几何信息进行图像重建，可以使得目标图像中的纹理信息为第二纹理信息，目标图像中的几何信息为第二几何信息，提高了所构建的目标图像的仿真度，且可以使得目标图像中的纹理信息比待处理图像中的纹理信息更加清晰，目标图像中的几何信息比待处理图像中的几何信息更加丰富，获得色彩更丰富、细节更丰富的目标图像，实现了将目标对象对应的低质量图像重建为对应的高质量图像。在待处理图像为人脸图像的情况下，还可以获得眼皮、眉毛、胡须、皱纹等细节信息。
可选地，第一几何信息包括待处理图像的初始表面法向量图，采用第二纹理信息，通过图像重建模型对第一几何信息进行修复，得到第二几何信息，包括：
基于第二纹理信息和第一几何信息进行图像重建，得到第一重建图像；
根据第一重建图像和待处理图像，通过图像重建模型获取初始表面法向量图对应的第一位移特征图；
采用第一位移特征图对初始的表面法向量图进行修正，得到目标表面法向量图，第二几何信息为目标表面法向量图。
可选地，初始图像信息还包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息或目标对象对应的第一姿态信息中的至少一项，基于第二纹理信息和第一几何信息进行图像重建，得到第一重建图像，包括：
基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，得到第一重建图像。
可选地，可以基于第二纹理信息、第一几何信息和图像附加信息，使用可微光栅化渲染器进行图像重建，得到第一重建图像。
通过基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，可以使得第一重建图像中的几何信息为待处理图像中的第一几何信息，第一重建图像中的光照信息为待处理图像中的第一光照信息，第一重建图像中的图像附加信息为待处理图像中的图像附加信息，提高了所构建的第一重建图像的仿真度，且可以使得第一重建图像中的纹理信息比待处理图像中的纹理信息更加清晰，实现了将目标对象对应的低质量图像重建为对应的高质量图像。
在本申请实施例中，可以在获取待处理图像的初始图像信息时，可以先获取到待处理图像的初始深度图d0。初始深度图d0中各元素与待处理图像中的各像素点一一对应，用于表示待处理图像中各像素点在UV-空间中的深度值。并基于对待处理图像的初始深度图d0的进一步处理，得到待处理图像的初始表面法向量图。本申请实施例对具体得到初始表面法向量图的方式不做限制。其中，初始表面法向量图中的各元素与待处理图像中的各像素点一一对应，用于表示待处理图像中各像素点对应的三维向量坐标值，如x、y和z值，通过该三维坐标向量值可以确定待处理图像中各像素点对应的表面法向量。
第一位移图中各元素与待处理图像的初始表面法向量图中的各元素一一对应，用于表示初始表面法向量图中的各元素的位移量。
如上文所记载的，第一重建图像中的纹理信息为带有待处理图像的风格的第二纹理信息，相比于待处理图像，第一重建图像中的纹理信息中的纹理信息更加清晰，质量更高。通过根据第一重建图像和待处理图像，利用图像重建模型获取初始表面法向量图对应的第一位移图，可以使得所得到的第一位移图中的细节更加清晰。
对于初始表面法向量图中的一个元素，可以基于第一位移图中与该元素对应于位移量，对该元素进行修正，得到修正后的元素，其中，位移量可以为正数，也可以为负数，也可以为0。在位移量为正数的情况下，将初始表面法向量图中的元素沿对应的表面法向量，移动位移量对应的数值；在位移量为负数的情况下，将初始表面法向量图中的元素沿与对应的表面法向量相反的方向，移动位移量对应的数值。在将初始表面法向量图中的所有元素进行修正后，可以得到目标法向量图。例如，对于初始表面法向量图中的一个元素，若第一位移图中与该元素对应于位移量为+1，则将初始表面法向量图中的各元素沿对应的法向量方向移动1。
通过采用第一位移图对初始的表面法向量图进行修正，可以使得所得到的目标表面法向量图中具有更多的细节信息。其中，在待处理图像为人脸图像时，通过根据第一位移图修复后的目标法向量图，可以获得该人物对应的眼皮、眉毛、胡须、皱纹等细节信息。
可选地，根据第一重建图像和待处理图像，通过图像重建模型获取初始表面法向量图对应的第一位移特征图，包括：
对第一重建图像进行位移特征提取，得到第二位移特征图；
对待处理图像进行位移特征提取，得到第三位移特征图；
将第二位移特征图与第三位移特征图进行融合，得到第四位移特征图；
对第四位移特征图进行位移特征图重构，得到第一位移特征图。
在该实现方式中，几何修复网络可以包括第一位移特征提取模块、第二位移特征提取模块和位移特征图重构模块。可以利用第一位移特征提取模块对第一重建图像进行下采样位移特征提取，得到第二位移特征图t。可以利用第二位移特征提取模块对输入图像进行下采样位移特征提取，得到第三位移特征图t’，并将第二位移特征图与第三位移特征图进行融合，得到第四位移特征图T。可以利用位移重构模块对第四位移特征图进行位移特征图重构，得到第一位移特征图。
可选地，可以通过第一位移特征提取模块进行下采样特征提取，得到不同尺度的第二位移特征图t，通过第二位移特征提取模块进行下采样特征提取，得到不同尺度的第三位移特征图t’，从而将对应尺度的第二位移特征图t和第三位移特征图t’进行融合，得到对应尺度的融合位移特征图t”。具体地，可以将相同尺度的通过第一位移特征提取模块进行下采样特征提取得到的位移特征图t1与通过第二位移特征提取模块进行下采样特征提取得到的对应尺度的位移特征图t1’进行融合之后，得到融合位移特征图t1”，再通过第二位移特征提取模块对该融合位移特征图t1”进行下采样特征提取，得到位移特征图t2’。将该位移特征图t2’与对应尺度的位移特征图t2进行融合，得到融合位移特征图t2”。以此类推，直至得到融合位移特征图ts”。并将所得到的最后一个融合位移特征图ts”作为第四位移特征图T。在实际应用中，可以选取第一位移特征提取模块提取到的部分或全部特征图作为第一位移特征图，选取第二位移特征提取模块提取到的部分或全部特征图作为第二位移特征图。
在得到并利用位移重构模块对该第四位移特征图T进行位移重构，得到第一位移特征图。具体地，可以通过位移重构模块中的上采样特征提取单元依次对第四位移特征图T进行上采样特征提取，直至得到第一位移特征图。其中，可以通过位移重构模块中的第一个上采样特征提取单元对第四位移特征图进行上采样特征提取，得到位移特征图T1’，并通过位移重构模块中的第二个上采样特征提取单元对位移特征图T1’进行上采样特征提取，得到位移特征图T2’。以此类推，直至得到第一位移特征图m。
通过基于对第一重建图像进行位移特征提取，得到第二位移特征图，基于对待处理图像进行位移特征提取，得到第三位移特征图，并将第二位移特征图与第三位移特征图进行融合，得到第四位移特征图。并对该第四位移特征图进行位移重构，可以得到包括更多的细节信息的第一位移特征图。
作为一个具体示例，图4示出了本申请实施例中通过几何修复网络获取目标表面法向量的示意图。应该理解的是，图4示出的几何修复网络为图2中图像重建系统中的几何修复网络的一个具体实现方式。如图4所示，可以设置输入图像I的大小为64×64。基于对输入图像I进行纹理修复，可以得到第二纹理信息，并基于该第二纹理信息和输入图像I的第一几何信息进行图像重建，所得到第一重建图像Ir(即图4所示的，重构图像Ir)的大小为256×256。在该示例中，第一位移特征提取模块中可以包括5个下采样特征提取单元，第二位移特征提取模块中可以包括6个下采样特征提取单元，位移重构模块可以包括8个上采样特征提取单元。
通过将大小为256×256的第一重建图像输入至第一位移特征提取模块之后，可以通过第一位移特征提取模块中的各下采样特征提取单元依次对第一重建图像进行下采样特征提取，得到第二位移特征图。其中，可以通过第一位移特征提取模块中的第一个下采样特征提取单元对第一重建图像进行下采样特征提取，可以得到大小为128×128的带有纹理信息的位移特征图t1；通过第一位移特征提取模块中的第二个下采样特征提取单元对大小为128×128的带有纹理信息的第一位移特征t1进行下采样特征提取，可以得到大小为64×64的带有纹理信息的位移特征图t2；以此类推，可以得到大小依次为32×32的带有纹理信息的位移特征图t3、16×16的带有纹理信息的位移特征图t4、8×8的带有纹理信息的位移特征图t5。具体地，第一位移特征提取模块中的各下采样特征提取单元可以对第一重建图像进行有间隔的特征提取，即在对第一重建图像中的各像素点进行下采样特征提取时，每隔一个像素点进行一次特征提取。
可选地，可以选取对第一重建图像进行下采样特征提取结果中的全部或部分作为第二位移特征图。在该示例中，可以将位移特征图t3～t5作为第二位移特征图。
并将各大小不同的第一位移特征输入至第二位移特征提取模块中，以使得在通过第二位移特征提取模块进行特征提取时，可以考虑到第一重构图像中的纹理信息，从而使得所得到的第二位移特征中包含更多的细节信息。
通过将大小为64×64的待处理图像输入至第二位移特征提取模块之后，可以通过第二位移特征提取模块中的各下采样特征提取单元依次对待处理图像进行下采样特征提取，得到第三位移特征图。其中，在第二位移特征提取模块中，还可以基于对待处理图像进行下采样特征提取所得到第三位移特征图与对应尺寸的第二位移特征图进行融合之后，再对融合后的位移特征图进行特征提取，得到第四位移特征图。
可以通过第二位移特征提取模块中的第一个下采样特征提取单元对待处理图像进行下采样特征提取，得到大小为32×32的位移特征图t1’；通过将该大小为32×32的位移特征t1’与上述大小为32×32的带有纹理信息的位移特征图t3进行融合，得到大小为32×32的融合位移特征图t1”。通过第二位移特征提取模块中的第二个下采样特征提取单元对该大小为32×32的融合位移特征t1”进行下采样特征提取，得到大小为16×16的位移特征图t2’。通过将该大小为16×16的位移特征图t2’与大小为16×16的带有纹理信息的位移特征图t4进行融合，得到大小为16×16的融合位移特征图t2”。通过第二位移特征提取模块中的第三个下采样特征提取单元对该大小为16×16的融合位移特征图t2”进行下采样特征提取，得到大小为8×8的位移特征图t3’。以此类推，可以得到大小依次为4×4的位移特征图t4”、2×2的位移特征图t5”、1×1的位移特征图t6”。其中，第二位移特征提取模块中的各下采样特征提取单元可以对待处理图像进行有间隔的下采样特征提取。可以理解的是，在得到大小为8×8的融合位移特征图t4”之后，可以直接通过第二位移特征提取模块中的采样特征提取单元对融合位移特征图t4”进行特征提取，不需要再与第二位移特征提取模块中得到的位移特征图进行融合了。在该示例中，可以将大小为1×1的位移特征图t6”作为第四位移特征图T。
通过将大小为1×1的第四位移特征图输入至位移重构模块之后，可以通过位移重构模块中的各上采样特征提取单元依次对该大小为1×1的第二位移特征进行解码，得到第一位移图(即图4所示的位移图m)。其中，可以通过位移重构模块中的第一个上采样特征提取单元对该大小为1×1的第四位移特征图进行特征提取，得到大小为2×2的位移特征图T1’。通过位移重构模块中的第二个上采样特征提取单元对大小为2×2的位移特征图T’进行上采样特征提取，得到大小为4×4的位移特征图T2’；以此类推，可以得到大小依次为8×8的位移特征图T3’、16×16的位移特征图T4’、32×32的位移特征图T5’、64×64的位移特征图T6’、128×128的位移特征图T7’和256×256的位移特征图T8’。并将大小256×256的位移特征图T8’作为第一位移图m。其中，在通过位移重构模块中的各上采样特征提取单元进行上采样特征提取时，可以先对对应的位移特征图进行双线性插值，再进行特征提取，实现有间隔的特征提取。
如图4所示，可以对待处理图像进行初始图像信息的提取，得到待处理图像的初始深度图d0。并对待处理图像的初始深度图d0的进一步处理，得到初始表面法向量图n0。在得到第一位移图m之后，可以基于第一位移图m中的各元素，对初始表面法向量图n0中对应的元素进行修正，在将初始表面法向量图中的所有元素进行修正后，可以得到目标法向量图(即图4所示的修复后的法向量nr)。
可选地，图像重建模型是由模型训练设备通过以下方式训练得到的：
获取训练数据集，该训练数据集中包括多个图像对，每个图像对包括图像内容相同的第一样本图像和第二样本图像，一个图像对中的第二样本图像的图像质量高于第一样本图像的图像质量；
对于每个图像对，获取该图像对中的第一样本图像的第一图像信息，以及第二样本图像的第二图像信息，其中，第一图像信息包括第三纹理信息和第三几何信息，第二图像信息包括第四纹理信息和第四几何信息；
基于各图像对、以及对应的第三纹理信和第四纹理信息，对初始纹理修复网络重复执行第一训练操作，直至满足第一条件，得到第一纹理修复网络，第一训练操作包括：
对于每个图像对，将该图像对中的第一样本图像和对应的第三纹理信息输入至初始纹理修复网络，得到第五纹理信息；基于各图像对对应的第五纹理信息和第四纹理信息，确定第一训练损失，基于第一训练损失对初始纹理修复网络的网络参数进行调整；
对于每个第一样本图像，基于该第一样本图像对应的第三几何信息，以及通过第一纹理修复网络得到的该第一样本图像的第五纹理信息进行图像重建，得到第二重建图像；
基于各图像对、以及对应的第二重建图像和第四几何信息，对初始几何修复网络重复执行第二训练操作，直至满足第二条件，得到第二纹理修复网络，其中，第二训练操作包括：
对于每个图像对，将该图像对中的第一样本图像和对应的第二重建图像输入至初始几何修复网络，得到第五几何信息；基于各图像对对应的第五几何信息和第四几何信息，确定第二训练损失，基于第二训练损失对初始几何修复网络的网络参数进行调整；
基于各图像对、以及对应的第一图像信息和第二图像信息，对中间神经网络执行第三训练操作，直至满足第三条件，得到图像重建模型，中间神经网络包括级联的第一纹理修复网络和第一几何修复网络。
其中，模型训练设备可以是当前执行主体，也可以是与当前执行主体不同的电子设备，如可以是云服务器。
可选地，在执行上述训练方法之前，还可以先构建初始神经网络模型，该初始神经网络模型包括级联的初始纹理修复网络和初始几何修复网络。其中，可以通过可微光栅化渲染器实现初始纹理修复网络和初始几何修复网络的级联。
在该实施例中，初始纹理修复网络的网络构成与上述纹理修复网络相同，初始几何修复网络的网络构成与上述几何修复网络相同，在此不做赘述。
基于前文所记载的，在该实施例中，第一图像信息还包括第一图像附加信息，第一图像附加信息包括第一样本图像对应的采集环境信息、第一样本图像中的对象对应的姿态信息等。其中，第一样本图像对应的采集环境信息可以包括但不限于光照信息。对应地，第二图像信息还包括第二图像附加信息，第二图像附加信息包括第二样本图像对应的采集环境信息、第二样本图像中的对象对应的姿态信息等。其中，第二样本图像对应的采集环境信息可以包括但不限于光照信息。可以理解的是，第一样本图像中的对象与第二样本图像中的对象为同一对象。当然，在得到第二重建图像时，可以基于该第一样本图像对应的第五纹理信息、第三几何信息、第一图像附加信息进行图像重建，得到第二重建图像。
第三训练操作可以具体包括：基于该第一样本图像对应的第五纹理信息、第五几何信息，以及该第一样本图像对应的第二样本图像的第四纹理信息、第四几何信息，确定第三训练损失，基于第三训练损失对中间神经网络的网络参数进行调整。
以训练数据集中的各图像对为人脸图像为例，训练数据集可以基于至少一个人脸数据库采集得到的，本申请实施例对此不做限制，另外，本申请实施例对所采集到的图像对的数量也不做限制。
例如，可以基于以下步骤1至步骤3获取训练数据集中的多个图像对：
步骤1：基于CelebAMask-HQ(Celeb Attributes-Mask-HQ，一种高清人脸数据集，HQ，High Quality，高清/高质量)数据库和FFHQ(Flickr-Faces-HQ，一种高清人脸数据集)数据库采集得到的训练数据集，其中，可以分别从CelebAMask-HQ数据库中选取30k(即30000)张1024×1024分辨率的高清人脸图像，从FFHQ数据库中选取70k(即70000)张1024×1024分辨率的高清人脸图像，得到100k(即100000)张1024×1024分辨率的高清人脸图像。
步骤2：按照3:7的比例(即CelebAMask-HQ数据库中的图像数量：FFHQ数据库的图像数量＝3:7)从这100k张1024×1024分辨率的高清人脸图像中随机选择60k(即60000)张1024×1024分辨率的高清人脸图像。
步骤3：分别对60k张1024×1024分辨率的高清人脸图像中每张图像进行下采样和模糊处理后，得到对应于每张图像的图像对。其中，对于一张1024×1024分辨率的高清人脸图像，可以得到对应于该图像的64×64分辨率的第一样本图像和256×256分辨率的第二样本图像(即真值图像)。
在得到每张1024×1024分辨率的高清人脸图像对应的图像对之后，分别对每个图像对中的每张图像进行图像信息提取，得到每个第一样本图像的第三纹理信息、第三几何信息和第一图像附加信息，以及每个第二样本图像的第四纹理信息和第四几何信息。
可选地，可以基于第一损失函数确定第一训练损失，第一训练损失表征了第一纹理修复网络的精确度。第一损失函数可以包括以下任意一种，softmax(归一化)损失函数，center loss(中心损失)等，本申请对此不做限制。第一条件可以为执行第一训练操作的训练周期达到第一预设值，第一损失达到第二预设值、第一损失函数收敛等。其中，基于训练数据集中的所有图像对都执行一次第一训练操作，可以视为一个执行第一训练操作的训练周期。例如，第一条件可以为执行第一训练操作的训练周期为30个周期。其中，在执行第一训练操作过程中，学习率可以为0.0001，批量(即一次性输入至初始纹理复网络中的第一样本图像的数量为16，对应地，各第一样本图像的第三纹理信息的数量也为16)可以为16，优化器可以为任一优化器，例如，可以为Adam(一种优化器)、随机梯度下降优化器等。
可选地，可以基于第二损失函数确定第二训练损失，第二训练损失表征了第一几何修复网络的精确度。第二损失函数可以包括以下任意一种，softmax损失函数，centerloss等，本申请对此不做限制。第二条件可以为执行第二训练操作的训练周期达到第三预设值，第一损失达到第四预设值、第二损失函数收敛等。其中，基于训练数据集中的所有图像对都执行一次第二训练操作，可以视为一个执行第二训练操作的训练周期。例如，第二条件可以为执行第二训练操作的训练周期为30个周期。其中，在执行第二训练操作过程中，学习率可以为0.0001，批量(即一次性输入至初始几何修复网络中的第一样本图像的数量为16，对应地，各第一样本图像对应的第二重建图像的数量也为16)可以为16，优化器为Adam。
其中，在执行第二训练操作的过程中，可以冻结第一纹理修复网络的参数。可选地，可以通过将第一纹理修复网络中的卷积单元的学习率、归一化单元的学习率、激活函数单元的学习率置零，使得第一纹理修复网络中的卷积单元的权重、归一化单元的权重、激活函数单元的权重保持固定等方式冻结第一纹理修复网络的参数。
可选地，可以基于第三损失函数确定第三训练损失，第三训练损失表征了图像重建网络的精确度。第三损失函数可以包括以下任意一种，softmax损失函数，center loss等，本申请对此不做限制。第三条件可以为执行第三训练操作的训练周期达到第五预设值，第一损失达到第六预设值、第三损失函数收敛等。其中，基于训练数据集中的所有图像对都执行一次第三训练操作，可以视为一个执行第三训练操作的训练周期。例如，第三条件可以为执行第三训练操作的训练周期为20个周期。其中，在执行第三训练操作过程中，学习率可以为0.0001，批量(即一次性输入至中间神经网络中的第一样本图像的数量为16，对应地，各第一样本图像对应的第三纹理信息的数量也为16，各第一样本图像对应的第三重建图像的数量也为16)可以为16，优化器为Adam。
需要注意的是，执行第一训练操作的训练周期应该大于或等于执行第三训练操作的训练周期，执行第二训练操作的训练周期也应该大于或等于执行第三训练操作的训练周期。
需要注意的是，若仅需要对待处理图像进行纹理修复，则该初始神经网络可以仅包括初始纹理修复网络。对应地，可以在对初始纹理修复网络重复执行第一训练操作，得到第一纹理修复网络之后，即可停止训练，得到训练好的图像重建模型。
若仅需要对待处理图像进行几何修复，则该初始神经网络可以仅包括初始几何修复网络。对应地，对该初始几何修复网络的训练过程可以为：
基于各图像对和第四几何信息，对初始几何修复网络重复执行第四训练操作，直至满足第四条件，得到第二纹理修复网络之后，即可停止训练，得到训练好的图像重建模型。第二训练操作包括：对于每个图像对，将该图像对中的第一样本图像输入至初始几何修复网络，得到第六几何信息；基于各图像对对应的第六几何信息和第四几何信息，确定第四训练损失，基于第四训练损失对初始几何修复网络的网络参数进行调整。
通过上述训练方式，可以得到修复程度更加精确的图像重建模型，从而在基于训练得到的图像重建模型进行纹理修复时，可以得到更加清晰的第二纹理信息；在基于训练得到的图像重建模型进行几何修复时，可以得到细致程度更高的细节信息。
可选地，在获取训练数据集之后，上述对图像重建模型进行训练的方法还包括：
按照预设比例将训练数据集分割为训练集、验证集和测试集；
根据训练集对初始神经网络模型执行上述第一训练操作、第二训练操作和第三训练操作，直至满足第五条件，得到第二神经网络模型；
按照预设验证评估指标，基于验证集对第二神经网络模型进行评估，得到第一评估结果；
按照预设测试评估指标，基于测试集对第二神经网络模型进行评估，得到第二评估结果；
在指标评估结果满足第六条件时，将第二神经网络模型确定为图像重建网络模型，其中，指标评估结果包括第一评估结果和第二评估结果；
在指标评估结果不满足第六条件时，对第二神经网络模型的模型参数进行调整，并基于训练集继续对调整后的模型进行训练；
上述第三条件包括第五条件和第六条件；
其中，第六条件包括第一评估条件或第二评估条件中的至少一项，指标评估结果满足第六条件包括：第一评估结果满足第一评估条件或第二评估结果满足第二评估条件中的至少一项。
在该实现方式中，可以按照预设比例将训练数据集分为训练集、验证集和测试集，其中，预设比例可以根据实际需求配置(比如可以是经验值或实验值)，本申请对此不做限制。例如，可以设置预设比例为4:1:1，也即，通过分割后，训练集中的图像对的数量、验证集中的图像对的数量与测试集中图像对的数量之比为4:1:1。以上述随机选择60k张1024×1024分辨率的高清人脸图像为例，则对应的训练集中的图像对的数量为40k张，验证集中的图像对的数量为10k张，测试集中图像对的数量为10k张。
在该实现方式中，验证评估指标可以包括但不限于该第二神经网络模型的超参数。其中，第一评估条件可以根据实际需求配置(比如可以是经验值或实验值)，本申请对此不做限制。其中，在该第二神经网络模型不满足该第一评估条件时，可以调整该第二深度学习模型的超参数，对该第二深度学习模型进行优化，继续根据训练集和验证集对该第二深度学习模型继续训练，直至该第二神经网络模型满足该第一评估条件。
可选地，测试评估指标可以包括但不限于该第二神经网络模型的泛化能力。其中，第二评估条件可以根据实际需求配置(比如可以是经验值或实验值)，本申请对此不做限制。例如，第二评估条件可以为该第二神经网络模型的泛化能力达到90％，也即，该满足第二评估条件的第二神经网络模型的泛化能力大于或等于90％。在第二评估结果不满足第二评估条件时，继续根据训练集和验证集对该满足第二神经网络模型继续训练，直至获取到满足第二评估条件的第二神经网络模型，以使得所得到的图像重建模型的最终性能良好。
可以理解的是，在第六条件包括第一评估条件和第二评估条件时所得到的图像重建模型的最终性能，比在第六条件仅包括第一评估条件或仅包括第二评估条件所得到的图像重建模型的最终性能要更好。
通过上述方式，可以使得图像重建模型的精确度更好，泛化能力更强，具有较高的覆盖率和精准率。
图5示出了本申请实施例提供的一种图像重建系统的示意图，如图5所示，该系统包括用户终端81、网络82、应用服务器83以及模型训练服务器84，用户终端81通过网络82与应用服务器83进行通信，应用服务器83和模型训练服务器84之间可以实现通信交互，例如，应用服务器83可以接收到模型训练服务器84发送的训练好的图像重建模型。其中，用户终端81中可以安装有用于进行信息验证的应用程序，或者在该用户终端81中的某一应用程序中设置有用于进行信息验证的插件。通过打开该用于进行信息验证的应用程序或者设置有上述用于进行信息验证的插件的应用程序，以启动终端进行信息验证。其中，该用户终端81可以为手机、iPad、电脑等。例如，在支付、登录/注册新的应用程序的过程中，可以通过该用于进行信息验证的应用程序完成信息验证，从而完成对应的业务。
其中，模型训练服务器84可以用于基于训练数据集对初始神经网络模型进行训练，得到训练好的图像重建模型。并将训练好的图像重建模型发送至应用服务器83中，以使得应用服务器83对该训练好的图像重建模型进行部署。该应用服务器83可以用于基于所部署的训练好的图像重建模型，执行本申请实施例所提供的图像重建方法。例如，该用户终端可以为门禁系统，可以通过该门禁系统的图像采集设备采集待处理图像，并对该待处理图像进行图像重建，得到重建后的高质量的目标图像，并基于该目标图像对应的对象的身份信息与预设对象的身份信息进行匹配，以确定目标图像中的目标对象的身份是否与预设对象的身份信息相匹配。
本申请实施例提供的图像重建系统可以应用于信息验证过程中，下面结合图5所示的图像重建系统，对该应用场景下的信息验证方法的流程进行说明。在该信息验证方法中，上述图像重建系统中的应用服务器83可以为门禁服务器，上述图像重建系统中的用户终端81可以为门禁终端。图6示出了本申请实施例适用的应用场景下的信息验证方法的流程图。如图6所示，该方法可以包括如下步骤S11至步骤S15。
步骤S11：获取训练数据集(多个样本对，每个样本对中包括内容相同的第一样本图像和第二样本图像，其中，一个样本对中的第二样本图像的图像质量高于第一样本图像的图像质量)。
步骤S12：模型训练，即基于训练数据集对初始神经网络模型进行训练，得到训练好的图像重建模型，并将训练好的图像重建模型发送至门禁服务器83。
步骤S13：基于门禁系统的图像采集设备获取靠近门禁终端的用户图像，并将该用户图像发送至门禁服务器83。
图7示出了本申请实施例适用的应用场景下的门禁终端显示界面的示意图。图8示出了本申请实施例适用的应用场景下的门禁终端显示界面的另一示意图。如图7所示，在未使用该门禁终端时，该门禁终端显示界面显示有图像采集控件1、图像验证控件2和指纹验证控件3。其中，在检测到指纹验证控件3被触发时，则对当前触发该指纹验证控件3的用户指纹进行采集，并对采集到的指纹进行验证，确定所采集的指纹是否为预设的用户的指纹。在检测到人脸验证控件2被触发之后，可以启用图像采集控件1，以采集当前靠近该门禁终端的用户图像，并对采集到的用户图像进行验证，确定所采集的用户图像是否为预设的用户的图像，当然，也可以同时进行用户指纹采集和用户图像采集。
其中，在启用图像采集控件1后，还可以从当前显示界面跳转至图8中示出的门禁终端显示界面。如图8所示，可以在当前显示界面显示通过图像采集控件1采集到的用户图像。
步骤S14：基于上述训练好的图像重建模型，对该用户图像进行重建，得到待处理图像对应的质量更高的目标用户图像；
基于该目标用户图像对应的用户身份信息与预设用户身份信息进行匹配，以确定目标用户图像中的用户身份是否与预设用户身份信息相匹配，并将匹配结果发送至门禁终端81。
步骤S15：若目标用户图像对应的用户身份信息与预设用户身份信息相匹配，确定该用户图像所属的对象是预设对象，并解除门禁；
若目标用户图像对应的用户身份信息与预设用户身份信息不匹配，确定该用户图像所属的对象不是预设对象，依然封闭门禁。
如图8所示，若检测到目标用户图像对应的用户身份信息与预设用户身份信息不匹配，还可以在门禁终端显示界面显示“验证失败”等提示信息。
其中，步骤S11和步骤S12可以由模型训练服务器84实现，步骤S13可以通过门禁终端81实现，步骤S14可以通过门禁服务器83实现，步骤S15可以通过门禁终端81实现。当然，步骤S14也可以通过门禁终端81实现，图5中以门禁服务器83实现步骤S14为例进行了说明。在步骤S14通过门禁终端81实现时，在步骤S12中，可以将训练好的图像重建模型发送至门禁终端81；在步骤S13，不需要将用户图像发送至门禁服务器83；在步骤S14中，不需要将匹配结果发送至门禁终端81。
在车辆驾驶过程中，通常由于车辆行驶速度过快，或者车辆拥挤等情况，导致道路图像采集设备无法采集到可以准确识别出当前道路中的行驶车辆的车辆照片。基于此，可以将本申请所提供的图像重建系统应用于智慧交通过程中，结合图5所示的图像重建系统，对该应用场景下的车辆检测方法的流程进行说明。在该车辆检测方法中，上述图像重建系统中的应用服务器83可以为车辆检测服务器，上述图像重建系统中的用户终端81可以为车辆检测终端。图9示出了本申请实施例适用的应用场景下的车辆检测方法的流程图。如图9所示，该方法可以包括如下步骤S21至步骤S23。
步骤S21：触发车辆检测终端中的道路图像采集设备采集车辆图像，并将车辆图像发送至车辆检测服务器83。
步骤S22：基于上述训练好的图像重建模型，对采集到的车辆图像进行重建，得到质量更高的目标车辆图像；
基于该目标车辆图像对应的车辆信息与预设车辆信息进行匹配，以确定目标车辆图像中的车辆信息是否与预设车辆信息相匹配，并将匹配结果发送至车辆检测终端81。
步骤S23：若目标车辆图像对应的车辆信息与预设车辆信息相匹配，确定所采集的车辆为预设车辆，并根据该车辆的具体信息进行后续处理，例如，对该车辆对应的驾驶人员提出“超速驾驶”警告等；
若目标车辆图像对应的车辆信息与预设车辆信息不匹配，则不进行后续处理。
其中，步骤S21和步骤S23可以通过车辆检测终端81实现，步骤S22可以通过车辆检测服务器83实现。当然，步骤S22和步骤S23也可以通过车辆检测终端81实现，图9中以通过车辆检测服务器83执行步骤S22为例进行了说明。在步骤S22通过车辆检测终端81实现时，在步骤S21，不需要将车辆图像发送至车辆检测服务器83；在步骤S22中，不需要将匹配结果发送至车辆检测终端81。
基于与本申请实施例提供的图像重建方法相同的原理，本申请实施例还提供了一种图像重建装置。图10示出了本申请实施例的一种图像重建装置的示意图。如图10所示，该装置30包括图像获取模块301、图像信息获取模块302、纹理修复模块303和图像重建模块304，其中：
图像获取模块301，用于获取目标对象对应的待处理图像；
图像信息获取模块302，用于获取待处理图像的初始图像信息，初始图像信息包括第一纹理信息和第一几何信息；
纹理修复模块303，用于基于待处理图像和第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：
对待处理图像进行风格特征提取，得到待处理图像的第一风格特征；采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息；
图像重建模块304，用于基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像，其中，目标图像的图像质量高于待处理图像的图像质量。
可选地，图像重建模块304在基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像时，具体用于：
采用第二纹理信息，通过图像重建模型对第一几何信息进行修复，得到第二几何信息；
基于第二纹理信息和第二几何信息进行图像重建，得到目标图像。
可选地，第一几何信息包括待处理图像的初始表面法向量图，图像重建模块304在采用第二纹理信息，通过图像重建模型对第一几何信息进行修复，得到第二几何信息时，具体用于：
基于第二纹理信息和第一几何信息进行图像重建，得到第一重建图像；
根据第一重建图像和待处理图像，通过图像重建模型获取初始表面法向量图对应的第一位移特征图；
采用第一位移特征图对初始的表面法向量图进行修正，得到目标表面法向量图，第二几何信息为目标表面法向量图。
可选地，图像重建模块304在根据第一重建图像和待处理图像，通过图像重建模型获取初始表面法向量图对应的第一位移特征图时，具体用于：
对第一重建图像进行位移特征提取，得到第二位移特征图；
对待处理图像进行位移特征提取，得到第三位移特征图；
将第二位移特征图与第三位移特征图进行融合，得到第四位移特征图；
对第四位移特征图进行位移特征图重构，得到第一位移特征图。
可选地，初始图像信息还包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息或目标对象对应的第一姿态信息中的至少一项，图像重建模块304在基于第二纹理信息和第一几何信息进行图像重建，得到第一重建图像时，具体用于：
基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，得到第一重建图像。
可选地，纹理修复模块303在采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息时，具体用于：
对第一纹理信息进行特征提取，得到第一纹理特征；
根据第一风格特征对第一纹理特征进行修正，得到第二纹理特征；
根据第二纹理特征进行纹理重构，得到第二纹理信息。
可选地，上述装置还包括噪声获取模块，该噪声获取模块用于获取随机噪声；
纹理修复模块303在根据第二纹理特征进行纹理重构，得到第二纹理信息时，具体用于：
将随机噪声与第一纹理特征进行融合，得到带有噪声的第一纹理特征；
将第一风格特征与带有噪声的第一纹理特征进行融合，得到第二纹理特征。
可选地，初始图像信息还包括图像附加信息，图像附加信息包括待处理图像对应的采集环境信息或目标对象对应的第一姿态信息中的至少一项，图像重建模块304在基于第二纹理信息和第一几何信息进行图像重建，得到待处理图像对应的目标图像时，具体用于：
基于第二纹理信息、第一几何信息和图像附加信息进行图像重建，得到目标图像。
可选地，图像重建模型是由模型训练设备通过以下方式训练得到的：
获取训练数据集，该训练数据集中包括多个图像对，每个图像对包括图像内容相同的第一样本图像和第二样本图像，一个图像对中的第二样本图像的图像质量高于第一样本图像的图像质量；
对于每个图像对，获取该图像对中的第一样本图像的第一图像信息，以及第二样本图像的第二图像信息，其中，第一图像信息包括第三纹理信息和第三几何信息，第二图像信息包括第四纹理信息和第四几何信息；
基于各图像对、以及对应的第三纹理信和第四纹理信息，对初始纹理修复网络重复执行第一训练操作，直至满足第一条件，得到第一纹理修复网络，第一训练操作包括：
对于每个图像对，将该图像对中的第一样本图像和对应的第三纹理信息输入至初始纹理修复网络，得到第五纹理信息；基于各图像对对应的第五纹理信息和第四纹理信息，确定第一训练损失，基于第一训练损失对初始纹理修复网络的网络参数进行调整；
对于每个第一样本图像，基于该第一样本图像对应的第三几何信息，以及通过第一纹理修复网络得到的该第一样本图像的第五纹理信息进行图像重建，得到第二重建图像；
基于各图像对、以及对应的第二重建图像和第四几何信息，对初始几何修复网络重复执行第二训练操作，直至满足第二条件，得到第二纹理修复网络，其中，第二训练操作包括：
对于每个图像对，将该图像对中的第一样本图像和对应的第二重建图像输入至初始几何修复网络，得到第五几何信息；基于各图像对对应的第五几何信息和第四几何信息，确定第二训练损失，基于第二训练损失对初始几何修复网络的网络参数进行调整；
基于各图像对、以及对应的第一图像信息和第二图像信息，对中间神经网络执行第三训练操作，直至满足第三条件，得到图像重建模型，中间神经网络包括级联的第一纹理修复网络和第一几何修复网络。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
基于与本申请实施例提供的图像重建方法及装置相同的原理，本申请实施例中还提供了一种电子设备(如服务器)，该电子设备可以包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现本申请任一可选实施例中提供的方法的步骤。
可选地，图11示出了本申请实施例所适用的一种电子设备的结构示意图，如图11所示，图11所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (13)

1.一种图像重建方法，其特征在于，包括：
获取目标对象对应的待处理图像；
获取所述待处理图像的初始图像信息，所述初始图像信息包括第一纹理信息和第一几何信息；
基于所述待处理图像和所述第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：
对所述待处理图像进行风格特征提取，得到所述待处理图像的第一风格特征；采用所述第一风格特征对所述第一纹理信息进行修复，得到第二纹理信息；
基于所述第二纹理信息和所述第一几何信息进行图像重建，得到所述待处理图像对应的目标图像，其中，所述目标图像的图像质量高于所述待处理图像的图像质量。
2.根据权利要求1所述的方法，所述基于所述第二纹理信息和所述第一几何信息进行图像重建，得到目标图像，包括：
采用所述第二纹理信息，通过所述图像重建模型对所述第一几何信息进行修复，得到第二几何信息；
基于所述第二纹理信息和所述第二几何信息进行图像重建，得到所述目标图像。
3.根据权利要求2所述的方法，其特征在于，所述第一几何信息包括所述待处理图像的初始表面法向量图，所述采用所述第二纹理信息，通过所述图像重建模型对所述第一几何信息进行修复，得到第二几何信息，包括：
基于所述第二纹理信息和所述第一几何信息进行图像重建，得到第一重建图像；
根据所述第一重建图像和所述待处理图像，获取所述初始表面法向量图对应的第一位移特征图；
采用所述第一位移特征图对所述初始的表面法向量图进行修正，得到目标表面法向量图，所述第二几何信息为所述目标表面法向量图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一重建图像和所述待处理图像获取所述初始表面法向量图对应的第一位移特征图，包括：
对所述第一重建图像进行位移特征提取，得到第二位移特征图；
对所述待处理图像进行位移特征提取，得到第三位移特征图；
将所述第二位移特征图与所述第三位移特征图进行融合，得到第四位移特征图；
对所述第四位移特征图进行位移特征图重构，得到所述第一位移图。
5.根据权利要求3所述的方法，其特征在于，所述初始图像信息还包括图像附加信息，所述图像附加信息包括所述待处理图像对应的采集环境信息或所述目标对象对应的第一姿态信息中的至少一项，所述基于所述第二纹理信息和所述第一几何信息进行图像重建，得到第一重建图像，包括：
基于所述第二纹理信息、所述第一几何信息和所述图像附加信息进行图像重建，得到所述第一重建图像。
6.根据权利要求1所述的方法，其特征在于，所述采用所述第一风格特征对所述第一纹理信息进行修复，得到第二纹理信息，包括：
对所述第一纹理信息进行特征提取，得到第一纹理特征；
根据所述第一风格特征对所述第一纹理特征进行修正，得到第二纹理特征；
对所述第二纹理特征进行纹理重构，得到所述第二纹理信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取随机噪声；
所述根据所述第一风格特征对所述第一纹理特征进行修正，得到第二纹理特征，包括：
将所述随机噪声与所述第一纹理特征进行融合，得到带有噪声的第一纹理特征；
将所述第一风格特征与所述带有噪声的第一纹理特征进行融合，得到所述第二纹理特征。
8.根据权利要求1所述的方法，其特征在于，所述初始图像信息还包括图像附加信息，所述图像附加信息包括所述待处理图像对应的采集环境信息或所述目标对象对应的第一姿态信息中的至少一项，所述基于所述第二纹理信息和所述第一几何信息进行图像重建，得到目标图像，包括：
基于所述第二纹理信息、所述第一几何信息和所述图像附加信息进行图像重建，得到所述目标图像。
9.根据权利要求2所述的方法，其特征在于，所述图像重建模型是由模型训练设备通过以下方式训练得到的：
获取训练数据集，所述训练数据集中包括多个图像对，每个所述图像对包括图像内容相同的第一样本图像和第二样本图像，一个所述图像对中的第二样本图像的图像质量高于第一样本图像的图像质量；
对于每个所述图像对，获取该图像对中第一样本图像的第一图像信息，以及第二样本图像的第二图像信息，其中，所述第一图像信息包括第三纹理信息和第三几何信息，所述第二图像信息包括第四纹理信息和第四几何信息；
基于各所述图像对、以及对应的第三纹理信息和第四纹理信息，对初始纹理修复网络重复执行第一训练操作，直至满足第一条件，得到第一纹理修复网络，所述第一训练操作包括：
对于每个所述图像对，将该图像对中的第一样本图像和对应的第三纹理信息输入至初始纹理修复网络，得到第五纹理信息；基于各所述图像对对应的第五纹理信息和第四纹理信息，确定第一训练损失，基于所述第一训练损失对所述初始纹理修复网络的网络参数进行调整；
对于每个所述第一样本图像，基于该第一样本图像对应的第三几何信息，以及通过所述第一纹理修复网络得到的该第一样本图像的第五纹理信息进行图像重建，得到第二重建图像；
基于各所述图像对、以及对应的第二重建图像和第四几何信息，对初始几何修复网络重复执行第二训练操作，直至满足第二条件，得到第二纹理修复网络，其中，所述第二训练操作包括：
对于每个所述图像对，将该图像对中的第一样本图像和对应的第二重建图像输入至初始几何修复网络，得到第五几何信息；基于各所述图像对对应的第五几何信息和第四几何信息，确定第二训练损失，基于所述第二训练损失对所述初始几何修复网络的网络参数进行调整；
基于各所述图像对、以及对应的第一图像信息和第二图像信息，对中间神经网络执行第三训练操作，直至满足第三条件，得到所述图像重建模型，所述中间神经网络包括级联的所述第一纹理修复网络和所述第一几何修复网络。
10.一种图像重建装置，其特征在于，所述装置包括图像获取模块、图像信息获取模块、纹理修复模块和图像重建模块，其中：
图像获取模块，用于获取目标对象对应的待处理图像；
图像信息获取模块，用于获取所述待处理图像的初始图像信息，所述初始图像信息包括第一纹理信息和第一几何信息；
纹理修复模块，用于基于所述待处理图像和所述第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：
对所述待处理图像进行风格特征提取，得到所述待处理图像的第一风格特征；采用所述第一风格特征对所述第一纹理信息进行修复，得到第二纹理信息；
图像重建模块，用于基于所述第二纹理信息和所述第一几何信息进行图像重建，得到所述待处理图像对应的目标图像，其中，所述目标图像的图像质量高于所述待处理图像的图像质量。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
CN202210163020.5A 2022-02-22 2022-02-22 图像重建方法、装置、电子设备及计算机可读存储介质 Pending CN114529687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210163020.5A CN114529687A (zh) 2022-02-22 2022-02-22 图像重建方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210163020.5A CN114529687A (zh) 2022-02-22 2022-02-22 图像重建方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114529687A true CN114529687A (zh) 2022-05-24

Family

ID=81624011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210163020.5A Pending CN114529687A (zh) 2022-02-22 2022-02-22 图像重建方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114529687A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778065A (zh) * 2023-08-21 2023-09-19 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN117152353A (zh) * 2023-08-23 2023-12-01 北京市测绘设计研究院 实景三维模型创建方法、装置、电子设备和可读介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778065A (zh) * 2023-08-21 2023-09-19 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN116778065B (zh) * 2023-08-21 2024-01-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN117152353A (zh) * 2023-08-23 2023-12-01 北京市测绘设计研究院 实景三维模型创建方法、装置、电子设备和可读介质
CN117152353B (zh) * 2023-08-23 2024-05-28 北京市测绘设计研究院 实景三维模型创建方法、装置、电子设备和可读介质

Similar Documents

Publication Publication Date Title
Wan et al. CoRRN: Cooperative reflection removal network
JP7446457B2 (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN114529687A (zh) 图像重建方法、装置、电子设备及计算机可读存储介质
CN110136052B (zh) 一种图像处理方法、装置和电子设备
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN102231844A (zh) 基于结构相似度和人眼视觉的视频图像融合性能评价方法
JP2021068056A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN114170290A (zh) 图像的处理方法及相关设备
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN108986210B (zh) 三维场景重建的方法和设备
CN114202457A (zh) 低分辨率图像的处理方法、电子设备及计算机程序产品
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统
CN114049444B (zh) 一种3d场景生成方法及装置
CN115147526B (zh) 服饰生成模型的训练、生成服饰图像的方法和装置
Yang et al. A new bilateral filter for post-removing the noise of synthesis view in 3D video
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination