CN116051737A - 图像生成方法、装置、设备及存储介质 - Google Patents

图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116051737A
CN116051737A CN202211720867.5A CN202211720867A CN116051737A CN 116051737 A CN116051737 A CN 116051737A CN 202211720867 A CN202211720867 A CN 202211720867A CN 116051737 A CN116051737 A CN 116051737A
Authority
CN
China
Prior art keywords
point cloud
dimensional point
compressed
image
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211720867.5A
Other languages
English (en)
Inventor
张昭
覃梓雨
刘塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Nissan Passenger Vehicle Co
Original Assignee
Dongfeng Nissan Passenger Vehicle Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Nissan Passenger Vehicle Co filed Critical Dongfeng Nissan Passenger Vehicle Co
Priority to CN202211720867.5A priority Critical patent/CN116051737A/zh
Publication of CN116051737A publication Critical patent/CN116051737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种图像生成方法、装置、设备及存储介质，属于三维建模技术领域。本发明通过获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，利用离散余弦变换将点云所在的三维空间进行投影压缩，通过不断采样使得映射空间将更能表征真实场，通过投影压缩的方式降低了高维度带来的训练负担。

Description

图像生成方法、装置、设备及存储介质
技术领域
本发明涉及三维建模技术领域，尤其涉及一种图像生成方法、装置、设备及存储介质。
背景技术
神经辐射场NeRF是目前业界主流的三维建模技术之一。通过多角度的图片等信息，还原出物体的三维特征，并可生成新视角下的虚拟渲染图像。在AR/VR/模拟仿真领域有广泛用途。
传统的NeRF利用图像信息，基于空间位置编码经过神经网络训练，得到隐式空间表达的体积颜色和透明度，再利用体积渲染技术，得到三维空间场景的隐式表达。但是为了表达空间中复杂的场景，传统位置编码利用傅里叶变换将笛卡尔坐标映射到频率的高纬度，随着空间复杂度的增高，对编码维度要求越高，这给神经网络的训练带来了负担。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像生成方法、装置、设备及存储介质，旨在解决现有技术传统编码无法适应高维度的要求，增大了神经网络的训练负担的技术问题。
为实现上述目的，本发明提供了一种图像生成方法，所述图像生成方法包括以下步骤：
获取输入的含待重建物体图像的原始图像集；
根据所述原始图像集生成原始三维点云；
将生成的原始三维点云进行压缩变换；
对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
可选地，所述将生成的原始三维点云进行压缩变换，包括：
对生成的原始三维点云进行变换，得到参考三维点云；
通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云；
对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云。
可选地，所述对所述生成的原始三维点云进行变换，得到参考三维点云，包括：
通过连续的三维离散余弦变换对所述原始三维点云的色彩进行变换，得到参考三维点云的变换关系式；
基于重要性抽样生成采样点，所述采样点在相机拍摄方向对应的射线上；
将所述采样点代入所述变换关系式得到参考三维点云。
可选地，所述通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云，包括：
根据所述参考三维点云确定色彩重要度；
根据所述色彩重要度对所述参考三维点云进行体积压缩，得到压缩后的参考三维点云。
可选地，所述对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云，包括：
对所述压缩后的参考三维点云进行反变换，得到点云的色彩与不透明度；
根据所述色彩与所述不透明度得到压缩变换后的三维点云。
可选地，所述对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，包括：
获取输入的新的拍摄角度所对应的相机位姿；
根据所述相机位姿以及所述压缩变换后的三维点云中像素点的位置确定新的拍摄角度所对应的拍摄射线方向；
基于所述拍摄射线方向构建体积渲染关系式；
根据所述体积渲染关系式对压缩变换后的三维点云的色彩进行积分，以完成渲染，以得到所述待重建物体在所述新的拍摄角度对应的图像。
可选地，所述基于所述拍摄射线方向构建体积渲染关系式，包括：
根据压缩变换后的三维点云所处的位置确定光线反射点与透明区域；
根据所述光线反射点与所述透明区域确定所述拍摄射线方向上的光线分布函数式；
基于所述光线分布函数式确定体积渲染关系式。
此外，为实现上述目的，本发明还提出一种图像生成装置，所述图像生成装置包括：
获取模块，用于获取输入的含待重建物体图像的原始图像集；
生成模块，用于根据所述原始图像集生成原始三维点云；
压缩模块，用于将生成的原始三维点云进行压缩变换；
渲染模块，用于对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
此外，为实现上述目的，本发明还提出一种图像生成设备，所述图像生成设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的图像生成程序，所述图像生成程序配置为实现如上文所述的图像生成方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像生成程序，所述图像生成程序被处理器执行时实现如上文所述的图像生成方法。
本发明通过获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，利用离散余弦变换将点云所在的三维空间进行投影压缩，通过不断采样使得投影到的映射空间将更能表征真实场，通过投影压缩的方式降低了高维度带来的训练负担。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的图像生成设备的结构示意图；
图2为本发明图像生成方法第一实施例的流程示意图；
图3为本发明图像生成方法一实施例中相机拍摄示意图；
图4为本发明图像生成方法一实施例中DCT压缩机示意图；
图5为本发明图像生成方法第二实施例的流程示意图；
图6为本发明图像生成方法第三实施例的流程示意图；
图7为本发明图像生成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像生成设备结构示意图。
如图1所示，该图像生成设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对图像生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像生成程序。
在图1所示的图像生成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像生成设备中的处理器1001、存储器1005可以设置在图像生成设备中，所述图像生成设备通过处理器1001调用存储器1005中存储的图像生成程序，并执行本发明实施例提供的图像生成方法。
本发明实施例提供了一种图像生成方法，参照图2，图2为本发明一种图像生成方法第一实施例的流程示意图。
本实施例中，所述图像生成方法包括以下步骤：
步骤S10：获取输入的含待重建物体图像的原始图像集。
在本实施例中，本实施例的执行主体可为所述图像生成设备，该图像生成设备具有数据处理、数据通信及程序运行等功能，所述图像生成设备可以为计算机等终端设备。当然，还可为其他具有相似功能的设备，本实施条件对此不加以限制。为便于说明，本实施方式以图像生成设备为例进行说明。
需要说明的是，神经辐射场NeRF是目前业界主流的三维建模技术之一。通过多角度的图片等信息，还原出物体的三维特征，并可生成新视角下的虚拟渲染图像。在AR/VR/模拟仿真领域有广泛用途。传统的NeRF只使用图像信息，不考虑三维形状约束，容易形成悬浮在空间中的错误颜色体素，影响建模精度。增强的NeRF考虑了物体的景深，但需要连续的密集图像提供特征点计算三维坐标，或需要激光雷达等设备提供带三维坐标的点云，提高了NeRF的使用成本。另外，传统NeRF依赖于输入图像的质量及训练模型，渲染结果难以调节。NeRF的输入是从多个视角观察到的物体图像，具体地说，一个或多个相机从不同角度拍摄的物体图片，以及每张图片对应的相机位姿及相机内参；NeRF对三维空间进行位置编码，通过多层感知机等机器学习方法进行训练，使该三维空间在不同视角的成像效果与输入的图像素材尽可能接近，如图3所示，两个位姿的相机分别拍摄到物体上的同一点S，则NeRF可计算出该点的三维空间位置、颜色、透明度等信息，使其同时满足在两个相机位姿中的成像效果。
NeRF的输入是从多个视角观察到的物体图像。具体的说，一个或多个相机从不同角度拍摄的物体图片，以及每张图片对应的相机位姿及相机内参；NeRF对三维空间进行位置编码，通过多层感知机等机器学习方法进行训练，使该三维空间在不同视角的成像效果与输入的图像素材尽可能接近；NeRF为了保证复杂场景下特征表达的细节，将位置编码利用傅里叶变换投影到更高的维度，该编码方式表达如γ(p)＝(sin(20πp),cos(20πp),...,sin(2L-1πp),cos(2L-1πp))。其中L代表频率的维度，维度越高，能够表征的特征细度越高，越高的维度带来越高的训练负担。传统的方法为先通过相机拍照，基于相机位姿以及相机内参对三维空间进行位置编码，基于空间位置编码经过神经网络训练，得到隐式空间表达的体积颜色和透明度，再利用体积渲染技术，得到三维空间场景的隐式表达。
本实施例中为了解决上述问题，提出一种可压缩的神经辐射场表达方式，利用离散余弦变换(Discrete Cosine Transform，DCT)技术，将空间中的带色彩的点云，构建成一个压缩的DCT场，利用体积渲染技术，合成不同角度的照片。具体地，本实施例中同样先通过相机拍照，生成相机位姿以及带有深度和色彩的点云，然后构建DCT映射，接着进行空间位置编码并压缩，最后再通过体积渲染合成不同角度的图像，其中，空间位置编码并压缩以及体积渲染均是采用的改进优化后的算法。
在具体实施中，本实施例中是对物体的三维模型进行重建，首先需要获取待重建物体的图像集，也即输入的原始图像集，原始图像集中包含多个视角观察到的待重建物体的图像。
步骤S20：根据所述原始图像集生成原始三维点云。
在具体实施中，本实施例中可以根据输入的原始图像集构建原始三维点云，三维点云为物体表面每个三维采样点的空间坐标形成的点的集合，具体地，本实施例中可以通过三维重建技术(Structure From Motion，SFM)构建原始三维点云，所生成的原始三维点云为具有深度与色彩的点云，当然还可以根据实际情况通过其他方式基于原始图像集生成原始三维点云，本实施例中对此不加以限制。
步骤S30：将生成的原始三维点云进行压缩变换。
需要说明的是，在根据原始图像集生成得到原始三维点云之后，本实施例中所采取的方式是将生成的原始三维点云进行压缩变换。具体地，本实施例中可以按照如下方式实现。
在具体实现中，可以通过实时构建DCT映射，将点云所在的三维空间，投影压缩到DCT空间，从而实现对原始三维点云的压缩变换，例如图4所示，将原始三维点云变换至DCT空间，利用DCT空间的特性对原始点云进行压缩，并且需要强调的是，本实施例中所采用的是改进后的DCT算法，能够使得离散DCT算法能够适应连续的空间采样，将离散的变换改进为连续地变换，从而减小离散采样时所需大量的内存。此外，本实施例中还可以采取属性压缩以及动态运动补偿压缩的方式对原始三维点云进行压缩变换，可以根据实际需求进行相应地选择，本实施例中对此不加以限制。
步骤S40：对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
在本实施例中，在经过压缩变换后得到三维点云之后，本实施例中进一步对压缩变换后的三维点云进行渲染，从而得到待重建物体在各个不同角度的图像。
在具体实施中，本实施例中可以利用光照模型对三维点云进行渲染，具体地，可以定义三维点云位置为光线反射点，也即不透明区域，同时定义没有三维点云位置为透明区域，从而得到光线分布，基于光线分布的关系式完成对三维点云的渲染，并且需要强调的是，本实施例中所采用的是改进后的体积渲染算法，使得体积渲染算法能够适应基于原始点云的渲染，简化不透明度表达，将有颜色点假设为不透明，直接色彩积分。此外，本实施例中还可以采取其他方式进行三维点云的渲染，可以根据实际需求进行相应地选择，本实施例中对此不加以限制。
本实施例通过获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，利用离散余弦变换将点云所在的三维空间进行投影压缩，通过不断采样使得映射空间将更能表征真实场，通过投影压缩的方式降低了高维度带来的训练负担。
参考图5，图5为本发明一种图像生成方法第二实施例的流程示意图。
基于上述第一实施例，本实施例图像生成方法中，所述步骤S30具体包括：
步骤S301：对生成的原始三维点云进行变换，得到参考三维点云。
需要说明的是，本实施例中需要先将原始三维点云变换成参考三维点云，然后再通过参考三维点云得到最终压缩变换后的三维点云。
在具体实现中，可以通过连续的三维离散余弦变换对原始三维点云的色彩进行变换，得到参考三维点云的变换关系式，本实施例中可以采用三维离散余弦变换，也可以采用其他维度的离散余弦变换，可以根据实际需求进行相应地选择，本实施例中对此不加以限制。参考三维点云的变换关系式如下：
Figure BDA0004029678780000081
其中，f(x,y,z)表示为色彩，F(u,v,w)表示为色彩的映射，在采用三维离散余弦变换时，对应的维度为M，N，L，在得到参考三维点云的变换关系式之后，为了求解上述三重积分，可以采用蒙特卡洛采样法来对定积分进行近似，基于重要性抽样生成采样点，本实施例中所生成的采样点在相机拍摄方向对应的射线上，其中，所得到的采样点符合L(x,y,z)的分布，例如∫∫∫L(x,y,z)dxdydz＝1，最后将采样点代入所述变换关系式得到参考三维点云，可以得到：
Figure BDA0004029678780000082
步骤S302：通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云。
在具体实施中，本实施例中在得到参考三维点云之后，需要进一步对参考三维点云进行体积压缩。也即对上述F(u,v,w)对体积进行压缩，具体地，本实施例中可以根据参考三维点云确定色彩重要度，位于映射空间左上角的F(u,v,w)越重要(如图4所示)，然后根据色彩重要度对参考三维点云进行体积压缩，从而得到压缩后的参考三维点云。色彩重要度例如假设删除a％的特征，不会对原表达色彩造成失真，利用F(u,v,w)对体积进行压缩，从而保证点云压缩后，也不会出现色彩失真的情况。
步骤S303：对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云。
在具体实施中，在对原始三维点云进行DCT变换后，再进行反变换，将三维进行恢复，从而得到压缩变换后的三维点云。具体地，可以根据DCT的反变换，F(u,v,w)可以经过反变换得到f(x,y,z)，也即对压缩后的参考三维点云进行反变换，可以得到点云的色彩与不透明度，压缩完的F(u,v,w)利用如下三维DCT的反变换公式：
Figure BDA0004029678780000091
其中，某点位置的f(x,y,z)，也即某一点的色彩，M′、N′以及L′为压缩后的维度，其他点的色彩也可以按照这种方式操作，最终可以得到压缩变换后的三维点云。
本实施例通过对生成的原始三维点云进行变换，得到参考三维点云，通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云，对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云，通过上述方式能够在保证色彩不失真的同时，实现对原始三维点云的压缩。
参考图6，图6为本发明一种图像生成方法第三实施例的流程示意图。
基于上述第一实施例和第二实施例，提出本发明一种图像生成方法的第三实施例。
在本实施例中，所述步骤S40具体包括：
步骤S401：获取输入的新的拍摄角度所对应的相机位姿。
在本实施例中，输入是从多个视角观察到的物体图像，具体地，也即一个或多个相机从不同角度拍摄的物体图片，以及每张图片对应的相机位姿及相机内参，本实施例中可以利用已经建模的三维点云，合成新的不同视角的图像，具体地，需要先获取到输入的新的拍摄角度所对应的相机位姿，含待重建物体图像的原始图像集对应的为原始的拍摄角度。
步骤S402：根据所述相机位姿以及所述压缩变换后的三维点云中像素点的位置确定新的拍摄角度所对应的拍摄射线方向。
在具体实现中，在得到新的拍摄角度的相机位姿之后，利用该相机的位姿，同时再结合已经建模的三维点云中任意像素点的位置即可得到新的拍摄角度所对应的拍摄射线方向。并且需要强调的是，不同的拍摄角度所对应的拍摄射线方向也是不同的。
步骤S403：基于所述拍摄射线方向构建体积渲染关系式。
在具体实现中，本实施例中可以根据压缩变换后的三维点云所处的位置确定光线反射点与透明区域，光线反射点也即不透明区域，例如本实施例中可以定义具有三维点云的位置为光线反射点，而没有三维点云的位置为透明区域。根据这一定义即可得到所述拍摄射线方向上的光线分布函数式，例如h(t)＝T(t)σ(t)。然后基于上述光线分布函数式进行简化即可得到体积渲染关系式，c(r)＝∫c(r(t),d)dt，其中，令c(x,y,z)＝f(x,y,z)。
步骤S404：根据所述体积渲染关系式对压缩变换后的三维点云的色彩进行积分，以完成渲染，以得到所述待重建物体在所述新的拍摄角度对应的图像。
在具体实施中，基于构建的体积渲染关系式进行色彩积分，即可完成渲染，通过输入新的拍摄角度的相机位姿，然后基于已经建模的三维点云，可以得到待重建物体在所述新的拍摄角度对应的图像。
本实施例通过获取输入的新的拍摄角度所对应的相机位姿；据所述相机位姿以及所述压缩变换后的三维点云中像素点的位置确定新的拍摄角度所对应的拍摄射线方向；基于所述拍摄射线方向构建体积渲染关系式；根据所述体积渲染关系式对压缩变换后的三维点云的色彩进行积分，以完成渲染，以得到所述待重建物体在所述新的拍摄角度对应的图像，能够在已经建模的三维点云的基础上，结合不同拍摄角度的相机位姿得到新的不同视角的图像。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像生成程序，所述图像生成程序被处理器执行时实现如上文所述的图像生成方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种图像生成设备，所述图像生成设备上存储有图像生成程序，所述图像生成程序被处理器执行时实现如上文所述的图像生成方法的步骤。
由于本图像生成设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参照图7，图7为本发明图像生成装置第一实施例的结构框图。
如图7所示，本发明实施例提出的图像生成装置包括：
获取模块10，用于获取输入的含待重建物体图像的原始图像集。
生成模块20，用于根据所述原始图像集生成原始三维点云。
压缩模块30，用于将生成的原始三维点云进行压缩变换。
渲染模块40，用于对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
本实施例通过获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，利用离散余弦变换将点云所在的三维空间进行投影压缩，通过不断采样使得投影到的映射空间将更能表征真实场，通过投影压缩的方式降低了高维度带来的训练负担。
在一实施例中，所述压缩模块30，还用于对生成的原始三维点云进行变换，得到参考三维点云；通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云；对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云。
在一实施例中，所述压缩模块30，还用于通过连续的三维离散余弦变换对所述原始三维点云的色彩进行变换，得到参考三维点云的变换关系式；基于重要性抽样生成采样点，所述采样点在相机拍摄方向对应的射线上；将所述采样点代入所述变换关系式得到参考三维点云。
在一实施例中，所述压缩模块30，还用于根据所述参考三维点云确定色彩重要度；根据所述色彩重要度对所述参考三维点云进行体积压缩，得到压缩后的参考三维点云。
在一实施例中，所述压缩模块30，还用于对所述压缩后的参考三维点云进行反变换，得到点云的色彩与不透明度；根据所述色彩与所述不透明度得到压缩变换后的三维点云。
在一实施例中，所述渲染模块40，还用于获取输入的新的拍摄角度所对应的相机位姿；根据所述相机位姿以及所述压缩变换后的三维点云中像素点的位置确定新的拍摄角度所对应的拍摄射线方向；基于所述拍摄射线方向构建体积渲染关系式；根据所述体积渲染关系式对压缩变换后的三维点云的色彩进行积分，以完成渲染，以得到所述待重建物体在所述新的拍摄角度对应的图像。
在一实施例中，所述渲染模块40，还用于根据压缩变换后的三维点云所处的位置确定光线反射点与透明区域；根据所述光线反射点与所述透明区域确定所述拍摄射线方向上的光线分布函数式；基于所述光线分布函数式确定体积渲染关系式。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像生成方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像生成方法，其特征在于，所述图像生成方法包括：
获取输入的含待重建物体图像的原始图像集；
根据所述原始图像集生成原始三维点云；
将生成的原始三维点云进行压缩变换；
对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
2.如权利要求1所述的图像生成方法，其特征在于，所述将生成的原始三维点云进行压缩变换，包括：
对生成的原始三维点云进行变换，得到参考三维点云；
通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云；
对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云。
3.如权利要求2所述的图像生成方法，其特征在于，所述对所述生成的原始三维点云进行变换，得到参考三维点云，包括：
通过连续的三维离散余弦变换对所述原始三维点云的色彩进行变换，得到参考三维点云的变换关系式；
基于重要性抽样生成采样点，所述采样点在相机拍摄方向对应的射线上；
将所述采样点代入所述变换关系式得到参考三维点云。
4.如权利要求2所述的图像生成方法，其特征在于，所述通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云，包括：
根据所述参考三维点云确定色彩重要度；
根据所述色彩重要度对所述参考三维点云进行体积压缩，得到压缩后的参考三维点云。
5.如权利要求2所述的图像生成方法，其特征在于，所述对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云，包括：
对所述压缩后的参考三维点云进行反变换，得到点云的色彩与不透明度；
根据所述色彩与所述不透明度得到压缩变换后的三维点云。
6.如权利要求1至5中任一项所述的图像生成方法，其特征在于，所述对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，包括：
获取输入的新的拍摄角度所对应的相机位姿；
根据所述相机位姿以及所述压缩变换后的三维点云中像素点的位置确定新的拍摄角度所对应的拍摄射线方向；
基于所述拍摄射线方向构建体积渲染关系式；
根据所述体积渲染关系式对压缩变换后的三维点云的色彩进行积分，以完成渲染，以得到所述待重建物体在所述新的拍摄角度对应的图像。
7.如权利要求6所述的图像生成方法，其特征在于，所述基于所述拍摄射线方向构建体积渲染关系式，包括：
根据压缩变换后的三维点云所处的位置确定光线反射点与透明区域；
根据所述光线反射点与所述透明区域确定所述拍摄射线方向上的光线分布函数式；
基于所述光线分布函数式确定体积渲染关系式。
8.一种图像生成装置，其特征在于，所述图像生成装置包括：
获取模块，用于获取输入的含待重建物体图像的原始图像集；
生成模块，用于根据所述原始图像集生成原始三维点云；
压缩模块，用于将生成的原始三维点云进行压缩变换；
渲染模块，用于对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
9.一种图像生成设备，其特征在于，所述图像生成设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的图像生成程序，所述图像生成程序配置为实现如权利要求1至7中任一项所述的图像生成方法。
10.一种存储介质，其特征在于，所述存储介质上存储有图像生成程序，所述图像生成程序被处理器执行时实现如权利要求1至7任一项所述的图像生成方法。
CN202211720867.5A 2022-12-30 2022-12-30 图像生成方法、装置、设备及存储介质 Pending CN116051737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211720867.5A CN116051737A (zh) 2022-12-30 2022-12-30 图像生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211720867.5A CN116051737A (zh) 2022-12-30 2022-12-30 图像生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116051737A true CN116051737A (zh) 2023-05-02

Family

ID=86125701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211720867.5A Pending CN116051737A (zh) 2022-12-30 2022-12-30 图像生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116051737A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078509A (zh) * 2023-10-18 2023-11-17 荣耀终端有限公司 模型训练方法、照片生成方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078509A (zh) * 2023-10-18 2023-11-17 荣耀终端有限公司 模型训练方法、照片生成方法及相关设备
CN117078509B (zh) * 2023-10-18 2024-04-09 荣耀终端有限公司 模型训练方法、照片生成方法及相关设备

Similar Documents

Publication Publication Date Title
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
CN108053437B (zh) 基于体态的三维模型获取方法及装置
EP3971841A1 (en) Three-dimensional model generation method and apparatus, and computer device and storage medium
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及系统
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
US11074752B2 (en) Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
CN113345063B (zh) 基于深度学习的pbr三维重建方法、系统与计算机存储介质
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
US11961266B2 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN116051737A (zh) 图像生成方法、装置、设备及存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN108492381A (zh) 一种将实物颜色转换成3d模型贴图的方法及系统
EP4292059A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
CN113223137B (zh) 透视投影人脸点云图的生成方法、装置及电子设备
WO2019042028A1 (zh) 全视向的球体光场渲染方法
CN114913287B (zh) 一种三维人体模型重建方法及系统
CN115147577A (zh) Vr场景生成方法、装置、设备及存储介质
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
US20030234783A1 (en) Compression of surface light fields
JP2002525764A (ja) グラフィックスおよび画像処理システム
CN116503524B (zh) 一种虚拟形象的生成方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination