CN116418961A - 一种基于三维场景风格化的光场显示方法及系统 - Google Patents
一种基于三维场景风格化的光场显示方法及系统 Download PDFInfo
- Publication number
- CN116418961A CN116418961A CN202310678853.XA CN202310678853A CN116418961A CN 116418961 A CN116418961 A CN 116418961A CN 202310678853 A CN202310678853 A CN 202310678853A CN 116418961 A CN116418961 A CN 116418961A
- Authority
- CN
- China
- Prior art keywords
- scene
- dimensional
- stylized
- radiation field
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005855 radiation Effects 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000003068 static effect Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明适用于图像处理技术领域，提供了一种基于三维场景风格化的光场显示方法及系统，包括以下步骤：对同一个静态场景进行多视角采集得到多视点图像；对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。本发明能够对三维场景进行视觉上富有美感的风格化并用于三维显示，三维显示效果好。
Description
技术领域
本发明涉及图像处理技术领域，具体是涉及一种基于三维场景风格化的光场显示方法及系统。
背景技术
当前，在自然图像上再现名画风格的风格化技术成为内容创作的一个热门话题，基于图像的风格化研究已经十分成熟了，大家逐渐把目光转向基于三维场景的风格化。但是，直接将图像的风格化算法应用于三维场景，会导致无法在不同视角下产生几何一致的风格化纹理。所以，如何合理地改进图像风格化的算法成为了大家关注的重点。同时，随着计算机技术和显示技术的快速进步，人们已经不满足于通过二维显示屏所带来的观看体验，而三维光场显示可以更加真实地还原真实场景的深度信息，同时不用佩戴3D眼镜，利用双目视差的原理实现裸眼3D显示，给观看者带来更佳的观看体验。
对于目前已有的针对三维场景的风格化方法有两种，一种是ARF，使用最近邻匹配算法和无视角输入的训练实现三维场景风格化，该方法的问题是对于背景部分和高频部分效果不太理想；另一种方法是Style Nerf，使用蒸馏来抽取三维一致性从而实现三维场景的风格化，该方法的问题是步骤较为复杂，且风格化的效果整体不明显。
因此，需要提供一种基于三维场景风格化的光场显示方法及系统，旨在解决上述问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于三维场景风格化的光场显示方法及系统，以解决上述背景技术中存在的问题。
本发明是这样实现的，一种基于三维场景风格化的光场显示方法，所述方法包括以下步骤：
对同一个静态场景进行多视角采集得到多视点图像；
对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；
通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；
通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
作为本发明进一步的方案：使用至少一台采集设备在三维光场显示器规定的观看范围内采集特定视点的画面信息，所述特定视点的画面信息包括在具有相同区域的条件下对同一场景的静态物体进行不同角度的汇聚式拍摄得到的图像。
作为本发明进一步的方案：基于Colmap方法将采集得到的多视点图像作为相机标定的输入，通过Colmap获得稀疏重建的结果，并输出相机内参、相机外参和拍摄位姿信息。
作为本发明进一步的方案：使用神经网络学习所采集的多视点图像，隐式地将一个静态场景用一个神经网络来建模，通过相机内参、相机外参以及拍摄位姿信息对神经网络训练完成后，得到能够实现渲染任意角度的真实场景的辐射场。
作为本发明进一步的方案：基于真实场景的辐射场生成不同视点的渲染结果，并对渲染结果的不同区域赋予权重，且权重之和为1；计算不同视点的渲染结果与预先给定的风格图像之间的内容差异、风格差异与拉普拉斯差异，内容差异和拉普拉斯差异是渲染结果和原先场景之间计算，风格差异是渲染结果和风格图像之间计算，通过神经网络的训练，将真实场景的辐射场转化为风格化辐射场。
作为本发明进一步的方案：利用光场编码原理计算出每一个像素所对应的视点，通过对编码后的像素进行单独着色，输出一张多视点的合成图像，将合成图像加载到三维光场显示器上，实现风格化辐射场的立体显示。
本发明的另一目的在于提供一种基于三维场景风格化的光场显示系统，所述系统包括：
图像采集模块，用于对同一个静态场景进行多视角采集得到多视点图像；
标定预处理模块，用于对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
真实场景辐射场模块，用于将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；
风格化辐射场模块，用于通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；
光场显示模块，用于通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
与现有技术相比，本发明的有益效果是：
本发明相较于现有技术，能够对三维场景进行视觉上富有美感的风格化并用于三维显示，消除了传统二维图像风格化所带来的不同视角下几何不一致的问题。
附图说明
图1为一种基于三维场景风格化的光场显示方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示，本发明实施例提供了一种基于三维场景风格化的光场显示方法，所述方法包括以下步骤：
S100，对同一个静态场景进行多视角采集得到多视点图像；
S200，对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
S300，将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；
S400，通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；
S500，通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
本发明实施例中，为了得到多视点图像，使用至少一台采集设备在三维光场显示器规定的观看范围内采集特定视点的画面信息，所述特定视点的画面信息包括在具有相同区域的条件下对同一场景的静态物体进行不同角度的汇聚式拍摄得到的图像。具体的，通过采集器对同一个静态场景进行采集。图像采集阵列由多个图像采集器以一定的组合方式排布，为了保证辐射场更加贴近真实静态场景，应尽量使采集器等距排列，且采集位置应保持在同一水平线上，通过提高采集信息的分辨率和增加采集数量可以有效提高辐射场的信息输入量，增大三维立体分辨率，并且增大观看视角。
本发明实施例中，对多视点图像进行预处理时，基于传统的Colmap方法将采集得到的多视点图像作为相机标定的输入，通过Colmap获得稀疏重建的结果，并输出相机内参、相机外参和拍摄位姿信息。具体的，通过输入多视角的图像信息，对输入数据进行标定算法处理后，为生成真实场景的辐射场提供相机和拍摄点的信息。在建立三维场景辐射场的过程中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过计算才能得到，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。经过试验，传统的Colmap方法对于三维场景风格化的效果最佳。不同角度的采集结果经过Colmap处理后得到该位置的相机内参、相机外参和拍摄位姿信息，实现了数据的预处理。
本发明实施例中，获得三维隐式表达的真实场景的辐射场时，使用神经网络学习所采集的多视点图像，隐式地将一个静态场景用一个神经网络来建模，通过相机内参、相机外参以及拍摄位姿信息对神经网络训练完成后，得到能够实现渲染任意角度的真实场景的辐射场。具体的，将之前预处理得到的数据和多视点图像作为全连接网络的输入，根据不同视点的信息，对一个连续的、隐含的场景函数进行优化，为风格化辐射场提供真实场景的辐射场场景函数。由于立体渲染是可导的，则场景函数的优化只需要提供一系列确定相机位姿的同一静态场景的图像。训练完场景函数后，可以通过该网络来表示真实的静态场景，只需要输入坐标和观看方向，便可以输出在此观看方向上坐标点的颜色信息。
本发明实施例中，转化为风格化辐射场时，需要基于真实场景的辐射场生成不同视点的渲染结果，并对渲染结果的不同区域赋予权重，且权重之和为1；计算不同视点的渲染结果与预先给定的风格图像之间的内容差异、风格差异与拉普拉斯差异，内容差异和拉普拉斯差异是渲染结果和原先场景之间计算，风格差异是渲染结果和风格图像之间计算，通过神经网络的训练，将真实场景的辐射场转化为风格化辐射场。具体的，将真实场景的辐射场场景函数作为输入，通过网络训练将其转换为特定图像风格的风格化辐射场的场景函数。为了保证良好的空间一致性和风格化效果，可选的，对于真实场景的辐射场采用Spatial Control的方法，控制风格化只作用于一部分内容区域，即为风格化辐射场增加了一个权重信息，这个权重需要进行归一化，即权重之和为1，在后续计算损失的时候也会更加关注这些区域内特征的相关性，从而实现了空间的控制。增加了权重后，需要通过不同层的VGG网络提取真实场景的辐射场渲染结果与风格图片的特征图，为了转换为风格化辐射场，需要计算内容损失（保留原场景信息）、拉普拉斯损失（保留边缘信息）和风格损失（保留风格信息），并调整预先生成的真实场景辐射场，实现了将风格特征从二维图像转移到三维场景，并产生风格一致的高质量新视图。
本发明实施例中，所述通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码时，需要通过输入预定的相机位置，生成对应数量的虚拟相机阵列，利用光场编码原理计算出每一个像素所对应的视点，通过对编码后的像素进行单独着色，输出一张多视点的合成图像，将合成图像加载到三维光场显示器上，实现风格化辐射场的立体显示。上述步骤可以简述为：第一步，光场编码；第二步，计算像素对应的视点；第三步，对视点编码后的像素进行单独着色；第四步，渲染并输出多视点合成图像。光场编码时，需要并行计算屏幕上每一个像素或者子像素对应的视点。由于在计算机中体数据是离散的，光线积分用黎曼求和来代替，于是可以投射光线对辐射场进行采样，同时合成多视图的合成图像。由于是并行计算，多视图合成图像可以在一次渲染中直接输出，并显示在三维光场显示器上。
本发明实施例还提供了一种基于三维场景风格化的光场显示系统，所述系统包括：
图像采集模块，用于对同一个静态场景进行多视角采集得到多视点图像；
标定预处理模块，用于对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
真实场景辐射场模块，用于将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；
风格化辐射场模块，用于通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；
光场显示模块，用于通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (7)
1.一种基于三维场景风格化的光场显示方法，其特征在于，所述方法包括以下步骤：
对同一个静态场景进行多视角采集得到多视点图像；
对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；
通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；
通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
2.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，使用至少一台采集设备在三维光场显示器规定的观看范围内采集特定视点的画面信息，所述特定视点的画面信息包括在具有相同区域的条件下对同一场景的静态物体进行不同角度的汇聚式拍摄得到的图像。
3.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，基于Colmap方法将采集得到的多视点图像作为相机标定的输入，通过Colmap获得稀疏重建的结果，并输出相机内参、相机外参和拍摄位姿信息。
4.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，使用神经网络学习所采集的多视点图像，隐式地将一个静态场景用一个神经网络来建模，通过相机内参、相机外参以及拍摄位姿信息对神经网络训练完成后，得到能够实现渲染任意角度的真实场景的辐射场。
5.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，基于真实场景的辐射场生成不同视点的渲染结果，并对渲染结果的不同区域赋予权重，且权重之和为1；计算不同视点的渲染结果与预先给定的风格图像之间的内容差异、风格差异与拉普拉斯差异，通过神经网络的训练，将真实场景的辐射场转化为风格化辐射场。
6.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，利用光场编码原理计算出每一个像素所对应的视点，通过对编码后的像素进行单独着色，输出一张多视点的合成图像，将合成图像加载到三维光场显示器上，实现风格化辐射场的立体显示。
7.一种基于三维场景风格化的光场显示系统，其特征在于，所述系统包括：
图像采集模块，用于对同一个静态场景进行多视角采集得到多视点图像；
标定预处理模块，用于对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
真实场景辐射场模块，用于将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；
风格化辐射场模块，用于通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；
光场显示模块，用于通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310678853.XA CN116418961B (zh) | 2023-06-09 | 2023-06-09 | 一种基于三维场景风格化的光场显示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310678853.XA CN116418961B (zh) | 2023-06-09 | 2023-06-09 | 一种基于三维场景风格化的光场显示方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116418961A true CN116418961A (zh) | 2023-07-11 |
| CN116418961B CN116418961B (zh) | 2023-08-22 |
Family
ID=87051323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310678853.XA Active CN116418961B (zh) | 2023-06-09 | 2023-06-09 | 一种基于三维场景风格化的光场显示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116418961B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116805354A (zh) * | 2023-08-23 | 2023-09-26 | 山东黄河三角洲国家级自然保护区管理委员会 | 一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置 |
| CN116934936A (zh) * | 2023-09-19 | 2023-10-24 | 成都索贝数码科技股份有限公司 | 一种三维场景风格迁移方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190228587A1 (en) * | 2018-01-24 | 2019-07-25 | Google Llc | Image Style Transfer for Three-Dimensional Models |
| US20210097749A1 (en) * | 2019-09-29 | 2021-04-01 | Sagi Katz | Stylized image painting |
| CN114419297A (zh) * | 2022-01-21 | 2022-04-29 | 吉林大学 | 一种基于背景风格迁移的3d目标迷彩生成方法 |
| CN114926553A (zh) * | 2022-05-12 | 2022-08-19 | 中国科学院计算技术研究所 | 基于神经辐射场的三维场景一致性风格化方法及系统 |
| CN115423924A (zh) * | 2022-09-08 | 2022-12-02 | 遥在(山东)数字科技有限公司 | 基于多视点视频和动态神经辐射场生成三维动态场景方法 |
| CN115689869A (zh) * | 2022-10-21 | 2023-02-03 | 中国科学院计算技术研究所 | 一种视频美妆迁移方法及系统 |
| CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
| CN115797571A (zh) * | 2023-02-03 | 2023-03-14 | 天津大学 | 3d风格化场景的新视角合成方法 |
| CN115908109A (zh) * | 2022-11-02 | 2023-04-04 | 阿里巴巴（中国）有限公司 | 人脸图像风格化模型训练方法、设备和存储介质 |
-
2023
- 2023-06-09 CN CN202310678853.XA patent/CN116418961B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190228587A1 (en) * | 2018-01-24 | 2019-07-25 | Google Llc | Image Style Transfer for Three-Dimensional Models |
| US20210097749A1 (en) * | 2019-09-29 | 2021-04-01 | Sagi Katz | Stylized image painting |
| CN114419297A (zh) * | 2022-01-21 | 2022-04-29 | 吉林大学 | 一种基于背景风格迁移的3d目标迷彩生成方法 |
| CN114926553A (zh) * | 2022-05-12 | 2022-08-19 | 中国科学院计算技术研究所 | 基于神经辐射场的三维场景一致性风格化方法及系统 |
| CN115423924A (zh) * | 2022-09-08 | 2022-12-02 | 遥在(山东)数字科技有限公司 | 基于多视点视频和动态神经辐射场生成三维动态场景方法 |
| CN115689869A (zh) * | 2022-10-21 | 2023-02-03 | 中国科学院计算技术研究所 | 一种视频美妆迁移方法及系统 |
| CN115908109A (zh) * | 2022-11-02 | 2023-04-04 | 阿里巴巴（中国）有限公司 | 人脸图像风格化模型训练方法、设备和存储介质 |
| CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
| CN115797571A (zh) * | 2023-02-03 | 2023-03-14 | 天津大学 | 3d风格化场景的新视角合成方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116805354A (zh) * | 2023-08-23 | 2023-09-26 | 山东黄河三角洲国家级自然保护区管理委员会 | 一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置 |
| CN116805354B (zh) * | 2023-08-23 | 2023-12-29 | 中国林业科学研究院森林生态环境与自然保护研究所(国家林业和草原局世界自然遗产保护研究中心) | 一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置 |
| CN116934936A (zh) * | 2023-09-19 | 2023-10-24 | 成都索贝数码科技股份有限公司 | 一种三维场景风格迁移方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116418961B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116418961B (zh) | 一种基于三维场景风格化的光场显示方法及系统 | |
| US8860712B2 (en) | System and method for processing video images | |
| US8791941B2 (en) | Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion | |
| US20120032948A1 (en) | System and method for processing video images for camera recreation | |
| US20080259073A1 (en) | System and method for processing video images | |
| Zhu et al. | View extrapolation of human body from a single image | |
| US20080225042A1 (en) | Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters | |
| JP2013038775A (ja) | 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化 | |
| CN106780573B (zh) | 一种全景图特征匹配精度优化的方法及系统 | |
| KR102454167B1 (ko) | 가상 시점 영상 생성 방법 및 장치 | |
| CN111988593A (zh) | 一种基于深度残差优化的立体图像颜色校正方法及系统 | |
| CN115423924A (zh) | 基于多视点视频和动态神经辐射场生成三维动态场景方法 | |
| CN114998515A (zh) | 一种基于多视角图像的3d人体自监督重建方法 | |
| JP2022518773A (ja) | ３ｄ小惑星ダイナミックマップの生成方法及びポータブル型端末 | |
| CN103763543A (zh) | 合成全息图的采集方法 | |
| Kholil et al. | 3D reconstruction using structure from motion (SFM) algorithm and multi view stereo (MVS) based on computer vision | |
| CN114494589A (zh) | 三维重建方法、装置、电子设备和计算机可读存储介质 | |
| Piao et al. | Three-dimensional reconstruction of far and large objects using synthetic aperture integral imaging | |
| CN115719320B (zh) | 基于遥感影像的倾斜校正稠密匹配方法 | |
| CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
| RU2479039C1 (ru) | Способ улучшения плотной и разреженной карт диспарантности, точности реконструируемой трехмерной модели и устройство для реализации способа | |
| Gurrieri et al. | Efficient panoramic sampling of real-world environments for image-based stereoscopic telepresence | |
| Iwadate et al. | VRML animation from multi-view images | |
| CN117315152B (zh) | 双目立体成像方法及其系统 | |
| US11348215B2 (en) | Method and apparatus for reconstructing 4D image based on integral imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |