CN114549756A - 非可控光照条件下的立体重建方法及装置 - Google Patents
非可控光照条件下的立体重建方法及装置 Download PDFInfo
- Publication number
- CN114549756A CN114549756A CN202210170900.5A CN202210170900A CN114549756A CN 114549756 A CN114549756 A CN 114549756A CN 202210170900 A CN202210170900 A CN 202210170900A CN 114549756 A CN114549756 A CN 114549756A
- Authority
- CN
- China
- Prior art keywords
- illumination
- preset
- map
- rendering
- backlight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000009877 rendering Methods 0.000 claims abstract description 92
- 230000000694 effects Effects 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 47
- 238000010586 diagram Methods 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000002238 attenuated effect Effects 0.000 claims description 15
- 238000011084 recovery Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 239000000463 material Substances 0.000 description 12
- 230000008901 benefit Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及公开了一种非可控光照条件下的立体重建方法及装置，其中，方法包括：获取多个单方向光照的视图，生成视图数据；对视图数据进行分割，获得物体在当前视角下的背景分割掩膜；将多个视图与背景分割掩膜进行叠加相乘，得到背景分割之后的视图；对背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；对多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；基于编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。由此，解决了相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
Description
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种非可控光照条件下的立体重建方法及装置。
背景技术
立体重建和光照恢复技术广泛应用于许多领域，基于光度立体视觉技术的三维重建是从不同光源方向光照下得到对象的多幅图像,根据亮度特征计算出对象的法向量和深度值的三维重建技术。图像的亮度值与光源光照信息、表面法向量朝向、以及物体材质等因素有关系，例如：材质的次表面散射渲染。
相关技术中基于严格光照条件输入的立体重建和光照恢复方法，然而，由于对材质进行建模时缺乏准确性和鲁棒性，难以在实际场景中使用，亟需改善。
申请内容
本申请提供一种非可控光照条件下的立体重建方法及装置，以解决相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
本申请第一方面实施例提供一种非可控光照条件下的立体重建方法，包括以下步骤：获取多个单方向光照的视图，生成视图数据；对所述视图数据进行分割，分离出所述视图中的物体和背景，获得所述物体在当前视角下的背景分割掩膜；将所述多个视图与所述背景分割掩膜进行叠加相乘，得到背景分割之后的视图；对所述背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；对所述多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；以及基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。
可选地，在本申请的一个实施例中，所述基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，包括：将所述编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，所述几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图。
可选地，在本申请的一个实施例中，所述对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图，包括：输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度；输入所述目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与所述法向量进行计算，获得背面透光强度；输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图；将所述衰减系数分布图和所述背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度；将衰减之后的表面背光强度与所述正面光照强度进行叠加，获得最终物体在所述光照方向下的表面光照强度；按照预设的模型将所述表面光照强度与物体表面的纹理颜色分布图进行叠加，获得所述物体最终在所述光照方向下的渲染效果图。
可选地，在本申请的一个实施例中，所述生成最终渲染结果，包括：将所述渲染效果图与所述多个视图分别输入不同的编码器，得到渲染效果编码特征；使用解码器对所述渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。
可选地，在本申请的一个实施例中，所述最终渲染结果的表达式为：
Irender＝C×(Ifront+Iback)，
其中，C表示纹理颜色，Ifront表示前照灯，Iback表示背照度。
本申请第二方面实施例提供一种非可控光照条件下的立体重建装置，包括：获取模块，用于获取多个单方向光照的视图，生成视图数据；分割模块，用于对所述视图数据进行分割，分离出所述视图中的物体和背景，获得所述物体在当前视角下的背景分割掩膜；第一叠加模块，用于将所述多个视图与所述背景分割掩膜进行叠加相乘，得到背景分割之后的视图；第二叠加模块，用于对所述背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；特征提取模块，用于对所述多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；以及重建模块，用于基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。
可选地，在本申请的一个实施例中，所述重建模块，包括：恢复单元，用于将所述编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，所述几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；处理单元，用于对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图。
可选地，在本申请的一个实施例中，所述处理单元，包括：正面光照强度计算子单元，用于输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度；背面透光强度计算子单元，用于输入所述目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与所述法向量进行计算，获得背面透光强度；分布图计算子单元，用于输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图；表面背光强度计算子单元，用于将所述衰减系数分布图和所述背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度；表面光照强度计算子单元，用于将衰减之后的表面背光强度与所述正面光照强度进行叠加，获得最终物体在所述光照方向下的表面光照强度；渲染子单元，用于按照预设的模型将所述表面光照强度与物体表面的纹理颜色分布图进行叠加，获得所述物体最终在所述光照方向下的渲染效果图。
可选地，在本申请的一个实施例中，所述重建模块，包括：特征获取单元，用于将所述渲染效果图与所述多个视图分别输入不同的编码器，得到渲染效果编码特征；残差计算单元，用于使用解码器对所述渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。
可选地，在本申请的一个实施例中，所述最终渲染结果的表达式为：
Irender＝C×(Ifront+Iback)，
其中，C表示纹理颜色，Ifront表示前照灯，Iback表示背照度。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的非可控光照条件下的立体重建方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的非可控光照条件下的立体重建方法。
本申请实施例通过分离视图中的物体和背景，并将多个分割后的单方向视图进行叠加，进行特征提取并恢复物体的几何特征图，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。由此，解决了相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种非可控光照条件下的立体重建方法的流程图；
图2为根据本申请一个实施例的非可控光照条件下的立体重建方法的非可控光照条件下的立体重建方法输入视图光照方向要求图；
图3为根据本申请一个实施例的非可控光照条件下的立体重建方法的非可控光照条件下的立体重建方法流程框图；
图4为根据本申请一个实施例的非可控光照条件下的立体重建方法的背光强度计算模型图；
图5为根据本申请一个实施例的非可控光照条件下的立体重建方法的原理示意图；
图6为根据本申请实施例提供的一种非可控光照条件下的立体重建装置的结构示意图；
图7为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的非可控光照条件下的立体重建方法及装置。针对上述背景技术中心提到的相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大的问题，本申请提供了一种非可控光照条件下的立体重建方法，在该方法中，通过分离视图中的物体和背景，并将多个分割后的单方向视图进行叠加，进行特征提取并恢复物体的几何特征图，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。由此，解决了相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
具体而言，图1为本申请实施例所提供的一种非可控光照条件下的立体重建方法的流程示意图。
如图1所示，该非可控光照条件下的立体重建方法包括以下步骤：
在步骤S101中，获取多个单方向光照的视图，生成视图数据。
举例而言，本申请实施例可以使用可移动式单光源和相机进行配套采集，本申请实施例按照设定的单光源的方向对物体进行照射，可以在同一个相机视角下直接拍摄到不同光照的视图。
在步骤S102中，对视图数据进行分割，分离出视图中的物体和背景，获得物体在当前视角下的背景分割掩膜。
具体地，本申请实施例可以将从上述步骤中得到的视图数据进行分割，将物体和背后的环境分离，进而获得物体在此视角下的黑白掩膜，其中，白色区域表示物体在此范围内，黑色区域表示物体的背后的环境或杂物。
在步骤S103中，将多个视图与背景分割掩膜进行叠加相乘，得到背景分割之后的视图。
进一步地，本申请实施例可以将从步骤S102中获得的视图，与背景分割掩膜进行叠加相乘，获得剔除背景和物体放置平面阴影后的视图。本申请实施例通过获得剔除背景和物体放置平面阴影后的视图，为后续进行立体重建提供基础，使得本申请实施例可以放宽对输入数据的条件限制。
在步骤S104中，对背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据。
在实际执行过程中，本申请实施例可以将背景分割后的视图，按照固定光照方向的顺序进行叠加，进而获得若干通道叠加的视图数据。本申请实施例通过将将背景分割后的视图，按照固定光照方向的顺序进行叠加，有利于实现在非可控光照条件下的立体重建，可以放宽对输入数据的条件限制，进而提高立体重建的精度和稳定性。
在步骤S105中，对多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图。
作为一种可能实现的方式，本申请实施例可以将叠加后的多通道视图数据，通过预设的编码器中的卷积模块进行多尺度的特征提取，进而获得预设维度的编码特征图。本申请实施例基于几何参数，有利于参数恢复，可以实现高精度、高质量的立体重建。
在步骤S106中，基于编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。
进一步地，本申请实施例可以基于获取的编码特征图，进行多尺度特征的恢复，进而得到不同方向光照下的物体效果图，并生成最终渲染结果。本申请实施例可以通过分离视图中的物体和背景，并将多个分割后的单方向视图进行叠加，进行特征提取并恢复物体的几何特征图，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
可选地，在本申请的一个实施例中，基于编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，包括：将编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；对几何特征图进行计算和渲染，获得不同方向光照下的物体效果图。
具体地，本申请实施例可以将上述步骤中获取的编码特征图以及编码器中的过程特征，合并输入不同的设定的解码器中的上采样和卷积模块中进行多尺度特征的恢复，其中，使用不同的解码器将编码特征图恢复为法向量图、正面深度图、厚度分布图以及表面颜色分布图中的至少一个，并对几何特征图进行计算和渲染，获得不同方向光照下的物体效果图。本申请实施例可以利用不同的编码器，恢复物体的几何特征图，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
可选地，在本申请的一个实施例中，对几何特征图进行计算和渲染，获得不同方向光照下的物体效果图，包括：输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度；输入目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与法向量进行计算，获得背面透光强度；输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图；将衰减系数分布图和背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度；将衰减之后的表面背光强度与正面光照强度进行叠加，获得最终物体在光照方向下的表面光照强度；按照预设的模型将表面光照强度与物体表面的纹理颜色分布图进行叠加，获得物体最终在光照方向下的渲染效果图。
在实际执行过程中，本申请实施例对几何特征图进行计算和渲染的步骤可以如下：
1、输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度。
2、输入目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与法向量进行计算，获得背面透光强度。
3、输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图。
4、将衰减系数分布图和背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度。
5、将衰减之后的表面背光强度与正面光照强度进行叠加，获得最终物体在光照方向下的表面光照强度。
6、按照预设的模型将表面光照强度与物体表面的纹理颜色分布图进行叠加，获得物体最终在光照方向下的渲染效果图。
本申请实施例可以通过对几何特征图进行计算，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
可选地，在本申请的一个实施例中，生成最终渲染结果，包括：将渲染效果图与多个视图分别输入不同的编码器，得到渲染效果编码特征；使用解码器对渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。
举例而言，本申请实施例可以将渲染效果图与原始多张输入视图分别输入两个不同的编码器，并使用解码器对渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。本申请实施例通过对编码特征进行残差计算，有利于提高立体重建的精度和质量，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
可选地，在本申请的一个实施例中，最终渲染结果的表达式为：
Irender＝C×(Ifront+Iback)，
其中，C表示纹理颜色，Ifront表示前照灯，Iback表示背照度。
可以理解的是，基本网络由两阶段结构组成，可以反过来用于预测对象的形状参数，并通过这些形状参数呈现它们。
其中，第一级网络由单个编码器和四个解码器组成，用于不同的空间变化形状参数：表面法线(N)，深度(D)，厚度(T)，颜色(C)和半透明参数。给定一组在固定定向光源下捕获的场景图像，本申请实施例可以首先使用遮罩屏蔽额外的环境照明，将n幅的图像堆叠为编码器的3n通道输入，本申请实施例可以使用四个(n＝4)预定义方向灯的视图，其视图光照方向要求如图2所示。
本申请实施例可以使用相同的编码器对不同的解码器共享特征，并利用不同空间变化的形状参数的紧密相关的特征。让E-D(·)成为由编码器-解码器块组成的第一阶段网络架构(如图3所示)。
其最初预测的形状参数如下：
可以理解的是，关于重新照明的形状估计的工作通常假设可以忽略物体内部折射的影响，这不适用于具有次表面散射的半透明物体。对此，本申请实施例可以设计一个可微分的渲染层模拟可能在物体内部发生的扩散过程，并在给定的光线下输出场景。
设Render(·)作为图3中所示的快速半透明渲染层的第二阶段网络架构。以形状参数：表面法线(N)、深度(D)和厚度(T)和光照方向L和视图方向V为输入，则新颖的光照下半透明物体的场景如下：
可以理解的是，虽然透明材料只影响它们通过的光量，但半透明的材料可以改变其路径，并且它们会扩散它们通过的光线，模糊它们后面的东西。当光线照射到半透明材料的表面时，一个部分在内部传播，在分子之间反弹，直到找到出路。这通常会导致在特定点吸收的光被发射到其他地方。
本申请实施例可以通过假设光的贡献直接来自光源设计一个可微分的渲染层，即额外的环境照明对外观的贡献最小，可以忽略不计。
在这种假设下，半透明材料可以被看作是一些光穿过材料并使其到达另一侧，如图所示4，它们具有额外的光贡献，这与光源的相反方向-L有关。在考虑任何方向的光源时，每盏灯现在都有两个贡献：基于L的正面照明和基于-L的背面照明。
对于每个像素，最终照明取决于两个分量的总和：
I＝Iback(-L)+Ifront(L)。
在半透明材料中，给定表面点处的离射光取决于入射到该点的光、其方向以及入射到周围区域的光。BSSRDF(双向次表面散射反射分布函数)在计算表面点的辐射传递时考虑了所有这些参数，因此能够对BRDF不足的材料的外观进行建模。
BSSRDF通常被设计如下：
在可微渲染层中，本申请实施例实现了基于正态矢量N、视图方向V和归一化光向矢量L的双向次表面散射反射率分布函数。在计算背面照明时，光线首先在物体内部衰减，反射到表面上，并在不同的观察方向上投射亮度。
首先，本申请实施例可以只考虑光在物体表面的行为，根据兰伯模型，反射是通过取表面法向矢量N的点积和归一化的光向矢量L，从表面指向光源来计算的。
同样，观看者能看到的照明可以通过光向矢量L和V的点积来计算，即摄像机正在观察物体的方向。本申请实施例可以使用N和L之间的中间方向H来模拟物体表面上的复杂反射，基于Blinn-Phong反射模型，使用参数delta强制向量-L指向N，该参数控制表面法线偏转传出背照度的强度，如图4所示。
H＝-L+δN，
通过下面的等式给出背面照明，本申请实施例使用两个额外的参数(比例k和功率n)更改曲线的属性并模拟不同的对象材料。
为了计算输出通量并模拟物体内部光的衰减，本申请实施例可以设计一个基于深度图和厚度的局部厚度计算的简化版本。本申请实施例可以使用相机的内在和外在矩阵，从视点通过深度和厚度获得每个像素的前表面和后表面的坐标。对于前表面上的点，其局部厚度是该点与后表面上所有点之间距离的加权平均值。
为了模拟半透明物体内部的实际散射，光线在进入物体表面后更有可能散射到一个小角度。本申请实施例可以使用一个简单的分段函数来模拟这种可能性，公式如下：
为确保抽样一致性，本申请实施例在称量平均值时使用分割平均值，首先根据包含的角度划分为几个区域(条柱)，其次在每个区域内平均，最后平均所有区域：
在考虑了物体内部光线的衰减之后，背照度的计算变为：
根据兰伯模型，反射的计算方法是取表面法向矢量N的点积，并将归一化的光方向矢量L。与背光计算类似，前照灯的计算公式为：
最终渲染结果显示在以下等式中，其中C表示纹理颜色：
Irender＝C×(Ifront+Iback)。
综上所述，本申请实施例不依赖于输入视图在拍摄过程中，严格的光照和环境条件反应出的表面纹理和几何特征，只对粗光照限制下多张视图进行特征提取并恢复物体的几何特征图，再使用可微分渲染器对任意光照条件和观测方向下的效果图进行渲染。
本申请实施例提出了一种高效的、精准的基于几何参数恢复和可微分渲染器的立体中间方法，以满足高质量的三维模型构建和参数恢复的应用需求，不仅具有立体重建的高精度、形状完整性的优点，同时通过可微分渲染器对输入数据的条件限制进行放宽，具备了使用不同方向、不同强度的光照恢复和立体重建的能力，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
下面结合图2至图5所示，对本申请一个具体实施例的非可控光照条件下的立体重建方法进行详细阐述。
如图5所示，本申请实施例包括以下步骤：
步骤S501：采集视图。本申请实施例可以使用可移动式单光源和相机进行配套采集，按照设定的单光源的方向对物体进行照射，在同一个相机视角下直接拍摄到不同光照的视图。
步骤S502：分割视图数据。本申请实施例可以将获得的视图数据进行分割，将物体和背后的环境分离，获得物体在此视角下的黑白掩膜，其中白色区域表示物体在此范围内，黑色区域表示物体的背后的环境或杂物。
步骤S503：剔除背景和物体放置平面阴影。本申请实施例可以将获得的多个视图，与背景分割掩膜进行叠加相乘，获得剔除背景和物体放置平面阴影后的视图。
步骤S504：获取通道叠加的视图数据。本申请实施例可以将获得的背景分割之后的视图，按照固定光照方向的顺序进行叠加，获得若干通道叠加的视图数据。
步骤S505：获取编码特征图。本申请实施例可以将获得的叠加后的多通道视图数据，按照设定的编码器中的卷积模块进行多尺度的特征提取，最终获得预设维度的编码特征图。
步骤S506：获取不同方向光照下的物体效果图。本申请实施例可以将获得的编码特征图以及编码器中的过程特征，合并输入不同的设定的解码器中的上采样和卷积模块中进行多尺度特征的恢复，其中，使用不同的解码器将编码特征图恢复为：法向量图、正面深度图、厚度分布图、以及表面颜色分布图，然后按照以下步骤对几何特征图进行计算和渲染，获得不同方向光照下的物体效果图：
1、输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度。
2、输入目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与法向量进行计算，获得背面透光强度。
3、输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图。
4、将衰减系数分布图和背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度。
5、将衰减之后的表面背光强度与正面光照强度进行叠加，获得最终物体在光照方向下的表面光照强度。
6、按照预设的模型将表面光照强度与物体表面的纹理颜色分布图进行叠加，获得物体最终在光照方向下的渲染效果图。
本申请实施例可以通过对几何特征图进行计算，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
步骤S507：获取最终残差编解码后的渲染结果。本申请实施例可以将渲染效果图与原始多张输入视图分别输入两个不同的编码器，并使用解码器对渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。本申请实施例通过对编码特征进行残差计算，有利于提高立体重建的精度和质量，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。
根据本申请实施例提出的非可控光照条件下的立体重建方法，通过分离视图中的物体和背景，并将多个分割后的单方向视图进行叠加，进行特征提取并恢复物体的几何特征图，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。由此，解决了相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
其次参照附图描述根据本申请实施例提出的非可控光照条件下的立体重建装置。
图6是本申请实施例的非可控光照条件下的立体重建装置的方框示意图。
如图6所示，该非可控光照条件下的立体重建装置10包括：获取模块100、分割模块200、第一叠加模块300、第二叠加模块400、特征提取模块500和重建模块600。
具体地，获取模块100，用于获取多个单方向光照的视图，生成视图数据。
分割模块200，用于对视图数据进行分割，分离出视图中的物体和背景，获得物体在当前视角下的背景分割掩膜。
第一叠加模块300，用于将多个视图与背景分割掩膜进行叠加相乘，得到背景分割之后的视图。
第二叠加模块400，用于对背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据。
特征提取模块500，用于对多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图。
重建模块600，用于基于编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。
可选地，在本申请的一个实施例中，重建模块600包括：恢复单元和处理单元。
其中，恢复单元，用于将编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个。
处理单元，用于对几何特征图进行计算和渲染，获得不同方向光照下的物体效果图。
可选地，在本申请的一个实施例中，处理单元包括：正面光照强度计算子单元、背面透光强度计算子单元、分布图计算子单元、表面背光强度计算子单元、表面光照强度计算子单元和渲染子单元。
其中，正面光照强度计算子单元，用于输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度。
背面透光强度计算子单元，用于输入目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与法向量进行计算，获得背面透光强度。
分布图计算子单元，用于输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图。
表面背光强度计算子单元，用于将衰减系数分布图和背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度。
表面光照强度计算子单元，用于将衰减之后的表面背光强度与正面光照强度进行叠加，获得最终物体在光照方向下的表面光照强度。
渲染子单元，用于按照预设的模型将表面光照强度与物体表面的纹理颜色分布图进行叠加，获得物体最终在光照方向下的渲染效果图。
可选地，在本申请的一个实施例中，重建模块600还包括：特征获取单元和残差计算单元。
其中，特征获取单元，用于将渲染效果图与多个视图分别输入不同的编码器，得到渲染效果编码特征。
残差计算单元，用于使用解码器对渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。
可选地，在本申请的一个实施例中，最终渲染结果的表达式为：
Irender＝C×(Ifront+Iback)，
其中，C表示纹理颜色，Ifront表示前照灯，Iback表示背照度。
需要说明的是，前述对非可控光照条件下的立体重建方法实施例的解释说明也适用于该实施例的非可控光照条件下的立体重建装置，此处不再赘述。
根据本申请实施例提出的非可控光照条件下的立体重建装置，通过分离视图中的物体和背景，并将多个分割后的单方向视图进行叠加，进行特征提取并恢复物体的几何特征图，进而实现对任意光照条件和观测方向下的效果图渲染，具有立体重建的高精度、形状完整性的优点，可以有效地提高立体重建的有效输出精度，并放宽对输入数据的严格限制，拓宽立体重建设备的应用场景。由此，解决了相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的非可控光照条件下的立体重建方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的非可控光照条件下的立体重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种非可控光照条件下的立体重建方法，其特征在于，包括以下步骤：
获取多个单方向光照的视图，生成视图数据；
对所述视图数据进行分割，分离出所述视图中的物体和背景，获得所述物体在当前视角下的背景分割掩膜；
将所述多个视图与所述背景分割掩膜进行叠加相乘，得到背景分割之后的视图；
对所述背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；
对所述多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；以及
基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，包括：
将所述编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，所述几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；
对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图。
3.根据权利要求2所述的方法，其特征在于，所述对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图，包括：
输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度；
输入所述目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与所述法向量进行计算，获得背面透光强度；
输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图；
将所述衰减系数分布图和所述背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度；
将衰减之后的表面背光强度与所述正面光照强度进行叠加，获得最终物体在所述光照方向下的表面光照强度；
按照预设的模型将所述表面光照强度与物体表面的纹理颜色分布图进行叠加，获得所述物体最终在所述光照方向下的渲染效果图。
4.根据权利要求3所述的方法，其特征在于，所述生成最终渲染结果，包括：
将所述渲染效果图与所述多个视图分别输入不同的编码器，得到渲染效果编码特征；
使用解码器对所述渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述最终渲染结果的表达式为：
Irender＝C×(Ifront+Iback)，
其中，C表示纹理颜色，Ifront表示前照灯，Iback表示背照度。
6.一种非可控光照条件下的立体重建装置，其特征在于，包括：
获取模块，用于获取多个单方向光照的视图，生成视图数据；
分割模块，用于对所述视图数据进行分割，分离出所述视图中的物体和背景，获得所述物体在当前视角下的背景分割掩膜；
第一叠加模块，用于将所述多个视图与所述背景分割掩膜进行叠加相乘，得到背景分割之后的视图；
第二叠加模块，用于对所述背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；
特征提取模块，用于对所述多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；以及
重建模块，用于基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。
7.根据权利要求6所述的装置，其特征在于，所述重建模块，包括：
恢复单元，用于将所述编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，所述几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；
处理单元，用于对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图。
8.根据权利要求6所述的装置，其特征在于，所述最终渲染结果的表达式为：
Irender＝C×(Ifront+Iback)，
其中，C表示纹理颜色，Ifront表示前照灯，Iback表示背照度。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的非可控光照条件下的立体重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的非可控光照条件下的立体重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210170900.5A CN114549756B (zh) | 2022-02-22 | 2022-02-22 | 非可控光照条件下的立体重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210170900.5A CN114549756B (zh) | 2022-02-22 | 2022-02-22 | 非可控光照条件下的立体重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549756A true CN114549756A (zh) | 2022-05-27 |
| CN114549756B CN114549756B (zh) | 2024-06-25 |
Family
ID=81676645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210170900.5A Active CN114549756B (zh) | 2022-02-22 | 2022-02-22 | 非可控光照条件下的立体重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549756B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030076407A (ko) * | 2002-03-21 | 2003-09-26 | 마이크로소프트 코포레이션 | 저주파 조명 환경에서의 방사 자기 전송을 이용한 그래픽이미지 랜더링 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| US20200349711A1 (en) * | 2019-04-30 | 2020-11-05 | L'oreal | Image processing using a convolutional neural network to track a plurality of objects |
| CN113409186A (zh) * | 2021-06-30 | 2021-09-17 | 上海科技大学 | 基于先验知识的单张图片重打光方法、系统、终端及存储介质 |
| CN113538664A (zh) * | 2021-07-14 | 2021-10-22 | 清华大学 | 车辆去光照三维重建方法、装置、电子设备和存储介质 |
-
2022
- 2022-02-22 CN CN202210170900.5A patent/CN114549756B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030076407A (ko) * | 2002-03-21 | 2003-09-26 | 마이크로소프트 코포레이션 | 저주파 조명 환경에서의 방사 자기 전송을 이용한 그래픽이미지 랜더링 |
| US20200349711A1 (en) * | 2019-04-30 | 2020-11-05 | L'oreal | Image processing using a convolutional neural network to track a plurality of objects |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN113409186A (zh) * | 2021-06-30 | 2021-09-17 | 上海科技大学 | 基于先验知识的单张图片重打光方法、系统、终端及存储介质 |
| CN113538664A (zh) * | 2021-07-14 | 2021-10-22 | 清华大学 | 车辆去光照三维重建方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 何嘉玉 等: "基于深度学习的单幅图像三维人脸重建研究综述", 《计算机科学》, 15 February 2022 (2022-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114549756B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Nerfactor: Neural factorization of shape and reflectance under an unknown illumination | |
| US8531457B2 (en) | Apparatus and method for finding visible points in a cloud point | |
| US10223827B2 (en) | Relightable texture for use in rendering an image | |
| CN107610077A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| KR20170059469A (ko) | 삼차원 오브젝트를 가시화하기 위한 방법, 가시화 디바이스, 및 컴퓨터 프로그램 제품 | |
| CN112819941B (zh) | 渲染水体面的方法、装置、设备和计算机可读存储介质 | |
| CN107509045A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN107707831A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN107517346A (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| CN113205586A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| CN112446943A (zh) | 图像渲染的方法、装置及计算机可读存储介质 | |
| CN113763231A (zh) | 模型生成方法、图像透视图确定方法、装置、设备及介质 | |
| CN107705278A (zh) | 动态效果的添加方法和终端设备 | |
| CN107527335A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN114616587A (zh) | 基于学习的镜头眩光移除 | |
| CN107613228A (zh) | 虚拟服饰的添加方法和终端设备 | |
| TWI784349B (zh) | 顯著圖產生方法及使用該方法的影像處理系統 | |
| CN115810112A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN107680034A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN117197323A (zh) | 一种基于神经网络的大场景自由视点插值方法及装置 | |
| CN114549756A (zh) | 非可控光照条件下的立体重建方法及装置 | |
| CN107705276A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN115953524A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN107025636B (zh) | 结合深度信息的图像去雾方法及装置和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |