CN116452459B - 阴影遮罩生成方法、阴影去除方法及装置 - Google Patents
阴影遮罩生成方法、阴影去除方法及装置 Download PDFInfo
- Publication number
- CN116452459B CN116452459B CN202310457514.9A CN202310457514A CN116452459B CN 116452459 B CN116452459 B CN 116452459B CN 202310457514 A CN202310457514 A CN 202310457514A CN 116452459 B CN116452459 B CN 116452459B
- Authority
- CN
- China
- Prior art keywords
- shadow
- dimensional
- image
- shadow mask
- simulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000005286 illumination Methods 0.000 claims abstract description 297
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 44
- 238000010276 construction Methods 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本申请提供了一种阴影遮罩生成方法、阴影去除方法及装置，该阴影遮罩生成方法包括：获取三维重建模型处于模拟光照环境中，表示初始光照方向的初始光照方向数据，其中，模拟光照环境对应有表示模拟光照环境的模拟光照方向的模拟光照方向数据；生成模拟光照方向数据与初始光照方向数据之间的变换数据，其中，变换数据用于将初始光照方向与模拟光照方向对齐；基于变换数据确定三维重建模型在模拟光照环境中的位姿参数；根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，得到阴影遮罩，其中，阴影遮罩用于表征三维重建模型表面上的阴影区域。本申请的技术方案能够在一定程度上提高阴影检测结果的准确度。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种阴影遮罩生成方法、阴影去除方法及装置。
背景技术
通过三维重建方法得到的模型的漫反射贴图中可能存在阴影区域，利用存在阴影区域的漫反射贴图得到的重建模型会出现明显的阴影瑕疵。目前，针对漫反射贴图中的阴影区域一般是通过人工标注的方式标注出漫反射贴图中的阴影区域，这种人工标注的方式存在准确度低的问题。
发明内容
有鉴于此，本申请实施例提供了一种阴影遮罩生成方法、阴影去除方法及装置，能够在一定程度上提高阴影检测结果的准确度。
第一方面，本申请的实施例提供了一种阴影遮罩生成方法，阴影遮罩生成方法用于针对处于指定光照环境的物体的三维重建模型生成阴影遮罩，指定光照环境对应有初始光照方向，该阴影遮罩生成方法包括：获取三维重建模型处于模拟光照环境中，表示初始光照方向的初始光照方向数据，其中，模拟光照环境对应有表示模拟光照环境的模拟光照方向的模拟光照方向数据；生成模拟光照方向数据与初始光照方向数据之间的变换数据，其中，变换数据用于将初始光照方向与模拟光照方向对齐；基于变换数据确定三维重建模型在模拟光照环境中的位姿参数；根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，得到阴影遮罩，其中，阴影遮罩用于表征三维重建模型表面上的阴影区域。
第二方面，本申请的实施例提供了一种阴影去除方法，包括：根据第一方面所述的阴影遮罩生成方法生成阴影遮罩；利用阴影去除模型基于阴影遮罩对三维重建模型的漫反射贴图进行去阴影处理，得到去除阴影的漫反射贴图。
第三方面，本申请的实施例提供了一种阴影遮罩生成装置，阴影遮罩生成装置用于针对处于指定光照环境的物体的三维重建模型生成阴影遮罩，指定光照环境对应有初始光照方向。阴影遮罩生成装置包括：获取模块，用于获取三维重建模型处于模拟光照环境中，表示初始光照方向的初始光照方向数据，其中，模拟光照环境对应有表示模拟光照环境的模拟光照方向的模拟光照方向数据；生成模块，用于生成模拟光照方向数据与初始光照方向数据之间的变换数据，其中，变换数据用于将初始光照方向与模拟光照方向对齐；确定模块，用于基于变换数据确定三维重建模型在模拟光照环境中的位姿参数；渲染模块，用于根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，得到阴影遮罩，其中，阴影遮罩用于表征三维重建模型表面上的阴影区域。
第四方面，本申请的实施例提供了一种阴影去除装置，包括：生成模块，用于根据第一方面所述的阴影遮罩生成方法生成阴影遮罩；去阴影模块，用于利用阴影去除模型基于阴影遮罩对三维重建模型的漫反射贴图进行去阴影处理，得到去除阴影的漫反射贴图。
第五方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的阴影遮罩生成方法，或第二方面所述的阴影去除方法。
第六方面，本申请的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的阴影遮罩生成方法，或第二方面所述的阴影去除方法。
第七方面，本申请的实施例提供了一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述第一方面所述的阴影遮罩生成方法，或第二方面所述的阴影去除方法。
第八方面，本申请的实施例提供了一种芯片，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的阴影遮罩生成方法，或第二方面所述的阴影去除方法。
本申请实施例提供了一种阴影遮罩生成方法、阴影去除方法及装置，通过获取指定光照环境对应的光照方向在模拟光照环境中的数据表示得到初始光照方向数据，并生成初始光照方向数据与模拟光照环境对应的模拟光照方向数据之间的变换数据，如此可根据变换数据确定三维重建模型在模拟光照环境中的位姿参数。根据位姿参数可以在模拟光照环境中模拟三维重建模型对应的物体在指定光照环境中的位姿，从而可以在模拟光照环境中尽可能还原出物体表面的阴影。通过对模拟光照环境中按照位姿参数进行摆放的三维重建模型进行阴影渲染，可以得到反映三维重建模型表面上的阴影区域的阴影遮罩，如此可以实现对三维重建模型阴影区域的检测，提高检测结果的准确度。
附图说明
图1所示为本申请一示例性实施例提供的阴影遮罩生成系统的系统架构示意图。
图2所示为本申请一示例性实施例提供的阴影遮罩生成方法的流程示意图。
图3(a)所示为本申请一示例性实施例提供的漫反射贴图的示意图。
图3(b)所示为本申请一示例性实施例提供的阴影遮罩的示意图。
图4所示为本申请一示例性实施例提供的阴影去除方法的流程示意图。
图5所示为本申请一示例性实施例提供的去除阴影的漫反射贴图的示意图。
图6所示为本申请一示例性实施例提供的训练样本构建方法的流程示意图。
图7(a)所示为本申请一示例性实施例提供的二维基础图像的示意图。
图7(b)所示为本申请一示例性实施例提供的模糊处理后的二维基础图像的示意图。
图7(c)所示为本申请一示例性实施例提供的等高线的示意图。
图7(d)所示为本申请一示例性实施例提供的被划分出封闭区域的图像的示意图。
图8所示为本申请一示例性实施例提供的阴影遮罩生成装置的结构示意图。
图9所示为本申请一示例性实施例提供的阴影去除装置的结构示意图。
图10所示为本申请一示例性实施例提供的训练样本构建装置的结构示意图。
图11所示为本申请一示例性实施例提供的用于执行阴影遮罩生成方法、阴影去除方法或训练样本构建方法的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
三维重建技术可以重建出现实世界中的物体，例如通过拍摄重建物体的多张高清图像后，利用摄影测量学基于多张高清图像进行重建得到重建物体对应的三维模型，或利用扫描仪对重建物体进行扫描，基于扫描结果得到重建物体对应的三维模型，该三维模型也可以称为数字模型。
三维重建技术可广泛应用于视觉效果行业，例如，通过三维重建技术得到的三维模型可以应用于影视虚拟场景制作、游戏虚拟场景制作以及元宇宙相关领域中现实或超现实虚拟场景制作等。因此，三维重建模型的质量会影响虚拟场景的呈现效果。
在一些情况下，由于受现实世界中光照条件的影响，物体的表面会存在一些阴影，这会导致通过三维重建得到的三维模型的表面存在阴影区域。例如，对于室外物体而言，在拍摄任务量大、时间紧张、天气等各种不可控因素的影响下，拍摄物体上可能存在阴影，这会导致重建的三维模型对应的漫反射贴图上包含阴影区域，并导致重新打光后的渲染模型出现阴影瑕疵。
一般地，可通过工作人员对漫反射贴图进行人工修复，如通过人眼确定漫反射贴图中的阴影区域，进而根据工作人员的想象以及阴影区域的周围纹理等信息手动去除漫反射贴图中的阴影区域。
然而，受工作人员主观判断等因素的影响，通过人眼确定漫反射贴图中的阴影区域存在确定出的阴影区域准确度低，以及人力成本和时间成本高的问题。
针对上述技术问题，本申请实施例提供了一种阴影遮罩生成方法，通过将模拟光照环境对应的光照方向与指定光照环境对应的光照方向对齐，可以在模拟光照环境中模拟三维重建模型对应的物体在指定光照环境中的位姿，从而可以在模拟光照环境中还原出物体表面的阴影，进而对模拟光照环境中的三维重建模型进行阴影渲染，可以得到反映三维重建模型表面上的阴影区域的阴影遮罩，实现对三维重建模型阴影区域的检测，如此可以减少人工参与操作，提高检测结果的准确度。进一步地，在整个检测过程中，可实现对三维重建模型阴影区域的自动检测，减少了人工参与，可以提升检测效率。
示例性系统
图1所示为本申请一示例性实施例提供的阴影遮罩生成系统的系统架构示意图，如图1所示，生成系统100可以包括终端设备110。终端设备110上可以安装有客户端111，客户端111可用于执行本申请实施例提供的阴影遮罩生成方法。
示例性地，终端设备110可以是个人计算机、移动终端或个人数字助理等设备。客户端111可以是图像软件，用于对图像进行处理，如图像制作或渲染等。例如，客户端111可以是三维图像软件，如Blender或其他图像软件。
在一应用场景示例中，终端设备110的用户可能是负责三维重建工作的技术人员，其希望通过生成系统100生成三维重建模型的阴影遮罩，以实现阴影区域的自动检测。
具体地，终端设备110可接收用户输入的打开客户端111的指令，以呈现客户端111对应的显示界面。进一步地，客户端111可根据用户输入的高动态范围成像图像生成模拟光照环境，模拟光照环境对应有表示模拟光照环境的模拟光照方向的模拟光照方向数据。高动态范围成像图像对应的成像范围包括三维重建模型对应的物体在指定光照环境中所在的区域。模拟光照环境可以是客户端111根据高动态范围成像图像模拟的三维空间。
客户端111可根据用户输入的模型加载指令，在模拟光照环境中加载三维重建模型，该三维重建模型可以包括三维网格以及反映三维重建模型纹理信息的漫反射贴图，漫反射贴图上有阴影区域。客户端111根据用户在三维网格上选取的一个点对应的三维坐标和这个点对应阴影的三维坐标，在模拟光照环境对应的坐标系中计算出指定光照环境中的初始光照方向对应的初始光照方向数据，即客户端111可得到指定光照环境中的初始光照方向在模拟光照环境对应的坐标系中的表示。
进一步地，客户端111可生成模拟光照方向数据与初始光照方向数据之间的变换数据，基于变换数据确定三维重建模型在模拟光照环境中的位姿参数，并根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，生成阴影遮罩。
应理解，上述应用场景示例仅是为了便于理解本申请的精神和原理而示出，本申请的实施例并不限于此。相反，本申请的实施例可以应用于可能适用的任何场景。
示例性方法
图2所示为本申请一示例性实施例提供的阴影遮罩生成方法的流程示意图。图2的方法可由图1中的终端设备执行，具体可由客户端执行。如图2所示，该阴影遮罩生成方法可以包括如下内容。
210：获取三维重建模型处于模拟光照环境中，表示初始光照方向的初始光照方向数据，其中，模拟光照环境对应有表示模拟光照环境的模拟光照方向的模拟光照方向数据。
阴影遮罩生成方法可用于针对处于指定光照环境的物体的三维重建模型生成阴影遮罩，指定光照环境对应有初始光照方向。
三维重建模型可以是对物理世界中的物体信息进行数字化得到的模型。具体地，在一些实施例中，可通过摄像机或扫描仪对物理世界中的物体进行图像信息的采集，基于采集的图像信息对物理世界中的物体进行重建得到三维重建模型。例如，通过摄像机采集到图像信息可以是高清图像。
指定光照环境可以是指采集物体的图像信息时，物体所处的物理世界中的光照环境。指定光照环境中可包括光源，光源发出的光线具有初始光照方向，具有初始光照方向的光线可能会使得物体的表面出现阴影。指定光照环境中光源的数量可能是一个或多个，初始光照方向可以包括指定光照环境中主光源的照射方向，主光源可以是在物体表面上形成的阴影区域占物体表面上总阴影区域的面积大于或等于预设阈值的光源。或者，初始光照方向可以包括指定光照环境中各个光源的照射方向，或各个光源的照射方向的矢量合成方向。
具体地，在一些实施例中，指定光照环境可以是室外环境，初始光照方向可以是太阳光的照射方向。在另一些实施例中，指定光照环境可以是室内环境，初始光照方向可以是室内环境中的光源的照射方向。
模拟光照环境可以是基于反映指定光照环境的数据对指定光照环境进行模拟得到的三维空间。在一些实施例中，反映指定光照环境的数据可以包括表征指定光照环境中光照方向和/或光照强度的数据。具体地，在一些实施例中，反映指定光照环境的数据可以是图像数据，例如，高动态范围成像(High Dynamic Range Imaging，HDR)图像。通过高动态范围成像技术可获取高动态范围成像图像，高动态范围成像技术可以用于实现比普通数位图像技术更大的曝光动态范围，即高动态范围成像图像可比普通数位图像具有更大的明暗差别。利用三维图像软件对高动态范围成像图像进行处理可实现对指定光照环境的模拟，得到模拟光照环境。在另一些实施例中，反映指定光照环境的数据可以包括光照强度数据以及反映光照方向的普通图像数据，通过结合光照强度数据和普通图像数据可构建模拟光照环境。在另一些实施例中，反映指定光照环境的数据可以是其他可表征指定光照环境中光照方向和/或光照强度的数据，本申请实施例对此不作限制。
通过模拟得到的模拟光照环境中具有一定的光照方向，该光照方向可通过模拟光照方向数据进行表征。在一些实施例中，模拟光照方向数据可以包括基于模拟光照环境所在的坐标系生成的向量或矩阵，该向量或矩阵可表示该光照方向。客户端对指定光照环境进行模拟可得到模拟光照环境以及模拟光照方向数据。
初始光照方向数据可以包括指定光照环境中的初始光照方向在模拟光照环境下的数据表示。具体地，在一些实施例中，初始光照方向数据可以包括基于模拟光照环境所在的坐标系生成的向量或矩阵，该向量或矩阵可表示初始光照方向。
初始光照方向数据的获取方式可以是客户端基于用户的输入获取的。具体地，在一些实施例中，在客户端呈现的模拟光照环境中，用户可在三维重建模型对应的三维网格上选取一个点以及该点对应的阴影点；或者用户可在模拟光照环境中任选一个点以及该点对应的阴影点。该点以及该阴影点可以是用户在采集图像时标注好的。客户端可根据该点以及该阴影点对应的三维坐标确定初始光照方向数据。在另一些实施例中，初始光照方向数据的获取方式可以是客户端向存储有初始光照方向数据的数据库发送数据请求后，接收到数据库反馈的初始光照方向数据。
220：生成模拟光照方向数据与初始光照方向数据之间的变换数据，其中，变换数据用于将初始光照方向与模拟光照方向对齐。
由于模拟光照方向数据和初始光照方向数据之间可能存在一定的差距，因此直接将三维重建模型加载到模拟光照环境中，可能会出现三维重建模型在模拟光照环境中的摆放位置与指定光照环境中对应物体的摆放位置不一致的情况。这样，在模拟光照环境的模拟光照方向的作用下，三维重建模型表面所形成的阴影区域可能会与三维重建得到的漫反射贴图上的阴影区域不一致。
因此，为了还原物体在指定光照环境中的摆放位置，以还原物体表面的阴影区域，客户端可以生成模拟光照方向数据与初始光照方向数据之间的变换数据。
变换数据可用于将初始光照方向与模拟光照方向对齐。具体地，在一些实施例中，变换数据可以表征初始光照方向与模拟光照方向之间的角度数据。例如，变换数据可通过向量或矩阵进行表示。
230：基于变换数据确定三维重建模型在模拟光照环境中的位姿参数。
模拟光照环境是模拟出来的三维空间，为了使得处于该三维空间中的三维重建模型的表面所形成的阴影区域贴近漫反射贴图上的阴影区域，可根据变换数据确定三维重建模型在模拟光照环境中的位姿参数。
位姿参数可以包括位置参数，位置参数可以表示三维重建模型在模拟光照环境中的位置。
进一步地，位姿参数还可以包括姿态参数，姿态参数可以表示三维重建模型在确定位置处的姿态。具体地，在一些实施例中，姿态参数可以包括角度参数，角度参数可表示三维重建模型的朝向。
例如，三维重建模型对应的物体可以是车辆，在指定光照环境中车辆的车头朝向初始光照方向。在模拟光照环境中，三维重建模型的位置参数可以包括三维重建模型的重心对应的坐标；姿态参数可以包括三维重建模型的车头对应的角度参数，基于角度参数，可以使得模拟光照环境中的三维重建模型的车头朝向模拟光照方向。
在一些实施例中，三维重建模型对应的物体相对于初始光照方向存在初始位姿参数，根据模拟光照方向数据与初始光照方向数据之间的变换数据，以及三维重建模型对应的物体相对于初始光照方向的初始位姿参数，可以确定三维重建模型在模拟光照环境中的位姿参数。例如，可以将初始位姿参数乘以变换数据得到三维重建模型在模拟光照环境中的位姿参数。这里，初始位姿参数、位姿参数以及变换数据可以是向量或矩阵。
240：根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，得到阴影遮罩，其中，阴影遮罩用于表征三维重建模型表面上的阴影区域。
通过对模拟光照环境中的三维重建模型进行阴影渲染，可得到表征三维重建模型表面上的阴影区域的阴影遮罩，如此可实现对三维重建模型表面上的阴影区域的检测过程。
阴影渲染可以用于对场景内部的待渲染数据进行处理，以得到阴影遮罩。在一些实施例中，待渲染数据可包括光照方向数据和贴图数据，例如，包括模拟光照方向数据以及三维重建模型在模拟光照环境中对应的贴图数据。贴图数据对应的贴图的颜色可是纯色，或者，贴图数据对应的贴图可以是漫反射贴图。
具体地，在一些实施例中，处于模拟光照环境中的三维重建模型可以包括三维网格。该三维网格可具有三维重建模型的结构，三维网格的表面贴图可以是纯色的，如此经过阴影渲染得到的阴影遮罩具有纯色背景。例如，贴图可以是白色的，这样，经过阴影渲染得到的阴影遮罩可以包括白色背景以及对应的阴影区域。阴影区域可以是用其他颜色进行表示，这样在白色背景下，用户可以清楚地看出阴影遮罩上的阴影区域。
在另一些实施例中，处于模拟光照环境中的三维重建模型可以包括三维网格以及三维重建得到的漫反射贴图。在一些情况下，漫反射贴图可以表示物体表面的一幅或多幅二维图形，把漫反射贴图按照特定的方式映射到三维重建模型表面上时，可使得三维重建模型看起来更加真实。漫反射贴图可包括物体表面的纹理信息以及阴影区域。因此，在进行阴影渲染的过程中，可以对漫反射贴图进行处理，如加深阴影区域的颜色深度，或降低纹理信息对应的颜色深度，如此经过阴影渲染可得到阴影区域清晰的阴影遮罩。
阴影遮罩可用于表征三维重建模型表面上的阴影区域。在一些情况下，阴影遮罩中阴影区域的阴影强度可通过颜色进行表征。具体地，在一些实施例中，阴影遮罩可以是二维图像，该二维图像可以包括模拟光照环境中三维重建模型的各个表面，各个表面可按照一定规则分布在二位图像中。例如，各个表面可以间隔分布在二维图像中，或者各个表面可连接成一个完整的封闭区域。进一步地，在一些实施例中，阴影遮罩可以是灰度图，灰度图上颜色的深浅可以表征阴影的强弱。例如，颜色越深，则表明阴影强度越强，颜色越浅，则表明阴影强度越弱；阴影遮罩上无阴影区域的颜色可以为白色。
在一些实施例中，客户端可根据位置参数调整三维重建模型在模拟光照环境中的位姿，如此可使得模拟光照方向在三维重建模型表面形成的阴影区域尽可能与漫反射贴图上的阴影区域一致，相当于在模拟光照环境中尽可能还原指定光照环境中物体的摆放位姿。通过对模拟光照环境中按照位姿参数进行摆放的三维重建模型进行阴影渲染，可得到阴影遮罩。
本申请实施例提供了一种阴影遮罩生成方法，通过获取指定光照环境对应的光照方向在模拟光照环境中的数据表示得到初始光照方向数据，并生成初始光照方向数据与模拟光照环境对应的模拟光照方向数据之间的变换数据，如此可根据变换数据确定三维重建模型在模拟光照环境中的位姿参数。根据位姿参数可以在模拟光照环境中模拟三维重建模型对应的物体在指定光照环境中的位姿，从而可以在模拟光照环境中尽可能还原出物体表面的阴影。通过对模拟光照环境中按照位姿参数进行摆放的三维重建模型进行阴影渲染，可以得到反映三维重建模型表面上的阴影区域的阴影遮罩，如此可以实现对三维重建模型阴影区域的检测，提高检测结果的准确度。
根据本申请一实施例，该阴影遮罩生成方法还包括：根据反映指定光照环境的数据构建模拟光照环境，其中，反映指定光照环境的数据包括高动态范围成像图像，高动态范围成像图像对应的成像范围包括物体在指定光照环境中所在的区域。
在一些实施例中，高动态范围成像图像的位数可高于普通图像的位数。例如，普通图像的位数可以是8，对应256个灰度等级。高动态范围成像图像的位数可以大于8，如可以是32，对应232个灰度等级。当然，高动态范围成像图像的位数也可以是12，24或其他数值。
在一些实施例中，高动态范围成像图像可以是通过图像采集设备，如手机、摄像机等，直接对指定光照环境进行图像采集获得的。在另一些实施例中，也可以通过对指定光照环境进行图像采集得到多张普通图像，并对多张普通图像进行融合处理，得到高动态范围成像图像。
在一些实施例中，高动态范围成像图像的成像范围可覆盖物体在指定光照环境中所在的区域，这样可以提高基于高动态范围成像图像模拟出的模拟光照环境的真实性。例如，三维重建模型是通过拍摄重建物体的多张高清图像得到的，那么高动态范围成像图像的成像范围可覆盖多张高清图像的成像范围，如此可提高模拟光照环境对物体所处的指定光照环境的还原度。当然，高动态范围成像图像的成像范围可覆盖多张高清图像的成像范围的一部分，只要高动态范围成像图像的成像范围可覆盖物体在指定光照环境中所在的区域即可。此外，由于高动态范围成像图像相比高清图像具有更大的明暗差别，因此基于高动态范围成像图像对指定光照环境进行模拟，可以提高模拟光照环境对指定光照环境的还原度。
在本实施例中，通过高动态范围成像图像构建模拟光照环境，可以提高模拟光照环境对物体所处的指定光照环境的还原度。这样，对模拟光照环境中的三维重建模型进行阴影渲染，可进一步提高阴影遮罩的可靠性，提高阴影遮罩对三维重建模型对应的漫反射贴图上的阴影区域的还原度。
根据本申请一实施例，该阴影遮罩生成方法还包括：将高动态范围成像图像中最亮点的像素坐标确定为主光源位置数据；基于主光源位置数据确定模拟光照环境中的模拟光照方向数据。
在一些实施例中，高动态范围成像图像可以记录光照信息。高动态范围成像图像中每个像素点可对应一个光照强度，像素点的亮度值越高，对应的光照强度越大。
在一些实施例中，对指定光照环境中的物体进行图像信息的采集时间与高动态范围成像图像的采集时间之差可以小于或等于设定值。这样，可以降低高动态范围成像图像记录的光照信息与采集的图像信息对应的光照信息之间的差距，如此可提高模拟光照环境对指定光照环境的还原度。
在一些实施例中，高动态范围成像图像中最亮点的像素位置可认为是主光源位置，因此可将最亮点的像素坐标确定为主光源位置数据，基于主光源位置数据可确定模拟光照环境中的模拟光照方向数据。或者，可将亮度大于或等于设定值的多个像素坐标确定为多个主光源位置数据，对多个主光源位置数据进行加权计算，可得到模拟光照环境中的模拟光照方向数据。
例如，最亮点的像素坐标为(px，py)，通过三维图像软件加载高动态范围成像图像得到模拟光照环境对应的三维空间，在该三维空间中，主光源位置数据可通过如下球坐标进行表示。
在上述公式中，wd可表示高动态范围成像图像的宽，ht可表示高动态范围成像图像的高，两者的单位为像素。模拟光照方向数据可以是由上述球坐标构成的列向量，或者说是由上述球坐标构成的3ⅹ1的矩阵
在一些实施例中，在模拟光照环境对应的坐标系中表示初始光照方向的初始光照方向数据可以是3ⅹ1的矩阵Lenv。将和Lenv进行匹配，可以得到变换数据R。
在一些实施例中，变换数据R可以是3ⅹ3的矩阵，可以通过变换数据R确定三维重建模型在模拟光照环境中的位姿参数。变换数据R也可称为旋转矩阵，基于旋转矩阵可以将三维重建模型旋转一定角度，实现模拟光照方向与初始光照方向对齐，相当于实现全景HDR图像与三维重建模型之间的自动对齐。因此，旋转角度也可称为对齐角度。例如，在右手坐标系下，旋转角度可通过如下公式计算。
在上述公式中，通过变换数据R可计算出旋转角度对应的四元数表示，四元数包括q0，q1，q2和q3四个参数。四元数可作为位姿参数，基于四元数，可调整处于模拟光照环境中的三维重建模型的位姿。
在一些实施例中，指定光照环境可以是室外环境，初始光照方向可对应太阳光的照射方向。在一些实施例中，指定光照环境可以是室内环境，初始光照方向可对应室内光源的照射方向。
在本实施例中，将高动态范围成像图像中最亮点的像素坐标确定为主光源位置数据，并基于主光源位置数据确定模拟光照环境中的模拟光照方向数据，可以提高模拟光照环境对指定光照环境的还原度，以及提高模拟光照环境的构建效率。
根据本申请一实施例，根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，得到阴影遮罩，包括：在三维重建模型表面覆盖白色衬底；根据位姿参数对模拟光照环境中覆盖有白色衬底的三维重建模型进行阴影渲染，得到阴影遮罩。
在本实施例中，处于模拟光照环境中的三维重建模型可以包括三维网格以及三维重建得到的漫反射贴图，漫反射贴图可贴在三维网格的表面。漫反射贴图可包括物体表面的纹理信息以及阴影区域，因此，可以在三维重建模型的漫反射贴图外添加纯色的贴图，以便经过阴影渲染得到的阴影遮罩具有纯色背景。图3(a)示例性地示出了漫反射贴图，图3(b)示例性地示出了阴影遮罩。
具体地，在一些实施例中，纯色的贴图可以是白色的贴图，灰色的贴图或便于区分阴影强弱的其他纯色的贴图。
在本实施例中，通过在三维重建模型表面覆盖白色衬底，可以提高阴影遮罩上阴影区域的清晰度，便于用户区分阴影遮罩上的阴影区域和没有阴影的区域，以及根据阴影区域的颜色深浅了解阴影的强弱。
根据本申请一实施例，该阴影遮罩生成方法还包括：根据预设阈值对阴影遮罩进行二值化处理，得到二值化阴影遮罩。
阴影遮罩上不同阴影区域的阴影强度可能不同，可以按照预设的强度等级对阴影区域进行划分，每个强度等级可对应一个阴影强度范围区间。通过强度等级可将阴影遮罩上的阴影区域划分为多个区域，如此可以简化阴影遮罩，提高后续去除阴影工作的效率。
例如，可以根据预设阈值对阴影遮罩进行二值化处理，得到二值化阴影遮罩。二值化阴影遮罩包括阴影区域和没有阴影的区域，其中，阴影区域的强度都是一致的，如此可以进一步简化阴影遮罩，提高后续去除阴影工作的效率。预设阈值可以根据实际情况预先设置。
进一步地，如图4所示，本申请实施例还提供一种阴影去除方法，可包括如下内容。
410：生成漫反射贴图对应的阴影遮罩。
420：基于阴影遮罩对三维重建模型的漫反射贴图进行去阴影处理，得到去除阴影的漫反射贴图。
在一些实施例中，可根据上述任一实施例提供的阴影遮罩生成方法生成阴影遮罩/二值化阴影遮罩，或者，可根据人工标注的方式生成阴影遮罩。
在一些实施例中，在得到阴影遮罩/二值化阴影遮罩后，可通过工作人员对漫反射贴图进行人工修复，如工作人员参考阴影遮罩/二值化阴影遮罩上的阴影区域对漫反射贴图进行修复，去除漫反射贴图中的阴影。
在另一些实施例中，在得到阴影遮罩/二值化阴影遮罩后，可将阴影遮罩/二值化阴影遮罩，以及漫反射贴图输入阴影去除模型。阴影去除模型对阴影遮罩/二值化阴影遮罩，以及漫反射贴图进行处理，可输出去除阴影的漫反射贴图。图5示例性地示出了去除阴影的漫反射贴图。
阴影去除模型可以是利用训练样本对神经网络模型进行训练得到的。在一些实施例中，神经网络模型可以包括卷积神经网络、循环神经网络、长短期记忆网络等网络结构中的至少一个。在一些实施例中，神经网络模型可采用Encoder-Decoder结构，具有该结构的阴影去除模型可以提高输入数据中可处理的漫反射贴图的分辨率/像素密度，即可处理高分辨率/高像素密度的图像，如可处理高达4K的漫反射贴图。
在本实施例中，利用阴影去除模型去除漫反射贴图中的阴影，可以降低人力成本，提高阴影去除效率，并提高去除阴影的漫反射贴图的准确度以及真实性，提高阴影去除效果。
本申请实施例还提供一种训练样本构建方法，该方法可由图1中的终端设备执行，或由其他终端设备执行。如图6所示，该训练样本的构建方法可包括如下内容。
610：获取内容中具有阴影区域的二维图像，以及与二维图像对应的二维去阴影图像，和表示阴影区域的阴影图。
二维去阴影图像可以是去除二维图像中的阴影区域后得到的。在一些实施例中，二维去阴影图像可与二维图像尺寸一致，包含的纹理信息相同。阴影图可以是根据二维图像中的阴影区域得到的。在一些实施例中，阴影图可与二维图像尺寸一致，包含二维图像中的阴影区域，不包含二维图像中的纹理信息。
在一实施例中，二维图像可以是三维重建模型对应的漫反射贴图，漫反射贴图可以是通过对三维重建模型进行展UV的方式得到的，UV可以用于将图像上每一个点精确对应到模型表面，在点与点之间的间隙位置可由软件进行图像光滑差值处理。因此，二维图像中可包括多个封闭区域，每个封闭区域可具有一定的形状，多个封闭区域可按照一定规则分布在二位图像中。多个封闭区域连接起来可得到三维重建模型的外表面。由于光照的原因，二维图像中可能存在阴影区域，因此，可通过人工标注的方式标注漫反射贴图中的阴影区域，并根据标注的阴影区域对漫反射贴图进行调整得到阴影图。或者，可通过上述阴影遮罩生成方法生成阴影遮罩/二值化阴影遮罩，并将阴影遮罩/二值化阴影遮罩作为阴影图。进一步地，可根据阴影图人工去除二维图像中的阴影区域，得到二维去阴影图像。二维图像，阴影图以及二维去阴影图像可作为训练样本，用于训练模型，该模型可以是上述的阴影去除模型。
在上述实施例中，通过将三维重建模型的漫反射贴图作为二维图像，并基于二维图像获得阴影图以及二维去阴影图像，如此可以提高训练样本的质量，提高待训练模型的精度。
在另一实施例中，二维图像可以是图像采集设备采集的普通的二维图像，图像中包含阴影区域。可利用二维图像阴影检测方法检测二维图像中的阴影区域，并根据检测出的阴影区域对二维图像进行调整得到阴影图。基于阴影图利用二维图像阴影去除方法去除二维图像中的阴影区域，可得到二维去阴影图像。
在一些实施例中，二维图像阴影检测方法可以通过人工标注的方式实现，或可以是通过阴影检测模型实现的，阴影检测模型例如可以是Distraction-aware ShadowDetection Network(DSDNet)模型或其他模型。
在一些实施例中，可以根据检测出的阴影区域对二维图像中的纹理信息和颜色进行调整，得到阴影图。在其他实施例中，可利用针对二维图像的阴影去除模型对二维图像进行处理，得到阴影图。针对二维图像的阴影去除模型可以是Dual HierarchicalAggregation Network(DHAN)模型或其他模型。
620：确定针对二维图像的区域划分模板，其中，区域划分模板用于在图像中划分出至少一个封闭区域，封闭区域的内部维持图像的内容，封闭区域之外为指定颜色。
区域划分模板可以包括划分规则，不同的二维图像可对应不同的划分规则。在一些实施例中，划分规则可通过一定的算法实现。
封闭区域的内部可维持图像在该区域原本的内容，封闭区域之外可为指定颜色。指定颜色可以用于将多个封闭区域划分开。例如，指定颜色可以是黑色，白色或其他颜色。
630：使用二维图像的区域划分模板，对二维图像、二维去阴影图像和阴影图进行处理，得到被划分出封闭区域的二维图像、二维去阴影图像和阴影图作为训练样本。
通过区域划分模板可在上述普通的二维图像上划分出一个或多个封闭区域。此外，可以利用相同的区域划分模板在二维图像对应的二维去阴影图像和阴影图上的相同位置分别划分出相同的封闭区域。在图像上划分出一个或多个封闭区域的方法可以是抠图或其他方法。
在一些实施例中，多个封闭区域可以间隔分布在二维图像/阴影图/二维去阴影图像中，或者多个封闭区域可连接成一个完整的封闭区域。二维图像/阴影图/二维去阴影图像中封闭区域之外的区域可利用指定颜色填充。
在本申请实施例中，利用区域划分模板对普通的二维图像进行区域划分，可以得到包含多个封闭区域的图像。该图像中封闭区域分布规则与漫反射贴图中各封闭区域分布规则类似，因此可以利用被划分出封闭区域的二维图像代替三维重建得到的漫反射贴图作为训练样本，可以降低训练样本的构建成本，提高构建效率。此外，基于相同的区域划分模板对二维去阴影图像和阴影图进行区域划分，可以利用被划分出封闭区域的二维去阴影图像代替上述去除阴影的漫反射贴图，利用被划分出封闭区域的阴影图代替上述的阴影遮罩，如此可进一步降低训练样本的构建成本，构建难度，提高构建效率。
根据本申请一实施例，区域划分模板包括至少一个封闭图形，其中，训练样本构建方法还包括：对二维基础图像进行模糊处理，得到模糊处理后的二维基础图像；利用模糊处理后的二维基础图像的角点特征确定模糊处理后的二维基础图像中的等高线围成的封闭图形。
针对二维图像的区域划分模板可包括一个或多个封闭图形，通过封闭图形可以在二维图像上划分出一个封闭区域，多个封闭图形可以在二维图像上划分出多个封闭区域。
在一些实施例中，可以是人工画出多个封闭图形，构建封闭图形库。针对一个二维图像，可以从封闭图形库中确定一个或多个封闭图形作为区域划分模板。在另一些实施例中，可以通过编写算法构建出一个或多个封闭图形，形成封闭图形库；或者，可以对二维基础图像进行模糊处理，从模糊处理后的二维基础图像中获取一个或多个封闭图形，形成封闭图形库。
二维基础图像可以是图像采集设备采集的普通的二维图像，和/或从二维图像数据库中获取的普通的二维图像。模糊处理可以用于模糊二维基础图像中的边界。模糊处理的方法可以是高斯模糊或其他方法。在一些实施例中，可以对二维基础图像进行一次或多次模糊处理，例如可进行三次模糊处理。如图7(a)至图7(c)所示，二维基础图像中具有多个物体的边界，对二维基础图像进行模糊处理得到的模糊处理后的二维基础图像中各个边界变得模糊，这样可以从模糊处理后的二维基础图像中提取一个或多个等高线分别围成的封闭图形。等高线上的各个像素对应的像素值可以是相等的或相近的。
在一些实施例中，从模糊处理后的二维基础图像中提取一个或多个等高线分别围成的封闭图形的方法，可以是根据图像中像素的灰度值提取出物体的边界作为封闭图形。因为物体的边界的灰度值是相同的或相似的，且与物体内部和/或物体外部的灰度值差距大于一定值，所以可以根据图像中各像素之间的灰度值之差确定一个或多个等高线分别围成的封闭图形。
在一些实施例中，可利用模糊处理后的二维基础图像的角点特征确定模糊处理后的二维基础图像中的等高线围成的封闭图形。例如，角点可以是领域内具有两个主方向的特征点，也可以说，角点的局部领域具有两个不同区域的不同方向的边界，或者说，角点是多条轮廓线之间的交点。通过角点特征可确定模糊处理后的二维基础图像中的一个或多个等高线，由一个或多个等高线分别围成的区域即可得到一个或多个封闭图形。
应理解，从模糊处理后的二维基础图像中提取一个或多个等高线分别围成的封闭图形的方法还可以是其他方法，本申请实施例对此不作限制。
进一步地，模糊处理后的二维基础图像可以是灰度图，这样可以简化封闭图形的提取过程。
在一些实施例中，在模糊处理后的二维基础图像存在多个等高线的情况下，可以根据每个等高线围成的封闭图形的面积从多个封闭图形中选择部分封闭图形存入封闭图形库。例如，可按照面积由大到小的顺序对多个封闭图形进行排序，并从多个封闭图形中选择前N个封闭图形存入封闭图形库，N可以根据实际需要进行设置，如N可取5。
本实施例中的封闭图形也可称为UV岛图形。在一实施例中，在构建训练样本时，针对一个二维图像或二维图像对应的阴影图，通过利用区域划分模板对二维图像或二维图像对应的阴影图进行处理，得到的被划分出封闭区域的图像可如图7(d)所示。
在本实施例中，通过利用等高线不相交且为闭合曲线的特点，对二维基础图像进行模糊处理，并利用角点特征计算模糊处理后的图像中的等高线，将等高线围成的封闭图形加入封闭图形库。如此可以在构建训练样本时，利用封闭图形库中的封闭图形对二维图像进行处理，得到被划分出封闭区域的二维图像。由于普通的二维图像的获取过程相较于三维重建模型对应的漫反射贴图的获取过程难度小，且二维去阴影图像的获取过程相较于去除阴影的漫反射贴图的获取过程难度小，因此，根据普通的二维图像构建训练样本可以提高样本的构建效率以及降低成本。
在一些实施例中，可利用上述实施例的训练样本对神经网络模型进行训练，得到阴影去除模型。神经网络模型可采用SG-ShadowNet网络或其他网络，其中，SG-ShadowNet网络可以是用于二维图像去阴影的Style-Guided Shadow Removal模型采用的网络。
进一步地，在一些实施例中，可以对神经网络模型的损失函数进行调整，例如在损失函数中添加一个颜色平滑项，如此可以改善利用神经网络模型对图像去阴影后出现的鬼影现象。在一些情况下，基于阴影遮罩去除阴影可能会出现阴影边界去除不完善的现象，如阴影边界的位置仍存在残留的阴影，导致该位置的颜色与附近相同纹理位置处的颜色不一致的现象，这种现象可称为鬼影现象。通过在损失函数中添加颜色平滑项，可以在计算损失函数时将漫反射贴图中的阴影区域向外扩大一定的范围，例如向外延伸多个像素距离，如20个像素距离。具体地，计算去除阴影后的像素与去除阴影前该像素沿预设方向上的第20个像素之间的像素差，基于像素差确定损失函数的平滑项，如将像素差的平方作为平滑项，这里预设方向可以是背离阴影区域的方向。如此，可以降低鬼影现象的出现概率。
进一步地，在一些实施例中，可以对训练样本中的二维图像进行数据增强处理，以提高被训练的模型的去阴影效果。数据增强处理可以包括随机剪裁、缩放等操作。在一些情况下，原始的二维图像的分辨率较大，直接用于训练模型，可能会占用大量的存储空间，导致训练过程出现故障。例如，针对2Kⅹ2K的二维图像，可以通过裁剪的方式从2Kⅹ2K的二维图像中裁出一个512ⅹ512的二维图像作为训练样本，或从2Kⅹ2K的二维图像中裁出多个512ⅹ512的二维图像作为训练样本，或可通过缩放操作将2Kⅹ2K的二维图像调整成512ⅹ512的二维图像作为训练样本。
在一些实施例中，在得到模型输出的去除阴影的漫反射贴图后，可以将去除阴影的漫反射贴图贴到三维重建模型的三维网格的表面，如此可得到去除阴影的三维重建模型。可选地，工作人员可以基于阴影遮罩对去除阴影的漫反射贴图进行进一步调整，例如可对去除阴影的漫反射贴图进行精细化纹理修复和/或对贴图颜色进行调整以满足用户需要。如此，可以在基于人工智能修复结果的基础上，进行二次精修，可提高人效。
本申请实施例提供的方法可以应用于三维模型的生产和制作，可提高生产自动化率，降低生产成本。
应理解，本申请实施例提供的方法中的一个或多个步骤可由客户端执行或由服务器执行。
示例性装置
图8所示为本申请一示例性实施例提供的阴影遮罩生成装置800的结构示意图。如图8所示，阴影遮罩生成装置800包括：获取模块810、生成模块820、确定模块830以及渲染模块840。
阴影遮罩生成装置用于针对处于指定光照环境的物体的三维重建模型生成阴影遮罩，指定光照环境对应有初始光照方向。
获取模块810，用于获取三维重建模型处于模拟光照环境中，表示初始光照方向的初始光照方向数据，其中，模拟光照环境对应有表示模拟光照环境的模拟光照方向的模拟光照方向数据；生成模块820，用于生成模拟光照方向数据与初始光照方向数据之间的变换数据，其中，变换数据用于将初始光照方向与模拟光照方向对齐；确定模块830，用于基于变换数据确定三维重建模型在模拟光照环境中的位姿参数；渲染模块840，用于根据位姿参数对处于模拟光照环境中的三维重建模型进行阴影渲染，得到阴影遮罩，其中，阴影遮罩用于表征三维重建模型表面上的阴影区域。
本申请实施例提供了一种阴影遮罩生成装置，通过获取指定光照环境对应的光照方向在模拟光照环境中的数据表示得到初始光照方向数据，并生成初始光照方向数据与模拟光照环境对应的模拟光照方向数据之间的变换数据，如此可根据变换数据确定三维重建模型在模拟光照环境中的位姿参数。根据位姿参数可以在模拟光照环境中模拟三维重建模型对应的物体在指定光照环境中的位姿，从而可以在模拟光照环境中尽可能还原出物体表面的阴影。通过对模拟光照环境中按照位姿参数进行摆放的三维重建模型进行阴影渲染，可以得到反映三维重建模型表面上的阴影区域的阴影遮罩，如此可以实现对三维重建模型阴影区域的检测，提高检测结果的准确度。
根据本申请一实施例，阴影遮罩生成装置800还包括：构建模块850，用于根据反映指定光照环境的数据构建模拟光照环境，其中，反映指定光照环境的数据包括高动态范围成像图像，高动态范围成像图像对应的成像范围包括物体在指定光照环境中所在的区域。
根据本申请一实施例，获取模块810还用于：将高动态范围成像图像中最亮点的像素坐标确定为主光源位置数据；基于主光源位置数据确定模拟光照环境中的模拟光照方向数据。
根据本申请一实施例，渲染模块840用于：在三维重建模型表面覆盖白色衬底；根据位姿参数对模拟光照环境中覆盖有白色衬底的三维重建模型进行阴影渲染，得到阴影遮罩。
根据本申请一实施例，阴影遮罩生成装置800还包括二值化处理模块860，用于：根据预设阈值对阴影遮罩进行二值化处理，得到二值化阴影遮罩。
应当理解，上述实施例中的获取模块810、生成模块820、确定模块830、渲染模块840、构建模块850以及二值化处理模块860的操作和功能可以参考上述图2实施例中提供的阴影遮罩生成方法中的描述，为了避免重复，在此不再赘述。
图9所示为本申请一示例性实施例提供的阴影去除装置900的结构示意图。如图9所示，阴影去除装置900包括：生成模块910以及去阴影模块920。
生成模块910，用于生成漫反射贴图对应的阴影遮罩。在一些实施例中，生成模块910可根据上述任一实施例提供的阴影遮罩生成方法生成阴影遮罩/二值化阴影遮罩，或者，可根据人工标注的方式生成阴影遮罩。
去阴影模块920，用于基于阴影遮罩对三维重建模型的漫反射贴图进行去阴影处理，得到去除阴影的漫反射贴图。
在一些实施例中，在得到阴影遮罩/二值化阴影遮罩后，可通过工作人员对漫反射贴图进行人工修复，如工作人员参考阴影遮罩/二值化阴影遮罩上的阴影区域对漫反射贴图进行修复，去除漫反射贴图中的阴影。在另一些实施例中，在得到阴影遮罩/二值化阴影遮罩后，可利用去阴影模块920基于阴影遮罩/二值化阴影遮罩去除漫反射贴图中的阴影。例如，去阴影模块920可将阴影遮罩/二值化阴影遮罩，以及漫反射贴图输入阴影去除模型。阴影去除模型对阴影遮罩/二值化阴影遮罩，以及漫反射贴图进行处理，可输出去除阴影的漫反射贴图。
本申请实施例提供了一种阴影去除装置，可利用阴影去除模型去除漫反射贴图中的阴影，可以降低人力成本，提高阴影去除效率，并提高去除阴影的漫反射贴图的准确度以及真实性，提高阴影去除效果。
应当理解，上述实施例中的生成模块910以及去阴影模块920的操作和功能可以参考上述图4实施例中提供的阴影去除方法中的描述，为了避免重复，在此不再赘述。
图10所示为本申请一示例性实施例提供的训练样本构建装置1000的结构示意图。如图10所示，训练样本构建装置1000包括：获取模块1010，确定模块1020以及处理模块1030。
获取模块1010，用于获取内容中具有阴影区域的二维图像，以及与二维图像对应的二维去阴影图像，和表示阴影区域的阴影图；确定模块1020，用于确定针对二维图像的区域划分模板，其中，区域划分模板用于在图像中划分出至少一个封闭区域，封闭区域的内部维持图像的内容，封闭区域之外为指定颜色；处理模块1030，用于使用二维图像的区域划分模板，对二维图像、二维去阴影图像和阴影图进行处理，得到被划分出封闭区域的二维图像、二维去阴影图像和阴影图作为训练样本。
本申请实施例提供了一种训练样本构建装置，利用区域划分模板对普通的二维图像进行区域划分，可以得到包含多个封闭区域的图像。该图像中封闭区域分布规则与漫反射贴图中各封闭区域分布规则类似，因此可以利用被划分出封闭区域的二维图像代替三维重建得到的漫反射贴图作为训练样本，可以降低训练样本的构建成本，提高构建效率。此外，基于相同的区域划分模板对二维去阴影图像和阴影图进行区域划分，可以利用被划分出封闭区域的二维去阴影图像代替上述去除阴影的漫反射贴图，利用被划分出封闭区域的阴影图代替上述的阴影遮罩，如此可进一步降低训练样本的构建成本，构建难度，提高构建效率。
根据本申请一实施例，区域划分模板包括至少一个封闭图形，其中，训练样本构建装置1000还包括模糊处理模块1040，用于：对二维基础图像进行模糊处理，得到模糊处理后的二维基础图像；利用模糊处理后的二维基础图像的角点特征确定模糊处理后的二维基础图像中的等高线围成的封闭图形。
应当理解，上述实施例中的获取模块1010，确定模块1020、处理模块1030以及模糊处理模块1040的操作和功能可以参考上述图6实施例中提供的训练样本构建方法中的描述，为了避免重复，在此不再赘述。
图11所示为本申请一示例性实施例提供的用于执行阴影遮罩生成方法、阴影去除方法或训练样本构建方法的电子设备1100的框图。
参照图11，电子设备1100包括处理组件1110，其进一步包括一个或多个处理器，以及由存储器1120所代表的存储器资源，用于存储可由处理组件1110执行的指令，例如应用程序。存储器1120中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1110被配置为执行指令，以执行上述阴影遮罩生成方法、阴影去除方法或训练样本构建方法。
电子设备1100还可以包括一个电源组件被配置为执行电子设备1100的电源管理，一个有线或无线网络接口被配置为将电子设备1100连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器1120的操作系统操作电子设备1100，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1100的处理器执行时，使得上述电子设备1100能够执行一种阴影遮罩生成方法、阴影去除方法或训练样本构建方法。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种阴影遮罩生成方法，其特征在于，所述阴影遮罩生成方法用于针对处于指定光照环境的物体的三维重建模型生成阴影遮罩，所述指定光照环境对应有初始光照方向，所述阴影遮罩生成方法包括：
获取所述三维重建模型处于模拟光照环境中，表示所述初始光照方向的初始光照方向数据，其中，所述模拟光照环境对应有表示所述模拟光照环境的模拟光照方向的模拟光照方向数据；
生成所述模拟光照方向数据与所述初始光照方向数据之间的变换数据，其中，所述变换数据用于将所述初始光照方向与所述模拟光照方向对齐；
基于所述变换数据确定所述三维重建模型在所述模拟光照环境中的位姿参数；
根据所述位姿参数对处于所述模拟光照环境中的所述三维重建模型进行阴影渲染，得到所述阴影遮罩，其中，所述阴影遮罩用于表征所述三维重建模型表面上的阴影区域。
2.根据权利要求1所述的阴影遮罩生成方法，其特征在于，还包括：
根据反映所述指定光照环境的数据构建所述模拟光照环境，其中，所述反映所述指定光照环境的数据包括高动态范围成像图像，所述高动态范围成像图像对应的成像范围包括所述物体在所述指定光照环境中所在的区域。
3.根据权利要求2所述的阴影遮罩生成方法，其特征在于，还包括：
将所述高动态范围成像图像中最亮点的像素坐标确定为主光源位置数据；
基于所述主光源位置数据确定所述模拟光照环境中的所述模拟光照方向数据。
4.根据权利要求1所述的阴影遮罩生成方法，其特征在于，所述根据所述位姿参数对处于所述模拟光照环境中的所述三维重建模型进行阴影渲染，得到所述阴影遮罩，包括：
在所述三维重建模型表面覆盖白色衬底；
根据所述位姿参数对所述模拟光照环境中覆盖有所述白色衬底的三维重建模型进行阴影渲染，得到所述阴影遮罩。
5.根据权利要求1至4中任一项所述的阴影遮罩生成方法，其特征在于，还包括：
根据预设阈值对所述阴影遮罩进行二值化处理，得到二值化阴影遮罩。
6.一种阴影去除方法，其特征在于，包括：
根据权利要求1至4中任一项所述的阴影遮罩生成方法生成阴影遮罩；
利用阴影去除模型基于所述阴影遮罩对所述三维重建模型的漫反射贴图进行去阴影处理，得到去除阴影的漫反射贴图，其中，所述阴影去除模型是利用训练样本对神经网络模型进行训练得到的，所述训练样本是基于具有阴影区域的二维图像，与所述二维图像对应的二维去阴影图像，和表示所述阴影区域的阴影图得到的。
7.根据权利要求6所述的阴影去除方法，其特征在于，还包括：
获取具有所述阴影区域的所述二维图像，以及与所述二维图像对应的所述二维去阴影图像，和表示所述阴影区域的所述阴影图；
确定针对所述二维图像的区域划分模板，其中，所述区域划分模板用于在图像中划分出至少一个封闭区域，所述封闭区域的内部维持所述图像的内容，所述封闭区域之外为指定颜色；
使用所述二维图像的所述区域划分模板，对所述二维图像、所述二维去阴影图像和所述阴影图进行处理，得到被划分出封闭区域的二维图像、二维去阴影图像和阴影图作为所述训练样本；
利用所述训练样本对所述神经网络模型进行训练，得到所述阴影去除模型。
8.根据权利要求7所述的阴影去除方法，其特征在于，所述区域划分模板包括至少一个封闭图形，其中，所述训练样本构建方法还包括：
对二维基础图像进行模糊处理，得到模糊处理后的二维基础图像；
利用所述模糊处理后的二维基础图像的角点特征确定所述模糊处理后的二维基础图像中的等高线围成的封闭图形。
9.一种阴影遮罩生成装置，其特征在于，所述阴影遮罩生成装置用于针对处于指定光照环境的物体的三维重建模型生成阴影遮罩，所述指定光照环境对应有初始光照方向，所述阴影遮罩生成装置包括：
获取模块，用于获取所述三维重建模型处于模拟光照环境中，表示所述初始光照方向的初始光照方向数据，其中，所述模拟光照环境对应有表示所述模拟光照环境的模拟光照方向的模拟光照方向数据；
生成模块，用于生成所述模拟光照方向数据与所述初始光照方向数据之间的变换数据，其中，所述变换数据用于将所述初始光照方向与所述模拟光照方向对齐；
确定模块，用于基于所述变换数据确定所述三维重建模型在所述模拟光照环境中的位姿参数；
渲染模块，用于根据所述位姿参数对处于所述模拟光照环境中的所述三维重建模型进行阴影渲染，得到所述阴影遮罩，其中，所述阴影遮罩用于表征所述三维重建模型表面上的阴影区域。
10.一种阴影去除装置，其特征在于，包括：
生成模块，用于根据权利要求1至4中任一项所述的阴影遮罩生成方法生成阴影遮罩；
去阴影模块，用于利用阴影去除模型基于所述阴影遮罩对所述三维重建模型的漫反射贴图进行去阴影处理，得到去除阴影的漫反射贴图，其中，所述阴影去除模型是利用训练样本对神经网络模型进行训练得到的，所述训练样本是基于具有阴影区域的二维图像，与所述二维图像对应的二维去阴影图像，和表示所述阴影区域的阴影图得到的。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至5中任一项所述的阴影遮罩生成方法，或权利要求6至8中任一项所述的阴影去除方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至5中任一项所述的阴影遮罩生成方法，或权利要求6至8中任一项所述的阴影去除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310457514.9A CN116452459B (zh) | 2023-04-25 | 2023-04-25 | 阴影遮罩生成方法、阴影去除方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310457514.9A CN116452459B (zh) | 2023-04-25 | 2023-04-25 | 阴影遮罩生成方法、阴影去除方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452459A CN116452459A (zh) | 2023-07-18 |
| CN116452459B true CN116452459B (zh) | 2024-05-24 |
Family
ID=87120099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310457514.9A Active CN116452459B (zh) | 2023-04-25 | 2023-04-25 | 阴影遮罩生成方法、阴影去除方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452459B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882323A (zh) * | 2010-05-19 | 2010-11-10 | 北京航空航天大学 | 基于高度图的微结构表面全局光照实时绘制方法 |
| CN107220949A (zh) * | 2017-05-27 | 2017-09-29 | 安徽大学 | 公路监控视频中运动车辆阴影的自适应消除方法 |
| CN111260769A (zh) * | 2020-01-09 | 2020-06-09 | 北京中科深智科技有限公司 | 一种基于动态光照变化的实时渲染方法及装置 |
| CN113205586A (zh) * | 2021-04-19 | 2021-08-03 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN114972649A (zh) * | 2022-06-06 | 2022-08-30 | 盐城云启智造科技有限公司 | 一种基于三维重建的虚拟现实实现方法及系统 |
| CN115239861A (zh) * | 2021-04-23 | 2022-10-25 | 广州视源电子科技股份有限公司 | 人脸数据增强方法、装置、计算机设备和存储介质 |
| CN115375828A (zh) * | 2022-10-24 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 模型的阴影生成方法、装置、设备、介质 |
| CN115375589A (zh) * | 2022-10-25 | 2022-11-22 | 城云科技（中国）有限公司 | 一种去除图像阴影模型及其构建方法、装置及应用 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6903741B2 (en) * | 2001-12-13 | 2005-06-07 | Crytek Gmbh | Method, computer program product and system for rendering soft shadows in a frame representing a 3D-scene |
| US20050084173A1 (en) * | 2003-10-15 | 2005-04-21 | Smith David R. | Laminograph deshadowing |
| ES2395102B1 (es) * | 2010-10-01 | 2013-10-18 | Telefónica, S.A. | Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real |
| US10762697B1 (en) * | 2019-02-27 | 2020-09-01 | Verizon Patent And Licensing Inc. | Directional occlusion methods and systems for shading a virtual object rendered in a three-dimensional scene |
-
2023
- 2023-04-25 CN CN202310457514.9A patent/CN116452459B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882323A (zh) * | 2010-05-19 | 2010-11-10 | 北京航空航天大学 | 基于高度图的微结构表面全局光照实时绘制方法 |
| CN107220949A (zh) * | 2017-05-27 | 2017-09-29 | 安徽大学 | 公路监控视频中运动车辆阴影的自适应消除方法 |
| CN111260769A (zh) * | 2020-01-09 | 2020-06-09 | 北京中科深智科技有限公司 | 一种基于动态光照变化的实时渲染方法及装置 |
| CN113205586A (zh) * | 2021-04-19 | 2021-08-03 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN115239861A (zh) * | 2021-04-23 | 2022-10-25 | 广州视源电子科技股份有限公司 | 人脸数据增强方法、装置、计算机设备和存储介质 |
| CN114972649A (zh) * | 2022-06-06 | 2022-08-30 | 盐城云启智造科技有限公司 | 一种基于三维重建的虚拟现实实现方法及系统 |
| CN115375828A (zh) * | 2022-10-24 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 模型的阴影生成方法、装置、设备、介质 |
| CN115375589A (zh) * | 2022-10-25 | 2022-11-22 | 城云科技（中国）有限公司 | 一种去除图像阴影模型及其构建方法、装置及应用 |
Non-Patent Citations (3)
| Title |
|---|
| Application of Stereo Vision Technology In 3D Reconstruction of Traffic Objects;Jingfu Ren;《2018 17th International Symposium on Distributed Computing and Applications for Business Engineering and Science (DCABES)》;100-102 * |
| 基于光度立体的三维重建方法综述;邓学良;《现代计算机》;第27卷(第23期);133-143 * |
| 基于模糊集理论的苹果表面阴影去除方法;宋怀波;张卫园;张欣欣;邹睿智;;农业工程学报(第03期);135-141 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452459A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460414B (zh) | 训练样本图像的生成方法、装置及电子设备 | |
| CN107330964B (zh) | 一种复杂三维物体的显示方法及系统 | |
| US20200057831A1 (en) | Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation | |
| CN111932673B (zh) | 一种基于三维重建的物体空间数据增广方法及系统 | |
| CN108805971B (zh) | 一种环境光遮蔽方法 | |
| CN111968216A (zh) | 一种体积云阴影渲染方法、装置、电子设备及存储介质 | |
| CN111508052A (zh) | 三维网格体的渲染方法和装置 | |
| CN111047506B (zh) | 环境图生成和孔填充 | |
| CN107341853A (zh) | 超大虚拟场景和动态摄屏的虚实融合方法及系统 | |
| US11022861B2 (en) | Lighting assembly for producing realistic photo images | |
| US6515658B1 (en) | 3D shape generation apparatus | |
| Kersten et al. | Automatic texture mapping of architectural and archaeological 3d models | |
| CN109523619A (zh) | 一种通过多角度打光的图片生成3d材质贴图的方法 | |
| Reinbothe et al. | Hybrid Ambient Occlusion. | |
| CN112819726A (zh) | 一种光场渲染伪影去除方法 | |
| CN113144613A (zh) | 基于模型的体积云生成的方法 | |
| CN116664752B (zh) | 基于图案化光照实现全景显示的方法、系统及存储介质 | |
| Suma et al. | Evaluation of the effectiveness of HDR tone-mapping operators for photogrammetric applications | |
| CN116452459B (zh) | 阴影遮罩生成方法、阴影去除方法及装置 | |
| CN112270759A (zh) | 基于图像的光效处理方法、装置、设备及存储介质 | |
| CN109446945A (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110009723A (zh) | 环境光源的重建方法及装置 | |
| US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
| CN111243099B (zh) | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 | |
| CN112002019A (zh) | 一种基于mr混合现实的模拟人物阴影的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |