CN115965740B - 一种感知材质识别的光场重建的方法及装置 - Google Patents

Abstract

本发明实施例提供一种感知材质识别的光场重建的方法及装置，属于计算机视觉、计算机图形学、虚拟现实和增强现实等领域。该方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。该方法精准还原了真实世界的光场变化，使虚拟制作的影片更真实。

Description

一种感知材质识别的光场重建的方法及装置

技术领域

本发明涉及计算机视觉、计算机图形学、虚拟现实和增强现实等领域，具体地涉及一种感知材质识别的光场重建的方法及装置。

背景技术

现有技术中通常采用光场相机采集光场图像，光场图像中具有丰富的图像信息，从光场图像中可以解析物体表面双向反射分布函数进而对材质类型进行分类；也可以通过各种计算求得空间法线，进行光线的渲染。

光场图像是自由空间中任意点沿着一定方向的光线的辐射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。而现有技术中，物体表面材质类型识别方法主要依赖于物理光场图像，而对于光场图像，普通相机采集到的视觉图像（二维图像，属于光场图像的一个二维切片）具有的图像信息较少，它仅记录了投影到当前像素位置的物理点所发射光线的强度及方向信息。因此，现有技术对于视觉图像不能进行准确的识别，不能还原出与真实世界一样的光场变化，导致虚拟制作的影片存在着不真实感。

发明内容

本发明实施例的目的是提供一种感知材质识别的光场重建的方法及装置，该方法精准还原了真实世界的光场变化，使虚拟制作的影片更真实。

为了实现上述目的，本发明实施例提供一种感知材质识别的光场重建的方法，该方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。

可选的，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：根据所述初始三维空间确定平铺切块的法线联阵图；通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；融合模糊范围图与所述二维空间图像得到光差图；叠加所述光差图得到所述物体的材质信息。

可选的，所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；所述反射光信息包括反射光的光亮和反射光的光强。

可选的，所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：

，

，

，

其中，Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，L₁为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。

可选的，所述根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间，包括：在光源的变化下，三维渲染管线实时识别光源信息；对物体发生光场变化的地方进行光场还原、重建及三维渲染，用于建立三维光场空间的光反射效果。

可选的，所述材质信息包括物体的纹理、形状、空间位置、粗糙度中的至少一种。

另一方面，本发明提供一种感知材质识别的光场重建的装置，该装置包括：设置模块，由于根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；获取模块，用于根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；处理模块，用于根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，及根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。

可选的，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：根据所述初始三维空间确定平铺切块的法线联阵图；通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；融合模糊范围图与所述二维空间图像得到光差图；叠加所述光差图得到所述物体的材质信息。

可选的，所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；所述反射光信息包括反射光的光亮和反射光的光强。

可选的，所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：

，

，

，

其中，Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，L1为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。

本发明提出的一种感知材质识别的光场重建的方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。该方法通过识别场景空间中物体的材质，使得平面图像二维光场变为三维光场，真实还原了现实世界同比例的光场空间，建立正确的光反射效果。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明的一种感知材质识别的光场重建的方法的流程示意图；

图2是本发明的一种实时三维重建流程示意图；

图3是现有技术和本发明的增加光源的对比示意图；

图4 是本发明的材质识别示意图；

图5是本发明的光源参数变化示意图；

图6是光源与物体的物理反应的示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1是本发明的一种感知材质识别的光场重建的方法的流程示意图，如图1所示，步骤S101为根据二维空间图像构建初始三维空间，所述初始三维空间设有光源。

所述二维空间图像是光场图像的一个二维切片，它仅记录了投影到当前像素位置的物理点所发射光线的强度及方向信息，而光场图像是自由空间中任意点沿着一定方向的光线的辐射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。本申请中的二维空间图像优选虚拟现实制作中的合成的图像，即虚拟现实制作中需要真实世界的前景，但是所需后景是现实生活中不存在的，需要通过创造虚拟的后景来满足影片的制作。

按照一种优选的实施方式，所述光源是三维的从后景传递到前景，整个色调在三维空间中呈现三维变化。所述前景是根据拍摄需求图像分割得到的前景物体，图像分割就是从实际拍摄获取的原始素材图像中进行图像分割得到前景物体。所述后景是根据拍摄需求而布置的场景，将图像分割得到的所需前景和所需后景融合。

步骤S102为根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息。所述材质信息包括物体的纹理、形状、空间位置、粗糙度中的至少一种。所述材质是指场景空间中的物质，包括透明物质在内任何物质。所述物质表面都会反光，平面物质反射角等于入射角，法线平行，反射光平行，反射光量多所以亮度高。凹凸物质表面反射角不等于入射角，法线不平行，反射光不平行，反射光量少所以亮度低。

所述法线是始终垂直于某平面的直线。在几何学中，法线指平面上垂直于曲线在某点的切线的一条线。曲面法线在定义向量场的曲面积分中有着重要应用。在三维计算机图形学中通常使用曲面法线进行光照计算。法线也应用于光学的平面镜反射上。本申请中的法线是用来描述反射光表面的方向的，光表面的方向很重要，曲面法线的法向不具有唯一性，在相反方向的法线也是曲面法线。定向曲面的法线通常按照右手定则来确定。连续的曲面可以认为法线几乎处处存在。

具体的，所述物体的材质、几何形状以及分布范围和组合规律能通过色调的差异来反映在三维图像上。所需前景物体固有的颜色对色调也起到重要的作用，即决定色调的基本因素。还有就是光源，同样的所需前景物体在不同的光线照射下，整个图像就会被笼罩在不同的色彩中。本申请的光源是三维的从后景传递到前景，整个色调在三维空间中呈现三维变化。当物体材质不同时反射色彩亮度也是不同的。表面粗糙度的高低会造成光线的反射面积增加或者减少，从而影响透光率。其中透明材质表面越光滑光线反射率越低，透光率越高。对场景空间中的材质进行识别，也是对材质的粗糙度进行识别，使得能够还原出与真实世界一样的光场变化。

所述透光率是表示光线透过介质的能力，是透过透明或半透明体的光通量与其入射光通量的百分率。假设平行单色光通过均匀、无散射的介质时，光的一部分被吸收，一部分透过介质，还有一部分被介质表面反射。透光率可以表示显示设备等的透过光的效率，直接影响到触摸屏的视觉效果。表面粗糙度的高低会造成光线的反射面积增加或者减少，从而影响透光率。本申请中，透明材质表面越光滑光线反射率越低，透光率越高。对场景空间中的材质进行识别，也就是对材质的粗糙度进行识别，使得能够还原出与真实世界一样的光场变化。透光率的计算公式为：假定透过固定波长的强度为I_o，当单色光照射某物体时，一部分光被吸收，一部分透过，设透过光强度为Ⅰ，则透光率T为:T=I/I_o*100%。

图4 是本发明的材质识别示意图，如图4所示，对物质材质的识别使得光会产生不同的反射、散射等、反光等效果，通过计算出透光率使得对光场的还原更加精准。假如平行单色光通过均匀、无散射的介质时，光的一部分被吸收，一部分透过介质，还有一部分被介质表面反射。透光率可以表示显示物质材质等的透过光的效率，它直接影响到视觉效果。

所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：根据所述初始三维空间确定平铺切块的法线联阵图；通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理得出模糊范围图；融合模糊范围图与所述二维空间图像得到光差图；叠加所述光差图得到所述物体的材质信息。

图2是本发明的一种实时三维重建流程示意图，如图2所示，基于三维渲染管线中的神经网络和AI模块对场景画面进行三维重建，识别场景空间中的材质，确定场景空间中的物质材质信息。所述三维渲染管线的作用是对二维场景画面进行识别还原出三维的场景空间，并对场景空间中的物质材质进行识别，识别出材质的透光率和反射率并存储在AI模块中。识别场景空间中的多种材质的类型，重建场景空间中物质的三维模型，识别出空间之后就会对三维空间进行渲染。

基于三维渲染管线中的神经网络和AI模块对场景画面（场景画面在文中是指所需前景画面与后景画面合成后的画面）进行三维重建，识别场景空间中的材质（材质是指场景空间中的物质，包括透明物质在内任何物质的表面都会反光，平面物质反射角等于入射角，法线平行，反射光平行，反射光量多所以亮度高。凹凸物质表面反射角不等于入射角，法线不平行，反射光不平行，反射光量少所以亮度低），确定场景空间中的物质材质信息；所述三维渲染管线的作用是对二维场景画面进行识别还原出三维的场景空间，并对场景空间中的物质材质进行识别，识别出材质的透光率和反射率并存储在AI模块中。识别场景空间中的多种材质的类型，重建场景空间中物质的三维模型。本申请针对视觉光场的建立，通过建立三维光场空间（二维所需后景画面在三维渲染管线中重建形成的三维空间，被称作场景空间），对场景空间中的物质材质进行识别以及三维重建，提高光场还原的准确性。

通过感知系统中的AI模块来实时计算出材质与光之间的物理反应特性，对特性材质进行一系列分析对比及其计算材质与光源发射的一系列物理碰撞。AI模块会对所有的材质进行分析对比，通过分类检索数据库中的数据，识别出来材质的类别后通过AI模块找到与之特性一样的材质，利用得到的材质特性使得AI模块模拟出该相同材质在场景空间中发生的物理碰撞。所述感知系统是类似于人眼的延伸，捕获、记录、分析场景的光信息。输入场景中光场空间信息。

本申请可以实时识别物质材质的纹理、形状、空间位置关系、粗糙度等。通过AI模块实时计算物质吸光量、透光量、光通量、反射率等，并且通过识别二维输入的不同材质，实时在三维引擎中建立正确的光反射效果。

步骤S103为根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系。按照一种具体的实施方式，所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；所述反射光信息包括反射光的光亮和反射光的光强。

图3是现有技术和本发明的增加光源的对比示意图，图3的（a）表示显示现有技术，图3的（b）表示本发明的实施方式。

如图3的（a）所示，传统光源对图像的改变是二维变化的，二维图像与增加的光照不融合，若要使得光照更加的贴合，就需要对图像每一帧的像素进行改变和调整。所述融合是将所需前景与虚拟的所需后景进行感知融合，使得空间中所有动态变化的数据参数符合现实世界变化规则。

如图3的（b）所示，所述光源是在重建的三维空间中变化的，接近于真实光场变化的状态，三维管线中的感知系统是类似于人眼的延伸，捕获、记录、分析场景的光信息。重建场景空间中的光场就好像建立一个光源与物质材料发生交互和物理碰撞，三维世界交互，可以识别二维输入的不同材质，并转化为三维光场空间使得空间中的物质都是三维的，物质材质在三维引擎中建立正确的三维光反射效果。

光反射为由于场景空间中的物体分子结构排列及结晶性、结晶度等原因，使入射光线从聚合物表面反射出来导致透过光量损失，透光率下降。反射程度用反射率R表示，计算公式为：R=（n-1）2/（n+1）2×100%，式中，n是测试介质材料的折射率。例如，未知物体的n=1.492，则R=3.9%。反射率越小，透光率越大，透明性越好。

所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：

，

，

，

其中，Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，L₁为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。所述光强指发光强度，光的强弱。

光强度的计算公式是I=Nhv/At，单位为cd，用I表示光学中的光强，v表示光的频率，A为照射区域面积，N为时间间隔t内照到A上的光子总数，光强度简称光强。所述光亮为：。

亮度是指发光体光强与光源面积之比，光源的单位。光源在场景画面形成的三维空间中的物理碰撞。光源在亮度单位投影面积上的发光强度。与光照度的意思并不相同。亮度也被称作明度，表示色彩的明暗程度。人眼所感受到的亮度是色彩反射或者投射的光亮所决定的，当物体材质不同时反射色彩亮度也是不同的。本申请中的亮度就是代表发光面的强度。

所述光照度为平均光通量和光照度=光源总光通量×CU×MF/面积。平均照度（Eav）= 单个灯具光通量Φ×灯具数量（N）×空间利用系数（CU）×维护系数（K）÷地板面积（长×宽）。例如：室内照明条件下，4×5米房间，使用3×36W隔栅灯9套计算公式：平均照度＝光源总光通×CU×MF/面积＝(2500×3×9)×0.4×0.8÷4÷5 ＝1080 Lux 。所得平均照度为1000Lx。所述光照度是指光源的发光通量均匀分布在场景空间中所产生的光照度，光照度的单位为勒克斯（lx）。所述光照度是指空间还原时对空间光照的还原，传统的光照还原是二维的，而本申请的光照还原是三维的。本申请中重建一个适应光源的光场，使得场景空间光源变化时导致光场产生变化，还原这个光场的动态变化过程称作还原。变化光源使得场景空间中的光场实时还原。

所述光通量为光源在单位时间内发射出的光量称为光源的发光通量，单位为流明（lm）。例如：1光瓦等于辐射通量（F）为1W，波长=555nm，的黄绿光所产生的光感觉量。光瓦单位太大，常用另一较小单位流明（lm）1光瓦=683lm。

，

其中K为代表光明度K=683.002lm/W。λ代表波长，视觉人眼只对波长位于380nm~780nm的可见光有反应，低于380nm的光波称为紫外线，高于780nm的光波称为红外线，反映在了视见函数V(λ)中。V(λ)代表视觉相对光谱敏感度曲线亦作视见函数曲线。

图5是本发明的光源参数变化示意图，如图5所示，对材质识别之后就是模拟得出光源与物体产生的物理反应。不同材质与光源发生的物理反应也是不同的；光源与物体之间产生的物理反应会使得空间中的色彩、色调发生变化；光源的变化会导致场景空间中的光照面、反射面、色彩、色调、光通量发生变化；光源的变化是变化光强和光亮还有光的颜色；改变光源的参数就会对场景空间造成改变，也就是入射光的改变导致法线改变从而反射光也发生改变，就会导致光场空间发生改变。本文就是通过不同的光源发生改变来还原出应该随光源变化而变化的光场空间。如图3所示光源的变化回到制入射光的角度发生变化从而导致反射光不同，反射面的不同也会导致反射光的不同。

图6是光源与物体的物理反应的示意图，如图6所示，根据材质的特性计算光反应的特性，按照一种具体的实施例，材质类别可以包括塑料、木头、玻璃、陶瓷、纤维、金属、橡胶七类。与光反应相关的材质信息有：空间结构（空间中多种物体对光源产生影响，光源的强度会被柔化并减弱，所以物体的阴影也会比平常的更灰）、颜色（不同颜色的物体对光的吸收与反射不同）、粗糙度（光滑平面上的反射现象叫做镜面反射。发生在粗糙平面上的反射现象叫做漫反射。镜面反射和漫反射都遵从反射定律）、密度（光疏介质或者光密介质）。粗糙度为：Rz（h）=f^(2 )/(8R（rϵ）)×（10^3），Rz（h）为理论表面粗糙度（μm），f为每转进给量（mm/rev），R（rϵ）为：刀尖半径（mm）表面粗糙度的高低会造成光线的反射面积增加或者减少，从而影响透光率。本申请中透明材质表面越光滑光线反射率越低，透光率越高。对场景空间中的材质进行识别，也是对材质的粗糙度进行识别，使其能够还原出与真实世界一样的光场变化。

不同材质与光源发生的物理反应的特性：光源色>透过色>反射色，反射色与透过色均是物体受光的经过作用的物体色。一般光线照射在材质光滑或者粗糙的表面上时会出反射现象。光穿透材料而继续传播的性质称为折射。折射实质上是光的透射，在透过物体材质的前后，同一光源不同材质下有不同透光率，物体材质处产生了传播方向的规则转折。光线透过物体材质的过程中，物体材质能够有选择地吸收部分波长的能量称为光的吸收。当入射光进入介质材料内部时，由于分子结构及组成的原因，光在通道中传递受阻，而滞留在材料内被吸收，从而降低透光率。当入射光接触粗糙不平的制品表面，或分子结构分布不均匀或无序与结晶相共存的材料时，入射光线既无透过也无反射及吸收，而呈散射形式消散，导致透光率下降，该部分损失比例较小，且该现象在结晶型聚合物中较严重，非结晶料较好。

如上述所示不同的材质同一光源之间的物理反应事件、相同的材质不同光源之间的物理反应事件全部记录在数据库模块中，所有物理反应事件的计算模型都存储在数据库模块中。

对光源的颜色进行精准分析，智能分析光源色、透过色、反射色等，及其添加新的光源实时重建三维空间的颜色、色调等参数使得空间感知融合。光源照射在物质上的光照面，通过AI模块实时计算并还原其三维空间中的光照面。实时还原三维空间中的光线反射的光强变化及其光亮变化。并且用虚拟的灯光还原真实的世界的光反应，减少灯光开销，可以获得正确的三维空间照明效果，低碳环保轻资产。

步骤S104为根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。所述根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间，包括：在光源的变化下，三维渲染管线实时识别光源信息；对物体发生光场变化的地方进行光场还原、重建及三维渲染，用于建立三维光场空间的光反射效果。

三维管线中的感知系统是类似于人眼的延伸，捕获、记录、分析场景的光信息。对增加光源而使得光场发生改变的这个过程（传统光源对图像的改变是二维变化的，而本文中的光源是在重建的三维空间中变化的，更类似于真实光场变化的状态）。输入场景中光场空间信息。可以识别二维输入的不同材质，并转化为三维光场空间使得空间中的物质都是三维的，物质材质在三维引擎中建立正确的三维光反射效果。在本文中重建一个适应光源的光场，使得场景空间光源变化时导致光场产生变化，还原这个光场的动态变化过程，被称作还原。变化光源使得场景空间中的光场实时还原。

还原出正确的三维光场（三维光场是指将二维的图像中的后景替换成拍摄所需后景，这就需要对后景与前景的光场进行分析，传统的光场分析都是二维数据。本文重建出所需前景与所需后景像融合的三维光场。接收场景中物体发出的光线(主动或被动发光)进行感知。采集捕捉到场景空间分布的三维光场，再根据不同的应用需求来计算出相应的反射等参数。光线空间采集下来，再将光线进行重组，可以让虚拟现实模拟出人眼基于距离对物体聚焦、移动的效果，捕捉光线信息，重现三维光场世界。三维光场一定是和现实世界相接近的自然的三维显示，从而更加适应人眼的各种立体视觉特性），三维光场就是与真实世界的光反应效果一模一样。本申请通过重建一个适应光源的光场，使得场景空间光源变化时导致光场产生变化，还原这个光场的动态变化过程，被称作还原。变化光源使得场景空间中的光场实时还原。

为了得到更加完美的虚拟制作影片，在场景空间中创造符合制作需求的新光源，不同的光源使得法线、光通量、透光率、光照面、亮度、强度、空间色彩、空间色调等信息参数发生改变。AI模块会快速的提取数据库模块（本申请中的数据库模块存储着无数事件和物体的全部信息，包括无数事件的计算模型库、事件发生过程库、事件推演库、事件转换库等多种信息库。）中的信息来快速的得出这些需要计算信息参数的值。通过对光源变化状态信息的获取实时生成还原后的光场空间。光源的变化导致场景空间中的部分像素发生改变，三维渲染管线对像素需要变化的部分快速识别和替换成所需的像素值。当光源发生变化时，实时还原三维光场。

通过上述一系列的处理和计算还原出的光场空间就是实现场景空间与光源之间的交互。快速的识别场景空间中的材质，快速的对比、分析、查找光反应的事件模型，实时还原出正确的光场。

本申请通过真实还原与现实世界同比例的光场空间，建立正确的光反射效果，在场景空间中还原出精准的光场空间。用虚拟灯还原光场空间可以获得正确的照明效果，低碳环保轻资产。对虚拟现实制作有正向推动作用，尤其是在虚拟制作影片行业，减少灯光的使用，降低对经验的依赖，低碳绿色，一小时仅1.5 度电；在虚拟拍摄中较LED有革命性的改变，部署容易且无光污染。在VR、XR、MR等虚拟技术中有着重大意义。

本申请还进行智能空间交互，模拟光源与材质之间产生的光场空间使其与真实世界光源与材质产生的光场空间一模一样，模拟光源与场景空间的空间交互功能，能够得到更加完美的虚拟制作影片，无论从色彩、灯光、比例、色调、质感、光照、反射等都完全还原。获取合成后的场景画面以便于后续的对光场还原。

本申请通过实时重建还原三维光场空间，实时计算不同材质物质与不同光源之间的物理碰撞，使得平面图像二维光场变为三维光场，真实还原了现实世界同比例的光场空间，建立正确的光反射效果。

本申请还提供了一种感知材质识别的光场重建的装置，该装置包括：设置模块，由于根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；获取模块，用于根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；处理模块，用于根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，及根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。该装置将各个感知材质作为全分辨率的平铺切块的法线联阵图，通过联阵图对原本的二维图像进行点对点还原，进行像素级色彩处理并最终得出模糊范围的图，然后与原图融合并求得光差，进行光差图的叠加处理，最终得到场景空间中的物体材质类别。该方法消耗极少的算力，减少资源消耗，并且能够精准的还原。利用三维重建的场景空间，感知系统对场景空间中的物体颜色、纹理、形状、空间位置关系信息等，这些信息通过AI模块、数据库模块、对比分析中模块、执行模块的交互处理得出与场景空间中物体信息一模一样的模型。此模型的材质等其他信息将会映射到空间场景中的物体上。识别材质的作用就是将计算材质的透光率，以及在不同光源光照条件下，其色调、色彩、亮度、饱和度的变化。对于不同材质的物体而言，其透光率不一样。不同颜色、纹理、粗糙度、形状、空间关系等信息的不同都会导致透光率的不同。在光源的变化下三维渲染管线会识别出将要发生变化的地方并进行实时渲染（本申请只对发生变化的地方进行实时渲染，减少不必要的资源消耗。传统会导致整张图像渲染，导致画质受损）。进行实时渲染的过程就是使得场景空间中需要改变部分的像素发生改变。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种感知材质识别的光场重建的方法，其特征在于，该方法包括：

根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；

根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；

根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；

根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间；

所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：

根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；

融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；

所述反射光信息包括反射光的光亮和反射光的光强；

所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：

，

，

，

其中， Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，

L₁为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：

根据所述初始三维空间确定平铺切块的法线联阵图；

通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；

融合模糊范围图与所述二维空间图像得到光差图；

叠加所述光差图得到所述物体的材质信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间，包括：

在光源的变化下，三维渲染管线实时识别光源信息；

对物体发生光场变化的地方进行光场还原、重建及三维渲染，用于建立三维光场空间的光反射效果。

4.根据权利要求1所述的方法，其特征在于，

所述材质信息包括物体的纹理、形状、空间位置、粗糙度中的至少一种。

5.一种感知材质识别的光场重建的装置，其特征在于，该装置包括：

设置模块，由于根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；

获取模块，用于根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；

处理模块，用于根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，及根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间；

所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：

根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；

融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；

所述反射光信息包括反射光的光亮和反射光的光强；

所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：

，

，

，

其中， Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，

L₁为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。

6.根据权利要求5所述的装置，其特征在于，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：

根据所述初始三维空间确定平铺切块的法线联阵图；

通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；

融合模糊范围图与所述二维空间图像得到光差图；

叠加所述光差图得到所述物体的材质信息。

7.根据权利要求5所述的装置，其特征在于，所述根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间，包括：

在光源的变化下，三维渲染管线实时识别光源信息；

对物体发生光场变化的地方进行光场还原、重建及三维渲染，用于建立三维光场空间的光反射效果。

8.根据权利要求5所述的装置，其特征在于，

所述材质信息包括物体的纹理、形状、空间位置、粗糙度中的至少一种。

Images