CN116563445B - 基于虚拟现实的动漫场景渲染方法及装置 - Google Patents
基于虚拟现实的动漫场景渲染方法及装置 Download PDFInfo
- Publication number
- CN116563445B CN116563445B CN202310400953.6A CN202310400953A CN116563445B CN 116563445 B CN116563445 B CN 116563445B CN 202310400953 A CN202310400953 A CN 202310400953A CN 116563445 B CN116563445 B CN 116563445B
- Authority
- CN
- China
- Prior art keywords
- feature
- scene
- representing
- reconstruction
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009467 reduction Effects 0.000 claims abstract description 60
- 238000001914 filtration Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Generation (AREA)
Abstract
本发明涉及动漫渲染领域，揭露一种基于虚拟现实的动漫场景渲染方法及装置，所述方法包括：对待渲染动漫场景进行第一待渲染位置标注，对第一标注动漫场景进行场景初始渲染；对初始渲染场景进行特征提取，对渲染场景特征进行降噪处理，对渲染场景特征进行滤波处理；提取注意力特征，计算注意力特征的像素级权重，对注意力特征进行颜色重构；计算颜色重构特征的整体重构系数，对颜色重构特征进行整体重构；计算整体重构特征与颜色重构特征之间的像素差异值，对整体重构特征进行第二待渲染位置标注，对第二标注特征进行特征渲染，得到待渲染动漫场景的最终渲染结果。本发明可以提高对复杂渲染场景下噪声与细节纹理的关注能力。
Description
技术领域
本发明涉及动漫渲染领域，尤其涉及一种基于虚拟现实的动漫场景渲染方法及装置。
背景技术
目前，三维场景的渲染存在复杂场景下噪声去除困难、细节丢失较多的情况，例如利用非局部均值滤波器对图像进行平滑去噪，但由于缺乏对场景特征信息的考察，导致结果图像的细节存在一定程度缺失；根据从噪声图像中获取的信息来设置滤波器参数，实现对图像中噪声的滤波，但在复杂场景下其算法的去噪效果不够理想；通过神经网络预测滤波器最优重构参数，实现对图像中噪声的滤波，但对于图像中噪声繁殖的问题没有考虑到。因此，动漫场景渲染对复杂渲染场景下的噪声与细节纹理的兼具能力不足。
发明内容
为了解决上述问题，本发明提供了一种基于虚拟现实的动漫场景渲染方法及装置，可以提高对复杂渲染场景下噪声与细节纹理的关注能力。
第一方面，本发明提供了一种基于虚拟现实的动漫场景渲染方法，包括：
获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景；
对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征；
计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征；
计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果。
在第一方面的一种可能实现方式中，所述对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景，包括：
利用下述公式计算所述第一标注动漫场景中被标注位置的初始渲染结果：
其中，/>表示所述第一标注动漫场景中被标注像素点的初始渲染结果，即被标注位置中表面着色点x在方向/>上的出射辐射度，/>表示表面着色点x在方向上自发光的辐射度，/>表示所述第一标注动漫场景中被标注位置接收光线照射时以被标注位置为球心、光线为球半径的正半球空间，表示正半球空间/>上围绕表面着色点x的所有方向的入射辐射度，/>表示表面着色点x在方向/>上的入射辐射度，是双向散射分布函数，表示在待渲染表面材质的作用下，出射方向的辐射度占了入射方向的辐射度的比例是多少，/>表示光线照射至被标注位置时入射光线与被标注位置的法线的夹角；
将所述被标注位置渲染之后的第一标注动漫场景作为所述初始渲染场景。
在第一方面的一种可能实现方式中，所述对所述初始渲染场景进行特征提取，得到渲染场景特征，包括：
将结构光投射至所述初始渲染场景中；
由预设的图像传感器捕获穿过所述初始渲染场景的结构光，得到捕获深度图；
将所述捕获深度图作为所述渲染场景特征。
在第一方面的一种可能实现方式中，所述对所述渲染场景特征进行降噪处理，得到降噪场景特征，包括：
将所述渲染场景特征分割为多个子特征图；
基于所述子特征图，利用下述公式计算所述渲染场景特征的降噪场景特征：
其中，/>表示所述渲染场景特征的降噪场景特征，ft表示第t个子特征图，/>表示水平方向上的一阶离散性差分算子，/>表示垂直方向上的一阶离散性差分算子。
在第一方面的一种可能实现方式中，所述基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征，包括：
将所述降噪场景特征作为所述渲染场景特征的滤波降噪窗口；
根据所述滤波降噪窗口，利用下述公式对所述渲染场景特征进行滤波处理，得到滤波场景特征：
其中，Fk表示所述滤波场景特征，/>表示所述滤波降噪窗口的像素均值，/>表示所述滤波降噪窗口的像素方差，/>表示所述滤波降噪窗口中的像素特征点，/>表示所述渲染场景特征中区域/>的像素均值，Ik表示所述渲染场景特征中的像素特征点，m表示像素特征点的数目，k表示像素特征点的序号。
在第一方面的一种可能实现方式中，所述提取所述滤波场景特征中的注意力特征，包括：
将滤波场景特征分割为多个特征区域；
利用下述公式计算所述特征区域的注意力值：
其中，/>表示所述特征区域的注意力值，/>表示rq特征区域的中心与rp特征区域的中心之间的欧式距离，/>表示rq特征区域与rp特征区域之间的颜色距离，q表示特征区域的序号，p表示除q特征区域外剩余的特征区域的序号，r表示特征区域，/>表示rp特征区域的权重，/>用于控制空间权重的影响；
在所述注意力值符合预设阈值时，将所述注意力值对应的特征区域中的特征作为所述注意力特征。
在第一方面的一种可能实现方式中，所述基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，包括：
基于所述像素级权重，利用下述公式对所述注意力特征进行颜色重构，得到颜色重构特征：
其中，/>表示所述颜色重构特征，i与j表示所述注意力特征中像素的序号，s表示所述注意力特征通过一阶离散性差分算子计算得到的像素点的梯度值，/>表示所述注意力特征的像素级权重，/>表示所述注意力特征的颜色域权重，/>表示所述注意力特征的第k个特征区域的权重，k表示将所述注意力特征划分为多个特征区域的序号，C表示所述注意力特征中的像素值，n表示所述注意力特征中像素的数目，m表示k的总数。
在第一方面的一种可能实现方式中，所述计算所述颜色重构特征的整体重构系数，包括：
利用下述公式计算所述颜色重构特征的整体重构系数：
其中，Wij表示所述颜色重构特征的整体重构系数，k表示将所述颜色重构特征划分为多个特征区域的序号，m表示k的总数，σ表示均值，fik表示第i个像素的第k个特征，i与j表示所述颜色重构特征中像素的序号，D表示欧式距离。
在第一方面的一种可能实现方式中，所述计算所述整体重构特征与所述颜色重构特征之间的像素差异值，包括：
利用下述公式计算所述整体重构特征与所述颜色重构特征之间的初始差异值：
其中，表示所述整体重构特征与所述颜色重构特征之间的初始差异值，/>表示所述整体重构特征的颜色值，/>表示所述颜色重构特征的颜色值，o表示特征的序号，Wij表示所述颜色重构特征的整体重构系数，/>表示方差，/>表示特征的颜色值计算得到的标准差；
根据所述初始差异值，利用下述公式计算所述像素差异值：
其中，Z表示所述像素差异值，/>表示所述整体重构特征与所述颜色重构特征之间的初始差异值，/>表示所述整体重构特征的颜色值，i表示特征的序号，/>表示方差。
第二方面，本发明提供了一种基于虚拟现实的动漫场景渲染装置，所述装置包括：
场景渲染模块，用于获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景；
特征滤波模块，用于对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
颜色重构模块，用于提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征；
整体重构模块，用于计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征；
特征渲染模块，用于计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果。
与现有技术相比，本方案的技术原理及有益效果在于：
本发明实施例首先通过对所述待渲染动漫场景进行第一待渲染位置标注，以用于选取所述待渲染动漫场景中的部分像素点用于后续的渲染，每次渲染完前一次所选的像素点之后，再进行迭代多次选择像素点并再次渲染，直到所有像素点都得到渲染，进一步地，本发明实施例通过对所述第一标注动漫场景进行场景初始渲染，以用于对所述第一标注动漫场景进行初始渲染之后，后续对其存在的噪声较多、细节丢失较多的问题进行修复，本发明实施例通过对所述初始渲染场景进行特征提取，以用于将三维场景图像转换为三维特征图，进一步地，本发明实施例通过对所述渲染场景特征进行降噪处理，以用于在对所述渲染场景特征进行降噪时可以保留更多纹理细节，本发明实施例通过计算所述注意力特征的像素级权重，以用于根据空间中像素权重的大小对所述注意力特征进行重构，本发明实施例通过基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，以用于在对所述注意力特征进行降噪的同时可以保留更多的边缘细节，进一步地，本发明实施例通过基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，以用于选取差异值较大的像素位置进行标注，从而对差异较大的位置进行渲染。因此，本发明实施例提出的一种基于虚拟现实的动漫场景渲染方法及装置，可以提高对复杂渲染场景下噪声与细节纹理的关注能力。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于虚拟现实的动漫场景渲染方法的流程示意图；
图2为本发明一实施例中图1提供的一种基于虚拟现实的动漫场景渲染方法的其中一个步骤的流程示意图；
图3为本发明一实施例中图1提供的一种基于虚拟现实的动漫场景渲染方法的另外一个步骤的流程示意图；
图4为本发明一实施例提供的一种基于虚拟现实的动漫场景渲染装置的模块示意图；
图5为本发明一实施例提供的实现基于虚拟现实的动漫场景渲染方法的电子设备的内部结构示意图。
具体实施方式
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于虚拟现实的动漫场景渲染方法，所述基于虚拟现实的动漫场景渲染方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述基于虚拟现实的动漫场景渲染方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示，是本发明一实施例提供的基于虚拟现实的动漫场景渲染方法的流程示意图。其中，图1中描述的基于虚拟现实的动漫场景渲染方法包括：
S1、获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景。
本发明实施例中，所述待渲染动漫场景是指VR全景图像，VR是Virtual Reality的英文缩写，中文意为虚拟实境，为三维图形技术，VR全景是360度或720度全景图像采集器采集的静态画面或动态画面，其中的渲染是指将三维场景信息投影至二维屏幕的像素点上，并在光照的作用下计算像素值颜色的过程，其中的三维场景信息包括网格（3D mesh）、材质（Material）、纹理（Texture）等类型的信息。
本发明实施例通过对所述待渲染动漫场景进行第一待渲染位置标注，以用于选取所述待渲染动漫场景中的部分像素点用于后续的渲染，每次渲染完前一次所选的像素点之后，再进行迭代多次选择像素点并再次渲染，直到所有像素点都得到渲染。其中，所述第一标注动漫场景是指从所述待渲染动漫场景中所选择的第一波等待被渲染的像素点位置。
本发明的一实施例中，参阅图2所示，所述对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，包括：
S201、随机采集所述待渲染动漫场景中的多个像素点；
S202、标记所述多个像素点在所述待渲染动漫场景中对应的位置，得到所述第一标注动漫场景。
可选地，所述标记所述多个像素点在所述待渲染动漫场景中对应的位置，得到所述第一标注动漫场景的过程可以为将所述多个像素点标记为与其他像素点区分的标记。
进一步地，本发明实施例通过对所述第一标注动漫场景进行场景初始渲染，以用于对所述第一标注动漫场景进行初始渲染之后，后续对其存在的噪声较多、细节丢失较多的问题进行修复。
本发明的一实施例中，所述对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景，包括：利用下述公式计算所述第一标注动漫场景中被标注位置的初始渲染结果：
其中，/>表示所述第一标注动漫场景中被标注像素点的初始渲染结果，即被标注位置中表面着色点x在方向/>上的出射辐射度，/>表示表面着色点x在方向/>上自发光的辐射度，/>表示所述第一标注动漫场景中被标注位置接收光线照射时以被标注位置为球心、光线为球半径的正半球空间，/>表示正半球空间/>上围绕表面着色点x的所有方向的入射辐射度，/>表示表面着色点x在方向/>上的入射辐射度，/>是双向散射分布函数，表示在待渲染表面材质的作用下，出射方向的辐射度占了入射方向的辐射度的比例是多少，/>表示光线照射至被标注位置时入射光线与被标注位置的法线的夹角；
将所述被标注位置渲染之后的第一标注动漫场景作为所述初始渲染场景。
S2、对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征。
本发明实施例通过对所述初始渲染场景进行特征提取，以用于将三维场景图像转换为三维特征图。
本发明的一实施例中，参阅图3所示，所述对所述初始渲染场景进行特征提取，得到渲染场景特征，包括：
S301、将结构光投射至所述初始渲染场景中；
S302、由预设的图像传感器捕获穿过所述初始渲染场景的结构光，得到捕获深度图；
S303、将所述捕获深度图作为所述渲染场景特征。
进一步地，本发明实施例通过对所述渲染场景特征进行降噪处理，以用于在对所述渲染场景特征进行降噪时可以保留更多纹理细节。
本发明的一实施例中，所述对所述渲染场景特征进行降噪处理，得到降噪场景特征，包括：将所述渲染场景特征分割为多个子特征图；基于所述子特征图，利用下述公式计算所述渲染场景特征的降噪场景特征：
其中，/>表示所述渲染场景特征的降噪场景特征，ft表示第t个子特征图，/>表示水平方向上的一阶离散性差分算子，/>表示垂直方向上的一阶离散性差分算子。
本发明的一实施例中，所述基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征，包括：将所述降噪场景特征作为所述渲染场景特征的滤波降噪窗口；根据所述滤波降噪窗口，利用下述公式对所述渲染场景特征进行滤波处理，得到滤波场景特征：
其中，Fk表示所述滤波场景特征，/>表示所述滤波降噪窗口的像素均值，/>表示所述滤波降噪窗口的像素方差，/>表示所述滤波降噪窗口中的像素特征点，/>表示所述渲染场景特征中区域/>的像素均值，Ik表示所述渲染场景特征中的像素特征点，m表示像素特征点的数目，k表示像素特征点的序号。
S3、提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征。
本发明的一实施例中，所述提取所述滤波场景特征中的注意力特征，包括：将滤波场景特征分割为多个特征区域；利用下述公式计算所述特征区域的注意力值：
其中，表示所述特征区域的注意力值，/>表示rq特征区域的中心与rp特征区域的中心之间的欧式距离，/>表示rq特征区域与rp特征区域之间的颜色距离，q表示特征区域的序号，p表示除q特征区域外剩余的特征区域的序号，r表示特征区域，/>表示rp特征区域的权重，/>用于控制空间权重的影响；
在所述注意力值符合预设阈值时，将所述注意力值对应的特征区域中的特征作为所述注意力特征。
其中，所述预设阈值可以设置为0.1，因为设置过大会使得注意力区域过小导致最终结果图像细节描绘不佳；而设置过小则会使注意力区域过大导致去噪的效率低下。
本发明实施例通过计算所述注意力特征的像素级权重，以用于根据空间中像素权重的大小对所述注意力特征进行重构。
本发明的一实施例中，利用下述公式计算所述注意力特征的像素级权重：
其中，/>表示所述注意力特征的像素级权重，i与j表示所述注意力特征中像素的序号，/>表示所述注意力特征中的像素值，/>表示通过一阶离散性差分算子计算得到的像素点的梯度数据，/>表示所述注意力特征的标准差。
本发明实施例通过基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，以用于在对所述注意力特征进行降噪的同时可以保留更多的边缘细节。
本发明的一实施例中，所述基于所述像素级权重，利用下述公式对所述注意力特征进行颜色重构，得到颜色重构特征：
其中，/>表示所述颜色重构特征，i与j表示所述注意力特征中像素的序号，s表示所述注意力特征通过一阶离散性差分算子计算得到的像素点的梯度值，/>表示所述注意力特征的像素级权重，/>表示所述注意力特征的颜色域权重，/>表示所述注意力特征的第k个特征区域的权重，k表示将所述注意力特征划分为多个特征区域的序号，C表示所述注意力特征中的像素值，n表示所述注意力特征中像素的数目，m表示k的总数。
S4、计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征。
本发明的一实施例中，利用下述公式计算所述颜色重构特征的整体重构系数：
其中，Wij表示所述颜色重构特征的整体重构系数，k表示将所述颜色重构特征划分为多个特征区域的序号，m表示k的总数，σ表示均值，fik表示第i个像素的第k个特征，i与j表示所述颜色重构特征中像素的序号，D表示欧式距离。
本发明的一实施例中，所述利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征，包括：根据所述整体重构系数，利用下述公式对所述颜色重构特征进行整体重构，得到整体重构特征：
其中，/>表示所述整体重构特征，/>表示/>的区域范围大小，/>表示所述颜色重构特征的整体重构系数，/>表示某个像素的颜色值/>在/>范围内相邻像素/>的颜色值累加后的均值。
S5、计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果。
本发明的一实施例中，所述计算所述整体重构特征与所述颜色重构特征之间的像素差异值，包括：利用下述公式计算所述整体重构特征与所述颜色重构特征之间的初始差异值：
其中，/>表示所述整体重构特征与所述颜色重构特征之间的初始差异值，/>表示所述整体重构特征的颜色值，/>表示所述颜色重构特征的颜色值，o表示特征的序号，Wij表示所述颜色重构特征的整体重构系数，/>表示方差，/>表示特征的颜色值计算得到的标准差；
根据所述初始差异值，利用下述公式计算所述像素差异值：
其中，Z表示所述像素差异值，/>表示所述整体重构特征与所述颜色重构特征之间的初始差异值，/>表示所述整体重构特征的颜色值，i表示特征的序号，/>表示方差。
进一步地，本发明实施例通过基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，以用于选取差异值较大的像素位置进行标注，从而对差异较大的位置进行渲染。
本发明的一实施例中，所述基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，包括：判断所述像素差异值是否符合预设差异值；在所述像素差异值符合预设差异值时，将所述整体重构特征中所述像素差异值对应的特征位置进行标注，得到所述第二标注特征。
本发明的一实施例中，所述对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果，包括：在对所述第二标注特征进行特征渲染之后，检测所述待渲染动漫场景是否存在未被渲染过的位置；在所述待渲染动漫场景存在未被渲染过的位置时，返回上述对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景的步骤；在所述待渲染动漫场景不存在未被渲染过的位置时，得到所述待渲染动漫场景的最终渲染结果。
需要说明的是，当存在未渲染过的像素位置时，需要返回上述对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景的步骤，对动漫场景进行迭代渲染，反复检查是否存在的位置并迭代补齐未渲染的位置，直到所有像素点都渲染完毕。
可以看出，本发明实施例首先通过对所述待渲染动漫场景进行第一待渲染位置标注，以用于选取所述待渲染动漫场景中的部分像素点用于后续的渲染，每次渲染完前一次所选的像素点之后，再进行迭代多次选择像素点并再次渲染，直到所有像素点都得到渲染，进一步地，本发明实施例通过对所述第一标注动漫场景进行场景初始渲染，以用于对所述第一标注动漫场景进行初始渲染之后，后续对其存在的噪声较多、细节丢失较多的问题进行修复，本发明实施例通过对所述初始渲染场景进行特征提取，以用于将三维场景图像转换为三维特征图，进一步地，本发明实施例通过对所述渲染场景特征进行降噪处理，以用于在对所述渲染场景特征进行降噪时可以保留更多纹理细节，本发明实施例通过计算所述注意力特征的像素级权重，以用于根据空间中像素权重的大小对所述注意力特征进行重构，本发明实施例通过基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，以用于在对所述注意力特征进行降噪的同时可以保留更多的边缘细节，进一步地，本发明实施例通过基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，以用于选取差异值较大的像素位置进行标注，从而对差异较大的位置进行渲染。因此，本发明实施例提出的一种基于虚拟现实的动漫场景渲染方法可以提高对复杂渲染场景下噪声与细节纹理的关注能力。
如图4所示，是本发明基于虚拟现实的动漫场景渲染装置功能模块图。
本发明所述基于虚拟现实的动漫场景渲染装置400可以安装于电子设备中。根据实现的功能，所述基于虚拟现实的动漫场景渲染装置可以包括场景渲染模块401、特征滤波模块402、颜色重构模块403、整体重构模块404以及特征渲染模块405。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本发明实施例中，关于各模块/单元的功能如下：
所述场景渲染模块401，用于获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景；
所述特征滤波模块402，用于对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
所述颜色重构模块403，用于提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征；
所述整体重构模块404，用于计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征；
所述特征渲染模块405，用于计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果。
详细地，本发明实施例中所述基于虚拟现实的动漫场景渲染装置400中的所述各模块在使用时采用与上述的图1至图3中所述的基于虚拟现实的动漫场景渲染方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明实现基于虚拟现实的动漫场景渲染方法的电子设备的结构示意图。
所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53，还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序，如基于虚拟现实的动漫场景渲染程序。
其中，所述处理器50在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器50是所述电子设备的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器51内的程序或者模块（例如执行基于虚拟现实的动漫场景渲染程序等），以及调用存储在所述存储器51内的数据，以执行电子设备的各种功能和处理数据。
所述存储器51至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器51在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器51在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器51还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器51不仅可以用于存储安装于电子设备的应用软件及各类数据，例如数据库配置化连接程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线52可以是外设部件互连标准（peripheral componentinterconnect，简称PCI）总线或扩展工业标准结构（extended industry standardarchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器51以及至少一个处理器50等之间的连接通信。
所述通信接口53用于上述电子设备5与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，所述用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器50逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
所述电子设备中的所述存储器51存储的数据库配置化连接程序是多个计算机程序的组合，在所述处理器50中运行时，可以实现：
获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景；
对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征；
计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征；
计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果。
具体地，所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景；
对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征；
计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征；
计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种基于虚拟现实的动漫场景渲染方法，其特征在于，所述方法包括：
获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景，其中，所述对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景，包括：利用下述公式计算所述第一标注动漫场景中被标注位置的初始渲染结果：
其中，Lr(x,ωr)表示所述第一标注动漫场景中被标注像素点的初始渲染结果，即被标注位置中表面着色点x在方向ωr上的出射辐射度，Le(x,ωr)表示表面着色点x在方向ωr上自发光的辐射度，H+表示所述第一标注动漫场景中被标注位置接收光线照射时以被标注位置为球心、光线为球半径的正半球空间，表示正半球空间H+上围绕表面着色点x的所有方向的入射辐射度，Li(x,ωi)表示表面着色点x在方向ωi上的入射辐射度，f(x,ωi,ωr)是双向散射分布函数，表示在待渲染表面材质的作用下，出射方向的辐射度占了入射方向的辐射度的比例是多少，θi表示光线照射至被标注位置时入射光线与被标注位置的法线的夹角，
将所述被标注位置渲染之后的第一标注动漫场景作为所述初始渲染场景；
对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，其中，所述提取所述滤波场景特征中的注意力特征，包括：将滤波场景特征分割为多个特征区域，利用下述公式计算所述特征区域的注意力值：
其中，S(rq)表示所述特征区域的注意力值，D0(rq,rp)表示rq特征区域的中心与rp特征区域的中心之间的欧式距离，D1(rq,rp)表示rq特征区域与rp特征区域之间的颜色距离，q表示特征区域的序号，p表示除q特征区域外剩余的特征区域的序号，r表示特征区域，w(rp)表示rp特征区域的权重，σ0用于控制空间权重的影响，
在所述注意力值符合预设阈值时，将所述注意力值对应的特征区域中的特征作为所述注意力特征，所述基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，包括：基于所述像素级权重，利用下述公式对所述注意力特征进行颜色重构，得到颜色重构特征：
其中，C′i表示所述颜色重构特征，i与j表示所述注意力特征中像素的序号，s表示所述注意力特征通过一阶离散性差分算子计算得到的像素点的梯度值，表示所述注意力特征的像素级权重，/>表示所述注意力特征的颜色域权重，/>表示所述注意力特征的第k个特征区域的权重，k表示将所述注意力特征划分为多个特征区域的序号，C表示所述注意力特征中的像素值，n表示所述注意力特征中像素的数目，m表示k的总数；
计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征，其中，所述计算所述颜色重构特征的整体重构系数，包括：
利用下述公式计算所述颜色重构特征的整体重构系数：
其中，wij表示所述颜色重构特征的整体重构系数，k表示将所述颜色重构特征划分为多个特征区域的序号，m表示k的总数，σ表示均值，fik表示第i个像素的第k个特征，i与j表示所述颜色重构特征中像素的序号，D表示欧式距离；
计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果，其中，所述基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，包括：判断所述像素差异值是否符合预设差异值，在所述像素差异值符合预设差异值时，将所述整体重构特征中所述像素差异值对应的特征位置进行标注，得到所述第二标注特征。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始渲染场景进行特征提取，得到渲染场景特征，包括：
将结构光投射至所述初始渲染场景中；
由预设的图像传感器捕获穿过所述初始渲染场景的结构光，得到捕获深度图；
将所述捕获深度图作为所述渲染场景特征。
3.根据权利要求1所述的方法，其特征在于，所述对所述渲染场景特征进行降噪处理，得到降噪场景特征，包括：
将所述渲染场景特征分割为多个子特征图；
基于所述子特征图，利用下述公式计算所述渲染场景特征的降噪场景特征：
其中，表示所述渲染场景特征的降噪场景特征，ft表示第t个子特征图，gx表示水平方向上的一阶离散性差分算子，gy表示垂直方向上的一阶离散性差分算子。
4.根据权利要求1所述的方法，其特征在于，所述基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征，包括：
将所述降噪场景特征作为所述渲染场景特征的滤波降噪窗口；
根据所述滤波降噪窗口，利用下述公式对所述渲染场景特征进行滤波处理，得到滤波场景特征：
其中，Fk表示所述滤波场景特征，uΔ表示所述滤波降噪窗口的像素均值，σΔ表示所述滤波降噪窗口的像素方差，I′k表示所述滤波降噪窗口中的像素特征点，表示所述渲染场景特征中区域Δ的像素均值，Ik表示所述渲染场景特征中的像素特征点，m表示像素特征点的数目，k表示像素特征点的序号。
5.根据权利要求1所述的方法，其特征在于，所述计算所述整体重构特征与所述颜色重构特征之间的像素差异值，包括：
利用下述公式计算所述整体重构特征与所述颜色重构特征之间的初始差异值：
其中，U(J′i)表示所述整体重构特征与所述颜色重构特征之间的初始差异值，J′o表示所述整体重构特征的颜色值，Jo表示所述颜色重构特征的颜色值，o表示特征的序号，wij表示所述颜色重构特征的整体重构系数，σo表示方差，σc表示特征的颜色值计算得到的标准差，σi表示颜色重构特征中像素i处的方差；
根据所述初始差异值，利用下述公式计算所述像素差异值：
其中，Z表示所述像素差异值，U(J′o)表示所述整体重构特征与所述颜色重构特征之间的初始差异值，J′o表示所述整体重构特征的颜色值，i表示特征的序号，σo表示方差。
6.一种基于虚拟现实的动漫场景渲染装置，其特征在于，所述装置包括：
场景渲染模块，用于获取待渲染动漫场景，对所述待渲染动漫场景进行第一待渲染位置标注，得到第一标注动漫场景，对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景，其中，所述对所述第一标注动漫场景进行场景初始渲染，得到初始渲染场景，包括：利用下述公式计算所述第一标注动漫场景中被标注位置的初始渲染结果：
其中，Lr(x,ωr)表示所述第一标注动漫场景中被标注像素点的初始渲染结果，即被标注位置中表面着色点x在方向ωr上的出射辐射度，Le(x,ωr)表示表面着色点x在方向ωr上自发光的辐射度，H+表示所述第一标注动漫场景中被标注位置接收光线照射时以被标注位置为球心、光线为球半径的正半球空间，表示正半球空间H+上围绕表面着色点x的所有方向的入射辐射度，Li(x,ωi)表示表面着色点x在方向ωi上的入射辐射度，f(x,ωi,ωr)是双向散射分布函数，表示在待渲染表面材质的作用下，出射方向的辐射度占了入射方向的辐射度的比例是多少，θi表示光线照射至被标注位置时入射光线与被标注位置的法线的夹角，
将所述被标注位置渲染之后的第一标注动漫场景作为所述初始渲染场景；
特征滤波模块，用于对所述初始渲染场景进行特征提取，得到渲染场景特征，对所述渲染场景特征进行降噪处理，得到降噪场景特征，基于所述降噪场景特征，对所述渲染场景特征进行滤波处理，得到滤波场景特征；
颜色重构模块，用于提取所述滤波场景特征中的注意力特征，计算所述注意力特征的像素级权重，基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，其中，所述提取所述滤波场景特征中的注意力特征，包括：将滤波场景特征分割为多个特征区域，利用下述公式计算所述特征区域的注意力值：
其中，S(rq)表示所述特征区域的注意力值，D0(rq,rp)表示rq特征区域的中心与rp特征区域的中心之间的欧式距离，D1(rq,rp)表示rq特征区域与rp特征区域之间的颜色距离，q表示特征区域的序号，p表示除q特征区域外剩余的特征区域的序号，r表示特征区域，w(rp)表示rp特征区域的权重，σ0用于控制空间权重的影响，
在所述注意力值符合预设阈值时，将所述注意力值对应的特征区域中的特征作为所述注意力特征，所述基于所述像素级权重，对所述注意力特征进行颜色重构，得到颜色重构特征，包括：基于所述像素级权重，利用下述公式对所述注意力特征进行颜色重构，得到颜色重构特征：
其中，C′i表示所述颜色重构特征，i与j表示所述注意力特征中像素的序号，s表示所述注意力特征通过一阶离散性差分算子计算得到的像素点的梯度值，表示所述注意力特征的像素级权重，/>表示所述注意力特征的颜色域权重，/>表示所述注意力特征的第k个特征区域的权重，k表示将所述注意力特征划分为多个特征区域的序号，C表示所述注意力特征中的像素值，n表示所述注意力特征中像素的数目，m表示k的总数；
整体重构模块，用于计算所述颜色重构特征的整体重构系数，利用所述整体重构系数对所述颜色重构特征进行整体重构，得到整体重构特征，其中，所述计算所述颜色重构特征的整体重构系数，包括：
利用下述公式计算所述颜色重构特征的整体重构系数：
其中，wij表示所述颜色重构特征的整体重构系数，k表示将所述颜色重构特征划分为多个特征区域的序号，m表示k的总数，σ表示均值，fik表示第i个像素的第k个特征，i与j表示所述颜色重构特征中像素的序号，D表示欧式距离；
特征渲染模块，用于计算所述整体重构特征与所述颜色重构特征之间的像素差异值，基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，对所述第二标注特征进行特征渲染，得到所述待渲染动漫场景的最终渲染结果，其中，所述基于所述像素差异值，对所述整体重构特征进行第二待渲染位置标注，得到第二标注特征，包括：判断所述像素差异值是否符合预设差异值，在所述像素差异值符合预设差异值时，将所述整体重构特征中所述像素差异值对应的特征位置进行标注，得到所述第二标注特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310400953.6A CN116563445B (zh) | 2023-04-14 | 2023-04-14 | 基于虚拟现实的动漫场景渲染方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310400953.6A CN116563445B (zh) | 2023-04-14 | 2023-04-14 | 基于虚拟现实的动漫场景渲染方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563445A CN116563445A (zh) | 2023-08-08 |
| CN116563445B true CN116563445B (zh) | 2024-03-19 |
Family
ID=87499193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310400953.6A Active CN116563445B (zh) | 2023-04-14 | 2023-04-14 | 基于虚拟现实的动漫场景渲染方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563445B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB202103715D0 (en) * | 2021-03-17 | 2021-04-28 | British Broadcasting Corp | Imaging processing using machine learning |
| CN113034662A (zh) * | 2021-03-29 | 2021-06-25 | 网易（杭州）网络有限公司 | 虚拟场景渲染方法、装置、存储介质及电子设备 |
| WO2022111619A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 图像处理方法及相关装置 |
| CN115908684A (zh) * | 2022-11-30 | 2023-04-04 | 长春理工大学 | 视觉感知驱动的自适应三维场景渲染方法、系统及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9940701B2 (en) * | 2015-09-25 | 2018-04-10 | Intel Corporation | Device and method for depth image dequantization |
| US10733800B2 (en) * | 2018-09-17 | 2020-08-04 | Facebook Technologies, Llc | Reconstruction of essential visual cues in mixed reality applications |
-
2023
- 2023-04-14 CN CN202310400953.6A patent/CN116563445B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022111619A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 图像处理方法及相关装置 |
| GB202103715D0 (en) * | 2021-03-17 | 2021-04-28 | British Broadcasting Corp | Imaging processing using machine learning |
| CN113034662A (zh) * | 2021-03-29 | 2021-06-25 | 网易（杭州）网络有限公司 | 虚拟场景渲染方法、装置、存储介质及电子设备 |
| CN115908684A (zh) * | 2022-11-30 | 2023-04-04 | 长春理工大学 | 视觉感知驱动的自适应三维场景渲染方法、系统及设备 |
Non-Patent Citations (4)
| Title |
|---|
| An Attentive Survey of Attention Models;SNEHA CHAUDHARI等;arXiv;第1-33页 * |
| Attention: Theory, Principles, Models and Applications;Christopher Wickens;International Journal of Human–Computer Interaction;第403-417页 * |
| Attention-guided CNN for image denoising;Chunwei Tian等;Neural Networks;第117-129页 * |
| 基于真实感约束的VR虚拟人物图形生成方法改进研究;覃海宁;;无线互联科技(第10期);第141-146页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563445A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems | |
| US20150002545A1 (en) | Variable blend width compositing | |
| KR102612808B1 (ko) | 조명 추정 | |
| CN113689540B (zh) | 基于rgb视频的物体重建方法和装置 | |
| CN108171677B (zh) | 一种图像处理方法及相关设备 | |
| CN108369651B (zh) | 一种提取天空区域的方法、系统及非暂时性计算机可读存储介质 | |
| CN113329146B (zh) | 一种脉冲相机模拟方法与装置 | |
| CN115526924B (zh) | 一种蒙特卡洛模拟的水文环境建模方法及系统 | |
| CN116168351B (zh) | 电力设备巡检方法及装置 | |
| CN112991377A (zh) | 一种基于opencv和shader融合技术的抠像算法 | |
| CN115294483A (zh) | 输电线路复杂场景的小目标识别方法及系统 | |
| CN114723636A (zh) | 基于多特征融合的模型生成方法、装置、设备及存储介质 | |
| CN108648189A (zh) | 图像模糊检测方法、装置、计算设备及可读存储介质 | |
| CN113506305B (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| US20150249779A1 (en) | Smoothing of ghost maps in a ghost artifact detection method for hdr image creation | |
| CN116563445B (zh) | 基于虚拟现实的动漫场景渲染方法及装置 | |
| CN117455762A (zh) | 基于全景行车记录仪的记录画面分辨率提升方法及系统 | |
| CN117152182A (zh) | 一种超低照度网络相机图像处理方法、装置及电子设备 | |
| CN108520259B (zh) | 一种前景目标的提取方法、装置、设备及存储介质 | |
| CN115482169A (zh) | 低照度图像增强方法、装置、电子设备及存储介质 | |
| WO2014165787A1 (en) | System and method for detection of structures | |
| CN112541899B (zh) | 证件的残缺检测方法、装置、电子设备及计算机存储介质 | |
| Kwon | Single image dehazing based on hidden Markov random field and expectation–maximisation | |
| CN112419459A (zh) | 烘焙模型ao贴图的方法、装置、计算机设备和存储介质 | |
| CN113792671A (zh) | 人脸合成图像的检测方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |