CN107742317B - 结合光感及卷积网络的渲染方法、装置、系统及存储介质 - Google Patents
结合光感及卷积网络的渲染方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN107742317B CN107742317B CN201710889780.3A CN201710889780A CN107742317B CN 107742317 B CN107742317 B CN 107742317B CN 201710889780 A CN201710889780 A CN 201710889780A CN 107742317 B CN107742317 B CN 107742317B
- Authority
- CN
- China
- Prior art keywords
- resolution
- rendering
- low
- target
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 278
- 230000035807 sensation Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008859 change Effects 0.000 claims abstract description 116
- 238000010586 diagram Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000008447 perception Effects 0.000 description 15
- 238000005070 sampling Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
Abstract
本发明实施例公开了一种结合光感及卷积网络的渲染方法、装置、系统及存储介质，该方法包括：获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；根据预设规则，生成低分辨率纹理图；提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图；对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图；将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。解决了现有技术中的生成高分辨率的结果渲染图的耗时较长的问题，实现了在保证渲染效果的同时减少了渲染时间的技术效果，与渲染引擎的配合提高了渲染效率。
Description
技术领域
本发明实施例涉及渲染技术领域，尤其涉及一种结合光感及卷积网络的渲染方法、装置、系统及存储介质。
背景技术
图形可以直观地表达各种信息，而且容量大、易于人们获取。随着计算机软、硬件突飞猛进的发展，计算机图形学在各个行业的应用得到了迅速的普及和深入。
但是，具有逼真效果的图形往往需要进行渲染，而现有技术的渲染耗时往往与图像像素成正比。比如，基于光线追踪的蒙特卡洛方法是对传统光线追踪算法的扩充，通过概率统计的方法近似渲染方程，可以支持更多的表面材质效果和模拟全局光照效果，得到较好的渲染效果。具体是，若用户在场景中的一个或多个位置添加光源，设置光源的颜色、亮度和光照角度等属性后，则基于这些设置进行光照渲染。渲染方式是，根据光源属性，计算各光源对每个像素点的亮度影响，从而调整该像素点的像素值，完成光照渲染。
但是蒙特卡洛光线追踪的光照渲染方式，需要对于每个像素点计算大量的采样光线，渲染时间特别长，生成一张分辨率为4000*3000的高分辨率渲染图需要几分钟，约等于分辨率为2000*1500的渲染时间的4倍，因此高分辨率渲染图的渲染成本一直高居不下，使用者经常要在渲染速度和渲染质量之间进行取舍。
发明内容
本发明实施例提供一种结合光感及卷积网络的渲染方法、装置、系统及存储介质，解决了现有技术中的生成高分辨率的结果渲染图的耗时较长的问题。
第一方面，本发明实施例提供了一种结合光感及卷积网络的渲染方法，包括：
获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；
根据预设规则，生成低分辨率纹理图，其中，所述低分辨率纹理图与所述低分辨率渲染图的分辨率相同，且所述低分辨率纹理图与所述低分辨率渲染图的分辨率低于所述目标分辨率纹理图的分辨率；
提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图；
对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，所述目标分辨率光感分布变化图与所述目标分辨率纹理图的分辨率相同；
将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。
进一步，所述根据预设规则，生成低分辨率纹理图包括：
基于预设低分辨率值，根据所述目标场景生成低分辨率纹理图；或者
基于预设分辨率降低规则，降低所述目标分辨率纹理图的分辨率，生成低分辨率纹理图。
进一步，在生成低分辨率纹理图之前，还包括：
判断所述目标分辨率的值是否高于预设分辨率阈值；
若是，则触发生成低分辨率纹理图；
若否，则根据所述目标分辨率，对目标场景进行渲染，生成具有目标分辨率的结果渲染图。
进一步，所述基于预设分辨率降低规则，降低所述目标分辨率纹理图的分辨率，生成低分辨率纹理图包括：
通过最近点采样，降低所述目标分辨率纹理图的分辨率，生成低分辨率纹理图。
进一步，所述提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图，包括：
对所述低分辨率渲染图各像素的像素值和所述低分辨纹理图对应像素的像素值按照设定计算规则进行计算，将计算结果作为所述低分辨率渲染图中的光感分布信息，生成光感分布变化图。
进一步，所述设定计算规则为：
求取所述低分辨纹理图的各像素值与设定偏移量的和，更新所述低分辨纹理图的各像素值；
求取所述低分辨率渲染图的各像素值与更新后的所述低分辨纹理图的对应像素值的商，作为计算结果。
进一步，所述对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，包括：
基于深度卷积神经网络将所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图。
进一步，将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图，包括：
求取所述目标分辨纹理图的各像素值与设定偏移量的和，更新所述目标分辨纹理图的各像素值；将目标分辨率光感分布变化图各像素点的像素值累加或相乘到更新后的所述目标分辨率纹理图对应像素点的像素值上，形成结果渲染图。
第二方面，本发明实施例还提供了一种结合光感及卷积网络的渲染装置，包括：
图像获取模块，用于获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；
低分辨率纹理图生成模块，用于根据预设规则，生成低分辨率纹理图，其中，所述低分辨率纹理图与所述低分辨率渲染图的分辨率相同，且所述低分辨率纹理图与所述低分辨率渲染图的分辨率低于所述目标分辨率纹理图的分辨率；
光感分布变化图提取模块，用于提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图；
超分辨率恢复模块，用于对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，所述目标分辨率光感分布变化图与所述目标分辨率纹理图的分辨率相同；
图像融合模块，用于将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。
第三方面，本发明实施例还提供了一种渲染系统，包括：至少一个渲染引擎、显示器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的结合光感及卷积网络的渲染方法，所述显示器用于显示所述结果渲染图。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的结合光感及卷积网络的渲染方法。
本发明实施例提供的渲染图像的获取方法的技术方案，通过对低分辨率渲染图相对于低分辨率纹理图的光感分布变化图进行超分辨率恢复，使生成的目标分辨率光感分布变化图具有与目标分辨率纹理图相同的分辨率，再将目标分辨率光感分布变化图与目标分辨率纹理图融合生成结果渲染图；光感分布变化图携带有低分辨率渲染图相对于低分辨率纹理图的光感分布信息，对其进行超分辨率恢复后，使生成的目标分辨率纹理图与目标分辨率光感分布变化图融合可以得到结果渲染图，使结果渲染图携带有高分辨率的渲染信息，避开了直接对目标场景进行渲染来生成目标分辨率渲染图，大大减少了渲染时间。并且与渲染引擎的配合，即目标分辨率渲染图和目标分辨率纹理图均从渲染引擎中获取，节省了渲染步骤，提高了渲染图像的获取装置的渲染效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的结合光感及卷积网络的渲染方法的流程图；
图2是本发明实施例二提供的低分辨率纹理图的提取方法的流程图；
图3是本发明实施例三提供的结合光感及卷积网络的渲染方法的流程图；
图4A是本发明实施例三提供的低分辨率渲染图；
图4B是本发明实施例三提供的目标分辨率纹理图；
图4C是本发明实施例三提供的低分辨率纹理图；
图4D是本发明实施例三提供的光感分布变化图；
图4E是本发明实施例三提供的目标分辨率光感分布变化图；
图4F是本发明实施例三提供的结果渲染图；
图4G是本发明实施例三提供的直接结果渲染图；
图5是本发明实施例四提供的结合光感及卷积网络的渲染装置的结构框图示意图；
图6是本发明实施例五提供的渲染系统的结构框图示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的一种结合光感及卷积网络的渲染方法的流程图。本实施例的技术方案适用于对场景进行渲染生成渲染图像的情况，该方法由本发明实施例提供的结合光感及卷积网络的渲染装置执行，该结合光感及卷积网络的渲染装置可以是智能设备中的软件或硬件，智能设备可以是手机、计算机、PAD或是其它具有图形处理功能的智能设备。如图1所示，该方法具体包括如下步骤：
S110.获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图。
渲染引擎可以是任意渲染引擎，采用任意渲染方法进行渲染，在此不作限定。目标场景是用户希望进行渲染的场景，渲染引擎可以根据预设低分辨率值，对目标场景进行渲染生成低分辨率渲染图。可选的，渲染引擎可以通过光线追踪算法等逐像素渲染方法，对目标场景进行渲染生成低分辨率渲染图；目标分辨率纹理图是渲染引擎根据预设目标分辨率值，生成的目标场景的目标分辨率纹理图。
目标场景的低分辨率渲染图和目标分辨率纹理在渲染引擎中较易获取，省去了重新根据目标场景进行生成的繁琐，节省成本，提高渲染效率。
S120.根据预设规则，生成低分辨率纹理图，其中，低分辨率纹理图与低分辨率渲染图的分辨率相同，且低分辨率纹理图与低分辨率渲染图的分辨率低于目标分辨率纹理图的分辨率。
可以根据预设低分辨率值，将目标场景转换成低分辨率纹理图；或者渲染引擎根据预设目标分辨率值，将目标场景转换成目标分辨率纹理图，然后本实施例通过获取渲染引擎生成的目标分辨率纹理图，根据预设分辨率降低规则，降低目标分辨率纹理图的分辨率，生成低分辨率纹理图。本实施例中目标分辨率值高于低分辨率值，而且对具体的目标分辨率值不予限制，可以将其理解为一个相对值，即相对于图像处理设备的处理速度与使用者可接受的图像渲染时间的一个相对值。高分辨率纹理图比降低分辨率之后的低分辨率纹理图的分辨率大即可。
本实施例优选的，通过最近点采样，降低目标分辨率纹理图的分辨率，生成低分辨率纹理图。且生成的低分辨率纹理图的分辨率优选为目标分辨率纹理图分辨率的1/4～3/4，具体分辨率降低比值可以根据目标分辨率值的大小进行选择，比如，目标分辨率值自身的分辨率越低，则分辨率比值越大。当然，本领域技术人员可以理解，也可以采用其他分辨率降低规则或算法来实现。
S130.提取低分辨率渲染图相对于低分辨率纹理图的光感分布变化信息，生成光感分布变化图。
低分辨率渲染图中含有渲染后的渲染信息，该操作主要是提取低分辨率渲染图相对于低分辨纹理图的像素区别，可以是逐一获取每个像素点的区别像素值，也可以通过一些算法获取区域化的像素值差异。
S140.对光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，目标分辨率光感分布变化图与目标分辨率纹理图的分辨率相同。
为了使光感分布变化图的分辨率与目标分辨率纹理图的分辨率一致，本实施例中，对光感分布变化图进行超分辨率恢复，使生成的目标分辨率光感分布变化图与目标分辨率纹理图的分辨率相同，从而使目标分辨率光感分布变化图的分辨率与目标分辨率纹理图的分辨率具有一一对应的关系。
本实施例优选基于深度卷积神经网络将光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图。深度卷积神经网络利用预先学习的，低分辨率的光感分布变化图到目标分辨率光感分布变化图的转换关系，对光感分布变化图进行超分辨率恢复。相比传统的插值算法(例如，计算相邻像素点的平均像素值，在相邻像素点之间插入的新像素点具有平均像素值)，基于深度卷积神经网络的超分辨率恢复方法是相对更为复杂的像素点插入方法，能够获得更为自然的目标分辨率光感分布变化图。
S150.将目标分辨率光感分布变化图与目标分辨率纹理图融合，得到结果渲染图。
上述操作中，将具有渲染信息的目标分辨率光感分布变化图，与目标分辨率纹理图进行融合，从而将渲染信息添加至目标分辨率纹理图中。具体的融合方式，可以是将目标分辨率光感分布变化图各像素点的像素值累加或相乘到目标分辨率纹理图对应像素点的像素值上，形成结果渲染图。具体的融合方式还可以是求取所述目标分辨纹理图的各像素值与设定偏移量的和，更新所述目标分辨纹理图的各像素值；将目标分辨率光感分布变化图各像素点的像素值累加或相乘到更新后的所述目标分辨率纹理图对应像素点的像素值上，形成结果渲染图。由于目标分辨率光感分布变化图的分辨率与目标分辨率纹理图的分辨率具有一一对应的关系，因此结果渲染图中的光感分布信息与目标分辨率纹理图中的分辨率一一对应，进而使其具有，与直接对目标场景进行渲染生成目标分辨率的结果渲染图一样的效果。而且本实施例通过获取渲染引擎对目标场景渲染生成的低分辨率渲染图，然后通过提取该低分辨率渲染图与低分辨率纹理图的光感分布变化图，然后对该光感分布变化图进行超分辨率恢复生成目标分辨率光感分布变化图，以及将目标分辨率光感分布变化图与目标分辨率纹理图融合的时间，远远小于直接对目标场景进行渲染生成目标分辨率的结果渲染图的时间，因此，本申请在保证结果渲染图的效果的同时，还大大降低了渲染时间。并且采用与渲染引擎的配合，提高了渲染效率。在根据渲染引擎渲染的第一个目标分辨率渲染图和第一个目标分辨率纹理图，进行最终结果渲染图的渲染的过程中，渲染引擎可以再进行第二个目标分辨率渲染图和第二个目标分辨率纹理图的渲染，以此类推，可以保证渲染的无间断进行，避免了生成目标分辨率渲染图和目标分辨率纹理图，再由进行最终结果渲染图的渲染，导致的渲染时间长的问题，从而缩短了渲染时间，提高了渲染效率。
本发明实施例提供的结合光感及卷积网络的渲染方法的技术方案，通过对低分辨率渲染图相对于低分辨率纹理图的光感分布变化图进行超分辨率恢复，使生成的目标分辨率光感分布变化图具有与目标分辨率纹理图相同的分辨率，再将目标分辨率光感分布变化图与目标分辨率纹理图融合生成结果渲染图，光感分布变化图携带有低分辨率渲染图相对于低分辨率纹理图的光感分布信息，进而使目标分辨率纹理图与目标分辨率光感分布变化图融合可以得到结果渲染图，使结果渲染图携带有高分辨率的渲染信息，避开了直接对目标场景进行渲染以生成目标分辨率渲染图，大大减少了渲染时间。并且与渲染引擎的配合，即目标分辨率渲染图和目标分辨率纹理图均从渲染引擎中获取，节省了渲染步骤，提高了渲染效率。
实施例二
图2是本发明实施例二提供的结合光感及卷积网络的渲染方法中的低分辨率纹理图的提取方法的流程图。本实施例进一步在生成低分辨率纹理图之前，对所述目标分辨率的值进行判断。如图2所示，该低分辨率纹理图生成方法包括：
S210.判断目标分辨率的值是否高于预设分辨率阈值，若是则触发执行S220，若否则执行S230。
本实施例中的预设分辨率阈值可以根据实际情况进行设定，比如结果渲染图的效果要求、执行渲染设备的性能以及渲染速度的要求等。
S220.触发生成低分辨率纹理图。
本实施例中低分辨纹理图的生成方式，包括：根据预设低分辨率值，根据目标场景生成低分辨率纹理图；或者根据目标分辨率的值，根据目标场景生成目标分辨率纹理图；根据预设分辨率降低规则，降低目标分辨率纹理图的分辨率，生成低分辨率纹理图。
S230.根据目标分辨率，对目标场景进行渲染，生成具有目标分辨率的结果渲染图。
当目标分辨率的值低于预设分辨率阈值时，则说明对目标场景直接进行渲染的时间在可接受范围内，此时直接对目标场景进行渲染即可。
本发明实施例中，通过目标分辨率的值与预设分辨率阈值的关系判断是否需要生成低分辨率纹理图，若需要，则生成低分辨率纹理图，并通过上述实施例所述的渲染方法生成具有目标分辨率的结果渲染图，若不需要则直接对目标场景进行渲染，生成具有目标分辨率的结果渲染图，方便用户根据实际需求设置预设分辨率阈值，实用性较高。
实施例三
图3是本发明实施例三提供的结合光感及卷积网络的渲染方法的流程图。本发明实施例在上述实施例的基础上，对提取所述低分辨率渲染图相对于低分辨率纹理图的光感分布变化信息，生成光感分布变化图的优化。如图3所示，该结合光感及卷积网络的渲染方法包括：
S310.获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图。
S320.根据预设规则，生成低分辨率纹理图，其中，低分辨率纹理图与低分辨率渲染图的分辨率相同，且低分辨率纹理图与低分辨率渲染图的分辨率低于目标分辨率纹理图的分辨率。
S330.对低分辨率渲染图各像素的像素值和低分辨纹理图对应像素的像素值按照设定计算规则进行计算，将计算结果作为低分辨率渲染图中的光感分布信息，生成光感分布变化图。
所述设定计算规则为：求取所述低分辨纹理图的各像素值与设定偏移量的和，更新所述低分辨纹理图的各像素值；求取所述低分辨率渲染图的各像素值与更新后的所述低分辨纹理图的对应像素值的商，作为计算结果。或者也可以是求像素值的差值，或像素值之间的其他计算规则，只要能体现像素值变化差异即可。
本实施例优选但不限于直接通过低分辨率渲染图除以低分辨纹理图以提取低分辨率渲染图中的光感分布信息，从而生成光感分布变化图。
S340.对光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，目标分辨率光感分布变化图与目标分辨率纹理图的分辨率相同。
S350.将目标分辨率光感分布变化图与目标分辨率纹理图融合，得到结果渲染图。
进一步的，本实施例中对目标场景进行渲染以生成低分辨率渲染图，在对目标场景进行渲染时可以对每个像素点进行少量的采样，也可以进行大量的采样。渲染结果图的效果的优劣与采样次数大致成正比。
示例性的，当发现结果渲染图不符合预期要求时，可以对目标场景加大像素点采样次数，重新进行渲染以生成低分辨率渲染图；当发现结果渲染图需要添加新的渲染信息时，可以在目标场景中填加新的灯光信息后重新进行渲染，生成低分辨率渲染图，以更新低分辨率渲染图，然后基于新的低分辨率渲染图和前述实施例所述的渲染图像的获取方法生成目标分辨率的结果渲染图。
示例性的，渲染引擎根据预设低分辨率值对目标场景进行渲染，生成低分辨率渲染图，耗时30s，分辨率为800*600，如图4A所示；渲染引擎根据目标分辨率值，根据目标场景生成目标分辨率纹理图，耗时1.5s，目标分辨率为1600*1200，如图4B所示；降低目标分辨率纹理图的分辨率至800*600，生成低分辨率纹理图，耗时0.5s，如图4C所示；提取低分辨率渲染图相对于低分辨率纹理图的光感分布变化信息，生成光感分布变化图，耗时0.1s，分辨率为800*600，如图4D所示；本实施例对光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，耗时3s，分辨率为1600*1200，如图4E所示，将目标分辨率光感分布变化图与目标分辨率纹理图融合，得到结果渲染图，耗时0.1s，分辨率为1600*1200，如图4F所示，渲染引擎的耗时总和为31.5s，其他步骤的耗时总和为3.7s。当第一个渲染任务在根据本实施例的方法得到结果渲染图时，渲染引擎可以同步进行下一张低分辨率渲染图和目标分辨率的生成，因此，实际一张结果渲染图的生成时间小于耗时和35.2s。
根据目标分辨率值，直接对目标场景进行渲染，生成具有目标分辨率的结果渲染图，即分辨率为1600*1200的结果渲染图，耗时150s，如图4G所示。
对比图4F和图4G，二者在视觉上并无差异，但是基于本发明所述的渲染方法的时间总和小于35.2s，远远小于现有技术中直接对目标场景进行渲染，生成具有目标分辨率的结果渲染图的时间。
本实施例通过提取低分辨率渲染图中的光感分布变化图，实现低分辨率渲染图中的光感分布信息与纹理等其他信息的分离，从而将光感分布变化图与目标分辨率纹理图融合实现渲染信息与目标分辨率纹理图的逐像素对应，使结果渲染图具有与基于现有技术生成的结果渲染图一样的视觉效果的同时，降低渲染时间。
本发明各实施例所提供的结合光感及卷积网络的渲染方法，渲染完毕后，再对结果渲染图进行显示。
实施例四
图5是本发明实施例四提供的结合光感及卷积网络的渲染装置的结构框图示意图。该装置用于执行上述任意实施例所提供的结合光感及卷积网络的渲染方法，该装置可以配置于任意智能设备中。如图5所示，该结合光感及卷积网络的渲染装置包括：
图像获取模块410，用于获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；
低分辨率纹理图生成模块420，用于根据预设规则，生成低分辨率纹理图，其中，所述低分辨率纹理图与所述低分辨率渲染图的分辨率相同，且所述低分辨率纹理图与所述低分辨率渲染图的分辨率低于所述目标分辨率纹理图的分辨率；
光感分布变化图提取模块430，用于提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图；
超分辨率恢复模块440，用于对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，所述目标分辨率光感分布变化图与所述目标分辨率纹理图的分辨率相同；
图像融合模块450，用于将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。
本发明实施例提供的结合光感及卷积网络的渲染装置的技术方案，通过对低分辨率渲染图相对于低分辨率纹理图的光感分布变化图进行超分辨率恢复，使生成的目标分辨率光感分布变化图具有与目标分辨率纹理图相同的分辨率，再将目标分辨率光感分布变化图与目标分辨率纹理图融合生成结果渲染图，光感分布变化图携带有低分辨率渲染图相对于低分辨率纹理图的光感分布信息，进而使目标分辨率纹理图与目标分辨率光感分布变化图融合可以得到结果渲染图，使结果渲染图携带有高分辨率的渲染信息，避开了直接对目标场景进行渲染以生成目标分辨率渲染图，大大减少了渲染时间。并且与渲染引擎的配合，即目标分辨率渲染图和目标分辨率纹理图均从渲染引擎中获取，节省了渲染步骤，提高了渲染效率。
本发明实施例所提供的一种结合光感及卷积网络的渲染装置可执行本发明任意实施例所提供的一种结合光感及卷积网络的渲染方法，具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种渲染系统的结构示意图，如图6所示，该系统包括至少一个渲染引擎510、显示器520、处理器530、存储器540；处理器530的数量可以是一个或多个，图6中以一个处理器530为例；显示器520、处理器530、存储器540可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器540作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的结合光感及卷积网络的渲染方法对应的程序指令/模块(例如，图像获取模块410、低分辨率纹理图生成模块420、光感分布变化图提取模块430、超分辨率恢复模块440以及图像融合模块450)。处理器530通过运行存储在存储器540中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的结合光感及卷积网络的渲染方法。
存储器540可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器540可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器540可进一步包括相对于处理器530远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示器520可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种结合光感及卷积网络的渲染方法，该方法应用于结合光感及卷积网络的渲染装置中，包括：
获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；
根据预设规则，生成低分辨率纹理图，所述低分辨率纹理图与所述低分辨率渲染图的分辨率相同，且所述低分辨率纹理图与所述低分辨率渲染图的分辨率低于所述目标分辨率纹理图的分辨率；
提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图；
对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，所述目标分辨率光感分布变化图与所述目标分辨率纹理图的分辨率相同；
将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的结合光感及卷积网络的渲染方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的结合光感及卷积网络的渲染方法。
值得注意的是，上述结合光感及卷积网络的渲染装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种渲染图像的获取方法，其特征在于，包括：
获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；
根据预设规则，生成低分辨率纹理图，其中，所述低分辨率纹理图与所述低分辨率渲染图的分辨率相同，且所述低分辨率纹理图与所述低分辨率渲染图的分辨率低于所述目标分辨率纹理图的分辨率；
提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图，所述光感分布变化信息为所述低分辨率渲染图相对于所述低分辨纹理图的像素区别；
对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，包括基于深度卷积神经网络将所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，所述目标分辨率光感分布变化图与所述目标分辨率纹理图的分辨率相同；
将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。
2.根据权利要求1所述的方法，其特征在于，所述根据预设规则，生成低分辨率纹理图包括：
基于预设低分辨率值，根据所述目标场景生成低分辨率纹理图；或者
基于预设分辨率降低规则，降低所述目标分辨率纹理图的分辨率，生成低分辨率纹理图。
3.根据权利要求2所述的方法，其特征在于，在生成低分辨率纹理图之前，还包括：
判断所述目标分辨率的值是否高于预设分辨率阈值；
若是，则触发生成低分辨率纹理图；
若否，则根据所述目标分辨率，对目标场景进行渲染，生成具有目标分辨率的结果渲染图。
4.根据权利要求1所述的方法，其特征在于，所述提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图，包括：
对所述低分辨率渲染图各像素的像素值和所述低分辨纹理图对应像素的像素值按照设定计算规则进行计算，将计算结果作为所述低分辨率渲染图中的光感分布信息，生成光感分布变化图。
5.根据权利要求4所述的方法，其特征在于，所述设定计算规则为：
求取所述低分辨纹理图的各像素值与设定偏移量的和，更新所述低分辨纹理图的各像素值；
求取所述低分辨率渲染图的各像素值与更新后的所述低分辨纹理图的对应像素值的商，作为计算结果。
6.根据权利要求1所述的方法，其特征在于，将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图，包括：
求取所述目标分辨纹理图的各像素值与设定偏移量的和，更新所述目标分辨纹理图的各像素值；
将目标分辨率光感分布变化图各像素点的像素值累加或相乘到更新后的所述目标分辨率纹理图对应像素点的像素值上，形成结果渲染图。
7.一种渲染图像的获取装置，其特征在于，包括：
图像获取模块，用于获取渲染引擎生成的目标场景的低分辨率渲染图和目标分辨率纹理图；
低分辨率纹理图生成模块，用于根据预设规则，生成低分辨率纹理图，其中，所述低分辨率纹理图与所述低分辨率渲染图的分辨率相同，且所述低分辨率纹理图与所述低分辨率渲染图的分辨率低于所述目标分辨率纹理图的分辨率；
光感分布变化图提取模块，用于提取所述低分辨率渲染图相对于所述低分辨率纹理图的光感分布变化信息，生成光感分布变化图，所述光感分布变化信息为所述低分辨率渲染图相对于所述低分辨纹理图的像素区别；
超分辨率恢复模块，用于对所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，包括基于深度卷积神经网络将所述光感分布变化图进行超分辨率恢复，生成目标分辨率光感分布变化图，所述目标分辨率光感分布变化图与所述目标分辨率纹理图的分辨率相同；
图像融合模块，用于将所述目标分辨率光感分布变化图与所述目标分辨率纹理图融合，得到结果渲染图。
8.一种渲染系统，其特征在于，包括：至少一个渲染引擎、显示器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1～6任一所述的渲染图像的获取方法，所述显示器用于显示所述结果渲染图。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6任一所述的渲染图像的获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710889780.3A CN107742317B (zh) | 2017-09-27 | 2017-09-27 | 结合光感及卷积网络的渲染方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710889780.3A CN107742317B (zh) | 2017-09-27 | 2017-09-27 | 结合光感及卷积网络的渲染方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107742317A CN107742317A (zh) | 2018-02-27 |
| CN107742317B true CN107742317B (zh) | 2020-11-03 |
Family
ID=61236240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710889780.3A Active CN107742317B (zh) | 2017-09-27 | 2017-09-27 | 结合光感及卷积网络的渲染方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107742317B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410141B (zh) * | 2018-10-26 | 2021-03-02 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113935898A (zh) * | 2020-07-08 | 2022-01-14 | 华为技术有限公司 | 图像处理方法、系统、电子设备及计算机可读存储介质 |
| CN112419467B (zh) * | 2020-11-05 | 2023-10-03 | 杭州群核信息技术有限公司 | 基于深度学习的提升渲染效率方法、装置和系统 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN113469883B (zh) * | 2021-06-30 | 2022-05-06 | 完美世界(北京)软件科技发展有限公司 | 动态分辨率的渲染方法、装置、电子设备及可读存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7212207B2 (en) * | 2003-08-20 | 2007-05-01 | Sony Computer Entertainment Inc. | Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing |
| CN102194250B (zh) * | 2011-05-19 | 2012-10-03 | 北京中科辅龙计算机技术股份有限公司 | 基于流程工厂参数模型的复杂场景快速绘制方法及系统 |
| CN102890829B (zh) * | 2011-10-24 | 2015-05-27 | 克拉玛依红有软件有限责任公司 | 一种基于gpu的渲染地形的方法 |
| CN102831649A (zh) * | 2012-09-03 | 2012-12-19 | 江苏科技大学 | 一种分层渲染方法 |
| CN103279974A (zh) * | 2013-05-15 | 2013-09-04 | 中国科学院软件研究所 | 一种高精度高分辨率卫星成像模拟引擎及实现方法 |
| CN104992425B (zh) * | 2015-07-27 | 2018-02-27 | 华中科技大学 | 一种基于gpu加速的dem超分辨率方法 |
| CN106127684B (zh) * | 2016-06-22 | 2019-03-15 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN106446351A (zh) * | 2016-08-31 | 2017-02-22 | 郑州捷安高科股份有限公司 | 一种面向实时绘制的大规模场景组织与调度技术及仿真系统 |
-
2017
- 2017-09-27 CN CN201710889780.3A patent/CN107742317B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107742317A (zh) | 2018-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680042B (zh) | 结合纹理及卷积网络的渲染方法、装置、引擎及存储介质 | |
| CN107742317B (zh) | 结合光感及卷积网络的渲染方法、装置、系统及存储介质 | |
| CN107527322B (zh) | 结合卷积神经网络的渲染方法、装置、引擎及存储介质 | |
| CN110533594B (zh) | 模型训练方法、图像重建方法、存储介质及相关设备 | |
| CN112652046B (zh) | 游戏画面的生成方法、装置、设备及存储介质 | |
| CN104574495A (zh) | 一种图像渲染方法和装置 | |
| CN112055216B (zh) | 一种基于Unity的倾斜摄影海量快速加载方法及装置 | |
| CN113469883B (zh) | 动态分辨率的渲染方法、装置、电子设备及可读存储介质 | |
| CN105550973B (zh) | 图形处理单元、图形处理系统及抗锯齿处理方法 | |
| CN111402373A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| US11580621B2 (en) | AI frame engine for mobile edge | |
| WO2018136374A1 (en) | Mixed reality object rendering | |
| CN113052923A (zh) | 色调映射方法、装置、电子设备和存储介质 | |
| CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
| CN111882498B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111260767B (zh) | 游戏中的渲染方法、渲染装置、电子设备及可读存储介质 | |
| CN115311395A (zh) | 三维场景渲染方法、装置及设备 | |
| CN106780693B (zh) | 一种通过绘制方式选择三维场景中物体的方法及系统 | |
| CN113282290B (zh) | 一种对象渲染方法、装置、设备及存储介质 | |
| CN109729285B (zh) | 熔线格特效生成方法、装置、电子设备及存储介质 | |
| KR102395953B1 (ko) | 증강현실 기반의 마케팅 영상 제공 시스템 및 그 동작 방법 | |
| CN114186228A (zh) | 一种攻击事件可视化方法、装置及相关设备 | |
| CN113256484A (zh) | 一种对图像进行风格化处理的方法及装置 | |
| CN114626978A (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
| CN115035231A (zh) | 阴影烘焙方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Junfei Inventor after: Zhu Hao Inventor after: Huang Yuzhong Inventor after: Ye Qing Inventor after: Tang Rui Inventor before: Zhang Junfei Inventor before: Huang Yuzhong Inventor before: Ye Qing Inventor before: Tang Rui |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |