CN111429566A - 虚拟家装场景的重建方法、装置及电子设备 - Google Patents
虚拟家装场景的重建方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111429566A CN111429566A CN202010205486.8A CN202010205486A CN111429566A CN 111429566 A CN111429566 A CN 111429566A CN 202010205486 A CN202010205486 A CN 202010205486A CN 111429566 A CN111429566 A CN 111429566A
- Authority
- CN
- China
- Prior art keywords
- rendering
- graph
- resolution
- home decoration
- virtual home
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005034 decoration Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000009877 rendering Methods 0.000 claims abstract description 240
- 239000000463 material Substances 0.000 claims abstract description 12
- 230000009467 reduction Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 238000013508 migration Methods 0.000 claims description 13
- 230000005012 migration Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本发明提供了一种虚拟家装场景的重建方法、装置及电子设备，该方法包括：获取待渲染的虚拟家装场景；其中，虚拟家装场景包括多个家装素材模型；对虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图；其中，渲染结果图的分辨率小于渲染中间图的分辨率；渲染中间图用于表征虚拟家装场景的细节特征；根据渲染结果图和渲染中间图重建虚拟家装场景，得到虚拟家装场景对应的重建结果图。本发明可以较好地兼顾虚拟家装场景的重建效率和重建效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种虚拟家装场景的重建方法、装置及电子设备。
背景技术
图像渲染技术在家装设计行业是必不可少的一部分，例如，家装设计师需要利用图像渲染技术渲染设计完成的方案，从而可以将渲染得到的效果图展示给用户，以便于用户更好地了解该设计方案。目前，现有的渲染引擎虽然可以渲染出较为逼真的效果图，但是其渲染速度较慢，在一定程度上影响了设计师的工作效率，同时也会降低用户体验。为了提高渲染速度，现有技术中提出利用超分辨率重建算法渲染设计方案，但是由于现有的超分辨率重建算法是基于PNG(Portable Network Graphics便携式网络图形)或JPG(JointPhotographic Experts Group)效果图对设计方案进行重建，而通过这种方式渲染得到的效果图效果较差，通常无法达到工业级渲染所需的效果，也在一定程度上影响了用户体验。综上所述，现有技术无法较好地兼顾设计方案的重建效率和重建效果。
发明内容
有鉴于此，本发明的目的在于提供一种虚拟家装场景的重建方法、装置及电子设备，可以较好地兼顾虚拟家装场景的重建效率和重建效果。
第一方面，本发明实施例提供了一种虚拟家装场景的重建方法，包括：获取待渲染的虚拟家装场景；其中，所述虚拟家装场景包括多个家装素材模型；对所述虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图；其中，所述渲染结果图的分辨率小于所述渲染中间图的分辨率；所述渲染中间图用于表征所述虚拟家装场景的细节特征；根据所述渲染结果图和所述渲染中间图重建所述虚拟家装场景，得到所述虚拟家装场景对应的重建结果图。
在一种实施方式中，所述对所述虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图的步骤，包括：通过预设界面获取第一分辨率；当通过所述预设界面接收到用户发送的第一渲染指令时，利用所述第一分辨率和光线追踪算法对所述虚拟家装场景进行渲染处理，得到未降噪的渲染结果图；通过所述预设界面获取第二分辨率；其中，所述第二分辨率为所述第一分辨率的指定倍数；当通过所述预设界面接收到用户发送的第二渲染指令时，利用所述第二分辨率和所述光线追踪算法对所述虚拟家装场景进行渲染处理，并在得到渲染中间图时停止渲染；其中，所述渲染中间图包括场景纹理图、场景法向量图和场景深度图。
在一种实施方式中，所述根据所述渲染结果图和所述渲染中间图重建所述虚拟家装场景，得到所述虚拟家装场景对应的重建结果图的步骤，包括：利用超分辨率重建算法和纹理迁移算法对所述渲染结果图和所述渲染中间图进行处理，得到所述虚拟家装场景对应的重建结果图；其中，所述重建结果图的分辨率为第二分辨率。
在一种实施方式中，所述利用超分辨率重建算法和纹理迁移算法对所述渲染结果图和所述渲染中间图进行处理，得到所述虚拟家装场景对应的重建结果图；其中，所述重建结果图的分辨率为第二分辨率的步骤，包括：利用超分辨率重建算法对所述渲染结果图进行处理，得到所述第二分辨率的渲染结果图，并利用所述纹理迁移算法将所述渲染中间图所表征的细节特征迁移至所述第二分辨率的渲染结果图，得到所述虚拟家装场景对应的重建结果图。
第二方面，本发明实施例还提供一种虚拟家装场景的重建装置，包括：场景获取模块，用于获取待渲染的虚拟家装场景；其中，所述虚拟家装场景包括多个家装素材模型；渲染模块，用于对所述虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图；其中，所述渲染结果图的分辨率小于所述渲染中间图的分辨率；所述渲染中间图用于表征所述虚拟家装场景的细节特征；重建模块，用于根据所述渲染结果图和所述渲染中间图重建所述虚拟家装场景，得到所述虚拟家装场景对应的重建结果图。
在一种实施方式中，所述渲染模块还用于：通过预设界面获取第一分辨率；当通过所述预设界面接收到用户发送的第一渲染指令时，利用所述第一分辨率和光线追踪算法对所述虚拟家装场景进行渲染处理，得到未降噪的渲染结果图；通过所述预设界面获取第二分辨率；其中，所述第二分辨率为所述第一分辨率的指定倍数；当通过所述预设界面接收到用户发送的第二渲染指令时，利用所述第二分辨率和所述光线追踪算法对所述虚拟家装场景进行渲染处理，并在得到渲染中间图时停止渲染；其中，所述渲染中间图包括场景纹理图、场景法向量图和场景深度图。
在一种实施方式中，所述重建模块还用于：利用超分辨率重建算法和纹理迁移算法对所述渲染结果图和所述渲染中间图进行处理，得到所述虚拟家装场景对应的重建结果图；其中，所述重建结果图的分辨率为第二分辨率。
在一种实施方式中，所述重建模块还用于：利用超分辨率重建算法对所述渲染结果图进行处理，得到所述第二分辨率的渲染结果图，并利用所述纹理迁移算法将所述渲染中间图所表征的细节特征迁移至所述第二分辨率的渲染结果图，得到所述虚拟家装场景对应的重建结果图。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种虚拟家装场景的重建方法、装置及电子设备，首先获取待渲染的虚拟家装场景(包括多个家装素材模型)，然后对虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图，最后根据渲染结果图和渲染中间图重建虚拟家装场景，得到虚拟家装场景对应的重建结果图。其中，渲染结果图的分辨率小于渲染中间图的分辨率，渲染中间图用于表征虚拟家装场景的细节特征。本发明对待渲染的虚拟家装场景进行渲染得到低分辨率的渲染结果图和高分辨率的渲染中间图，并在渲染结果图和渲染中间图所表征的细节特征的基础上重建虚拟家装场景，得到重建效果较好的重建结果图，相较于现有技术中利用渲染引擎对虚拟家装场景进行渲染重建的方式，本发明实施例可以有效提高重建效率，而且本发明实施例得到的重建结果图的效果优于现有技术中基于PNG或JPG效果图重建得到的重建结果图的效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种虚拟家装场景的重建方法的流程示意图；
图2为本发明实施例提供的另一种虚拟家装场景的重建方法的流程示意图；
图3为本发明实施例提供的一种虚拟家装场景的重建装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，通过现有的渲染引擎对虚拟家装场景进行渲染所需时间较长，导致渲染效率较慢以及用户体验较差，而且部署渲染引擎的服务器成本较高；另外，对于利用超分辨率重建算法对虚拟家装场景进行重建的方法，由于目标学术界和工业界的超分辨率重建算法是直接对8位整形的效果图(也即，上述JPG或PNG)做重建，导致得到的重建效果达不到工业应用的要求。基于此，本发明实施提供一种虚拟家装场景的重建方法、装置及电子设备，可以较好地兼顾虚拟家装场景的重建效率和重建效果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种虚拟家装场景的重建方法进行详细介绍，参见图1所示的一种虚拟家装场景的重建方法的流程示意图，该方法主要包括以下步骤：
步骤S102，获取待渲染的虚拟家装场景。
其中，虚拟家装场景包括多个家装素材模型，虚拟家装场景可以为卧室场景、厨房场景或客厅场景等，也可以为多个场景的组合，每个场景中可以放置对应的家具素材模型，例如，虚拟家装场景的卧室场景中放置有床模型和床头柜模型等。在实际应用中，虚拟家装场景可以为3D(3-dimension，三维)空间，虚拟家装场景中放置的家装素材模型可以为3D模型。
步骤S104，对虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图。
其中，渲染结果图的分辨率小于渲染中间图的分辨率，例如，渲染中间图的分辨率为渲染结果图的分辨率的2倍、4倍、8倍或16倍等，具体可基于实际需求分别设置渲染结果图和渲染中间图的分辨率。渲染结果图也即未降噪的低分辨率的渲染结果图；渲染中间图用于表征虚拟家装场景的细节特征，渲染中间图可以包括场景纹理图、场景法向量图和场景深度图，其中，场景纹理图用于表征虚拟家装场景的纹理细节，场景法向量图用于表征虚拟家装场景的法线细节，场景深度图用于表征虚拟相机距离虚拟家装场景的远近深度细节信息。
在一种实施方式中，可以利用光线追踪算法对虚拟家装场景进行渲染处理，从而得到渲染结果图和渲染中间图。
步骤S106，根据渲染结果图和渲染中间图重建虚拟家装场景，得到虚拟家装场景对应的重建结果图。
在一种实施方式中，可以利用超分辨率重建算法和纹理迁移算法将渲染中间图所表征的细节特征迁移至高分辨率的渲染结果图上，从而得到高分辨率的重建结果图。
本发明实施例提供的上述虚拟家装场景的重建方法，首先获取待渲染的虚拟家装场景(包括多个家装素材模型)，然后对虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图，最后根据渲染结果图和渲染中间图重建虚拟家装场景，得到虚拟家装场景对应的重建结果图。其中，渲染结果图的分辨率小于渲染中间图的分辨率，渲染中间图用于表征虚拟家装场景的细节特征。本发明对待渲染的虚拟家装场景进行渲染得到低分辨率的渲染结果图和高分辨率的渲染中间图，并在渲染结果图和渲染中间图所表征的细节特征的基础上重建虚拟家装场景，得到重建效果较好的重建结果图，相较于现有技术中利用渲染引擎对虚拟家装场景进行渲染重建的方式，本发明实施例可以有效提高重建效率，而且本发明实施例得到的重建结果图的表现效果优于现有技术中基于PNG或JPG效果图重建得到的重建场景的效果。
为便于对上述实施例进行理解，本发明实施例提供了一种上述步骤S104的实施方式，在一种实施方式中，可以按照如下步骤1至步骤4执行对虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图的步骤：
步骤1，通过预设界面获取第一分辨率。在一种实施方式中，可以通过预设界面展示待填写的信息，以提示用户根据展示的待填写信息填写第一分辨率，另外，还可以通过预设界面输入光线追踪算法所需的渲染参数。
步骤2，当通过预设界面接收到用户发送的第一渲染指令时，利用第一分辨率和光线追踪算法对虚拟家装场景进行渲染处理，得到未降噪的渲染结果图。考虑到渲染引擎在渲染虚拟家装场景时自带降噪功能，而降噪功能将会不可避免地模糊掉渲染结果图中的一些细节信息，因此若使用降噪后的渲染结果图执行步骤S106，将导致重建结果图在纹理方面受到影响，因此，本发明实施例需要得到未降噪的渲染结果图。在具体实现是，预设界面可以设置确定渲染控件，当监听到用于针对确定渲染控件的点触操作时，确定接收到用户发送的第一渲染指令，此时按照上述步骤1中获取的第一分辨率和渲染参数，利用光线追踪算法对虚拟家装场景进行渲染处理，得到第一分辨率的未降噪的渲染结果图。为减少虚拟家装场景渲染所需的时长，可以将第一分辨率设置为较低值，从而提高渲染虚拟家装空间的效率。
步骤3，通过预设界面获取第二分辨率。其中，第二分辨率为第一分辨率的指定倍数，例如第二分辨率为第一分辨率的2倍、第二分辨率为第一分辨率的4倍或第二分辨率为第一分辨率的16倍，指定倍数可基于实际需求进行设置。
步骤4，当通过预设界面接收到用户发送的第二渲染指令时，利用第二分辨率和光线追踪算法对虚拟家装场景进行渲染处理，并在得到渲染中间图渲染中间图时停止渲染。其中，渲染中间图包括场景纹理图、场景法向量图和场景深度图。场景纹理图主要是材质的一些纹理细节信息，例如布料的花纹，木料的纹理等。场景法向量图就是在原物体的凹凸表面的每个点上均作法线，通过RGB(Red-Green-Blue)颜色通道来标记法线的方向，可以把它理解成与原凹凸表面平行的另一个不同的表面，但实际上它又只是一个光滑的平面。对于视觉效果而言，它的效率比原有的凹凸表面更高，若在特定位置上应用光源，可以让细节程度较低的表面生成高细节程度的精确光照方向和反射效果。场景深度图主要是渲染过程中的用到的虚拟相机的远近深度信息，场景法向量图和场景深度图都是没有噪声的，光滑的，但会有明显的边界信息，所以在重建的过程中可以对去噪声和边界信息的重建有帮助。
为便于对上述实施例进行理解，本发明实施例提供了一种根据渲染结果图和渲染中间图重建虚拟家装场景，得到虚拟家装场景对应的重建结果图的具体实施方式，在一种实施方式中，利用超分辨率重建算法和纹理迁移算法对渲染结果图和渲染中间图进行处理，得到虚拟家装场景对应的重建结果图。其中，重建结果图的分辨率为第二分辨率，超分辨率重建算法可以包括基于插值的超分辨率重建算法、基于模型重建的超分辨率重建算法、基于学习的图像超分辨率重建算法以及基于深度学习的超分辨率重建算法，为提高场景重建的效率，本发明实施例可以采用基于深度学习的超分辨率重建算法对渲染图像和渲染中间图进行处理，从而实现对虚拟家装场景进行重建，得到重建场景。
在一种具体的实施方式中，可以利用超分辨率重建算法对渲染结果图进行处理，得到第二分辨率的渲染结果图，并利用纹理迁移算法将渲染中间图所表征的细节特征迁移至第二分辨率的渲染结果图，得到虚拟家装场景对应的重建结果图。本发明实施例利用超分辨率重建算法将低分辨率的渲染结果图重建成高分辨率的渲染结果图，进而利用纹理迁移算法将场景纹理图、场景法向量图和场景深度图所表征的细节迁移至该高分辨率的渲染结果图中，即可得到表现效果较好的重建结果图。
为便于对上述实施例提供的虚拟家装场景的重建方法进行理解，本发明实施例提供了另一种虚拟家装场景的重建方法，参见图2所示的另一种虚拟家装场景的重建方法的流程示意图，该方法主要包括以下步骤：
步骤S202，获取目标场景(也即，虚拟家装场景)的低分辨率结果图层(也即，上述渲染结果图)和高分辨率纹理图(也即，上述场景纹理图)，高分辨率法向量图(也即，上述场景法向量图)和高分辨率深度图(也即，上述场景深度图)。其中，大分辨率可以是低分辨率的2倍或4倍。
具体的，低分辨率和高分辨率采用是2倍或4倍关系，理论上可以达到16倍，而低分辨率的图层利用的是未降噪的渲染结果图，因为未降噪的图才能保存图像的最多信息，而高分辨率的图层利用的是纹理图层(也即，上述场景纹理图)、法向量图层(也即，上述场景法向量图)和深度图层(也即，上述场景深度图)，在重建的过程中，这些图层特征可以提供很多有效的参考信息，并且这些图层的在渲染过程中并不会消耗很多时间。
步骤S204，根据超分辨率重建算法和纹理迁移算法对低分辨率结果图进行重建得到高分辨率结果图(也即，前述第二分辨率的渲染结果图)，将高分辨率纹理图，高分辨率法向量图和高分辨率深度图的细节特征迁移至高分辨率结果图。
综上所述，本发明实施例提供的上述虚拟家装场景的重建方法，因为未降噪的渲染结果图可以保持图像信息的最大化，降噪后的数据会丢失一部分信息，诸如图像的细腻纹理，同时，在重建的过程中利用高分辨率的纹理层，法向量层和深度图层来做参考特征迁移，这些图层可以提供高质量的纹理信息和边缘信息，特别是法向量和深度图层是本身没有噪声图层，有这些图层做特征参考，可以很大程度上优化降噪重建效果。此外，这些图层在渲染过程中并不会消耗很多时间，所以对降低整个渲染时间没有太大影响。
对于前述实施例提供的虚拟家装场景的重建方法，本发明实施例提供了一种虚拟家装场景的重建装置，参见图3所示的一种虚拟家装场景的重建装置的结构示意图，该装置主要包括以下部分：
场景获取模块302，用于获取待渲染的虚拟家装场景；其中，虚拟家装场景包括多个家装素材模型。
渲染模块304，用于对虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图；其中，渲染结果图的分辨率小于渲染中间图的分辨率；渲染中间图用于表征虚拟家装场景的细节特征。
重建模块306，用于根据渲染结果图和渲染中间图重建虚拟家装场景，得到虚拟家装场景对应的重建结果图。
本发明实施例提供的上述虚拟家装场景的结构示意图，对待渲染的虚拟家装场景进行渲染得到低分辨率的渲染结果图和高分辨率的渲染中间图，并在渲染结果图和渲染中间图所表征的细节特征的基础上重建虚拟家装场景，得到重建效果较好的重建结果图，相较于现有技术中利用渲染引擎对虚拟家装场景进行渲染重建的方式，本发明实施例可以有效提高重建效率，而且本发明实施例得到的重建场景的效果优于现有技术中基于PNG或JPG效果图重建得到的重建场景的效果。
在一种实施方式中，上述渲染模块304还用于：通过预设界面获取第一分辨率；当通过预设界面接收到用户发送的第一渲染指令时，利用第一分辨率和光线追踪算法对虚拟家装场景进行渲染处理，得到未降噪的渲染结果图；通过预设界面获取第二分辨率；其中，第二分辨率为第一分辨率的指定倍数；当通过预设界面接收到用户发送的第二渲染指令时，利用第二分辨率和光线追踪算法对虚拟家装场景进行渲染处理，并在得到渲染中间图时停止渲染；其中，渲染中间图包括场景纹理图、场景法向量图和场景深度图。
在一种实施方式中，上述重建模块306还用于：利用超分辨率重建算法和纹理迁移算法对渲染结果图和渲染中间图进行处理，得到虚拟家装场景对应的重建结果图；其中，重建结果图的分辨率为第二分辨率。
在一种实施方式中，上述重建模块306还用于：利用超分辨率重建算法对渲染结果图进行处理，得到第二分辨率的渲染结果图，并利用纹理迁移算法将渲染中间图所表征的细节特征迁移至第二分辨率的渲染结果图，得到虚拟家装场景对应的重建结果图。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
该设备为一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图4为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种虚拟家装场景的重建方法，其特征在于，包括：
获取待渲染的虚拟家装场景；其中，所述虚拟家装场景包括多个家装素材模型；
对所述虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图；其中，所述渲染结果图的分辨率小于所述渲染中间图的分辨率；所述渲染中间图用于表征所述虚拟家装场景的细节特征；
根据所述渲染结果图和所述渲染中间图重建所述虚拟家装场景，得到所述虚拟家装场景对应的重建结果图。
2.根据权利要求1所述的方法，其特征在于，所述对所述虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图的步骤，包括：
通过预设界面获取第一分辨率；
当通过所述预设界面接收到用户发送的第一渲染指令时，利用所述第一分辨率和光线追踪算法对所述虚拟家装场景进行渲染处理，得到未降噪的渲染结果图；
通过所述预设界面获取第二分辨率；其中，所述第二分辨率为所述第一分辨率的指定倍数；
当通过所述预设界面接收到用户发送的第二渲染指令时，利用所述第二分辨率和所述光线追踪算法对所述虚拟家装场景进行渲染处理，并在得到渲染中间图时停止渲染；其中，所述渲染中间图包括场景纹理图、场景法向量图和场景深度图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染结果图和所述渲染中间图重建所述虚拟家装场景，得到所述虚拟家装场景对应的重建结果图的步骤，包括：
利用超分辨率重建算法和纹理迁移算法对所述渲染结果图和所述渲染中间图进行处理，得到所述虚拟家装场景对应的重建结果图；其中，所述重建结果图的分辨率为第二分辨率。
4.根据权利要求3所述的方法，其特征在于，所述利用超分辨率重建算法和纹理迁移算法对所述渲染结果图和所述渲染中间图进行处理，得到所述虚拟家装场景对应的重建结果图的步骤，包括：
利用超分辨率重建算法对所述渲染结果图进行处理，得到所述第二分辨率的渲染结果图，并利用所述纹理迁移算法将所述渲染中间图所表征的细节特征迁移至所述第二分辨率的渲染结果图，得到所述虚拟家装场景对应的重建结果图。
5.一种虚拟家装场景的重建装置，其特征在于，包括：
场景获取模块，用于获取待渲染的虚拟家装场景；其中，所述虚拟家装场景包括多个家装素材模型；
渲染模块，用于对所述虚拟家装场景进行渲染处理，分别得到渲染结果图和渲染中间图；其中，所述渲染结果图的分辨率小于所述渲染中间图的分辨率；所述渲染中间图用于表征所述虚拟家装场景的细节特征；
重建模块，用于根据所述渲染结果图和所述渲染中间图重建所述虚拟家装场景，得到所述虚拟家装场景对应的重建结果图。
6.根据权利要求5所述的装置，其特征在于，所述渲染模块还用于：
通过预设界面获取第一分辨率；
当通过所述预设界面接收到用户发送的第一渲染指令时，利用所述第一分辨率和光线追踪算法对所述虚拟家装场景进行渲染处理，得到未降噪的渲染结果图；
通过所述预设界面获取第二分辨率；其中，所述第二分辨率为所述第一分辨率的指定倍数；
当通过所述预设界面接收到用户发送的第二渲染指令时，利用所述第二分辨率和所述光线追踪算法对所述虚拟家装场景进行渲染处理，并在得到渲染中间图时停止渲染；其中，所述渲染中间图包括场景纹理图、场景法向量图和场景深度图。
7.根据权利要求5所述的装置，其特征在于，所述重建模块还用于：
利用超分辨率重建算法和纹理迁移算法对所述渲染结果图和所述渲染中间图进行处理，得到所述虚拟家装场景对应的重建结果图；其中，所述重建结果图的分辨率为第二分辨率。
8.根据权利要求7所述的装置，其特征在于，所述重建模块还用于：
利用超分辨率重建算法对所述渲染结果图进行处理，得到所述第二分辨率的渲染结果图，并利用所述纹理迁移算法将所述渲染中间图所表征的细节特征迁移至所述第二分辨率的渲染结果图，得到所述虚拟家装场景对应的重建结果图。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至4任一项所述的方法。
10.一种计算机存储介质，其特征在于，用于储存为权利要求1至4任一项所述方法所用的计算机软件指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010205486.8A CN111429566B (zh) | 2020-03-20 | 2020-03-20 | 虚拟家装场景的重建方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010205486.8A CN111429566B (zh) | 2020-03-20 | 2020-03-20 | 虚拟家装场景的重建方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111429566A true CN111429566A (zh) | 2020-07-17 |
| CN111429566B CN111429566B (zh) | 2024-01-30 |
Family
ID=71548501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010205486.8A Active CN111429566B (zh) | 2020-03-20 | 2020-03-20 | 虚拟家装场景的重建方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429566B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102480A (zh) * | 2020-09-22 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备以及介质 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN113554746A (zh) * | 2021-07-27 | 2021-10-26 | 广东三维家信息科技有限公司 | 装修效果图生成方法、装置、电子设备及存储介质 |
| CN115035230A (zh) * | 2022-08-12 | 2022-09-09 | 阿里巴巴（中国）有限公司 | 视频渲染处理方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787875A (zh) * | 2015-01-14 | 2016-07-20 | 卢茨洛格斯技术有限公司 | 用于在计算机系统中控制空间分辨率的方法和装置 |
| CN107194996A (zh) * | 2017-06-09 | 2017-09-22 | 成都智建新业建筑设计咨询有限公司 | 在线三维家装设计与展示系统 |
| US20180205941A1 (en) * | 2017-01-17 | 2018-07-19 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality |
-
2020
- 2020-03-20 CN CN202010205486.8A patent/CN111429566B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787875A (zh) * | 2015-01-14 | 2016-07-20 | 卢茨洛格斯技术有限公司 | 用于在计算机系统中控制空间分辨率的方法和装置 |
| US20180205941A1 (en) * | 2017-01-17 | 2018-07-19 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality |
| CN107194996A (zh) * | 2017-06-09 | 2017-09-22 | 成都智建新业建筑设计咨询有限公司 | 在线三维家装设计与展示系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102480A (zh) * | 2020-09-22 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备以及介质 |
| CN112102480B (zh) * | 2020-09-22 | 2021-07-13 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备以及介质 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN113554746A (zh) * | 2021-07-27 | 2021-10-26 | 广东三维家信息科技有限公司 | 装修效果图生成方法、装置、电子设备及存储介质 |
| CN115035230A (zh) * | 2022-08-12 | 2022-09-09 | 阿里巴巴（中国）有限公司 | 视频渲染处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111429566B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429566B (zh) | 虚拟家装场景的重建方法、装置及电子设备 | |
| CN109670558B (zh) | 使用深度学习的数字图像完成 | |
| US10699388B2 (en) | Digital image fill | |
| Cheng et al. | Robust algorithm for exemplar-based image inpainting | |
| CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
| GB2558886A (en) | Graphics processing units and methods for controlling rendering complexity using cost indications for sets of tiles of a rendering space | |
| US20060250396A1 (en) | Method and apparatus for rendering of translucent objects using volumetric grids | |
| EP3371784A2 (en) | 2d image processing for extrusion into 3d objects | |
| KR20210013150A (ko) | 조명 추정 | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| US20170132837A1 (en) | 2d image processing for extrusion into 3d objects | |
| US9679348B2 (en) | Storage and compression methods for animated images | |
| US20180122131A1 (en) | Illumination-Guided Example-Based Stylization of 3D Renderings | |
| CN113538502A (zh) | 图片裁剪方法、装置、电子设备及存储介质 | |
| CN112652046A (zh) | 游戏画面的生成方法、装置、设备及存储介质 | |
| WO2018039936A1 (en) | Fast uv atlas generation and texture mapping | |
| US9905054B2 (en) | Controlling patch usage in image synthesis | |
| CN110796722B (zh) | 三维渲染呈现方法及装置 | |
| CN114491352A (zh) | 模型加载方法、装置、电子设备及计算机可读存储介质 | |
| US11900514B2 (en) | Digital content editing using a procedural model | |
| US10445921B1 (en) | Transferring motion between consecutive frames to a digital image | |
| CN107977923B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112802075A (zh) | 纹理生成模型的训练方法、图像处理方法及装置 | |
| US11498005B1 (en) | Geometry-aware encoding of 2D elements | |
| CN115035230B (zh) | 视频渲染处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |