CN113538452B - 家具布局及三维可视化方法、装置和设备 - Google Patents

Abstract

本申请提供一种家具布局及三维可视化方法、装置和设备。该方法包括：电子设备获取用户上传的空白户型图。电子设备根据用户指令，在该空白户型图的各个房间内标记上颜色，得到第一户型图。电子设备将第一户型图输入第一网络模型，生成第二户型图。该第二户型图中包括各个家居的预测信息。电子设备可以根据该第二户型图生成其三维场景。电子设备根据用户需要查看的位置和角度，获取三维场景图片。电子设备将该三维场景图片输入第二网络模型。电子设备从该第二网络模型中获得第三户型图。该第三户型图为三维场景图片对应的预设风格的三维场景渲染图。本申请的方法，增加了室内布局的实用性，提高了室内布局的设计效率。

Description

家具布局及三维可视化方法、装置和设备

技术领域

本申请涉及计算机领域，尤其涉及一种家具布局及三维可视化方法、装置和设备。

背景技术

近年来，随着计算机技术和深度学习领域飞速发展，陆续出现了很多计算机辅助的室内设计方法，这些方法主要可以分为两个大类。第一大类是通过计算机的软件辅助提高设计师的效率。第二个大类是通过计算机的机器学习方法，实现室内的自动化布局，并降低室内设计对于设计师的依赖。

现有技术中，室内布局通常包括布局规则。布局规则具体可以分为显式规则和隐式规则两类。其中，显式规则为预设的布局规则，通常被应用于对已经完成的室内布局进行评估。其中，隐式规则通常是在深度学习过程中训练得到的，存在于深度学习模型中。该深度学习模型可以用于室内布局的自动化生成。

然而，现有技术中，通过深度模型生成的室内设计图片通常是一张包括家具布局二维平面图，存在实用性差的问题。

发明内容

本申请提供一种家具布局及三维可视化方法、装置和设备，用以解决现有技术存在的实用性差的问题。

第一方面，本申请提供一种家具布局及三维可视化方法，包括：

获取第二户型图，所述第二户型图中包括家具信息和墙壁信息；

根据所述第二户型图和预设脚本，生成第一三维模型，所述第一三维模型为所述第二户型图的三维模型；

根据所述第一三维模型和第一网络模型，生成第三户型图，所述第三户型图为所述第一三维模型中场景图片的风格渲染图。

可选地，所述根据所述第二户型图和预设脚本，生成第一三维模型，包括：

根据所述墙壁信息和预设脚本，拟合所述第一三维模型中的墙壁模型；

根据所述家具信息和预设脚本，在所述第一三维模型中进行家具模型的布局，完成所述第一三维模型的搭建；

渲染所述第一三维模型。

可选地，所述根据所述第一三维模型和第二网络模型，生成第三户型图，包括：

获取至少一张所述第一三维模型的场景图片；

根据所述场景图片和所述第二网络模型，生成第三户型图，每一所述第三户型图与一张所述场景图片对应，每一所述第三户型图为所述第三户型图对应的所述场景图片的风格渲染图。

可选地，所述方法，还包括：

根据所述第一户型图和预设边界提取算法，提取所述第一户型图的墙壁信息。

可选地，所述获取第二户型图，包括：

根据所述第一户型图和第一网络模型，确定第二户型图和各个家具的家具预测图，每一所述家具预测图中包括一种家具的预测信息；

根据所述各个家具的所述家具预测图，确定各个家具的家具信息；

根据所述各个家具的所述家具信息，优化完善所述第二户型图中各个家具的预测信息。

可选地，所述根据所述各个家具的所述家具预测图，确定各个家具的家具信息，包括：

对所述家具预测图进行二值化处理，所述家具预测图中包括一种家具，所述家具预测图中包括至少一个所述家具；

使用深度优先搜索算法，提取所述家具预测图中各个所述家具的包围盒；

根据预设冲突检测算法和各个所述家具的所述包围盒，确定各个所述家具的位置信息；

根据各个所述家具的包围盒和墙壁信息，确定各个家具的规格信息；

根据各个所述家具的所述位置信息和所述墙壁信息，确定各个所述家具的朝向信息。

第二方面，本申请提供一种家具布局及三维可视化装置，包括：

获取模块，用于获取第二户型图，所述第二户型图中包括家具信息和墙壁信息；

第一生成模块，用于根据所述第二户型图和预设脚本，生成第一三维模型，所述第一三维模型为所述第二户型图的三维模型；

第二生成模块，用于根据所述第一三维模型和第一网络模型，生成第三户型图，所述第三户型图为所述第一三维模型中场景图片的风格渲染图。

可选地，所述第一生成模块，包括：

第一拟合子模块，用于根据所述墙壁信息和预设脚本，拟合所述第一三维模型中的墙壁模型；

第二拟合子模块，用于根据所述家具信息和预设脚本，在所述第一三维模型中进行家具模型的布局，完成所述第一三维模型的搭建；

渲染子模块，用于渲染所述第一三维模型。

可选地，所述第二生成模块，包括：

获取子模块，用于获取至少一张所述第一三维模型的场景图片；

生成子模块，用于根据所述场景图片和所述第二网络模型，生成第三户型图，每一所述第三户型图与一张所述场景图片对应，每一所述第三户型图为所述第三户型图对应的所述场景图片的风格渲染图。

可选地，所述装置，还包括：

提取模块，用于根据所述第一户型图和预设边界提取算法，提取所述第一户型图的墙壁信息。

可选地，所述获取模块，包括：

第一确定子模块，用于根据所述第一户型图和第一网络模型，确定第二户型图和各个家具的家具预测图，每一所述家具预测图中包括一种家具的预测信息；

第二确定子模块，用于根据所述各个家具的所述家具预测图，确定各个家具的家具信息；

优化子模块，用于根据所述各个家具的所述家具信息，优化完善所述第二户型图中各个家具的预测信息。

可选地，所述第二确定子模块，具体用于对所述家具预测图进行二值化处理，所述家具预测图中包括一种家具，所述家具预测图中包括至少一个所述家具；使用深度优先搜索算法，提取所述家具预测图中各个所述家具的包围盒；根据预设冲突检测算法和各个所述家具的所述包围盒，确定各个所述家具的位置信息；根据各个所述家具的包围盒和墙壁信息，确定各个家具的规格信息；根据各个所述家具的所述位置信息和所述墙壁信息，确定各个所述家具的朝向信息。

第三方面，本申请提供一种电子设备，包括：存储器和处理器；

所述存储器用于存储计算机程序；所述处理器用于根据所述存储器存储的计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行第一方面及第一方面任一种可能的设计中的家具布局及三维可视化方法。

第四方面，本申请提供一种可读存储介质，可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行第一方面及第一方面任一种可能的设计中的家具布局及三维可视化方法。

第五方面，本申请提供一种计算机程序产品，计算机程序产品包括计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行第一方面及第一方面任一种可能的设计中的家具布局及三维可视化方法。

本申请提供的家具布局及三维可视化方法，通过获取用户上传的空白户型图；根据用户指令，在该空白户型图的各个房间内标记上颜色，得到第一户型图；将第一户型图输入第一网络模型；第一网络模型根据该第一户型图，对应生成第二户型图；该第二户型图中包括各个家居的预测信息；可以根据该墙壁信息和家具信息生成该第二户型图的三维场景；根据用户需要查看的位置和角度，获取三维场景图片；将该三维场景图片输入第二网络模型；从该第二网络模型中获得第三户型图；该第三户型图为该三维场景图片对应的预设风格的三维场景渲染图的手段，实现更加直观的帮助用户了解该室内布局的效果。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种家具布局及三维可视化方法的场景示意图；

图2为本申请一实施例提供的一种家具布局及三维可视化方法的流程图；

图3为本申请一实施例提供的一种室内风格示意图；

图4为本申请一实施例提供的一种第二网络模型训练数据；

图5为本申请一实施例提供的另一种家具布局及三维可视化方法的流程图；

图6为本申请一实施例提供的一种户型图示意图；

图7为本申请一实施例提供的一种第一网络模型训练数据；

图8为本申请一实施例提供的一种家具预测示意图；

图9为本申请一实施例提供的一种家具包围盒示意图；

图10为本申请一实施例提供的一种墙壁拟合示意图；

图11为本申请一实施例提供的一种家具布局及三维可视化装置的结构示意图；

图12为本申请一实施例提供的另一种家具布局及三维可视化装置的结构示意图；

图13为本申请一实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着人们生活水平的提高和城市化率提升，人们对于自己居住环境的要求越来越高。很多人希望能够有一个良好的室内设计和规划。在计算机技术发展以前，室内设计的各个流程通常需要设计师手工绘制。这样的设计方案往往很精细，但是存在耗时长，人力成本高，修改难度大等问题。

近年来，随着计算机技术和深度学习领域飞速发展，陆续出现了很多计算机辅助的室内设计方法，这些方法主要可以分为两个大类。第一大类是通过计算机的软件辅助提高设计师的效率。设计师可以利用图纸绘制软件、三维建模软件等应用软件，更加便捷的完成室内布局的设计。这类方法通过提升设计师设计工具的方式，极大地提升了设计师的设计效率。同时，应用软件的编辑功能还为设计师的修改提供了便捷，使设计师不再需要通过重新绘制的方式修改设计方案。然而，这样的室内布局设计流程依赖于设计师的个人经验，需要设计师主动地完成室内布局的设计过程。

第二大类是通过机器学习的方法，由计算机主动地去学习室内布局的布局规则，从而实现使用计算机技术完成室内布局的方法。其中，布局规则具体可以分为显式规则和隐式规则两类。其中，显式规则通常为管理员预设的布局规则。这些布局规则可以是管理员基于大量的室内设计案例分析整理得到的。显式规则通常被应用于评估已经完成的室内布局。例如，计算机在获取这些显式规则后，将这些规则程序化为评分规则。设计师没完成一份室内布局的设计方案后，可以将该方案输入该计算机中进行评分。进而，该分数可以作为该室内布局的设计方案的参考和指导。该显式规则的使用减少了传统室内布局的设计方案评估的人工成本，提供了一个相对统一的评判标准。该显式规则的使用减少了对于设计师的要求，降低了室内布局设计流程对于设计师的个人经验的依赖。然而，该显式规则的制定任然依赖于优秀设计师的个人经验，存在普适性较差，适用范围较窄的问题。同时，使用该显式规则进行评估后，设计师通常需要根据该评估结果进行多次修改，以达到一个较优的分数，存在耗时长、效率低的问题。

隐式规则是在深度学习过程中，由计算机学习得到的室内布局规则。计算机可以通过深度学习模型，对大量的室内设计案例进行学习，从而生成包含的隐式规则的深度学习模型。该深度学习模型可以用于室内布局的自动化生成。这种使用深度学习方法自动化生成室内布局的方法，相较于显式规则的使用，更进一步地降低了对于室内布局在设计规则过程中对于设计师个人经验的依赖。该深度学习方法的使用可以极大地降低人力成本，减少设计师个人经验带来的差异。因此，通过深度学习的方法自动生成室内布局，将随着技术的不断成熟，越来越普遍的被应用于各种室内布局的设计场景中。然而，现有技术中，该深度学习方法输出的网络模型输出的室内布局图片往往是一张分辨率较小的平面图纸。由于分辨率的限制，该平面图纸中的参数存在提取困难的问题，难以直接作为平面设计图使用。进而，计算机无法根据该平面图纸生成三维室内场景模型，存在实用性差的问题。

针对上述问题，本申请提出了一种家具布局及三维可视化方法。电子设备通过将第一户型图输入第一网络模型，实现第一户型图到第二户型图的转换。其中，第一网络模型为有监督图像转换网络。其中，有监督图像转换网络可以包括pix2pix，pix2pixHD等网络模型。其中，第二户型图为平面图，其中包括各个家具的布局信息。电子设备根据该第二户型图，生成第一三维模型。电子设备通过获取该第一三维模型的场景图片，并将该场景图片输入第二网络模型，实现第三户型图的生成。其中，每一场景图片可以对应生成一张第三户型图。其中，第二网络模型为无监督图像转换网络。其中，无监督图像转换网络可以包括cycleGAN，DiscoGAN等网络模型。其中，第三户型图为转换到预设风格的三维场景渲染图。

其中，上述第一网络模型和第二网络模型均为生成对抗网络(GenerativeAdversarial Network，GAN)。GAN网络是非监督式学习的一种方法。GAN网络可以通过两个神经网络相互博弈的方式进行学习。其大致结构可以由生成器(Generator)和鉴别器(Discriminator)两部分构成。其中，生成器负责生成图片，鉴别器负责鉴别图片是真实图片还是网络生成图片。GAN网络通过生成器和鉴别器相互对抗的方式来进行学习。训练GAN网络时，交替训练生成器和鉴别器。最终使用GAN网络时，我们只需要使用生成器部分用于生成图片。GAN网络模型的损失函数可以如下公式所示：

其中，G(z)代表生成图片，D(x)和D(G(z))分别代表判断图片是真实图片和生成图片的概率，x代表真实图片，z代表输入噪声。该损失函数用于在G(z)尽可能小的情况下最大化D(x)和D(G(z))的正确率。即让生成器生成的图片尽可能真实的情况下，让鉴别器尽可能地鉴别图像的真假。该GAN网络通过该对抗和博弈的关系不断地强化生成器和鉴别器的性能。最终使用生成器生成预想的图片。

其中，上述第一预设网络可以为Pix2pix网络模型。Pix2pix是一种基于条件GAN的图片翻译网络，常用于图片转换。其网络结构同样由生成器和鉴别器构成。其中，生成器输入待转换图片，输出转换图片。鉴别器用于鉴别图片是真实图片还是网络生成图片。Pix2pix网络模型需要成对的数据集用于训练，通过网络学习两者之间的映射关系。Pix2pix网络模型为G*。该G*的损失函数可以为如下公式：

其中，第二网络模型为cycleGAN网络模型。cycleGAN是一种用于两个图像域之间相互转换的网络模型。该cycleGAN可以简单理解为由两个GAN网络构成。该cycleGAN可以通过G变换将X域图片转换至Y域，再通过F变换使Y域图像转换到X域。该cycleGAN从该转换过程中学习到两个域图片之间的映射关系。cycleGAN与pix2pix网络最大不同在于其不需要成对的数据集，只需要两个域的图片集合即可，例如马和斑马。该cycleGAN网络的损失函数的前两项分别为两个GAN网络的损失函数，第三项是L1损失项。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1示出了本申请一实施例提供的一种家具布局及三维可视化方法的场景示意图。如图所示，第一户型图为将房间填充了颜色后的户型图。用户将第一户型图输入电子设备。电子设备根据上述家具布局及三维可视化方法生成第三户型图。第三户型图为预设风格的场景图片的风格渲染图。如图所示为餐厅的场景图片。用户可以通过查看该第三户型图，更加清晰的获取该室内布局方案。

本申请中，以电子设备为执行主体，执行如下实施例的家具布局及三维可视化方法。具体地，该执行主体可以为电子设备的硬件装置，或者为电子设备中实现下述实施例的软件应用，或者为安装有实现下述实施例的软件应用的计算机可读存储介质，或者为实现下述实施例的软件应用的代码。

图2示出了本申请一实施例提供的一种家具布局及三维可视化方法的流程图。在图1所示实施例的基础上，如图2所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：

S101、获取第二户型图，第二户型图中包括家具信息和墙壁信息。

本实施例中，第二户型图为包括户型的墙壁信息和家具信息在内的二维平面图。该第二户型图的家具信息包括家具的布局。该第二户型图中的家具信息可以为电子设备根据第一户型图生成的家具信息。或者，该第二户型图中的家具信息还可以为用户输入的家具信息。

S102、根据第二户型图和预设脚本，生成第一三维模型，第一三维模型为第二户型图的三维模型。

本实施例中，该第二户型图中包括墙壁信息和家具信息。电子设备可以根据该墙壁信息和家具信息生成该第二户型图的第一三维模型。该第一三维模型中包括该户型的墙体分布以及家具摆放。用户可以通过查看该第一三维模型，确定该家具的布局情况。

一种示例中，电子设备搭建第一三维模型的步骤包括：

步骤1、根据墙壁信息和预设脚本，拟合第一三维模型中的墙壁模型。

本步骤中，电子设备可以根据上述墙壁信息，生成该第二户型图的墙壁的obj文件。预设的python代码可以读取该墙壁的obj文件，并将该墙壁的obj文件输入到blender渲染器中。预设的python代码可以控制该blender渲染器根据该墙壁的obj文件拟合该三维场景中的墙壁。

步骤2、根据家具信息和预设脚本，在第一三维模型中进行家具模型的布局，完成第一三维模型的搭建。

本步骤中，电子设备可以根据上述家具信息，确定家具的规格、位置、朝向等。电子设备可以根据预设的python脚本从家具模型库中读取各个家具的obj文件。Python脚本根据上述家具信息和家具的obj文件，将每一家具安置到该三维场景中。

步骤3、渲染第一三维模型。

本步骤中，电子设备在完成上述三维场景的搭建后，可以通过渲染的方式增加该三维场景的整体性以及立体效果，得到模型风格的三维场景。

S103、根据第一三维模型和第一网络模型，生成第三户型图，第三户型图为第一三维模型中场景图片的风格渲染图。

本实施例中，电子设备根据用户需要查看的位置和角度，从第一三维模型中获取如图3(a)所示的场景图片。该场景图片的风格属于模型风格。电子设备将该场景图片输入第二网络模型。电子设备从该第二网络模型中获得第三户型图。该第三户型图为场景图片对应的预设风格的渲染图片。该预设风格的渲染图片可以如图3(b)所示。

一种示例中，该过程可以具体包括两个步骤：

步骤1、获取至少一张第一三维模型的场景图片；

步骤2、根据场景图片和第二网络模型，生成第三户型图，每一第三户型图与一张场景图片对应，每一第三户型图为第三户型图对应的场景图片的风格渲染图。

其中，第二网络模型可以为cycleGAN网络模型。电子设备获取一定数量的第二户型图的场景图片和各种风格的渲染图片。其中，第二户型图的场景图片可以如图4(a)所示。该第二户型图的场景图片被放置于一个文件夹中。该场景图片的风格为模型风格。其中，如图4(b)所示为地中海风格的室内场景图片。该地中海风格的室内场景图片被放置于另一个文件夹中。电子设备将上述场景图片和室内场景图片送入到cycleGAN网络中，使得网络可以学习到两个图象域之间的内在映射关系。网络训练完成后可以得到第二网络模型。该第二网络模型用于将一张或者多张场景图片从模型风格渲染为地中海风格。当电子设备还需要使用现代风格、中式风格、田园风格等其他风格时，电子设备还需要使用模型风格和其他风格的图片训练另一生成器。

本申请提供的家具布局及三维可视化方法，电子设备获取第二户型图，第二户型图中包括家具信息和墙壁信息。电子设备可以根据该墙壁信息和家具信息生成该第二户型图的第一三维模型。该第一三维模型中包括该户型的墙体分布以及家具摆放。用户可以通过查看该第一三维模型，确定该家具的布局情况。电子设备获取至少一张第一三维模型的场景图片。电子设备将该场景图片输入第二网络模型。电子设备从该第二网络模型中获得第三户型图。该第三户型图为场景图片对应的预设风格的渲染图片。本申请中，通过生成室内布局平面图的第一三维模型和第三户型图，实现该第一三维模型中场景图片风格的转换。该第三户型图的使用可以更加直观的帮助用户了解该室内布局的效果。同时，通过人工智能实现自动化室内布局的生成，极大的提高了室内布局的设计效率，降低了对设计师的个人经验的要求。

图5示出了本申请一实施例提供的另一种家具布局及三维可视化方法的流程图。在图1和图4所示实施例的基础上，如图5所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：

S201、根据第一户型图和第一网络模型，确定第二户型图和各个家具的家具预测图，每一家具预测图中包括一种家具的预测信息。

本实施例中，电子设备获取用户上传的空白户型图。该空白户型图中包括该户型的墙体、门窗等布局信息。电子设备根据用户指令，在该空白户型图的各个房间内标记上颜色，得到第一户型图。该第一户型图可以如图6(a)所示。其中，如图6(a)所示的第一户型图中，不同房间使用了不同灰度进行标记。该灰度色块用于标记该房间的范围。在实际使用中，不同房间被标记为不同颜色。该第一户型图中还可以包括门、窗户和墙壁。在实际使用中，门、窗户和墙壁同样可以使用不同颜色进行标记。该门、窗户、墙壁的颜色与房间的颜色不同。其中，各个颜色的RGB值可以如表1所示。

表1

房间	R值	G值	B值
				书房	255	0	0
卧室	0	255	0
				客厅	0	0	255
厨房	255	255	0
				餐厅	0	255	255
卫生间	255	0	255
				杂物间	128	0	255
墙壁	128	128	128
				门	0	125	255
窗户	255	0	128
				背景	0	0	0

电子设备将第一户型图输入第一网络模型。第一网络模型根据该第一户型图，对应生成第二户型图。该第二户型图中包括各个家居的预测信息。例如，当用户向电子设备中输入一张如图6(a)所示的第一户型图后，电子设备可以通过第一网络模型输出一张如图6(b)所示的第二户型图。该第二户型图中包括各个颜色的各个家具。其中，每一家具对应一种颜色。其中，各个家居的颜色的RGB值可以如表2所示。

表2

家具	R值	G值	B值
				桌子	128	0	0
柜子	0	128	0
				床	0	0	128
沙发	128	128	0
				马桶	128	0	128
茶几	0	128	128
				浴缸	255	128	0
厨具	0	255	128

如图6(a)和图6(b)所示，第一网络模型用于根据包括各个房间的第一户型图，生成包括各个家具的第二户型图。其中，第一网络模型可以为pix2pix模型。其中，该第一网络模型的训练数据可以包括如图7(a)和图7(b)所示的图片对。其中，图7(a)为使用不同颜色标记房间、墙壁、门和窗户的第一户型图。其中，图7(b)为使用不同颜色对该户型中家具的布局进行标记的第二户型图。该第二户型图中的家具为用户根据设计师设计的室内布局进行标记。电子设备在获取该第一户型图和第二户型图后，将该第一户型图和第二户型图拼接在一起并输入预设神经网络中。预设神经网络根据该大量的第一户型图和第二户型图对进行训练，得到第一网络模型。用户可以通过使用该第一网络模型，在已经标记第一户型图的情况下，预测得到第二户型图。

电子设备在将第一户型图输入第一网络模型后，还可以确定各个家具的预测图。电子设备针对每一家具输出一张预测图。例如，如图8(a)、8(b)和图8(c)所示为三种不同家具的三张预测图。其中，图8(a)为桌子的预测图，图8(b)为两张床的预测图，图8(c)为厨具的预测图。

由于在现有pix2pix模型中，输出的内容通常仅包括第二户型图，十分不利于各个家具的家具信息的提取。因此，本申请中的第二网络模型对pix2pix模型进行了改进。原pix2pix模型输出数据通常为N*M*3的矩阵。该N*M*3的矩阵为一张分辨率为N*M的RGB图片。改进后第二网络模型的输出的内容为N*M*L的矩阵。该N*M*L的矩阵可以被分割为L张辨率为N*M的切片。该L张切片中，每一个N*M的切片都代表着一种家具的概率分布图。该概率分布图中的三张可以如图8(a)、8(b)和8(c)所示。电子设备获取上述切片后，可以通过将将该切片与对应RGB值的卷积核进行卷积，得到第二户型图。

S202、根据各个家具的家具预测图，确定各个家具的家具信息。

本实施例中，电子设备在得到上述切片的家具预测图后，可以根据每一家具预测图分析其中的家具信息。该家具信息中可以包括家具的位置信息、规格信息、朝向信息等。移动终端获取该家具信息后，可以根据该家具信息优化第二户型图。电子设备在获取各个家具的家具预测图后，逐一对家具预测图中的家具信息进行提取。以一张家具预测图为例，电子设备确定各个家具的家具信息的步骤可以包括：

步骤1、对家具预测图进行二值化处理，家具预测图中包括一种家具，家具预测图中包括至少一个家具。

本步骤中，电子设备对获取的家具预测图进行二值化处理，使该家具预测图中的家具与背景区分更加鲜明。其中，每一家具预测图中包括一种家具。每一家具预测图中包括该种家具的若干个。例如，如图8(b)所示，其中包括两张床。

电子设备在完成该家具预测图的二值化后，还可以对该家具预测图记性降噪处理。其中，降噪处理可以包括膨胀和腐蚀。

步骤2、使用深度优先搜索(Depth First Search，DFS)算法，提取家具预测图中各个家具的包围盒。

本步骤中，电子设备使用DFS算法，对该家具预测图中值为1的点进行遍历。电子设备可以根据遍历结果，提取该家具的包围盒。例如，如图8(b)所示的床的家具预测图中，两张床的包围盒可以如图9中灰色边框所示。其中，DFS算法的使用，可以使电子设备更加准确的获取该家具的包围盒。

步骤3、根据预设冲突检测算法和各个家具的包围盒，确定各个家具的位置信息。

本步骤中，该家具预测图与上述第一户型图和第二户型图的图片大小是相同的。即，该家具预测图中家具的位置，与第二户型图中该家具所在的位置是相同的。因此，以该家具预测图的左上角为坐标原点，电子设备可以确定步骤2中提取到的包围盒的坐标。该坐标可以表示为可以表示为(xi1，yi1)，(xi2，yi2)，(xi3，yi3)，(xi4，yi4)。其中，i用于表示该家具的编号。例如，如图10的两张床可以分别编号为i＝1和i＝2。其中，当电子设备生成的两个包围盒存在冲突时，电子设备可以根据预设冲突检测算法，对该两个包围盒的区域进行合并或者分离，使该包围盒更加贴近该家具的边框。

步骤4、根据各个家具的包围盒和墙壁信息，确定各个家具的规格信息。

本步骤中，电子设备在根据步骤3确定该家具的包围盒的4个顶点坐标后，电子设备可以根据该顶点坐标确定各个家具的边长。电子设备还可以根据上述S202中获取的墙壁信息确定该第一户型图与真实场景的比例。电子设备可以根据该比例和在该家具预测图中各个家具的边长，确定各个家具的实际边长。电子设备可以根据该家具的实际边长，确定该家具的规格信息。例如，当电子设备计算得到床的边长为1.4米*2米时，电子设备可以根据常规家具的规格，确定该床的规格为1.5米*2米。

步骤5、根据各个家具的位置信息和墙壁信息，确定各个家具的朝向信息。

本步骤中，电子设备在根据步骤3确定各个家具的位置后，根据上述S202中获取的墙壁信息，可以确定该家具在室内的位置信息。该位置信息可以包括与墙壁的距离、与门或者窗户的距离等。电子设备可以根据每一家具与墙壁的关系来确定家具的朝向。例如，床头方向会更加接近墙壁。因此，当电子设备确定如图9所示的床时，电子设备可以根据墙壁信息，确定该两个床的下端为床头。此时，电子设备可以确定该床在该第二户型图中的朝向为朝上。

S203、根据各个家具的家具信息，优化完善第二户型图中各个家具的预测信息。

本实施例中，当电子设备确定各个家具的家具信息后，电子设备可以在第二户型图的基础上，对各个家具进行优化完善。例如，电子设备根据如图9所示的床的家具预测图确定床的家具信息。电子设备可以根据该家具信息优化如图6(b)所示的第二户型图。具体地，电子设备可以根据该床的朝向信息优化该第二户型图中床的细节。例如，在床头增加枕头等。电子设备还可以根据该床的规格信息，规整该第二户型图中床的形状、大小。

S204、根据第一户型图和预设边界提取算法，提取第一户型图的墙壁信息。

本实施例中，电子设备需要在获取第二户型图后，根据该第二户型图建立第二户型图的三维场景。该三维场景的建立包括墙壁拟合和家具搭建。在墙壁拟合之前，电子设备需要获取墙壁信息。该墙壁信息可以包括墙壁的坐标信息。电子设备根据该墙壁信息，使用规则的矩形去拟合墙壁，从而生成该墙壁的立体场景。由于第二户型图中包括各个家具，其边界信息更加复杂，因此，电子设备使用第一户型图提取该墙壁信息。其中，电子设备根据第一户型图提取该墙壁信息的过程可以包括：

步骤1、电子设备根据墙壁的RGB值，将该第一户型图进行二值化。二值化后的第一户型图仅包括墙壁部分。例如，第一户型图为如图10(a)所示。电子设备根据该第一户型图进行二值化后，得到的二值化图可以如图10(b)所示。

步骤2、电子设备利用腐蚀膨胀原理，去除掉该二值化图中的噪声。

步骤3、电子设备使用预设边界提取算法，确定各个墙壁的位置。

本步骤中，电子设备可以使用遍历算法遍历图像。当电子设备遍历至一个墙壁点时，电子设备对该墙壁点进行矩形扩展。当完成对该墙壁点的扩展后，电子设备根据扩展得到的矩形判断该矩形是否符合要求。其中，该要求可以包括判断该矩形的长度、宽度、面积等参数是否在预设阈值范围内。当该矩形符合要求时，电子设备标记该矩形中的墙壁点为为已使用点，并不再遍历这些点。当电子设备遍历或者标记该二值化图中的全部点后，电子设备可以得到该第一户型图的全部墙壁的矩形。该墙壁的矩形可以如图10(c)所示。

步骤4、电子设备根据如图10(c)所示确定的各个矩形框，对墙壁进行优化，使每一墙壁为连续且规整的墙壁。

步骤5、电子设备根据该墙壁的矩形，确定每一矩形框的坐标。

本步骤中，电子设备可以将该二值化图的左上角作为坐标原点，并记录每一矩形框的4个顶点的坐标。例如，一个矩形框的4个顶点可以依次记录为(x1，y1，0)，(x2，y2，0)，(x3，y3，0)，(x4，y4，0)。其中，x和y分别表示在该二值化图的平面上，该顶点的坐标。该4个坐标点用于表示墙体高度为0时，各个墙壁顶点的坐标。电子设备可以预设墙体高度为z。上述每一矩形框所对应的墙壁的最高点可以表示为(x1，y1，z)，(x2，y2，z)，(x3，y3，z)，(x4，y4，z)。电子设备使用上述八个点，在空间中构成了一个墙壁的三维场景。上述8个点即构成一面墙壁的墙壁信息。

S205、根据第二户型图和预设脚本，生成第一三维模型，第一三维模型为第二户型图的三维模型。

S206、根据第一三维模型和第一网络模型，生成第三户型图，第三户型图为第一三维模型中场景图片的风格渲染图。

其中，S204和S205与图2所示实施例中S102和S103的实现方式类似，本实施例此处不再赘述。

本申请提供的家具布局及三维可视化方法，电子设备获取用户上传的空白户型图。电子设备将第一户型图输入第一网络模型。第一网络模型根据该第一户型图，对应生成第二户型图。该第二户型图中包括各个家居的预测信息。电子设备在将第一户型图输入第一网络模型后，还可以针对每一家具输出一张预测图。电子设备在得到上述切片的家具预测图后，可以根据每一家具预测图分析其中的家具信息。当电子设备确定各个家具的家具信息后，电子设备可以在第二户型图的基础上，对各个家具进行优化完善。进而，电子设备根据该第二户型图生成第一三维模型和第三户型图。本申请中，通过生成室内布局平面图的第一三维模型和第三户型图，实现该第一三维模型中场景图片风格的转换。该第三户型图的使用可以更加直观的帮助用户了解该室内布局的效果。同时，通过人工智能实现自动化室内布局的生成，极大的提高了室内布局的设计效率，降低了对设计师的个人经验的要求。

图11示出了本申请一实施例提供的一种家具布局及三维可视化装置的结构示意图，如图11所示，本实施例的家具布局及三维可视化装置10用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的家具布局及三维可视化装置10包括：

获取模块11，用于获取第二户型图，第二户型图中包括家具信息和墙壁信息。

第一生成模块12，用于根据第二户型图和预设脚本，生成第一三维模型，第一三维模型为第二户型图的三维模型。

第二生成模块13，用于根据第一三维模型和第一网络模型，生成第三户型图，第三户型图为第一三维模型中场景图片的风格渲染图。

一种示例中，家具布局及三维可视化装置10还包括：

提取模块14，用于根据第一户型图和预设边界提取算法，提取第一户型图的墙壁信息。

本申请实施例提供的家具布局及三维可视化装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

图12示出了本申请一实施例提供的另一种家具布局及三维可视化装置的结构示意图，在图11所示实施例的基础上，如图12所示，本实施例的家具布局及三维可视化装置10用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的家具布局及三维可视化装置10中，确定模块12和生成模块13，具体包括：

第一确定子模块111，用于根据第一户型图和第一网络模型，确定第二户型图和各个家具的家具预测图，每一家具预测图中包括一种家具的预测信息。

第二确定子模块112，用于根据各个家具的家具预测图，确定各个家具的家具信息。

优化子模块113，用于根据各个家具的家具信息，优化完善第二户型图中各个家具的预测信息。

第一拟合子模块121，用于根据墙壁信息和预设脚本，拟合第一三维模型中的墙壁模型。

第二拟合子模块122，用于根据家具信息和预设脚本，在第一三维模型中进行家具模型的布局，完成第一三维模型的搭建。

渲染子模块123，用于渲染第一三维模型。

获取子模块131，用于获取至少一张第一三维模型的场景图片。

生成子模块132，用于根据场景图片和第二网络模型，生成第三户型图，每一第三户型图与一张场景图片对应，每一第三户型图为第三户型图对应的场景图片的风格渲染图。

一种示例中，第二确定子模块112，具体用于对家具预测图进行二值化处理，家具预测图中包括一种家具，家具预测图中包括至少一个家具。使用深度优先搜索算法，提取家具预测图中各个家具的包围盒。根据预设冲突检测算法和各个家具的包围盒，确定各个家具的位置信息。根据各个家具的包围盒和墙壁信息，确定各个家具的规格信息。根据各个家具的位置信息和墙壁信息，确定各个家具的朝向信息。

本申请实施例提供的家具布局及三维可视化装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

图13示出了本申请实施例提供的一种电子设备的硬件结构示意图。如图13所示，该电子设备20，用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的电子设备20可以包括：存储器21，处理器22。

存储器21，用于存储计算机程序。该存储器21可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

处理器22，用于执行存储器存储的计算机程序，以实现上述实施例中的家具布局及三维可视化方法。具体可以参见前述方法实施例中的相关描述。该处理器22可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。

当存储器21是独立于处理器22之外的器件时，电子设备20还可以包括总线23。该总线23用于连接存储器21和处理器22。该总线23可以是工业标准体系结构(IndustryStandard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本实施例提供的电子设备可用于执行上述的家具布局及三维可视化方法，其实现方式和技术效果类似，本实施例此处不再赘述。

本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，计算机可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，计算机可读存储介质耦合至处理器，从而使处理器能够从该计算机可读存储介质读取信息，且可向该计算机可读存储介质写入信息。当然，计算机可读存储介质也可以是处理器的组成部分。处理器和计算机可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和计算机可读存储介质也可以作为分立组件存在于通信设备中。

具体地，该计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器(Programmable read-only memory，PROM)，只读存储器(Read-OnlyMemory，ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质中读取该计算机程序，至少一个处理器执行该计算机程序使得设备实施上述的各种实施方式提供的方法。

本申请实施例还提供一种芯片，该芯片包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

其中，各个模块可以是物理上分开的，例如安装于一个的设备的不同位置，或者安装于不同的设备上，或者分布到多个网络单元上，或者分布到多个处理器上。各个模块也可以是集成在一起的，例如，安装于同一个设备中，或者，集成在一套代码中。各个模块可以以硬件的形式存在，或者也可以以软件的形式存在，或者也可以采用软件加硬件的形式实现。本申请可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

当各个模块以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。

应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种家具布局及三维可视化方法，其特征在于，所述方法，包括：

获取第二户型图，所述第二户型图中包括家具信息和墙壁信息；

根据所述第二户型图和预设脚本，生成第一三维模型，所述第一三维模型为所述第二户型图的三维模型；

根据所述第一三维模型和第二网络模型，生成第三户型图，所述第三户型图为所述第一三维模型中场景图片的风格渲染图；

所述获取第二户型图，包括：

根据第一户型图和第一网络模型，确定第二户型图和各个家具的家具预测图，每一所述家具预测图中包括一种家具的预测信息；

根据所述各个家具的所述家具预测图，确定各个家具的家具信息；

根据所述各个家具的所述家具信息，优化完善所述第二户型图中各个家具的预测信息；

所述根据所述各个家具的所述家具预测图，确定各个家具的家具信息，包括：

对所述家具预测图进行二值化处理，所述家具预测图中包括一种家具，所述家具预测图中包括属于对应种类家具的至少一个家具；

使用深度优先搜索算法，提取所述家具预测图中各个所述家具的包围盒；

根据预设冲突检测算法和各个所述家具的所述包围盒，确定各个所述家具的位置信息；

根据各个所述家具的包围盒和墙壁信息，确定各个家具的规格信息；

根据各个所述家具的所述位置信息和所述墙壁信息，确定各个所述家具的朝向信息。

2.根据权利要求1所述的家具布局及三维可视化方法，其特征在于，所述根据所述第二户型图和预设脚本，生成第一三维模型，包括：

根据所述墙壁信息和预设脚本，拟合所述第一三维模型中的墙壁模型；

根据所述家具信息和预设脚本，在所述第一三维模型中进行家具模型的布局，完成所述第一三维模型的搭建；

渲染所述第一三维模型。

3.根据权利要求1所述的家具布局及三维可视化方法，其特征在于，所述根据所述第一三维模型和第二网络模型，生成第三户型图，包括：

获取至少一张所述第一三维模型的场景图片；

根据所述场景图片和所述第二网络模型，生成第三户型图，每一所述第三户型图与一张所述场景图片对应，每一所述第三户型图为所述第三户型图对应的所述场景图片的风格渲染图。

4.根据权利要求1-3中任意一项所述的家具布局及三维可视化方法，其特征在于，所述方法，还包括：

根据所述第一户型图和预设边界提取算法，提取所述第一户型图的墙壁信息。

5.一种家具布局及三维可视化装置，其特征在于，所述装置，包括：

获取模块，用于获取第二户型图，所述第二户型图中包括家具信息和墙壁信息；

第一生成模块，用于根据所述第二户型图和预设脚本，生成第一三维模型，所述第一三维模型为所述第二户型图的三维模型；

第二生成模块，用于根据所述第一三维模型和第二网络模型，生成第三户型图，所述第三户型图为所述第一三维模型中场景图片的风格渲染图；

所述获取模块包括：第一确定子模块、第二确定子模块和优化子模块；

所述第一确定子模块，用于根据第一户型图和第一网络模型，确定所述第二户型图和各个家具的家具预测图，每一所述家具预测图中包括一种家具的预测信息；

所述第二确定子模块，用于根据所述各个家具的所述家具预测图，确定各个家具的家具信息；

所述优化子模块，用于根据所述各个家具的所述家具信息，优化完善所述第二户型图中各个家具的预测信息；

所述第二确定子模块，具体用于对所述家具预测图进行二值化处理，所述家具预测图中包括一种家具，所述家具预测图中包括属于对应种类家具的至少一个家具；

使用深度优先搜索算法，提取所述家具预测图中各个所述家具的包围盒；

根据预设冲突检测算法和各个所述家具的所述包围盒，确定各个所述家具的位置信息；

根据各个所述家具的包围盒和墙壁信息，确定各个家具的规格信息；

根据各个所述家具的所述位置信息和所述墙壁信息，确定各个所述家具的朝向信息。

6.一种电子设备，其特征在于，所述设备，包括：存储器，处理器；

所述存储器用于存储计算机程序；所述处理器用于根据所述存储器存储的计算机程序，实现如权利要求1至4中任意一项所述的家具布局及三维可视化方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1至4任一项所述的家具布局及三维可视化方法。

Images