CN113052971A - 一种基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质 - Google Patents

Abstract

本发明公开了一种基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质，包括：依据三维场景模型获得基于图像的三维场景表示，并标注存在的灯具情况，得到标记的三维场景表示；利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计；在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置；否则，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别灯具仅使用位置设计模型获得灯具设计位置。这样能够实现对室内灯具的合理和准确布局设计。

Description

一种基于神经网络的室内灯具自动布局设计方法、装置、系统 及存储介质

技术领域

本发明属于室内场景辅助设计领域，尤其涉及一种基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质。

背景技术

在室内设计领域，尤其是室内灯光的设计领域，一个自动的灯具布局设计方法有着十分重要的意义。灯具是室内设计中不可缺少的元素，它不仅具有家具的属性，同时决定了发光的位置，从而影响到室内空间的光照效果。但是和室内家具放置不同，灯具的位置往往存在于室内空间的更多地方，比如天花板和墙壁上，而大部分的家具则是放置在地板上。室内灯具设计实际上是一个复杂的任务，它需要考虑房间的整体结构信息，已放置家具的布局信息，一个好的灯具布局设计需要专业丰富的设计经验。即使是在目前最专业的灯光设计软件中，对于灯具布局的设计也需要不停的修改与迭代，这是一个费时费力的过程。

近些年来，人们使用数据驱动的方法对多种设计流程的自动化进行了探索。比如室内的家具放置，户型设计以及建筑与规划设计。与此同时，为了驱动这些方法，人们也构建了一些室内三维场景数据集。这些相关的工作证明了基于深度学习的方法可以从大量的三维场景数据中学习到设计的规则，从而自动的对新的场景进行合理的设计，如公告号为CN108984904A公开的一种基于深度神经网络的家居设计方法。然而，目前并没有针对灯具布局进行设计的方法，考虑到灯具布局的特殊性，直接使用已有的基于数据驱动的自动家具放置方法无法完整的考虑房间信息以及放置到天花板与墙壁上，所以需要一个针对灯具布局的自动设计方法。

公告号为CN107491590A的专利申请公开了一种基于BIM技术模拟室内灯光灯具预排布方法，包括：建立室内空间三维模型；创建天花造型结构模型；采用单位容量法计算室内空间三维模型所需的灯光照度和灯具数量；根据灯光照度和灯具数量，对天花造型结构模型进行虚拟灯具排布；进行室内灯光环境的渲染，模拟室内灯光效果；根据所模拟的室内灯光效果，调整虚拟灯具排布；制作并导出经调整的虚拟灯具排布的工程图。该方法通过渲染结果调整虚拟灯具排布，计算消耗大，实际设计中并不适用。

发明内容

鉴于上述，本发明的目的是提供一种基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质，能够有效地学习出给定数据集中隐含的灯具布局设计原则，并在新的场景中自动地设计出合理的灯具布局。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种基于神经网络的室内灯具自动布局设计方法，包括以下步骤：

依据三维场景模型获得基于图像的三维场景表示，在基于图像的三维场景表示中标注已经存在的灯具情况，得到标记的三维场景表示；

利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计；

在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置；否则，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别的灯具仅使用位置设计模型获得灯具设计位置，实现对室内灯具自动布局设计。

第二方面，一种基于神经网络的室内灯具自动布局设计装置，包括：

生成模块，用于依据三维场景模型获得基于图像的三维场景表示，在基于图像的三维场景表示中标注已经存在的灯具情况，得到标记的三维场景表示；

灯具类别设计模块，用于利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计；

灯具位置设计模块，用于在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置；否则，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别的灯具仅使用位置设计模型获得灯具设计位置，实现对室内灯具自动布局设计。

第三方面，一种基于神经网络的室内灯具自动布局设计系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于神经网络的室内灯具自动布局设计方法。

第四方面，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述基于神经网络的室内灯具自动布局设计方法步骤。

与现有技术相比，具有的有益效果至少包括：

本发明提供的基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质，在获得三维场景模型的基于图像的三维场景表示表达的基础上，利用类别设计模型、筒灯设计模型、位置设计模型以及壁灯设计模型这4个模型实现对灯具类别判定后，依据灯具类别结果选择与灯具类别对应的方式设计灯具位置，这样能够实现对室内灯具的合理和准确布局设计。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于神经网络的室内灯具自动布局设计方法的流程图；

图2是实施例提供的为筒灯设计位置的设计流程图；

图3是实施例提供的为壁灯设计位置的设计流程图；

图4是实施例提供的基于神经网络的室内灯具自动布局设计装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了实现对室内灯具自动布局设计，实施例提供了一种基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质，通过有效地学习出给定数据集中隐含的灯具布局设计原则，并在新室内场景中根据房间和家具放置情况自动的设计出合理的灯具布局。

图1是实施例提供的基于神经网络的室内灯具自动布局设计方法的流程图。如图1所示，实施例提供的室内灯具自动布局设计方法包括以下步骤：

步骤1，依据三维场景模型获得基于图像的三维场景表示，在基于图像的三维场景表示中标注已经存在的灯具情况，得到标记的三维场景表示。

基于图像的三维场景表示是指通过图像的方式对三维场景进行描述表示。实施例中，基于图像的三维场景表示包括房间结构图、自上而下视角的特征图、自下而上视角的特征图、墙壁的特征图。

其中，房间结构图为表示房间结构的相关图像，包括表示房间覆盖范围的图像和表示墙壁及门窗信息的图像；自上而下视角的底特征图包括房间和家具放置信息的深度、反射率和法向的图像；自下而上视角的顶特征图包括房间和吊顶信息的深度、反射率和法向的图像；墙壁特征图包括每个墙壁深度的图像。

针对墙壁特征图，实施例中，将每个墙壁沿着房间向外的法线方向投影到地板所在的平面上(类似于把墙面推倒)，同时通过深度值记录了墙壁和墙壁上物体的信息。该墙壁特征图仅在壁灯设计过程的壁灯设计模型中使用，其他模型使用的基于图像的三维场景表示并不包含墙壁特征图。

在获得基于图像的三维场景表示后，还需要对三维场景中已经存在的灯具进行位置标注，实施例中，在每个灯具处采用方形块标注灯具位置，这样的方形块表示可以方便网络学习的过程。将标记有灯具类别和位置的三维场景表示统称为标记的三维场景表示。

步骤2，利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计。

实施例中，对于设计灯具的类别采用基于神经网络的类别设计模型进行类别预测任务，神经网络可以采用Resnet-18网络，通过对Resnet-18网络进行样本学习来优化网络参数，以获得参数确定的类别设计模型，学习过程中，输入为基于图像的三维场景表示以及当前存在的每种类别的灯具数量构成的向量，也就是标记的三维场景表示构成的向量，输出为每种灯具类别的概率分布。实施例中，灯具的类别包括但不限于吊灯、吸顶灯、筒灯、台灯、落地灯、壁灯、床头吊灯。由于室内灯具自动布局设计过程是个循环的过程，且当布局达到某种程度时即停止设计，为了实现该功能，实施例巧妙地将是否停止设计任务也集合到类别设计模型中，即让类别设计模型在学习类别预测任务的同时还学习基于输入三维场景表示中包含的布局状态判定是否要停止设计的二分类任务，这样获得的类别设计模型在预测灯具类别分类的同时，还出于是否停止设计的分类结果，当分类结果为停止设计时，则整个循环设计过程结束，当分类结果不是停止设计时，则继续循环设计，即继续执行步骤3。

步骤3，在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置。

实施例中，采用神经网络的方式预测筒灯设计位置，即以标记的除墙壁特征图外的三维场景表示作为输入，依据神经网络在学习过程中学习的映射关系来标记筒灯设计位置。

实施例中，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置包括：

当筒灯设计模型依据除去墙壁特征图的标记的三维场景表示获得筒灯设计位置的像素分布时，则对像素分布进行向量化得到筒灯设计位置，并对筒灯设计位置进行对齐处理。

举例说明，当考虑到筒灯放置需要考虑到对称性等复杂因素以及数量较多，本实施例可以采用一个基于Pix2pixHD网络框架的生成对抗网络进行所有筒灯的预测而不是逐个迭代的预测。网络的输出为每个像素的分类结果，每个像素可能的分类为室外、室内但不是筒灯位置、筒灯位置。对于这种情况，如图2所示，在利用生成对抗网络构建的筒灯设计模型获得筒灯设计位置的像素分布后，需要对像素分布进行向量化得到筒灯设计位置，并对筒灯设计位置进行对齐处理。

实施例中，可以采用基于扫描线的算法来将像素分布的大致位置拟合为一系列正方形表示，即正方形表示的位置即为筒灯设计位置。

实施例中，对筒灯设计位置进行对齐处理包括：

设定对齐阈值，针对每个墙壁，依据对齐阈值筛选靠近墙壁的所有设计筒灯，并依据所有设计筒灯靠近墙壁距离的平均值作为对齐距离，依据该对齐距离对所有筒灯进行相对墙体的对齐操作，同时均匀设计筒灯之间的距离相等。举例说明，当设计对齐阈值为7m时，则使用对齐阈值7m来判断灯具是否靠近墙壁，对靠近同一墙壁的所有筒灯计算筒灯距墙壁的平均距离并将筒灯放置到相同的距离，同时通过移动筒灯的位置使筒灯之间的间距变得相等。

步骤4，在不停止设计时，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别的灯具仅使用位置设计模型获得灯具设计位置。由于筒灯的排布方式与其他类型的等的排布方式有些不同，所以当预测的灯具类别不是筒灯时，采用位置设计模型获得灯具设计位置，当的灯具类别为壁灯时，采用不同的设计方式，具体分为两步，即采用位置设计模型为灯具位置的初步设计，然后采用壁灯设计模型对壁灯进行设计获得壁灯设计位置。

实施例中，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置包括：

利用位置设计模型依据除去墙壁特征图的标记的三维场景表示获得显示在顶或地上的灯具初步设计位置，在灯具类别为壁灯时，依据标记的三维场景表示和灯具初步设计位置结果采用壁灯设计模型获得显示在墙上的壁灯设计位置。

位置设计模型主要包含一个用于预测非筒灯灯具初步位置的神经网络，实施例中可以基于Resnet-34的分类网络来进行灯具位置的预测任务，当输入为不包含墙壁特征图的标记的三维场景表示输入至Resnet-34分类网络时，即可以预测出一个位置概率分布图，此时使用具有最大概率的像素作为灯具初步设计位置，该灯具初步设计位置一般显示在自下而上的顶视角图上或者自上而下的地视角图上。

当灯具类别是壁灯时，在获得灯具初步设计位置的基础上，再使用壁灯设计模型在墙壁上进行壁灯位置的设计。壁灯预测模块主要包含一个用来预测壁灯在墙壁上的位置的神经网络。由于壁灯位置必须放置在墙壁上，仅使用自上向下的特征图作为输入无法满足要求，必须提供墙壁相关的信息才能正确的预测在墙壁上的位置。基于此，参见图3，具体壁灯位置设计过程包括：

根据位置设计模型获得的灯具初步设计位置选择临近的需要展开的墙壁，把此墙壁对应的墙壁深度图加入到基于图像的三维场景表示中；然后使用壁灯设计模型基于包含墙壁深度图的基于图像的三维场景表示预测壁灯在墙壁上的壁灯设计位置，最后，将显示在墙壁上的壁灯设计位置重新投影回顶视角图上或者地视角图上以确定最终的壁灯设计位置。实施例中使用基于Resnet-34的分类网络来进行壁灯设计任务，与位置预先设计模块中的神经网络结构基本相同。

步骤5，综合步骤3的灯具设计结果和步骤4的灯具设计结果，实现对室内灯具自动布局设计。

实施例中，在使用前，将上述类别设计模型、筒灯设计模型、位置设计模型以及壁灯设计模型分别进行训练，以优化网络参数，将一次设计过程获得的显示在顶视角图或地视角图上的灯具设计位置反馈到输入，作为已经存在的灯具情况，用于下一次设计的模型输入数据。整个设计过程经过多次的迭代，直到类别设计模型决定停止整个室内灯具自动布局设计流程位置。

实施例提供的基于神经网络的室内灯具自动布局设计方法，通过4个模型能够有效地学习出给定数据集中隐含的灯具布局设计原则后，利用4个模型实现对灯具类别判定后，依据灯具类别结果选择与灯具类别对应的方式设计灯具位置，即这样能够在新场景中根据房间和家具放置情况自动设计出合理的灯具布局。

如图4所示，实施例还提供了基于神经网络的室内灯具自动布局设计装置400，包括：

生成模块410，用于依据三维场景模型获得基于图像的三维场景表示，在基于图像的三维场景表示中标注已经存在的灯具情况，得到标记的三维场景表示；

灯具类别设计模块420，用于利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计；

灯具位置设计模块430，用于在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置；否则，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别的灯具仅使用位置设计模型获得灯具设计位置，实现对室内灯具自动布局设计。

需要说明的是，实施例提供的基于神经网络的室内灯具自动布局设计装置在进行室内灯具自动布局设计时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，实施例提供的基于神经网络的室内灯具自动布局设计装置与基于神经网络的室内灯具自动布局设计方法实施例属于同一构思，其具体实现过程详见基于神经网络的室内灯具自动布局设计方法实施例，这里不再赘述。

实施例还提供了一种基于神经网络的室内灯具自动布局设计系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于神经网络的室内灯具自动布局设计方法。

一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述基于神经网络的室内灯具自动布局设计方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于神经网络的室内灯具自动布局设计方法，其特征在于，包括以下步骤：

依据三维场景模型获得基于图像的三维场景表示，在基于图像的三维场景表示中标注已经存在的灯具情况，得到标记的三维场景表示；

利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计；

在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置；否则，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别的灯具仅使用位置设计模型获得灯具设计位置，实现对室内灯具自动布局设计。

2.如权利要求1所述的基于神经网络的室内灯具自动布局设计方法，其特征在于，所述基于图像的三维场景表示包括房间结构图、自上而下视角的特征图、自下而上视角的特征图、墙壁的特征图；

其中，所述房间结构图包括表示房间覆盖范围的图像和表示墙壁及门窗信息的图像；所述自上而下视角的底特征图包括房间和家具放置信息的深度、反射率和法向的图像；所述自下而上视角的顶特征图包括房间和吊顶信息的深度、反射率和法向的图像；所述墙壁特征图包括每个墙壁深度的图像。

3.如权利要求2所述的基于神经网络的室内灯具自动布局设计方法，其特征在于，所述依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置包括：

当筒灯设计模型依据除去墙壁特征图的标记的三维场景表示获得筒灯设计位置的像素分布时，则对像素分布进行向量化得到筒灯设计位置，并对筒灯设计位置进行对齐处理。

4.如权利要求3所述的基于神经网络的室内灯具自动布局设计方法，其特征在于，所述对筒灯设计位置进行对齐处理包括：

设定对齐阈值，针对每个墙壁，依据对齐阈值筛选靠近墙壁的所有设计筒灯，并依据所有设计筒灯靠近墙壁距离的平均值作为对齐距离，依据该对齐距离对所有筒灯进行相对墙体的对齐操作，同时均匀设计筒灯之间的距离相等。

5.如权利要求2所述的基于神经网络的室内灯具自动布局设计方法，其特征在于，所述依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置包括：

利用位置设计模型依据除去墙壁特征图的标记的三维场景表示获得显示在顶或地上的灯具初步设计位置，在灯具类别为壁灯时，依据标记的三维场景表示和灯具初步设计位置结果采用壁灯设计模型获得显示在墙上的壁灯设计位置。

6.如权利要求1所述的基于神经网络的室内灯具自动布局设计方法，其特征在于，在使用前，所述类别设计模型、筒灯设计模型、位置设计模型以及壁灯设计模型联合起来训练，以优化网络参数，将一次设计过程获得的显示在顶视角图或地视角图上的灯具设计位置反馈到输入，作为已经存在的灯具情况，用于下一次设计的模型输入数据。

7.一种基于神经网络的室内灯具自动布局设计装置，其特征在于，包括：

生成模块，用于依据三维场景模型获得基于图像的三维场景表示，在基于图像的三维场景表示中标注已经存在的灯具情况，得到标记的三维场景表示；

灯具类别设计模块，用于利用基于神经网络构建的类别设计模型对标记的三维场景表示预测下一个设计灯具的灯具类别和是否停止设计；

灯具位置设计模块，用于在不停止设计时，当预测的灯具类别为筒灯时，依据标记的三维场景表示采用基于神经网络的筒灯设计模型获得筒灯设计位置；否则，当预测的灯具类别为壁灯时，依据标记的三维场景表示采用位置设计模型和壁灯设计模型获得壁灯设计位置，其他类别的灯具仅使用位置设计模型获得灯具设计位置，实现对室内灯具自动布局设计。

8.一种基于神经网络的室内灯具自动布局设计系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～6任一项所述的基于神经网络的室内灯具自动布局设计方法。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求1～6任一项所述的基于神经网络的室内灯具自动布局设计方法步骤。

Images