CN109871604A - 基于深度对抗网络模型的室内功能区划分方法 - Google Patents

基于深度对抗网络模型的室内功能区划分方法 Download PDF

Info

Publication number
CN109871604A
CN109871604A CN201910097363.4A CN201910097363A CN109871604A CN 109871604 A CN109871604 A CN 109871604A CN 201910097363 A CN201910097363 A CN 201910097363A CN 109871604 A CN109871604 A CN 109871604A
Authority
CN
China
Prior art keywords
network model
dcgan
neural network
furniture
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910097363.4A
Other languages
English (en)
Other versions
CN109871604B (zh
Inventor
杨柏林
李刘刘
宋超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201910097363.4A priority Critical patent/CN109871604B/zh
Publication of CN109871604A publication Critical patent/CN109871604A/zh
Application granted granted Critical
Publication of CN109871604B publication Critical patent/CN109871604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于深度对抗网络模型的室内功能区划分方法。本发明首先把一个空的房间根据具体使用划分成若干矩形的功能区域。进一步,对传统的生成式条件对抗网络进行改进,并应用实际工程数据集进行训练用以学习这些功能区之间的相对关系,以及功能区位置大小和过道,门窗,户型形状的内在联系,获得生成式功能区分割模型。最后,在房间功能区域划分基础之上,选择各自区域的一个主家具,用层次关联结构对家具集群在各自区域内部进行位置,朝向的描述。最终完成室内家具的自动布局,本发明的布局有效的利用了空间且美观,并且能够满足人们使用、通行等方面的要求。

Description

基于深度对抗网络模型的室内功能区划分方法
技术领域
本发明属于计算机视觉图像处理领域,具体涉及一种基于深度对抗网络(DCGAN)模型对室内空间进行功能区域划分的方法。
背景技术
室内场景的布局及合成是当前计算机图形学、虚拟现实等领域研究的重要问题之一,随着数字娱乐、室内导航以及室内设计等方面需求的不断提高,其中,自动、智能的家具布局方法越来越受到研究和应用的重视。
近年来,家具自动布局问题的大致方法可以归为三类,一类是基于规则的方法(Rule based),通过在一个户型中对不同的物件,定义一系列不同的位置约束,如物件不能穿越墙体;过道上不能备物件阻挡等,进而通过求解约束的最优化问题来确定物体出现的位置。其二是基于草图的方法(Sketch based),从一个草图,或者一个粗略的3D扫描样版,丰富完善形成一个完善的3D场景。另一类是基于数据驱动的方法,或者基于学习的方法,该类方法从海量的数据中学习到一种层次的概率模型,根据每一物件出现在空间位置的概率确定布局位置。本发明方法属于第三类方法范畴。
发明内容
本发明针对当前计算机辅助室内设计方面,智能化不足提出了一种基于深度对抗网络对室内空间进行功能区划分的方法。该方法能够对一个空户型,进行最合理的功能区划分。比如在客厅合理的位置划分出,用餐区,视听区,休闲区。
本发明包括以下步骤:
第一步:数据集制作
从家具布局完善的户型图中提取卧室,客厅,书房布局图,并对这些房间标注门窗;按照家具功能的类似程度和集中情况,圈出功能区;这些处理过的布局图,被用作模型的训练,所述的功能区是指一个户型中的家具按照其功能属性集中成群出现在户型中的若干个区域。
第二步:把数据集输入DCGAN神经网络模型进行训练,并对模型进行参数调整和结构改善;进过训练、参数调整和结构改善后的DCGAN神经网络模型,其输入为空的户型图;输出即为功能区划分完毕的户型图。
所述的DCGAN神经网络模型经过了以下的迭代训练:
S1.随机噪声联合空户型信息输入DCGAN神经网络模型中的生成器,生成器产生一组初代假样本。
S2.使用第一步得到的数据集,训练DCGAN神经网络模型中的判别器,判别器返回一个概率阈值参数,用于反映此轮生成器产生样本接近真实样本的程度。
S3.利用判别网络的返回的概率阈值参数指导生成器调整自身模型参数,生成一组比上次迭代更为标准的样本。
S4.返回S2,迭代调整到判别器无法判断生成器生成样本是否为真实样本时停止迭代。
本发明的有益效果:本发明创造性的使用深度对抗网络来解决户型区域划分这一类问题。这在以往的工作中是没有过的。具体对比背景技术提到的三个方面说明其有益效果。一,相比传统的基于规则的方法而言,本发明不用指定复杂的规则,时间代价最小。二,相比于基于样例的方法,本发明方法更为灵活,能够适应各种复杂多变的户型,三,相对于一般的数据驱动方法,本发明中的模型更加容易训练——传统的深度学习达到相同的效果需要数万个样本进行训练,而本发明中的模型是一种半监督学习,只使用400例样本训练就达到了很好的效果,稳定性也更好。
附图说明
图1为圈出功能区的卧室示意图。
图2为圈出功能区的客厅示意图。
图3为圈出功能区的书房示意图。
图4为区域划分效果图。
图5为填充家具后效果图。
具体实施方式
本发明首先把一个空的房间根据具体使用划分成若干矩形的功能区域,例如比如沙发和茶几大概率组成会谈区域;电视、电视柜和音箱会出现在一起组成娱乐区域;餐桌和椅子组成用餐区域等。进一步,对传统的生成式条件对抗网络进行改进,并应用实际工程数据集(从室内设计公司获得)进行训练用以学习这些功能区之间的相对关系,以及功能区位置大小和过道,门窗,户型形状的内在联系,获得生成式功能区分割模型。最后,在房间功能区域划分基础之上,选择各自区域的一个主家具,用层次关联结构对家具集群在各自区域内部进行位置,朝向的描述。最终完成室内家具的自动布局,本发明的布局有效的利用了空间且美观,并且能够满足人们使用、通行等方面的要求。
实施例:
第一步:数据集制作,首先从家具布局完善的户型图中提取卧室,客厅,书房布局图。并对这些房间标注门窗,按照家具功能的类似程度和集中情况。圈出功能区,分别见图1,图2,图3。这些处理好的布局图,被用作模型的训练。
第二步:把数据集输入DCGAN神经网络模型进行训练。并对的模型进行参数调整和结构改善。采用DCGAN神经网络模型来解决房间功能区划分问题,即输入空的户型图,经DCGAN神经网络模型输出,功能区划分完毕的户型图。
为解决DCGAN太过自由这个问题,将我们的空户型的轮廓和门窗位置信息作为条件变量,用于约束我们室内功能区的划分。具体迭代训练可以分为四步,
1,随机噪声联合空户型信息输入DCGAN神经网络模型中的生成器,生成器产生一组初代假样本。
2,使用第一步得到的数据集,训练DCGAN神经网络模型中的判别器,判别器返回一个概率阈值参数,用于反映此轮生成器产生样本接近真实样本的程度,该参数为0.5时生成样本最接近真实样本。
3,利用判别网络的返回的概率阈值参数指导生成器调整自身模型参数,生成一组比上次迭代更为标准的样本。
4,返回2,迭代调整到判别器无法判断生成器生成样本是否为真实样本时停止迭代。
本发明的生成器是U-net结构,而判别器设计成一个二维的卷积,最后一层经过sigmod函数处理用于返回一个概率阈值参数,DCGAN模型训练的各个重要参数如下:
学习率η:学习速率决定着每一次循环训练中的权值变化量。本发明设置学习速率η=0.002,确保在较小的时间复杂度下模型的效果最佳。
迭代次数:为了尽可能产生最佳的预测结果,在模型中设置epoch=250来迭代特征。
最小训练批量:一次训练使用16张数据集中的图片进入DCGAN网络训练。
训练完成后,使用本发明对120例空户型进行区域划分测试。结果表明本发明无论是在时间代价还是区域划分的准确性上,都有着十分出众的效果,具体效果可参考图4,填充对应场景家具之后见图5。

Claims (4)

1.基于深度对抗网络模型的室内功能区划分方法,其特征在于该方法包括以下步骤:
第一步:数据集制作;
从家具布局完善的户型图中提取卧室,客厅,书房布局图,并对这些房间标注门窗;按照家具功能的类似程度和集中情况,圈出功能区;这些处理过的布局图,被用作模型的训练,所述的功能区是指一个户型中的家具按照其功能属性集中成群出现在户型中的若干个区域;
第二步:把数据集输入DCGAN神经网络模型进行训练,并对模型进行参数调整和结构改善;进过训练、参数调整和结构改善后的DCGAN神经网络模型,其输入为空的户型图;输出即为功能区划分完毕的户型图;
所述的DCGAN神经网络模型经过了以下的迭代训练:
S1.随机噪声联合空户型信息输入DCGAN神经网络模型中的生成器,生成器产生一组初代假样本;
S2.使用第一步得到的数据集,训练DCGAN神经网络模型中的判别器,判别器返回一个概率阈值参数,用于反映此轮生成器产生样本接近真实样本的程度;
S3.利用判别网络的返回的概率阈值参数指导生成器调整自身模型参数,生成一组比上次迭代更为标准的样本;
S4.返回S2,迭代调整到判别器无法判断生成器生成样本是否为真实样本时停止迭代。
2.根据权利要求1所述的基于深度对抗网络模型的室内功能区划分方法,其特征在于:所述的概率阈值参数为0.5时,生成样本最接近真实样本。
3.根据权利要求1所述的基于深度对抗网络模型的室内功能区划分方法,其特征在于:所述的生成器是U-net结构,而判别器设计成一个二维的卷积,最后一层经过sigmod函数处理用于返回一个概率阈值参数。
4.根据权利要求1至3中任一项所述的基于深度对抗网络模型的室内功能区划分方法,其特征在于:所述的DCGAN神经网络模型进行训练时其学习速率η=0.002,迭代次数epoch=250。
CN201910097363.4A 2019-01-31 2019-01-31 基于深度对抗网络模型的室内功能区划分方法 Active CN109871604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910097363.4A CN109871604B (zh) 2019-01-31 2019-01-31 基于深度对抗网络模型的室内功能区划分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910097363.4A CN109871604B (zh) 2019-01-31 2019-01-31 基于深度对抗网络模型的室内功能区划分方法

Publications (2)

Publication Number Publication Date
CN109871604A true CN109871604A (zh) 2019-06-11
CN109871604B CN109871604B (zh) 2023-05-16

Family

ID=66918364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910097363.4A Active CN109871604B (zh) 2019-01-31 2019-01-31 基于深度对抗网络模型的室内功能区划分方法

Country Status (1)

Country Link
CN (1) CN109871604B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263432A (zh) * 2019-06-19 2019-09-20 广州神蛋网络科技有限公司 一种装修方案自动获取方法
CN110390153A (zh) * 2019-07-15 2019-10-29 贝壳技术有限公司 户型结构改造方案的生成方法、装置以及设备、存储介质
CN110542424A (zh) * 2019-09-03 2019-12-06 江苏艾佳家居用品有限公司 一种户型空间区域自动导航的方法及系统
CN110751721A (zh) * 2019-12-24 2020-02-04 广东博智林机器人有限公司 家具布局图纸的生成方法和装置、计算机设备及存储介质
CN110795858A (zh) * 2019-11-06 2020-02-14 广东博智林机器人有限公司 家装设计图纸的生成方法和装置
CN111104879A (zh) * 2019-12-09 2020-05-05 贝壳技术有限公司 房屋功能间的识别方法和装置、可读存储介质、电子设备
CN111104704A (zh) * 2019-12-10 2020-05-05 杭州群核信息技术有限公司 柜体内部布局设计方法、装置、系统以及存储介质
WO2021008566A1 (en) * 2019-07-15 2021-01-21 Ke.Com (Beijing) Technology Co., Ltd. Artificial intelligence systems and methods for interior design
CN112257328A (zh) * 2020-07-08 2021-01-22 武汉智筑完美家居科技有限公司 家具布局方法及电子设备
CN112991540A (zh) * 2021-03-31 2021-06-18 北京房江湖科技有限公司 房屋模型的区域分割方法和装置、存储介质、电子设备
CN113536680A (zh) * 2021-07-20 2021-10-22 杭州群核信息技术有限公司 家装设计方法、装置、计算机可读存储介质和处理器
CN113705111A (zh) * 2021-09-22 2021-11-26 百安居信息技术(上海)有限公司 一种基于深度学习的装修家具自动布局方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650202A (zh) * 2016-09-18 2017-05-10 中国科学院计算技术研究所 一种数据驱动的室内区域布局预测方法及系统
CN107563509A (zh) * 2017-07-17 2018-01-09 华南理工大学 一种基于特征返回的条件dcgan模型的动态调整算法
CN108984904A (zh) * 2018-07-17 2018-12-11 北京理工大学 一种基于深度神经网络的家居设计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650202A (zh) * 2016-09-18 2017-05-10 中国科学院计算技术研究所 一种数据驱动的室内区域布局预测方法及系统
CN107563509A (zh) * 2017-07-17 2018-01-09 华南理工大学 一种基于特征返回的条件dcgan模型的动态调整算法
CN108984904A (zh) * 2018-07-17 2018-12-11 北京理工大学 一种基于深度神经网络的家居设计方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD,ETC.: "UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS", 《ARXIV:1511.06434V1》 *
ANKUR HANDA,ETC.: "SceneNet: an Annotated Model Generator for Indoor Scene Understanding", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
KARI ANNE HOIER KJOLAAS: "Automatic Furniture Population of Large Architectural Models", 《MASSACHUSTTS INSTITUTE OF TECHNOLOGY》 *
ZAIWEI ZHANG: "Deep Generative Modeling for Scene Synthesis via Hybrid Representations", 《ARXIV:1808.02084V》 *
刘米兰,等: "基于案例库的室内区域自动布局方法", 《计算机辅助设计与图形学学报》 *
黄鹏: "基于样本库的室内场景自动生成", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263432A (zh) * 2019-06-19 2019-09-20 广州神蛋网络科技有限公司 一种装修方案自动获取方法
CN110390153B (zh) * 2019-07-15 2020-06-16 贝壳找房(北京)科技有限公司 户型结构改造方案的生成方法、装置以及设备、存储介质
CN110390153A (zh) * 2019-07-15 2019-10-29 贝壳技术有限公司 户型结构改造方案的生成方法、装置以及设备、存储介质
WO2021008566A1 (en) * 2019-07-15 2021-01-21 Ke.Com (Beijing) Technology Co., Ltd. Artificial intelligence systems and methods for interior design
CN110542424A (zh) * 2019-09-03 2019-12-06 江苏艾佳家居用品有限公司 一种户型空间区域自动导航的方法及系统
CN110795858B (zh) * 2019-11-06 2023-04-07 广东博智林机器人有限公司 家装设计图纸的生成方法和装置
CN110795858A (zh) * 2019-11-06 2020-02-14 广东博智林机器人有限公司 家装设计图纸的生成方法和装置
CN111104879B (zh) * 2019-12-09 2020-11-27 贝壳找房(北京)科技有限公司 房屋功能间的识别方法和装置、可读存储介质、电子设备
CN111104879A (zh) * 2019-12-09 2020-05-05 贝壳技术有限公司 房屋功能间的识别方法和装置、可读存储介质、电子设备
CN111104704A (zh) * 2019-12-10 2020-05-05 杭州群核信息技术有限公司 柜体内部布局设计方法、装置、系统以及存储介质
CN111104704B (zh) * 2019-12-10 2023-08-18 杭州群核信息技术有限公司 柜体内部布局设计方法、装置、系统以及存储介质
CN110751721A (zh) * 2019-12-24 2020-02-04 广东博智林机器人有限公司 家具布局图纸的生成方法和装置、计算机设备及存储介质
CN112257328A (zh) * 2020-07-08 2021-01-22 武汉智筑完美家居科技有限公司 家具布局方法及电子设备
CN112257328B (zh) * 2020-07-08 2021-09-28 武汉智筑完美家居科技有限公司 家具布局方法及电子设备
CN112991540A (zh) * 2021-03-31 2021-06-18 北京房江湖科技有限公司 房屋模型的区域分割方法和装置、存储介质、电子设备
CN113536680A (zh) * 2021-07-20 2021-10-22 杭州群核信息技术有限公司 家装设计方法、装置、计算机可读存储介质和处理器
CN113705111A (zh) * 2021-09-22 2021-11-26 百安居信息技术(上海)有限公司 一种基于深度学习的装修家具自动布局方法及系统
CN113705111B (zh) * 2021-09-22 2024-04-26 百安居网络技术(上海)有限公司 一种基于深度学习的装修家具自动布局方法及系统

Also Published As

Publication number Publication date
CN109871604B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN109871604A (zh) 基于深度对抗网络模型的室内功能区划分方法
CN103473801B (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN101751689B (zh) 一种三维人脸重建方法
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN107679491A (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN100440257C (zh) 一种虚拟人群运动的三维可视化方法
CN110298916B (zh) 一种基于合成深度数据的三维人体重建方法
CN110097609A (zh) 一种基于样本域的精细化绣花纹理迁移方法
CN103077552B (zh) 一种基于多视点视频的三维展示方法
CN111476241B (zh) 一种人物服饰转换方法及系统
CN110335344A (zh) 基于2d-3d注意机制神经网络模型的三维重建方法
Henderson et al. Automatic generation of constrained furniture layouts
CN109785227A (zh) 基于卷积神经网络的人脸情感颜色迁移方法
CN109448131A (zh) 一种基于Kinect的虚拟钢琴弹奏系统的构建方法
CN102693549A (zh) 一种虚拟人群运动的三维可视化方法
Reverdy et al. Optimal marker set for motion capture of dynamical facial expressions
CN105809742B (zh) 一种数据驱动的室内场景着色方法
Cui et al. Film effect optimization by deep learning and virtual reality technology in new media environment
CN116777738A (zh) 基于服装区域对齐和风格保持调制的真实性虚拟试穿方法
CN116665300A (zh) 基于时空自适应特征融合图卷积网络的骨架动作识别方法
Jeong et al. 3d scene painting via semantic image synthesis
Baraheem et al. Text-to-image via mask anchor points
Liu et al. Robust and automatic clothing reconstruction based on a single RGB image
Ting-Ting et al. Interest points guided convolution neural network for furniture styles classification
Sun A digital feature recognition technology used in ballet training action correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant