CN111161379B - 基于深度学习的空户型特征检测的室内家居自动布局方法 - Google Patents

基于深度学习的空户型特征检测的室内家居自动布局方法 Download PDF

Info

Publication number
CN111161379B
CN111161379B CN201911282559.7A CN201911282559A CN111161379B CN 111161379 B CN111161379 B CN 111161379B CN 201911282559 A CN201911282559 A CN 201911282559A CN 111161379 B CN111161379 B CN 111161379B
Authority
CN
China
Prior art keywords
furniture
deep learning
model
house type
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911282559.7A
Other languages
English (en)
Other versions
CN111161379A (zh
Inventor
陈旋
吕成云
林善冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Aijia Household Products Co Ltd
Original Assignee
Jiangsu Aijia Household Products Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Aijia Household Products Co Ltd filed Critical Jiangsu Aijia Household Products Co Ltd
Priority to CN201911282559.7A priority Critical patent/CN111161379B/zh
Publication of CN111161379A publication Critical patent/CN111161379A/zh
Application granted granted Critical
Publication of CN111161379B publication Critical patent/CN111161379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的空户型特征检测的室内家居自动布局方法。本方法在家居信息缺失情况下，仅依赖空房间门窗墙的相对位置特征，自动计算出房间中应布置的家具类型、家具大小、以及家具位置。本方法的特征主要有四点：1.输入表示空房间门窗墙视觉特征的图片张量；2.不需要额外输入待布局的家具信息；3.以深度学习在图像中的物体检测方法为门窗墙特征检测工具；4.自动输出输入的空房间中应布置的家具类型、家具大小以及家具位置。

Description

基于深度学习的空户型特征检测的室内家居自动布局方法
技术领域
本发明涉及深度学习中物体检测模型在家居自动布局领域应用，是基于深度学习的空户型特征检测的室内家居自动布局方法。
背景技术
深度学习尤其以其中的卷积神经网络为主，非常适合构建图像物体检测模型。通过合理地设计模型结构，一般地深度学习物体检测模型能够利用卷积神经网络的优势自动地学习到物体的视觉特征，达到很高的准确率。典型的例子如YOLO、RCNN、FAST-RCNN等。但这些模型一般用在物体检测上，物体检测时图片上是存在该物体的，模型通过检测物体的像素特征，从而定位并识别出物体。
在室内家居自动布局的业务背景下，通常事先只是输入一个空房间户型图，图上只有门窗墙，没有家具。因此，业务背景不同于一般的物体检测。
发明内容
本发明的创新点就是发现了：即使在没有家具相关的像素存在于图片，仅通过自动检测门窗墙的位置特征，就能用一般的物体检测模型推测出家具的类型、大小、位置。
本发明通过将物体检测模型应用在空房间的门窗墙特征检测上，解决在仅有空房间门窗墙信息情况下无中生有地预测出家具的类型、大小、位置的问题。
一种基于深度学习的空户型特征检测的室内家居自动布局方法，包括如下步骤：
第1步，获取户型图训练样本，将户型图中的房间的门窗墙和房间功能提取出，作为模型输入值，同时将房间中的家具的类型、形状和位置提取出，作为模型输出值；
第2步，构建用于预测家居布局的深度学习模型；
第3步，采用训练样本对模型进行训练；
第4步，将待布局的房间信息输入至模型中，获得家具布局结果。
所述的户型图中的房间为3通道图片，门窗墙分别用不同颜色表示。
所述的深度学习模型可以采用Mask-RCNN。
所述的模型的损失函数为：
L＝Lcls+Lbox+Lmask
其中，Lcls是家具类别预测损失：
Lcls＝-∑(Ct×log(Cp))
其中，Ct是家具类别的one-hot编码的一元素(第i类家具的第i个元素为1，其余元素为0)，Cp为模型预测出的家具为该类别的概率值；
Lbox是家具边框预测损失：
Lbox＝∑(xt-xp)2
其中，xt为家具标注的边框坐标值，xp为模型预测的家具边框坐标值；
Lmask是家具真实形状分割预测损失：
Lmask＝-∑(t×log(p)+(1-t)×log(1-p))
其中，t为当前像素属于本家具的标注，p为模型预测的当前像素属于本家具的概率。
模型的验证过程中考察家具误删率，平均IOU，全家具准确率。
有益效果
本发明中，采用深度学习中的物体检测模型作为空房间中家具类型、大小、位置的预测器。实际操作时使用Mask-RCNN作为基准物体检测模型。空房间中本无家具，但由于存在满足放置家具的门窗墙特征，使得任意一个较为成功的物体检测模型都能基于空房间预测出家具的类型、大小和位置。
模型的输入数据中，只依赖空房间的OBJ文件生成3通道图片，图片中没有任何家具的信息，方法输入端完全没有家具信息。
模型训练准备了含有家具类型、大小以及位置信息的数据作为训练数据中的标签。整个方法属于监督学习，方法本质上属于预测方法。
本发明中并未限定用何种深度学习物体检测模型，本发明的创新点在于用物体检测模型进行空房间家具的预测。输出的布局结果中，构建的家具信息预测模型，其输出包含了家具的类型、大小、位置信息。
本发明创新性的将物体检测模型用在了空房间预测家具问题上，解决了在家具信息缺失情况下预测空房间家具信息的问题。对比原始数据标签，本方法的误删率仅为5.32％；平均IOU75.45％；全家具准确率50.66％。
附图说明
图1是本发明的方法图。
图2是本发明所述方法的训练用的原始数据。
图3是实际操作时选用的Mask-RCNN的模型结构。
图4是本发明的效果图。
具体实施方式
物体检测模型一般解决的是给定图片中的存在物体，然后要求模型输出物体类型边界的问题。本发明的方法将物体检测模型应用在了非物体检测问题上。所检测的物体并不存在于输入图片中，输入图片中仅有空房间。实验发现，通过检测门窗墙的特有模型，可以利用物体检测模型预测出家具的类型、大小、位置。
第1步，生成空房间图片。基于户型图OBJ文件，生成3通道的仅包含门窗墙图片信息的空房间图片，门窗墙分别用不同颜色表示。
第2步，整理数据标签。将每个空房间中应放置的家具类型、家具大小以及家具位置等信息进行量化，与第1步中生成的图片配对整理在一起；这里对于家具的大小及位置向量化时，用的是box方框四元组，即(xmin，ymin，xmax，ymax)，用矩形来表示家具的平面形状，并通过其四个顶点的坐标值来表示位置。通过网络爬虫，我们收集了大约6万张的室内家居平面图。如图2，这些平面图既含有门窗墙信息，也含有家具布局信息。通过人工标注，我们将门窗墙以及家具用不同颜色的矩形标注出来，并且根据房间功能，将整个户型分割成厨房、卧室、客餐厅、卫生间等房间。
更具体地说：将平面图分割成不同房间后，我们即用标注结果替代原始户型图。以卧室为例，我们将整个卧室标注结果放置在一个128*128*3的张量(图)中。取8m为边，以128像素表示8米，将卧室标注结果投影进来。并将门窗墙信息和家具的布局信息(类别、大小、位置、方向)分开来。其中，门窗墙信息，如图1的左边部分，作为深度学习物体检测模型的输入图片；家具的布局信息，作为物体检测模型的理想输出，最后将与模型的真实输出一起计算损失函数，从而基于损失函数梯度，更新模型参数。
第3步，分割数据集。将数据分割成训练集、验证集和测试集。
第4步，构建家具信息预测模型。可以采用深度学习在计算机视觉物体检测中较为成功的任意一个模型：
D(.)＝Detection_CNN(·)
本发明方法可适用任意物体检测模型。实际操作时，我们采用的是Mask-RCNN模型。模型结构如图3。从输入图片开始，输入图片中仅有门窗墙信息，外观上看只是一个空房间。首先对图片进行特征抽取，这里采用的是ResNet。然后，进入RPN模块。RPN是一个轻量的神经网络，它用滑动窗口来扫描图像，并寻找存在目标的区域。RPN扫描的区域被称为anchor。通过训练，RPN模块能够快速寻找出存在目标的区域。本发明中，训练后的RPN严格意义上来说寻找的是满足摆放某类家具的门窗墙特征。经过RPN处理后，数据进入RoIAlign模块。RoIAlign模块的作用是对RPN提出的候选box通过双线性插值转换为固定大小尺寸的候选图，供后续分类-回归模型使用。RoIAlign模块之后，接着的是一个卷积神经网络，这一网络有三个目标，预测候选框中物体类别，微调候选框边界，在像素级别上预测每一像素是否属于候选框中的物体。最后的总损失函数，由前述的这三个目标对应组成。
需要说明的是，本发明在使用Mask-RCNN预测空房间中家具的布局信息时，同时也尝试对具体家具的形状进行预测。训练时使用具体家具的自然形状作为预测目标，某种程度上提高了总体预测性能。但家具自然形状的预测不作为最后模型的考核标准。
模型输出与损失函数
模型输出三部分信息，分别是家具类型，家具大小位置，家具自然形状。
损失函数也有这三部分对应损失构成：
L＝Lcls+Lbox+Lmask
其中，Lcls是家具类别预测损失：
Lcls＝-∑(Ct×log(Cp))
其中，Ct是家具类别的one-hot编码的一元素(第i类家具的第i个元素为1，其余元素为0)，Cp为模型预测出的，家具为该类别的概率值。
Lbox是家具边框预测损失：
Lbox＝∑(xt-xp)2
其中，xt为家具标注的边框坐标值，xp为模型预测的家具边框坐标值。
Lmask是家具真实形状分割预测损失：
Lmask＝-∑(t×log(p)+(1-t)×log(1-p))
其中，t为当前像素属于本家具的标注，p为模型预测的当前像素属于本家具的概率。
第5步，训练模型。利用第3步中生成的训练集训练模型。由于门窗墙属于矩形特征，相对自然图片中的复杂多边实物来说，简单很多。所以，实际操作中我们对Mask-RCNN模型中的第一模块特征抽取部分进行了简化，以减小计算量。
第6步，验证模型。利用第3步中生成的验证集验证模型。
为了验证模型效果，我们设计了三种测量指标：家具误删率，平均IOU，全家具准确率。
家具误删率，从侧面考核模型对家具类型的预测准度，定义式如下：
Figure GDA0003598082350000051
其中，nerr-del误删家具的数量，ntotal是总家具数量。
平均IOU，考核模型预测家具大小的准确率：
Figure GDA0003598082350000052
其中，Sp是预测的家具边框面积，Sl是标注的家具边框面积，Sinter是预测的家具边框与标注的家具边框的重叠面积。
全家具准确率，考核模型预测家具位置的准确率，允许预测误差4像素值，一旦有一个家具预测错误则判定这一卧室家具位置预测错误：
Figure GDA0003598082350000053
其中，nac是准确预测出所有家具位置的样本数量，nall是样本总数量。
对比原始数据标签，本方法的误删率仅为5.32％；平均IOU75.45％；全家具准确率50.66％。
第7步，测试模型。利用第3步中生成的测试集测试模型。再针对不同房间进行分别训练，但模型结构以及训练方式都相同，只是使用的训练数据不同，因此最后训练得到的参数也不同。
第8步，发布模型。模型输出家具类型、大小、位置。

Claims (4)

1.一种基于深度学习的空户型特征检测的室内家居自动布局方法，其特征在于，包括如下步骤：
第1步，获取户型图训练样本，将户型图中的房间的门窗墙和房间功能提取出，作为深度学习模型输入值，同时将房间中的家具的类型、形状和位置提取出，作为深度学习模型输出值；
第2步，构建用于预测家居布局的深度学习模型；
第3步，采用训练样本对深度学习模型进行训练；
第4步，将待布局的房间信息输入至深度学习模型中，获得家具布局结果；
所述的深度学习模型的损失函数为：
L＝Lcls+Lbox+Lmask
其中，Lcls是家具类别预测损失：
Lcls＝-∑(Ct×log(Cp))
其中，Ct是家具类别的one-hot编码的一个元素，Cp为模型预测出的家具为该类别的概率值；
Lbox是家具边框预测损失：
Lbox＝∑(xt-xp)2
其中，xt为家具标注的边框坐标值，xp为模型预测的家具边框坐标值；
Lmask是家具真实形状分割预测损失：
Lmask＝-∑(t×log(p)+(1-t)×log(1-p))
其中，t为当前像素属于本家具的标注，p为模型预测的当前像素属于本家具的概率。
2.根据权利要求1所述的基于深度学习的空户型特征检测的室内家居自动布局方法，其特征在于，所述的户型图中的房间为3通道图片，门窗墙分别用不同颜色表示。
3.根据权利要求1所述的基于深度学习的空户型特征检测的室内家居自动布局方法，其特征在于，所述的深度学习模型采用Mask-RCNN。
4.根据权利要求1所述的基于深度学习的空户型特征检测的室内家居自动布局方法，其特征在于，模型的验证过程中考察家具误删率，平均IOU，全家具准确率。
CN201911282559.7A 2019-12-13 2019-12-13 基于深度学习的空户型特征检测的室内家居自动布局方法 Active CN111161379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911282559.7A CN111161379B (zh) 2019-12-13 2019-12-13 基于深度学习的空户型特征检测的室内家居自动布局方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282559.7A CN111161379B (zh) 2019-12-13 2019-12-13 基于深度学习的空户型特征检测的室内家居自动布局方法

Publications (2)

Publication Number Publication Date
CN111161379A CN111161379A (zh) 2020-05-15
CN111161379B true CN111161379B (zh) 2022-07-08

Family

ID=70556942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282559.7A Active CN111161379B (zh) 2019-12-13 2019-12-13 基于深度学习的空户型特征检测的室内家居自动布局方法

Country Status (1)

Country Link
CN (1) CN111161379B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709061B (zh) * 2020-06-18 2023-12-01 如你所视(北京)科技有限公司 室内物品自动摆放处理方法、装置以及设备、存储介质
CN112257328B (zh) * 2020-07-08 2021-09-28 武汉智筑完美家居科技有限公司 家具布局方法及电子设备
CN112524772B (zh) * 2020-11-30 2021-12-10 珠海格力电器股份有限公司 空调的控制方法和装置、存储介质、电子装置
CN113077092A (zh) * 2021-04-09 2021-07-06 江苏新格尔人居科技有限公司 一种门窗智能物料计算方法及其计算系统
CN113705111B (zh) * 2021-09-22 2024-04-26 百安居网络技术(上海)有限公司 一种基于深度学习的装修家具自动布局方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740243A (zh) * 2018-12-29 2019-05-10 江苏艾佳家居用品有限公司 一种基于分件强化学习技术的家具布局方法及系统
CN110096768A (zh) * 2019-04-16 2019-08-06 江苏艾佳家居用品有限公司 一种快速实现厨房自动布局的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740243A (zh) * 2018-12-29 2019-05-10 江苏艾佳家居用品有限公司 一种基于分件强化学习技术的家具布局方法及系统
CN110096768A (zh) * 2019-04-16 2019-08-06 江苏艾佳家居用品有限公司 一种快速实现厨房自动布局的方法及系统

Also Published As

Publication number Publication date
CN111161379A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161379B (zh) 基于深度学习的空户型特征检测的室内家居自动布局方法
US11586785B2 (en) Information processing apparatus, information processing method, and program
RU2770752C1 (ru) Способ и устройство для обучения модели распознавания лица и устройство для определения ключевой точки лица
Huber et al. Methods for automatically modeling and representing as-built building information models
Ochmann et al. Automatic generation of structural building descriptions from 3D point cloud scans
US20110206276A1 (en) Hybrid graph model for unsupervised object segmentation
CN110348368B (zh) 一种户型图的人工智能解析方法、计算机可读介质及系统
TW202013248A (zh) 車輛損壞識別方法及裝置
US11275874B2 (en) Method for constructing a 3D digital model from a 2D plan
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN107967480B (zh) 一种基于标签语义的显著对象提取方法
CN111813997A (zh) 入侵分析方法、装置、设备及存储介质
Tran et al. Building change detection through comparison of a lidar scan with a building information model
CN110189355A (zh) 安全疏散通道占用检测方法、装置、电子设备及存储介质
KR102535054B1 (ko) 패치기반의 딥러닝 알고리즘을 통한 실내도면 이미지에서의 실내공간정보 자동추출방법 및 그 장치
Pan et al. 3D deep-learning-enhanced void-growing approach in creating geometric digital twins of buildings
Collins et al. Shape encoding for semantic healing of design models and knowledge transfer to scan-to-BIM
CN114627397A (zh) 行为识别模型构建方法以及行为识别方法
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN114114457B (zh) 基于多模态测井数据的裂缝表征方法、装置及设备
Yari et al. Automatic reconstruction of regular buildings using a shape‐based balloon snake model
CN111612890B (zh) 二维户型图自动生成三维模型的方法、装置和电子设备
CN113658195A (zh) 图像分割方法、装置及电子设备
CN114550187A (zh) 图纸中门窗的识别方法、装置、电子设备和存储介质
Machado People Counting System Using Existing Surveillance Video Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 211100 floor 5, block a, China Merchants high speed rail Plaza project, No. 9, Jiangnan Road, Jiangning District, Nanjing, Jiangsu (South Station area)

Applicant after: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

Address before: 211100 No. 18 Zhilan Road, Science Park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant