CN111340938A - 用于获得房屋布局信息的方法、网络模型训练方法及装置 - Google Patents

用于获得房屋布局信息的方法、网络模型训练方法及装置 Download PDF

Info

Publication number
CN111340938A
CN111340938A CN202010107505.3A CN202010107505A CN111340938A CN 111340938 A CN111340938 A CN 111340938A CN 202010107505 A CN202010107505 A CN 202010107505A CN 111340938 A CN111340938 A CN 111340938A
Authority
CN
China
Prior art keywords
module
house
feature map
corner line
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010107505.3A
Other languages
English (en)
Other versions
CN111340938B (zh
Inventor
刘天悦
刘欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202010107505.3A priority Critical patent/CN111340938B/zh
Publication of CN111340938A publication Critical patent/CN111340938A/zh
Application granted granted Critical
Publication of CN111340938B publication Critical patent/CN111340938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于获得房屋布局信息的方法、用于获得房屋布局信息的网络模型的训练方法及装置。其中的用于获得房屋布局信息的方法包括：对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；根据所述墙角线特征图，确定房屋图像的房屋布局信息。本公开提供的技术方案有利于提取出较为精准的墙角线信息，尤其是在房屋图像中的墙角线被遮挡的情况下，仍能够提取出较为精准的墙角线信息。

Description

用于获得房屋布局信息的方法、网络模型训练方法及装置
技术领域
本公开涉及计算机视觉技术，尤其是涉及了一种用于获得房屋布局信息的方法、用于获得房屋布局信息的装置、用于获得房屋布局信息的网络模型的训练方法、用于获得房屋布局信息的网络模型的训练装置、存储介质以及电子设备。
背景技术
在房屋三维重建、机器人室内导航、AR(Augmented Reality，增强现实)以及VR(Virtual Reality，虚拟现实)等多种应用场景，往往需要从房屋图像(如拍摄获得的房屋图像)中提取出房屋布局信息。房屋布局信息主要是指房屋的墙角线信息。如何准确的提取出房屋的墙角线，是一个值得关注的技术问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种用于获得房屋布局信息的方法、用于获得房屋布局信息的装置、用于获得房屋布局信息的网络模型的训练方法、用于获得房屋布局信息的网络模型的训练装置、存储介质以及电子设备。
根据本公开实施例的一个方面，提供一种用于获得房屋布局信息的方法，包括：对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；根据所述墙角线特征图，确定所述房屋图像的房屋布局信息。
在本公开一实施方式中，所述对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图，包括：将所述房屋图像作为深度残差神经网络的输入，提供给所述深度残差神经网络，经由所述深度残差神经网络对所述房屋图像进行语义分割处理，并根据所述深度残差神经网络的输出，获得所述房屋图像的语义分割特征图。
在本公开又一实施方式中，所述对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图，包括：对所述语义分割特征图进行第一卷积处理；对所述第一卷积处理结果进行金字塔池化处理；对所述金字塔池化处理结果进行第二卷积处理，获得所述房屋图像的房屋附属物特征图；其中，所述房屋附属物特征图包括：房屋附属物的类别信息。
在本公开再一实施方式中，所述对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图，包括：将所述房屋附属物特征图作为第一全连接模块的输入，提供给所述第一全连接模块，经由所述第一全连接模块对所述房屋附属物特征图进行墙角线分类处理，获得所述房屋图像的墙角线特征图。
在本公开再一实施方式中，所述经由所述第一全连接模块对所述房屋附属物特征图进行墙角线分类处理，包括：经由所述第一全连接模块根据所述房屋附属物特征图，确定所述房屋图像中的每一个像素点分别属于基于墙和天花板之间的第一墙角线类别的置信度、基于墙和墙之间的第二墙角线类别的置信度、基于墙和地板之间的第三墙角线类别的置信度以及背景类别的置信度。
在本公开再一实施方式中，所述根据所述墙角线特征图，确定所述房屋图像的房屋布局信息，包括：根据所述墙角线特征图中的相邻像素之间的相似度，对所述墙角线特征图所表征出的墙角线信息进行优化处理；其中，所述房屋图像的房屋布局信息包括：所述优化处理后的墙角线信息。
在本公开再一实施方式中，所述根据所述墙角线特征图中的相邻像素之间的相似度，对所述墙角线特征图所表征出的墙角线信息进行优化处理，包括：将所述墙角线特征图作为条件随机场模块的输入，提供给所述条件随机场模块，经由所述条件随机场模块对所述墙角线特征图所表征出的墙角线信息进行优化处理。
在本公开再一实施方式中，在利用深度残差神经网络对所述房屋图像进行语义分割处理，利用第一卷积模块、金字塔池化模块和第二卷积模块进行房屋附属物预测处理，利用第一全连接模块进行墙角线预测处理，并利用条件随机场模块确定所述房屋图像的房屋布局信息的情况下，所述方法还包括：将训练样本提供给所述深度残差神经网络，根据所述深度残差神经网络的输出，获得所述训练样本的语义分割特征图；将所述语义分割特征图提供给所述第一卷积模块，将第一卷积模块的输出提供给金字塔池化模块，将金字塔池化模块的输出提供给第二卷积模块，并根据第二卷积模块的输出获得所述训练样本的房屋附属物特征图；将所述训练样本的房屋附属物特征图提供给第一全连接模块，并根据所述第一全连接模块的输出获得所述训练样本的墙角线特征图；将所述墙角线特征图提供给条件随机场模块，并根据所述条件随机场模块的输出获得所述训练样本的墙角线信息；根据所述获得的训练样本的墙角线信息与所述训练样本的墙角线标注信息形成的损失，调整所述第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块的网络参数。
在本公开再一实施方式中，所述方法还包括：将所述第一卷积模块的输出提供给全局平均池化模块，并将全局平均池化模块的输出提供给第二全连接模块；根据所述第二全连接模块的输出获得所述训练样本的平面信息；根据所述获得的平面信息与所述训练样本的平面标注信息形成的损失，调整所述第一卷积模块、全局平均池化模块以及第二全连接模块的网络参数。
根据本公开实施例的另一个方面，提供了一种用于获得房屋布局信息的网络模型的训练方法，其中的网络模型包括：深度残差神经网络、第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块，且所述方法包括：将训练样本提供给深度残差神经网络，根据所述深度残差神经网络的输出，获得所述训练样本的语义分割特征图；将所述语义分割特征图提供给第一卷积模块，将第一卷积模块的输出提供给金字塔池化模块，将金字塔池化模块的输出提供给第二卷积模块，并根据第二卷积模块的输出获得所述训练样本的房屋附属物特征图；将所述训练样本的房屋附属物特征图提供给第一全连接模块，并根据所述第一全连接模块的输出获得所述训练样本的墙角线特征图；将所述墙角线特征图提供给条件随机场模块，并根据所述条件随机场模块的输出获得所述训练样本的墙角线信息；根据所述获得的训练样本的墙角线信息与所述训练样本的墙角线标注信息形成的损失，调整所述第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块的网络参数。
在本公开一实施方式中，所述方法还包括：将所述第一卷积模块的输出提供给全局平均池化模块，并将全局平均池化模块的输出提供给第二全连接模块；根据所述第二全连接模块的输出获得所述训练样本的平面信息；根据所述获得的平面信息与所述训练样本的平面标注信息形成的损失，调整所述第一卷积模块、全局平均池化模块以及第二全连接模块的网络参数。
在本公开又一实施方式中，所述方法还包括：利用所述深度残差神经网络对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；利用所述第一卷积模块、金字塔池化模块以及第二卷积模块，对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；利用所述第一全连接模块对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；所述条件随机场模块根据所述墙角线特征图，确定所述房屋图像的房屋布局信息。
根据本公开实施例的再一个方面，提供了一种用于获得房屋布局信息的装置，该装置包括：语义分割模块，用于对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；附属物预测模块，用于对所述语义分割模块获得的语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；墙角线预测模块，用于对所述附属物预测模块获得的房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；确定布局模块，用于根据所述墙角线预测模块获得的墙角线特征图，确定所述房屋图像的房屋布局信息。
在本公开一实施方式中，所述语义分割模块包括：深度残差神经网络；所述房屋图像被作为深度残差神经网络的输入，提供给所述深度残差神经网络，所述深度残差神经网络对所述房屋图像进行语义分割处理，并根据所述深度残差神经网络的输出，获得所述房屋图像的语义分割特征图。
在本公开又一实施方式中，所述附属物预测模块包括：第一卷积模块，用于对所述语义分割特征图进行第一卷积处理；金字塔池化模块，用于对所述第一卷积处理结果进行金字塔池化处理；第二卷积模块，用于对所述金字塔池化处理结果进行第二卷积处理，获得所述房屋图像的房屋附属物特征图；其中，所述房屋附属物特征图包括：房屋附属物的类别信息。
在本公开再一实施方式中，所述墙角线预测模块包括：第一全连接模块；所述房屋附属物特征图被作为第一全连接模块的输入，提供给所述第一全连接模块，所述第一全连接模块对所述房屋附属物特征图进行墙角线分类处理，获得所述房屋图像的墙角线特征图。
在本公开再一实施方式中，所述第一全连接模块进一步用于：根据所述房屋附属物特征图，确定所述房屋图像中的每一个像素点分别属于基于墙和天花板之间的第一墙角线类别的置信度、基于墙和墙之间的第二墙角线类别的置信度、基于墙和地板之间的第三墙角线类别的置信度以及背景类别的置信度。
在本公开再一实施方式中，所述确定布局模块进一步用于：根据所述墙角线特征图中的相邻像素之间的相似度，对所述墙角线特征图所表征出的墙角线信息进行优化处理；其中，所述房屋图像的房屋布局信息包括：所述优化处理后的墙角线信息。
在本公开再一实施方式中，所述确定布局模块包括：条件随机场模块；所述墙角线特征图被作为条件随机场模块的输入，提供给所述条件随机场模块，经由所述条件随机场模块对所述墙角线特征图所表征出的墙角线信息进行优化处理。
在本公开再一实施方式中，在所述语义分割模块包括深度残差神经网络，所述附属物预测模块包括第一卷积模块、金字塔池化模块和第二卷积模块，所述墙角线预测模块包括第一全连接模块，所述确定布局模块包括条件随机场模块的情况下，所述装置还包括：第一训练模块，用于：将训练样本提供给所述深度残差神经网络，根据所述深度残差神经网络的输出，获得所述训练样本的语义分割特征图；将所述语义分割特征图提供给所述第一卷积模块，将第一卷积模块的输出提供给金字塔池化模块，将金字塔池化模块的输出提供给第二卷积模块，并根据第二卷积模块的输出获得所述训练样本的房屋附属物特征图；将所述训练样本的房屋附属物特征图提供给第一全连接模块，并根据所述第一全连接模块的输出获得所述训练样本的墙角线特征图；将所述墙角线特征图提供给条件随机场模块，并根据所述条件随机场模块的输出获得所述训练样本的墙角线信息；根据所述获得的训练样本的墙角线信息与所述训练样本的墙角线标注信息形成的损失，调整所述第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块的网络参数。
在本公开再一实施方式中，所述装置还包括：第二训练模块，用于：将所述第一卷积模块的输出提供给全局平均池化模块，并将全局平均池化模块的输出提供给第二全连接模块；根据所述第二全连接模块的输出获得所述训练样本的平面信息；根据所述获得的平面信息与所述训练样本的平面标注信息形成的损失，调整所述第一卷积模块、全局平均池化模块以及第二全连接模块的网络参数。
根据本公开实施例的再一方面，提供了一种用于获得房屋布局信息的网络模型的训练装置，其中的网络模型包括：深度残差神经网络、第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块，且所述装置包括：第一训练模块，用于：将训练样本提供给深度残差神经网络，根据所述深度残差神经网络的输出，获得所述训练样本的语义分割特征图；将所述语义分割特征图提供给第一卷积模块，将第一卷积模块的输出提供给金字塔池化模块，将金字塔池化模块的输出提供给第二卷积模块，并根据第二卷积模块的输出获得所述训练样本的房屋附属物特征图；将所述训练样本的房屋附属物特征图提供给第一全连接模块，并根据所述第一全连接模块的输出获得所述训练样本的墙角线特征图；将所述墙角线特征图提供给条件随机场模块，并根据所述条件随机场模块的输出获得所述训练样本的墙角线信息；根据所述获得的训练样本的墙角线信息与所述训练样本的墙角线标注信息形成的损失，调整所述第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块的网络参数。
在本公开一实施方式中，所述装置还包括：第二训练模块，用于：将所述第一卷积模块的输出提供给全局平均池化模块，并将全局平均池化模块的输出提供给第二全连接模块；根据所述第二全连接模块的输出获得所述训练样本的平面信息；根据所述获得的平面信息与所述训练样本的平面标注信息形成的损失，调整所述第一卷积模块、全局平均池化模块以及第二全连接模块的网络参数。
在本公开又一实施方式中，在所述网络模型训练完成后：所述深度残差神经网络用于对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；所述第一卷积模块、金字塔池化模块以及第二卷积模块用于对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；所述第一全连接模块用于对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；所述条件随机场模块用于根据所述墙角线特征图，确定所述房屋图像的房屋布局信息。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述用于获得房屋布局信息的方法或者用于获得房屋布局信息的网络模型的训练方法。
根据本公开实施例的又一方面，提供一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述用于获得房屋布局信息的方法或者用于获得房屋布局信息的网络模型的训练方法。
基于本公开上述实施例提供的一种用于获得房屋布局信息的方法和装置、以及用于获得房屋布局信息的网络模型的训练方法和装置，由于房屋附属物通常会对墙角线形成遮挡，因此，本公开通过获得房屋附属物特征图，并在房屋附属物特征图的基础上，执行墙角线预测处理，有利于降低房屋附属物对墙角线的遮挡，为墙角线预测带来的影响。由此可知，本公开提供的技术方案有利于提取出较为精准的墙角线信息，尤其是在房屋图像中的墙角线被遮挡的情况下，仍能够提取出较为精准的墙角线信息，从而有利于提高提取房屋布局信息的适用范围。
另外，本公开通过对包含有条件随机场模块的网络模型进行训练，有利于使成功训练后的网络模型可以在房屋图像中的墙角线被遮挡的情况下，获得更为精准的墙角线信息。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1和图2为本公开的适用场景的一个实施例的示意图；
图3为本公开的用于获得房屋布局信息的方法一个实施例的流程图；
图4为本公开的获得房屋图像的房屋附属物特征图一个实施例的流程图；
图5为本公开的训练过程一个实施例的流程图；
图6为本公开的训练过程另一个实施例的流程图；
图7为本公开的用于获得房屋布局信息的装置一个实施例的结构示意图；
图8为本公开的用于获得房屋布局信息的网络模型的训练装置一个实施例的结构示意图；
图9为本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，目前，通常是利用神经网络获得房屋图像中的墙角线信息。然而，由于很多房屋图像中的房屋通常不会是空屋，通常设置有家具以及采暖设施等房屋附属物，而房屋图像中的家具以及采暖设施等房屋附加物，往往会对房屋中的部分墙角线形成遮挡，从而给房屋布局信息的提取带有困难。
在房屋的墙角线被遮挡的情况下，准确的提取出房屋的墙角线信息，才能更好的满足房屋三维重建、机器人室内导航、AR以及VR等各种应用场景的需求。
示例性概述
本公开提供的用于获得房屋布局信息的技术的应用场景的一个例子，如图1和图2所示。
图1所示的房屋图像中设置有多张桌子以及多把椅子，且其中的两张桌子上分别摆设两个台灯。从图1可知，桌子、椅子以及台灯对房屋内的多条墙角线形成了遮挡。例如，墙与墙之间的一条竖向墙角线被遮挡，墙与地板之间的两条水平方向的墙角线被遮挡。
本公开对图1所示的房屋图像进行房屋布局信息提取处理后，获得的五条墙角线如图2所示。利用图2中的五条墙角线可以构建出两个立面的墙体、天花板以及地板，从而可以获得图1所示的房屋图像的三维立体结构。
另外，在房产领域，本公开提供的用于获得房屋布局信息的技术还可以用于对房产经纪人提供的房屋图像进行合规性审核，例如，根据本公开获得的房屋布局信息，自动判断房屋图像是否同时包括有至少两个墙面、地板以及天花板等内容，如果未同时包括有至少两个墙面、地板以及天花板等内容，则认为该房屋图像为不合规的房屋图像。对于不合规的房屋图像(例如，只包含有地板和一个墙面的房屋图像)可以要求房产经纪人重新提供。
示例性方法
图3为本公开的用于获得房屋布局信息的方法一个实施例的流程图。如图3所示，该实施例的方法包括步骤：S300、S301、S302以及S303。下面对各步骤分别进行说明。
S300、对房屋图像进行语义分割处理，获得房屋图像的语义分割特征图。
本公开中的房屋图像可以是指通过摄像装置针对房屋内部进行拍摄而获得的图像。本公开中的房屋图像可以为单目图像，且本公开中的房屋图像可以为RGB(Red GreenBlue，红绿蓝)图像。即本公开中的房屋图像可以是通过单目摄像装置针对房屋内部进行拍摄而获得的图像。其中的单目摄像装置可以包括照相机、具有照相功能的移动电话或者具有照相功能的平板电脑等。
本公开中的语义分割处理可以是指对房屋图像中的每个像素点进行密集预测，从而预测出每个像素点各自对应的类别信息，这类别信息可以为物体类别信息，也可以为区域类别信息等。每一个像素点各自对应的类别信息形成房屋图像的语义分割特征图。房屋图像的语义分割特征图的空间分辨率通常与房屋图像的空间分辨率相同，然而，房屋图像的语义分割特征图的通道数通常远远大于房屋图像的通道数，例如，房屋图像的通道数为3(即R、G和B)，而房屋图像的语义分割特征图的通道数可以为2096等。
S301、对语义分割特征图，进行房屋附属物分类预测处理，获得房屋图像的房屋附属物特征图。
本公开中的房屋附属物可以是指设置于房屋内的物品或者设施等。例如，房屋附属物可以包括：门、窗、采暖设施、家具(如桌、椅、床以及柜子等)、窗帘、灯具以及装饰画等。
本公开中的房屋附属物分类预测处理可以是指用于识别出房屋内的附属物所在的位置以及类别的处理。房屋附属物特征图可以认为是一种基于房屋附属物的语义分割特征图。房屋图像的房屋附属物特征图的空间分辨率通常与房屋图像的空间分辨率相同，然而，房屋图像的房屋附属物特征图的通道数通常大于房屋图像的通道数，但是通常远小于房屋图像的语义分割特征图的通道数，例如，房屋附属物特征图的通道数可以为十几个或者数十个等，当然，房屋附属物特征图的通道数也可能达到上百个等。房屋附属物特征图的通道数通常能够识别出的附属物的类别的数量相关。
S302、对房屋附属物特征图，进行墙角线预测处理，获得房屋图像的墙角线特征图。
本公开中的墙角线可以是指基于墙的边缘形成的线。墙角线可以认为是由至少一墙体形成的分割线信息。本公开中的墙角线预测处理可以是指用于识别出房屋内的墙角线所在的位置的处理。本公开中的墙角线预测处理也可以是指用于识别出房屋内的墙角线所在的位置以及类别的处理。
本公开中的房屋图像的墙角线特征图可以认为是一种基于墙角线的语义分割特征图。房屋图像的墙角线特征图的空间分辨率通常与房屋图像的空间分辨率相同。房屋图像的墙角线特征图的通道数不少于2。
S303、根据墙角线特征图，确定房屋图像的房屋布局信息。
本公开中的房屋布局信息可以包括房屋中的至少一墙体形成的墙角线信息以及由多条墙角线形成的分割面信息等。
由于房屋附属物通常会对墙角线形成遮挡，因此，本公开通过获得房屋附属物特征图，并在房屋附属物特征图的基础上，执行墙角线预测处理，有利于降低房屋附属物对墙角线的遮挡，为墙角线预测带来的影响。由此可知，本公开提供的技术方案有利于提取出较为精准的墙角线信息，尤其是在房屋图像中的墙角线被遮挡的情况下，仍能够提取出较为精准的墙角线信息。
在一个可选示例中，本公开可以利用DRN(Deep Residual Network，深度残差神经网络)获得房屋图像的语义分割特征图。例如，本公开可以将房屋图像作为DRN的输入，提供给DRN，经由DRN对该房屋图像进行语义分割处理，DRN输出的结果即为房屋图像的语义分割特征图。另外，本公开也可以采用其他用于实现语义分割的神经网络来获得房屋图像的语义分割特征图，例如，本公开可以采用SegNet获得房屋图像的语义分割特征图。
可选的，如果DRN或者SegNet等用于实现语义分割的神经网络(下述以DRN为例进行描述)对输入图像的空间分辨率存在限制，则本公开可以先根据DRN对输入图像的空间分辨率要求，对房屋图像的空间分辨率进行调整，并将调整后的房屋图像提供给DRN。在提供给DRN的房屋图像为H×W×3的图像的情况下，经由DRN获得的语义分割特征图可以为H×W×N的语义分割特征图。其中的H×W可以为480×480等。其中的H×W×N可以为480×480×2096等。
可选的，本公开所使用的DRN可以包含上百层(如105层)。本公开对DRN的具体网络结构不作限定。本公开通过利用DRN，有利于便捷准确的获得房屋图像的语义分割特征图。
在一个可选示例中，本公开可以通过对语义分割特征图进行卷积处理以及金字塔池化处理，来获得房屋图像的房屋附属物特征图。本公开获得房屋图像的房屋附属物特征图的一个例子如图4所示。
图4中，S400、对语义分割特征图进行第一卷积处理。
本公开可以利用第一卷积模块对语义分割特征图进行卷积处理。第一卷积模块通常至少包括一卷积层。第一卷积模块所执行的卷积处理操作用于对语义分割特征图进行进一步的特征提取。第一卷积模块输出的第一卷积处理结果仍然可以认为是一语义分割特征图，第一卷积模块的输入和输出可以具有相同的空间分辨率，且第一卷积模块的输入和输出可以具有相同的通道数。本公开中的第一卷积模块的训练过程可以参见下述针对图5和图6的描述。
S401、对第一卷积处理结果进行金字塔池化处理。
可选的，本公开可以利用金字塔池化模块对第一卷积处理结果进行金字塔池化处理。金字塔池化模块通常至少包括一池化层、多个卷积层以及上采样层，例如，金字塔池化模块包括：一池化层、至少三个并行的卷积层、一上采样层以及连接模块等。第一卷积处理结果被提供给池化层，由池化层形成多种空间分辨率(如至少三种空间分辨率)的特征图，且多种空间分辨率的特征图形成金字塔特征图。每一种空间分辨率的特征图对应一卷积层，每一种空间分辨率的特征图被分别提供给其对应的卷积层，由卷积层进行卷积处理。每一卷积层输出的卷积处理结果可以分别被提供给上采样层(特别的，空间分辨率最大的卷积处理结果可以不提供给上采样层)，由上采样层将对不同空间分辨率的卷积处理结果进行上采样处理，形成具有相同空间分辨率的特征图。之后，具有相同空间分辨率的特征图由连接模块进行连接处理，形成金字塔池化模块的处理结果。
可选的，金字塔特征图中的多种空间分辨率的特征图通常具有相同的通道数，且任一空间分辨率的特征图的通道数通常均远小于输入金字塔池化模块的语义分割特征图的通道数。也就是说，金字塔池化模块可以实现对其输入的特征图进行降维处理，即金字塔池化模块可以大幅度减少特征图的通道数。金字塔池化模块输出的特征图的通道数通常与房屋附属物的类别数量相关。例如，在房屋附属物的类别数量为M的情况下，金字塔池化模块输出的特征图可以表示为H×W×M。本公开中的金字塔池化模块的训练过程可以参见下述针对图5和图6的描述。
S402、对金字塔池化处理结果进行第二卷积处理，获得房屋图像的房屋附属物特征图。
可选的，本公开可以利用第二卷积模块对金字塔池化模块的输出进行卷积处理。第二卷积模块通常至少包括一卷积层。第二卷积模块所执行的卷积处理操作用于对金字塔池化模块输出的语义分割特征图进行进一步的特征提取。第二卷积模块输出的第二卷积处理结果即为房屋附属物特征图。房屋附属物特征图仍然可以认为是一语义分割特征图，且该语义分割特征图是基于房屋附属物类别的语义分割特征图。也就是说，房屋附属物特征图可以表示出房屋图像中的每一个像素点所属的房屋附属物类别。第二卷积模块的输入和输出可以具有相同的空间分辨率以及相同的通道数。例如，在房屋附属物的类别数量为M的情况下，第二卷积模块输出的特征图可以表示为H×W×M。本公开中的第二卷积模块的训练过程可以参见下述针对图5和图6的描述。
由于金字塔池化处理可以基于多种视野范围形成房屋附属物的特征图，因此，本公开通过对DRN输出的语义分割特征图进行金字塔池化处理以及卷积处理，可以获得能够更准确的表征出房屋图像中包含的房屋附属物的位置和类别的房屋附属物特征图，从而在考虑房屋附属物的基础上进行墙角线预测处理时，更有利于避免房屋附属物对墙角线形成遮挡时，对墙角线预测的影响。
在一个可选示例中，本公开可以通过对房屋附属物特征图进行分类处理，从而实现墙角线预测。本公开中的分类处理可以为二分类处理。例如，墙角线与非墙角线的分类处理。本公开中的分类处理也可以为三分类。例如，第一墙角线类别、第二墙角线类别以及非墙角线类别的分类处理。本公开中的分类处理还可以为更多类型的分类。例如，第一墙角线类别、第二墙角线类别、第三墙角线类别以及非墙角线类别等的分类处理。其中的第一墙角线类别可以为基于墙和天花板之间的第一墙角线类别；其中的第二墙角线类别可以为基于墙和墙之间的第二墙角线类别；其中的第三墙角线类别可以为基于墙和地板之间的第三墙角线类别。
可选的，本公开可以利用全连接模块对房屋附属物特征图进行分类处理。例如，本公开可以将房屋附属物特征图作为第一全连接模块的输入，提供给第一全连接模块，经由第一全连接模块对房屋附属物特征图进行墙角线分类处理，并根据第一全连接模块的输出获得房屋图像的墙角线特征图。
可选的，第一全连接模块通常至少包括一全连接层。第一全连接模块所执行的全连接处理用于预测房屋图像中的每一个像素点分别属于相应类型的墙角线的置信度。第一全连接模块输出的全连接处理结果即为墙角线特征图。墙角线特征图仍然可以认为是一语义分割特征图，且该语义分割特征图是基于墙角线类别的语义分割特征图。也就是说，墙角线特征图可以表示出房屋图像中的每一个像素点所属的墙角线类别。第一全连接模块的输入和输出可以具有相同的空间分辨率，且可以具有不同的通道数。例如，在房屋附属物的类别数量为M(M为大于4的整数)，而墙角线的类别(非墙角线也被认为是其中一个类别)数量为4的情况下，第一全连接模块输出的特征图可以表示为H×W×4。本公开中的第一全连接模块的训练过程可以参见下述针对图5和图6的描述。
可选的，在墙角线分类处理为四分类处理，且四个类别分别为基于墙和天花板之间的第一墙角线类别、基于墙和墙之间的第二墙角线类别、基于墙和地板之间的第三墙角线类别以及背景类别(即非墙角线类别)的情况下，本公开可以将房屋附属物特征图提供给第一全连接模块，由第一全连接模块根据房屋附属物特征图，确定房屋图像中的每一个像素点分别属于基于墙和天花板之间的第一墙角线类别的置信度、基于墙和墙之间的第二墙角线类别的置信度、基于墙和地板之间的第三墙角线类别的置信度以及背景类别的置信度。
可选的，针对房屋图像中的任一像素点而言，本公开可以直接将该像素点对应的四个置信度中的最高置信度对应的类别作为该像素点所属的类别。另外，本公开也可以对该像素点对应的四个置信度中的最高置信度进行判断，在判断出该像素点对应的四个置信度中的最高置信度满足预定置信度要求，才将该像素点的最高置信度对应的类别作为该像素点所属的类别。
本公开通过利用第一全连接模块对房屋附属物特征图进行分类处理，可以在墙角线被遮挡的情况下，便捷准确的确定出房屋图像中的各像素点是否为墙角线。另外，通过对房屋附属物特征图进行四分类处理，有利于进一步构建出立面的墙体、天花板以及地板等，从而有利于更好的实现房屋三维重建、机器人室内导航、AR以及VR等应用。
在一个可选示例中，本公开中的墙角线特征图可以表征出房屋图像中的墙角线信息。在一个例子中，本公开可以直接将墙角线特征图表征出的墙角线信息作为本公开最终获得的墙角线信息。在另一个例子中，本公开可以对墙角线特征图所表征出的墙角线信息进行优化处理，并将优化处理后获得的墙角线信息作为房屋图像的房屋布局信息。
可选的，本公开可以根据墙角线特征图中的相邻像素之间的相似度，对墙角线特征图所表征出的墙角线信息进行优化处理。例如，如果相邻像素之间的相似度满足预定相似度要求，则可以认为相邻像素属于相同类型的墙角线；如果相邻像素之间的相似度不满足预定相似度要求，则可以认为相邻像素属于不同类型的墙角线。本公开通过对相邻像素之间的相似度进行判别，有利于筛选出本应属于背景类别而误被归类为第一墙角线类别、第二墙角线类别或者第三墙角线类别的像素，从而有利于避免墙角线过粗的现象，使预测出的墙角线与实际的墙角线更贴合，进而有利于使最终获得的墙角线信息更加精准。
在一个可选示例中，本公开可以利用CRF(Conditional Random Field，条件随机场)模块对墙角线信息进行优化处理。本公开中的CRF模块可以使用相应的概率分布函数来表示，即CRF模块是一种条件概率分布模型。具体的，本公开可以将墙角线特征图作为CRF模块的输入，提供给CRF模块，经由CRF模块对墙角线特征图所表征出的墙角线信息进行优化处理，本公开可以将CRF输出的结果作为优化处理后的墙角线信息。本公开通过利用CRF模块对墙角线信息进行优化处理，有利于便捷准确的筛选出本应属于背景类别而误被归类为第一墙角线类别、第二墙角线类别或者第三墙角线类别的像素，从而有利于避免墙角线过粗的现象，使预测出的墙角线尽量位于墙与墙、墙与天花板、以及墙与地板的边界处，从而有利于使最终获得的墙角线信息更加精准。
在一个可选示例中，本公开可以使用一个网络模型来获得房屋布局信息。该网络模型主要包括：DRN、第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及CRF模块。其中的DRN可以用于对房屋图像进行语义分割处理，其中的第一卷积模块、金字塔池化模块和第二卷积模块用于完成房屋附属物预测处理，其中的第一全连接模块用于完成墙角线预测处理，其中的CRF模块用于对墙角线信息进行优化处理。
可选的，本公开在对该网络模型进行训练时，DRN为已经预先成功训练后的DRN。即本公开对该网络模型进行训练的过程其实是对第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块和CRF模块进行训练的过程。本公开训练该网络模型的两个例子可以如图5和图6所示。
图5中，S500、将训练样本提供给DRN，根据DRN的输出，获得训练样本的语义分割特征图。
可选的，本公开中的训练样本可以是ScanNet数据集中的图像样本。
S501、将语义分割特征图提供给第一卷积模块，获得语义分割特征图的卷积处理结果。
S502、将第一卷积模块输出的卷积处理结果提供给金字塔池化模块，获得金字塔特征图。
S503、将金字塔池化模块输出的金字塔特征图提供给第二卷积模块，获得训练样本的房屋附属物特征图。
S504、将训练样本的房屋附属物特征图提供给第一全连接模块，并根据第一全连接模块的输出获得训练样本的墙角线特征图。
S505、将墙角线特征图提供给CRF模块，并根据CRF模块的输出获得训练样本的墙角线信息。
S506、根据获得的训练样本的墙角线信息与训练样本的墙角线标注信息形成的损失，调整第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及CRF模块的网络参数。
可选的，本公开可以使用L2损失函数计算训练样本的墙角线信息与训练样本的墙角线标注信息形成的损失，并通过在网络模型中反向传播该损失，来调整第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及CRF模块的网络参数。本公开通过使网络模型包括CRF模块，并对该网络模型进行训练，有利于使成功训练后的网络模型可以获得更为精准的墙角线信息。
图6中，S600、将训练样本提供给DRN，根据DRN的输出，获得训练样本的语义分割特征图。
S601、将语义分割特征图提供给第一卷积模块，获得语义分割特征图的卷积处理结果。
S602、将第一卷积模块输出的卷积处理结果提供给金字塔池化模块，获得金字塔特征图。
S603、将金字塔池化模块输出的金字塔特征图提供给第二卷积模块，获得训练样本的房屋附属物特征图。
S604、将训练样本的房屋附属物特征图提供给第一全连接模块，并根据第一全连接模块的输出获得训练样本的墙角线特征图。
S605、将墙角线特征图提供给CRF模块，并根据CRF模块的输出获得训练样本的墙角线信息。
S606、将第一卷积模块输出的卷积处理结果提供给GAP(Global AveragePooling，全局平均池化)模块，经由GAP模块对卷积处理结果进行全局平均池化处理，获得全局平均池化结果。
本公开中的全局平均池化可以是指池化的滑窗的尺寸与第一卷积模块输出的卷积处理结果的尺寸相同。即针对第一卷积模块输出的卷积处理结果取一个平均值。
S607、将全局平均池化模块的输出提供给第二全连接模块，并根据第二全连接模块的输出获得训练样本的平面信息。
可选的，本公开中的训练样本的平面信息可以包括平面上的距离图像坐标系原点最近的点的X坐标和Y坐标、以及平面的法线的斜率。其中的图像坐标系的原点可以位于图像的左上角。本公开获得的训练样本的平面信息可以为包含有S个元素的数组，每个元素包括3个参数，即上述X坐标、Y坐标以及法线的斜率，且S为训练样本所包含的平面的数量。
S608、根据获得的训练样本的墙角线信息与训练样本的墙角线标注信息形成的损失，调整第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及CRF模块的网络参数；并根据获得的训练样本的平面信息与训练样本的平面标注信息形成的损失，调整第一卷积模块、全局平均池化模块以及第二全连接模块的网络参数。
可选的，本公开可以使用L2损失函数计算网络模型获得的训练样本的墙角线信息与训练样本的墙角线标注信息形成的损失，并使用交叉熵算法计算上述获得的训练样本的平面信息与训练样本的平面标注信息形成的损失，本公开可以通过在网络模型中先后反向传播该损失，来调整第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及CRF模块的网络参数。
需要特别说明的是，本公开在训练该网络模型的过程中，借助了全局平均池化模块以及第二全连接模块，然而，全局平均池化模块并不属于本公开的网络模型。即在网络模型成功训练后，全局平均池化模块和第二全连接模块并不参与本公开的获取房屋图像的房屋布局信息的过程。
本公开通过借助全局平均池化模块以及第二全连接模块对网络模型进行训练，由于借助全局平均池化模块和第二全连接模块获得的平面信息中的法线往往与墙角线存在一定的关系，例如，平行或者垂直等，而借助全局平均池化模块和第二全连接模块获得的平面信息中的X坐标和Y坐标与法线的结合，往往可以获得墙角线被遮挡的位置，因此，通过训练全局平均池化模块和第二全连接模块平面信息的预测准确性，有利于提高第一卷积模块的特征提取性能，从而有利于提高网络模型的训练效率，并有利于提高网络模型的性能。
可选的，在针对本公开的网络模型的训练达到预定迭代条件时，本次训练过程结束。本公开中的预定迭代条件可以包括：根据网络模型的输出获得的墙角线信息的准确性达到预定要求。在根据网络模型的输出获得的墙角线信息的准确性达到预定要求的情况下，本次对网络模型成功训练完成。本公开中的预定迭代条件还可以包括：对该网络模型进行训练，所使用的训练样本的数量达到预定数量要求等。在使用的训练样本的数量达到预定数量要求，然而，根据网络模型的输出获得的墙角线信息的准确性并未达到预定要求的情况下，本次对网络模型并未训练成功。成功训练完成的网络模型可以用于获得房屋图像的房屋布局信息。
可选的，本公开利用成功训练完成的网络模型获得一房屋图像中的房屋布局信息的一个过程可以包括下述步骤：
首先，利用深度残差神经网络对房屋图像进行语义分割处理，获得房屋图像的语义分割特征图。
其次，利用第一卷积模块、金字塔池化模块以及第二卷积模块，对语义分割特征图，进行房屋附属物预测处理，获得房屋图像的房屋附属物特征图。如利用第一卷积模块对语义分割特征图进行第一卷积处理，利用金字塔池化模块对第一卷积处理结果进行金字塔池化处理，再利用第二卷积模块用于对金字塔池化处理结果进行第二卷积处理，获得房屋图像的房屋附属物特征图。
再次，利用第一全连接模块对房屋附属物特征图，进行墙角线预测处理，获得房屋图像的墙角线特征图。
最后，由条件随机场模块根据上述墙角线特征图，确定房屋图像的房屋布局信息。
上述几个步骤的具体内容可以参见上述实施例中的描述在此不再详细说明。
示例性装置
图7为本公开的用于获得房屋布局信息的装置一个实施例的结构示意图。该实施例的装置可用于实现本公开上述用于获得房屋布局信息的方法实施例。
如图7所示，本实施例的装置可以包括：语义分割模块700、附属物预测模块701、墙角线预测模块702以及确定布局模块703。另外，本公开的装置还可以可选的包括：第一训练模块704、第二训练模块705、全局平均池化模块706以及第二全连接模块707。
语义分割模块700用于对房屋图像进行语义分割处理，获得房屋图像的语义分割特征图。
可选的，语义分割模块700可以包括：深度残差神经网络7001。房屋图像被作为深度残差神经网络7001的输入，提供给深度残差神经网络7001，深度残差神经网络7001对房屋图像进行语义分割处理，从而本公开的装置可以根据深度残差神经网络7001的输出，获得房屋图像的语义分割特征图。
附属物预测模块701用于对语义分割模块700获得的语义分割特征图，进行房屋附属物预测处理，获得房屋图像的房屋附属物特征图。
可选的，附属物预测模块701可以包括：第一卷积模块7011、金字塔池化模块7012以及第二卷积模块7013。其中的第一卷积模块7011用于对语义分割模块700获得的语义分割特征图进行第一卷积处理。其中的金字塔池化模块7012用于对第一卷积处理结果进行金字塔池化处理。其中的第二卷积模块7013用于对金字塔池化处理结果进行第二卷积处理，获得房屋图像的房屋附属物特征图。本公开中的房屋附属物特征图可以包括：房屋附属物的类别信息。
墙角线预测模块702用于对附属物预测模块701获得的房屋附属物特征图，进行墙角线预测处理，获得房屋图像的墙角线特征图。
可选的，墙角线预测模块702可以包括：第一全连接模块7021。房屋附属物特征图被作为第一全连接模块7021的输入，提供给第一全连接模块7021，第一全连接模块7021对房屋附属物特征图进行墙角线分类处理，获得房屋图像的墙角线特征图。具体的，第一全连接模块7021可以根据房屋附属物特征图，确定房屋图像中的每一个像素点分别属于基于墙和天花板之间的第一墙角线类别的置信度、基于墙和墙之间的第二墙角线类别的置信度、基于墙和地板之间的第三墙角线类别的置信度以及背景类别的置信度。
确定布局模块703用于根据墙角线预测模块702获得的墙角线特征图，确定房屋图像的房屋布局信息。
可选的，确定布局模块703可以根据墙角线特征图中的相邻像素之间的相似度，对墙角线特征图所表征出的墙角线信息进行优化处理。其中的房屋图像的房屋布局信息可以包括：优化处理后的墙角线信息。
可选的，确定布局模块703可以包括：确定布局模块703。墙角线特征图被作为条件随机场模块7031的输入，提供给条件随机场模块7031，经由条件随机场模块7031对墙角线特征图所表征出的墙角线信息进行优化处理。
第一训练模块704用于将训练样本提供给深度残差神经网络，根据深度残差神经网络7001的输出，获得训练样本的语义分割特征图；第一训练模块704将语义分割特征图提供给第一卷积模块，第一训练模块704将第一卷积模块7011的输出提供给金字塔池化模块7012，第一训练模块704将金字塔池化模块7012的输出提供给第二卷积模块7013，并根据第二卷积模块7013的输出获得训练样本的房屋附属物特征图；第一训练模块704将训练样本的房屋附属物特征图提供给第一全连接模块7021，并根据第一全连接模块7021的输出获得训练样本的墙角线特征图；第一训练模块704将墙角线特征图提供给条件随机场模块7031，并根据条件随机场模块7031的输出获得训练样本的墙角线信息；第一训练模块704根据上述获得的训练样本的墙角线信息与训练样本的墙角线标注信息形成的损失，调整第一卷积模块7011、金字塔池化模块7012、第二卷积模块7013、第一全连接模块7021以及条件随机场模块7031的网络参数。
需要特别说明的是，深度残差神经网络7001是成功训练后的深度残差神经网络，本公开的训练过程不包括对深度残差神经网络7001的训练。
第二训练模块705用于将第一卷积模块的输出提供给全局平均池化模块706，并将全局平均池化模块706的输出提供给第二全连接模块707；第二训练模块705根据第二全连接模块707的输出获得训练样本的平面信息；第二训练模块705根据上述获得的平面信息与训练样本的平面标注信息形成的损失，调整第一卷积模块7011、全局平均池化模块706以及第二全连接模块707的网络参数。
图8为本公开的用于获得房屋布局信息的网络模型的训练装置一个实施例的结构示意图。该实施例的装置可用于实现本公开上述用于获得房屋布局信息的网络模型的训练方法实施例。
如图8所示，本实施例的网络模型包括：深度残差神经网络800、第一卷积模块801、金字塔池化模块802、第二卷积模块803、第一全连接模块804以及条件随机场模块805。本实施例的训练装置包括：第一训练模块806、第二训练模块807、全局平均池化模块808以及第二全连接模块809。
首先，第一训练模块806将训练样本提供给深度残差神经网络800，并根据深度残差神经网络800的输出，获得训练样本的语义分割特征图。
其次，第一训练模块806将其获得的语义分割特征图提供给第一卷积模块801，并将第一卷积模块801的输出提供给金字塔池化模块802，第一训练模块806将金字塔池化模块802的输出提供给第二卷积模块803，并根据第二卷积模块803的输出获得训练样本的房屋附属物特征图。
再次，第一训练模块806将其获得的训练样本的房屋附属物特征图提供给第一全连接模块804，并根据第一全连接模块804的输出获得训练样本的墙角线特征图。
然后，第一训练模块806将墙角线特征图提供给条件随机场模块805，并根据条件随机场模块805的输出获得训练样本的墙角线信息。
最后，第一训练模块806根据其获得的训练样本的墙角线信息与训练样本的墙角线标注信息形成的损失，调整第一卷积模块801、金字塔池化模块802、第二卷积模块803、第一全连接模块804以及条件随机场模块805的网络参数。
第二训练模块807用于将第一卷积模块801的输出提供给全局平均池化模块808，并将全局平均池化模块808的输出提供给第二全连接模块809；之后，第二训练模块807根据第二全连接模块809的输出获得训练样本的平面信息；第二训练模块807根据其获得的平面信息与训练样本的平面标注信息形成的损失，调整第一卷积模块801、全局平均池化模块808以及第二全连接模块809的网络参数。
在网络模型成功训练完成后，需要获得房屋图像的房屋布局信息时，可以将房屋图像提供给深度残差神经网络800，由深度残差神经网络800对房屋图像进行语义分割处理，获得房屋图像的语义分割特征图；由第一卷积模块801、金字塔池化模块802以及第二卷积模块803对语义分割特征图，进行房屋附属物预测处理，获得房屋图像的房屋附属物特征图；由第一全连接模块804对房屋附属物特征图，进行墙角线预测处理，获得房屋图像的墙角线特征图；由条件随机场模块805根据墙角线特征图，确定房屋图像的房屋布局信息。
上述各模块及其包括的子模块具体执行的操作可以参见上述方法实施例中针对图3至图6的描述，在此不再详细说明。
示例性电子设备
下面参考图9来描述根据本公开实施例的电子设备。图9示出了根据本公开实施例的电子设备的框图。如图9所示，电子设备91包括一个或多个处理器911和存储器912。
处理器911可以是中央处理单元(CPU)或者具有用于获得房屋布局信息的能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备91中的其他组件以执行期望的功能。
存储器912可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器911可以运行所述程序指令，以实现上文所述的本公开的各个实施例的用于获得房屋布局信息的方法、用于获得房屋布局信息的网络模型的训练方法、以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备91还可以包括：输入装置913以及输出装置914等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备913还可以包括例如键盘、鼠标等等。该输出装置914可以向外部输出各种信息。该输出设备914可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备91中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备91还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于获得房屋布局信息的方法或者用于获得房屋布局信息的网络模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于获得房屋布局信息的方法或者用于获得房屋布局信息的网络模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于获得房屋布局信息的方法，包括：
对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；
对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；
对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；
根据所述墙角线特征图，确定所述房屋图像的房屋布局信息。
2.根据权利要求1所述的方法，其中，所述对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图，包括：
将所述房屋图像作为深度残差神经网络的输入，提供给所述深度残差神经网络，经由所述深度残差神经网络对所述房屋图像进行语义分割处理，并根据所述深度残差神经网络的输出，获得所述房屋图像的语义分割特征图。
3.根据权利要求1或2所述的方法，其中，所述对所述语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图，包括：
对所述语义分割特征图进行第一卷积处理；
对所述第一卷积处理结果进行金字塔池化处理；
对所述金字塔池化处理结果进行第二卷积处理，获得所述房屋图像的房屋附属物特征图；
其中，所述房屋附属物特征图包括：房屋附属物的类别信息。
4.根据权利要求1至3中任一项所述的方法，其中，所述对所述房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图，包括：
将所述房屋附属物特征图作为第一全连接模块的输入，提供给所述第一全连接模块，经由所述第一全连接模块对所述房屋附属物特征图进行墙角线分类处理，获得所述房屋图像的墙角线特征图。
5.根据权利要求4所述的方法，其中，所述经由所述第一全连接模块对所述房屋附属物特征图进行墙角线分类处理，包括：
经由所述第一全连接模块根据所述房屋附属物特征图，确定所述房屋图像中的每一个像素点分别属于基于墙和天花板之间的第一墙角线类别的置信度、基于墙和墙之间的第二墙角线类别的置信度、基于墙和地板之间的第三墙角线类别的置信度以及背景类别的置信度。
6.一种用于获得房屋布局信息的网络模型的训练方法，其中的网络模型包括：深度残差神经网络、第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块，且所述方法包括：
将训练样本提供给深度残差神经网络，根据所述深度残差神经网络的输出，获得所述训练样本的语义分割特征图；
将所述语义分割特征图提供给第一卷积模块，将第一卷积模块的输出提供给金字塔池化模块，将金字塔池化模块的输出提供给第二卷积模块，并根据第二卷积模块的输出获得所述训练样本的房屋附属物特征图；
将所述训练样本的房屋附属物特征图提供给第一全连接模块，并根据所述第一全连接模块的输出获得所述训练样本的墙角线特征图；
将所述墙角线特征图提供给条件随机场模块，并根据所述条件随机场模块的输出获得所述训练样本的墙角线信息；
根据所述获得的训练样本的墙角线信息与所述训练样本的墙角线标注信息形成的损失，调整所述第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块的网络参数。
7.一种用于获得房屋布局信息的装置，其中，所述装置包括：
语义分割模块，用于对房屋图像进行语义分割处理，获得所述房屋图像的语义分割特征图；
附属物预测模块，用于对所述语义分割模块获得的语义分割特征图，进行房屋附属物预测处理，获得所述房屋图像的房屋附属物特征图；
墙角线预测模块，用于对所述附属物预测模块获得的房屋附属物特征图，进行墙角线预测处理，获得所述房屋图像的墙角线特征图；
确定布局模块，用于根据所述墙角线预测模块获得的墙角线特征图，确定所述房屋图像的房屋布局信息。
8.一种用于获得房屋布局信息的网络模型的训练装置，其中的网络模型包括：深度残差神经网络、第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块，且所述装置包括：第一训练模块，用于：
将训练样本提供给深度残差神经网络，根据所述深度残差神经网络的输出，获得所述训练样本的语义分割特征图；
将所述语义分割特征图提供给第一卷积模块，将第一卷积模块的输出提供给金字塔池化模块，将金字塔池化模块的输出提供给第二卷积模块，并根据第二卷积模块的输出获得所述训练样本的房屋附属物特征图；
将所述训练样本的房屋附属物特征图提供给第一全连接模块，并根据所述第一全连接模块的输出获得所述训练样本的墙角线特征图；
将所述墙角线特征图提供给条件随机场模块，并根据所述条件随机场模块的输出获得所述训练样本的墙角线信息；
根据所述获得的训练样本的墙角线信息与所述训练样本的墙角线标注信息形成的损失，调整所述第一卷积模块、金字塔池化模块、第二卷积模块、第一全连接模块以及条件随机场模块的网络参数。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6中任一项所述的方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6中任一项所述的方法。
CN202010107505.3A 2020-02-21 2020-02-21 用于获得房屋布局信息的方法、网络模型训练方法及装置 Active CN111340938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010107505.3A CN111340938B (zh) 2020-02-21 2020-02-21 用于获得房屋布局信息的方法、网络模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010107505.3A CN111340938B (zh) 2020-02-21 2020-02-21 用于获得房屋布局信息的方法、网络模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN111340938A true CN111340938A (zh) 2020-06-26
CN111340938B CN111340938B (zh) 2020-12-11

Family

ID=71183996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010107505.3A Active CN111340938B (zh) 2020-02-21 2020-02-21 用于获得房屋布局信息的方法、网络模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN111340938B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417539A (zh) * 2020-11-16 2021-02-26 杭州群核信息技术有限公司 基于语言描述的户型设计方法和装置以及系统
CN112733688A (zh) * 2020-12-30 2021-04-30 中国科学技术大学先进技术研究院 房屋的属性值预测方法、装置、终端设备以及存储介质
CN112991542A (zh) * 2021-04-07 2021-06-18 北京有竹居网络技术有限公司 房屋三维重建方法、装置和电子设备
CN113221225A (zh) * 2021-05-27 2021-08-06 北京有竹居网络技术有限公司 物品布局方法、装置、存储介质及电子设备
CN113536432A (zh) * 2021-07-20 2021-10-22 合肥工业大学 基于预测网络的村落房屋布局方法、存储介质及终端设备
CN114442895A (zh) * 2022-04-07 2022-05-06 阿里巴巴达摩院(杭州)科技有限公司 三维模型构建方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092870A (zh) * 2017-04-05 2017-08-25 武汉大学 一种高分辨率影像语意信息提取方法及系统
CN108229478A (zh) * 2017-06-30 2018-06-29 深圳市商汤科技有限公司 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109685055A (zh) * 2018-12-26 2019-04-26 北京金山数字娱乐科技有限公司 一种图像中文本区域的检测方法及装置
CN110349247A (zh) * 2018-04-08 2019-10-18 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN110419049A (zh) * 2017-03-17 2019-11-05 奇跃公司 房间布局估计方法和技术
WO2019226869A1 (en) * 2018-05-24 2019-11-28 Blue River Technology Inc. Semantic segmentation to identify and treat plants in a field and verify the plant treatments
CN110633628A (zh) * 2019-08-02 2019-12-31 杭州电子科技大学 基于人工神经网络的rgb图像场景三维模型重建方法
US20200034148A1 (en) * 2019-09-28 2020-01-30 Intel Corporation Compute near memory convolution accelerator
CN110751220A (zh) * 2019-10-24 2020-02-04 江西应用技术职业学院 一种基于改进卷积神经网络结构的机器视觉室内定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110419049A (zh) * 2017-03-17 2019-11-05 奇跃公司 房间布局估计方法和技术
CN107092870A (zh) * 2017-04-05 2017-08-25 武汉大学 一种高分辨率影像语意信息提取方法及系统
CN108229478A (zh) * 2017-06-30 2018-06-29 深圳市商汤科技有限公司 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN110349247A (zh) * 2018-04-08 2019-10-18 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
WO2019226869A1 (en) * 2018-05-24 2019-11-28 Blue River Technology Inc. Semantic segmentation to identify and treat plants in a field and verify the plant treatments
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109685055A (zh) * 2018-12-26 2019-04-26 北京金山数字娱乐科技有限公司 一种图像中文本区域的检测方法及装置
CN110633628A (zh) * 2019-08-02 2019-12-31 杭州电子科技大学 基于人工神经网络的rgb图像场景三维模型重建方法
US20200034148A1 (en) * 2019-09-28 2020-01-30 Intel Corporation Compute near memory convolution accelerator
CN110751220A (zh) * 2019-10-24 2020-02-04 江西应用技术职业学院 一种基于改进卷积神经网络结构的机器视觉室内定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
季顺平 等: "遥感影像建筑物提取的卷积神经元网络与开源数据集方法", 《测绘学报》 *
李尚林 等: "计算机快速建筑建模方法综述", 《计算机学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417539A (zh) * 2020-11-16 2021-02-26 杭州群核信息技术有限公司 基于语言描述的户型设计方法和装置以及系统
CN112417539B (zh) * 2020-11-16 2023-10-03 杭州群核信息技术有限公司 基于语言描述的户型设计方法和装置以及系统
CN112733688A (zh) * 2020-12-30 2021-04-30 中国科学技术大学先进技术研究院 房屋的属性值预测方法、装置、终端设备以及存储介质
CN112733688B (zh) * 2020-12-30 2022-10-18 中国科学技术大学先进技术研究院 房屋的属性值预测方法、装置、终端设备以及计算机可读存储介质
CN112991542A (zh) * 2021-04-07 2021-06-18 北京有竹居网络技术有限公司 房屋三维重建方法、装置和电子设备
CN112991542B (zh) * 2021-04-07 2024-04-16 北京有竹居网络技术有限公司 房屋三维重建方法、装置和电子设备
CN113221225A (zh) * 2021-05-27 2021-08-06 北京有竹居网络技术有限公司 物品布局方法、装置、存储介质及电子设备
CN113536432A (zh) * 2021-07-20 2021-10-22 合肥工业大学 基于预测网络的村落房屋布局方法、存储介质及终端设备
CN113536432B (zh) * 2021-07-20 2024-05-14 合肥工业大学 基于预测网络的村落房屋布局方法、存储介质及终端设备
CN114442895A (zh) * 2022-04-07 2022-05-06 阿里巴巴达摩院(杭州)科技有限公司 三维模型构建方法

Also Published As

Publication number Publication date
CN111340938B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN111340938B (zh) 用于获得房屋布局信息的方法、网络模型训练方法及装置
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
CN105069424B (zh) 面部快速识别系统和方法
US10748007B2 (en) Identifying objects in an image
US10769718B1 (en) Method, medium, and system for live preview via machine learning models
US20130101208A1 (en) Background understanding in video data
KR102305023B1 (ko) 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체
CN111104879B (zh) 房屋功能间的识别方法和装置、可读存储介质、电子设备
US20180253852A1 (en) Method and device for locating image edge in natural background
WO2023241065A1 (zh) 用于图像逆渲染的方法、装置、设备和介质
CN114827711B (zh) 图像信息显示方法和装置
CN113689508A (zh) 点云标注方法、装置、存储介质及电子设备
US20220414952A1 (en) Augmentation of digital images with simulated surface coatings
CN112950759A (zh) 基于房屋全景图的三维房屋模型构建方法及装置
US20240012966A1 (en) Method and system for providing a three-dimensional computer aided-design (cad) model in a cad environment
CN113076889A (zh) 集装箱铅封识别方法、装置、电子设备和存储介质
CN112991540B (zh) 房屋模型的区域分割方法和装置、存储介质、电子设备
CN114612923A (zh) 基于目标检测的户型图墙体处理方法、系统、介质及设备
CN111986300A (zh) 房屋装修的渲染点确定方法和装置、存储介质、电子设备
US10776973B2 (en) Vanishing point computation for single vanishing point images
CN113591869A (zh) 点云实例分割方法和装置、电子设备和存储介质
US11550387B2 (en) Stereo correspondence search
CN112927200A (zh) 本征图像分解方法、装置、可读存储介质及电子设备
CN113112398A (zh) 图像处理方法和装置
CN111429568A (zh) 点云处理方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200721

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 300 457 days Unit 5, Room 1, 112, Room 1, Office Building C, Nangang Industrial Zone, Binhai New Area Economic and Technological Development Zone, Tianjin

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant