CN107122792B - 基于学习预测的室内布局估计方法及系统 - Google Patents

基于学习预测的室内布局估计方法及系统 Download PDF

Info

Publication number
CN107122792B
CN107122792B CN201710154250.4A CN201710154250A CN107122792B CN 107122792 B CN107122792 B CN 107122792B CN 201710154250 A CN201710154250 A CN 201710154250A CN 107122792 B CN107122792 B CN 107122792B
Authority
CN
China
Prior art keywords
room layout
sector
edge graph
prediction
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710154250.4A
Other languages
English (en)
Other versions
CN107122792A (zh
Inventor
张伟
张伟东
贺玄煜
陈启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Shandong University
Shandong University
Original Assignee
Shenzhen Research Institute Of Shandong University
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Shandong University, Shandong University filed Critical Shenzhen Research Institute Of Shandong University
Priority to CN201710154250.4A priority Critical patent/CN107122792B/zh
Publication of CN107122792A publication Critical patent/CN107122792A/zh
Application granted granted Critical
Publication of CN107122792B publication Critical patent/CN107122792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于学习预测的室内布局估计方法及系统，该方法包括：构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与得到的边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。

Description

基于学习预测的室内布局估计方法及系统
技术领域
本发明属于图像处理领域，尤其涉及一种基于学习预测的室内布局估计方法及系统。
背景技术
房间布局估计是用一个最合适的3维立体结构来模拟房间空间。换句话说，这个问题等同于从一个房间中找到所有的墙-地板，墙-墙，墙-天花板的边界。不幸的是，这些边界与各种不是房间的边缘混合在一起，并且不总是可见的。准确的房间布局估计需要计算机来从总体视角来理解房间，而不仅仅依赖于局部线索。
基于区域信息的图像特征被广泛用于以前的工作中。Hedau等人提出了一个经典的框架用于房间布局估计：在候选产生阶段，估算三个相互正交的消失点。然后通过从垂直和无限远水平的消失点中均匀采样，会产生一系列的候选布局。在排序阶段，每个候选布局会被赋予一个学习到的结构化回归量的得分，得分最高的布局被选为最终结果。Schwing等人对每个消失点密集采样50条射线，并将积分几何分解用于高效的结构化预测。李等人通过方向图用最合适的布局来评估的布局假设，其中方向图是由线段切割计算出来的。王等人比较重视室内的混杂程度，并共同用隐变量模拟了房间的五个面和混杂布局。上述这些方法均是借助传统手工提取的特征，有很多需要手动调节的参数，且最后的估计结果误差较大。
发明内容
为了解决现有技术的缺点，本发明的第一目的是提供一种基于学习预测的室内布局估计方法。
本发明的一种基于学习预测的室内布局估计方法，包括：
步骤1：构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
步骤2：将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
步骤3：计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
步骤4：对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与步骤2得到的边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
本发明的该方法首先利用反卷积网络对输入图像的每一个局部区域进行分类，从而得到一个低分辨率的标签图，然后对一个有很大内核和步幅的反卷积层进行双线性插值，以便对原始输入尺寸进行上采样标签图，本发明通过反卷积网络预测五个房间面的分割掩膜，而不是房间边缘，然后基于预测的掩膜被大量优化，从而改善最终的结果。
所述步骤3中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。
其中，对室内图像，有三个在空间互相正交的消失点，竖直方向有一个，水平方向有两个，其中距离图像中心更远的为远消失点，另一个为近消失点。
所述步骤3中，计算待测房间布局图中预设方向的消失点，生成若干个扇区的具体过程为从消失点发出射线，均匀分割待测房间布局图，得到一定数目的扇区。
步骤3中从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区的过程为：选择的扇区数目不固定，被选中的扇区需要满足两个条件：
该区域边缘图平均强度强于相邻两个扇区；
至少与一个相邻扇区的强度大于一个阈值。
这样选出的扇区更为准确，并且可以有效减少冗余，防止不必要的选择。
本发明的第二目的是提供一种基于学习预测高质量边缘图的房间布局估计系统。
本发明的一种基于学习预测高质量边缘图的房间布局估计系统，包括：
反卷积网络训练模块，其用于构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
预测边缘图输出模块，其用于将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
扇区选择模块，其用于计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
房间布局估计图筛选模块，其用于对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
本发明的该系统准确地根据图像预测房间的空间布局，得到房间三维结构；对于房间内有遮挡的情况，仍可以较为准确地做出预测；本发明的该系统广泛化性能较好，可以用于预测各种复杂的室内场景。
所述采样扇区选择模块中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。
所述扇区选择模块包括扇区生成模块，所述扇区生成模块用于：从消失点发出射线，均匀分割待测房间布局图，得到一定数目的扇区。
所述扇区选择模块还包括采样扇区筛选模块，所述采样扇区筛选模块用于：选择的扇区数目不固定，被选中的扇区需要满足两个条件：
该区域边缘图平均强度强于相邻两个扇区；
至少与一个相邻扇区的强度大于一个阈值。
本发明还提供另一种基于学习预测高质量边缘图的房间布局估计系统。
该基于学习预测高质量边缘图的房间布局估计系统，包括采集装置和处理器，所述采集装置被配置为采集训练样本并存储至训练集内，所述训练样本为房间布局图及其对应的边缘图；
所述处理器被配置为：
提取训练集内训练样本来训练反卷积网络，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
该系统还包括客户端，所述客户端用于显示处理器输出的房间布局图。
本发明的有益效果为：
(1)本发明的该方法首先利用反卷积网络对输入图像的每一个局部区域进行分类，从而得到一个低分辨率的标签图，然后对一个有很大内核和步幅的反卷积层进行双线性插值，以便对原始输入尺寸进行上采样标签图，本发明通过反卷积网络预测五个房间面的分割掩膜，而不是房间边缘，然后基于预测的掩膜被大量优化，从而改善最终的结果，最终准确估计房间的布局。
(2)本发明的该系统准确地根据图像预测房间的空间布局，得到房间三维结构；对于房间内有遮挡的情况，仍可以较为准确地做出预测；本发明的该系统广泛化性能较好，可以用于预测各种复杂的室内场景。
附图说明
图1是本发明的基于学习预测的室内布局估计方法流程图；
图2(a)是输入的待测房间布局图；
图2(b)是输出的边缘图；
图3(a)是输入的一个实施例待测房间布局图的原始图像；
图3(b)是图3(a)的预测的边缘；
图3(c)是第三种采样方法中边缘强度最高的的扇区；
图3(d)是图3(c)扇区对应的位置；
图3(e)是选择的局部最大边缘强度的扇区；
图3(f)是图3(e)扇区对应的位置；
图4是本发明的基于学习预测高质量边缘图的房间布局估计系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
图1是本发明的基于学习预测的室内布局估计方法流程图，如图所示的基于学习预测的室内布局估计方法，包括：
步骤1：构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出。
训练一个反卷积网络的目的是估计房间的边缘图。边缘图是概率图，代表了最适合房间的3维立体结构房间边缘，即两堵墙之间，墙壁和天花板之间，墙壁和地板之间的边缘。
步骤2：将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图。
如图2(a)所示，输入的待测房间布局图的大小是227×227；如图2(b)所示，输出边缘图的大小是56×56。输出边缘图是输入的待测房间布局图经过训练完成的反卷积网络计算得到的，其具体过程为：
首先把由一组角落坐标或像素级的分割代表的地面实况房间布局转换成边缘图。直观地说，理想的边缘图的表达应该是值为1的代表房间边缘的一像素宽的线和值为0的其余像素。然而，与整个图相比，这样的标签是很小的阳性区域，而且边缘和非边缘之间的反差太大了。所以我们使用粗线(约10像素宽)去产生边缘图，并且在图中执行高斯模糊函数，以便平滑边缘的边界和非边缘区域。如式(1)所示，这种转换是函数g表示的，其中采用布局参数y(如角点的类型和坐标)作为输入，输出为边缘图m。
m＝g(y) (1)
反卷积网络将房间图像作为输入，并使房间预测边缘图在最后一层产生。根据它们的功能，整个网络可以看作两部分：特征提取部分和边缘图生成部分。特征提取部分与AlexNet的配置相似，由5个卷积层和2全连接层组成。区别在于为避免过度拟合，每一层节点的数量在逐渐减少的。这部分旨在创建特征，其中这个特征可以从输入图像中带来房间边缘的预测信息。边缘图产生的部分由4个连续的反卷积层组成，ReLU激活是在两个反卷积层之间。预测边缘图是通过一个sigmoid函数由最后的卷积层输出的。这部分旨在产生高质量的边缘图，边缘图来自从特征提取部分得到的特征，因为反卷积层的层次结构是用来捕获不同级别的形状信息的。详细的网络配置在表1中列出。
输入图像的大小和输出边缘图的大小分别是227×227和56×56。训练损失是sigmoid交叉熵和欧几里得损失的总和，其中，交叉熵损失被激活的边缘位置激励输出图的值，而欧几里得损失主要抑制异常边缘。sigmoid交叉熵和欧几里得损失是两种常用的损失函数，用于衡量预测结果与真实结果的差距。
表1反卷积网络的配置
其中，layer name：层名；kernel size：卷积核大小；stride：步幅；pad：填充；output size：输出大小；input：输入；conv1:卷积层1；pool1:池化层1；fc6：全连接层6；deconv1:反卷积层1；其余类推；ReLU层被省略。
步骤3：计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
步骤3中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。
其中，对室内图像，有三个在空间互相正交的消失点，竖直方向有一个，水平方向有两个，其中距离图像中心更远的为远消失点，另一个为近消失点。
步骤3中，计算待测房间布局图中预设方向的消失点，生成若干个扇区的具体过程为从消失点发出射线，均匀分割待测房间布局图，得到一定数目的扇区。
步骤3中从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区的过程为：选择的扇区数目不固定，被选中的扇区需要满足两个条件：
该区域边缘图平均强度强于相邻两个扇区；
至少与一个相邻扇区的强度大于一个阈值。
这样选出的扇区更为准确，并且可以有效减少冗余，防止不必要的选择。
另一种选择局部最大边缘强度的扇区为采样扇区的方法为：
根据每个扇区区域的边缘图的平均强度，选择若干强度最强的扇区，这样选中的扇区数目是固定的。但是选出的扇区不准确，并且会产生冗余。
每一个候选布局都是通过从垂直和无限远水平消失点中至多抽样两条射线产生的。
本实施例采用投票策略选出消失点。每三个一组的消失点分别为垂直点、无限远水平点和近水平点。
对于扇区采样可以采用下列方法：
(1)在整个图像中从垂直和无限远水平消失点中按10等间距射线采样。
(2)对于每个消失点，密集采样50条射线来提高精度。然而，通过整个图像，密集采样是很耗费时间的，且大多数布局估计是异常值。
(3)从消失点中生成均匀间隔的扇区。在每个消失点的上下两个部分中，选择在高边缘强度中的前K个扇。在垂直的消失点中也会产生一个类似的过程。从每个被选定扇区中均匀采样N条射线。这种自适应布局生成策略注重最有意义的区域，并抑制毫无意义的布局的产生。
然而，上述三种方法可能会在某些情况下漏掉所需要的扇区。例如图3(a)预测的边缘在图3(b)中给出。考虑到水平消失点的上部分，目标是找到用深色标出的最重叠边缘的部分。在图3(d)中，高于水平消失点的部分序号为1到8，其中4号是生成布局所需的部分。在第三种方法中边缘强度高的前两个扇区(即K＝2)会被选择，如图3(c)所示，它们对应的位置是在图3(d)中用深色标出。很显然，所需的扇区(即4)被漏掉了。
本发明设置以下标准是为了找到合适的扇区：(1)这个扇区的平均边缘强度高于附近的扇区。(2)在(1)的条件下，至少对于这个扇区的一个邻域来说，边缘强度的差异大于一个阈值D(在实验中D＝0.03)。第一个标准是为了选择出局部最大边缘强度的扇区，第二个标准是为了防止在边缘不均匀扇区中进行不必要的选择。对于上述情况来说，在图3(e)中，满足两个标准的扇区被标注成深色，其对应的位置显示在图3(f)中，其中包含所需的4号扇区。根据边缘图来说，我们选择的扇区号码是合适的。
在确定扇区后，按顺序在每个类型中采样候选布局，并赋给所选扇区。在每个选定扇区中(包括两个边缘)，N条射线被均匀采样。如果一种类型的布局需要的射线数多于被选定扇区的数量，则跳过这种类型的布局。例如，如果对应于水平消失点的有两个扇区，对于垂直消失点的扇区有一个，则除了0、1、2和7类型，所有类型的候选布局都会被生成。
图3(a)-图3(f)是候选扇区选择过程示意图，图3(a)是原始图像，图3(b)是预测边缘图。对水平消失点来说，消失点上的扇区编号为1到8，其中4号扇区与边缘的重叠率最高，如图3(b)所示。在第三种采样方法中边缘强度最高的前两个扇区在图3(c)中被选择(两个深色柱子)，所选扇区显示在图3(d)中(用深色标出)，即为错过正确的扇区(4号扇区)。选择局部最大边缘强度，如图3(e)所示。所需的4号扇区被选择，如图3(f)所示。
步骤4：对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与步骤2得到的边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
在以往的研究中，用手工特征来排序候选布局，如LM，GC和OMs。本发明提出的反卷积网络能够产生高质量的边缘图，这个边缘图对于计算候选布局是很可靠的。因此，唯一的标准就是找到最适合边缘图的布局，具体如下：
其中，mi表示由第i个边缘布局产成的边缘图。M是由反卷积网络预测的边缘图。∥·||F表示弗罗贝尼乌斯规范。mi和M之间的相似度是通过评估重叠率和全局匹配得到的，其中使用了余弦相似性和欧几里得距离。在实验中，将μ设为0.06，以调整这两项的分量相当。
本发明进行了基于LSUN和Hedau数据集的实验，来测试该方法的性能。LSUN数据集用于房间布局，它包含了4000个训练图像，394个验证集的图像和1000个测试图像。原始训练集并不够大，所以通过裁剪和翻转增加到39.2万张图像。此外，色彩抖动也应用于这些图像。对于每一个图像，在HSV彩色空间中，价值(V)通道添加了随机值，一致分布在[-0.2,0.2]之间，色调(H)通道乘以一个[0.7,1.4]之间的比例。之前的房间布局数据集包含了209个训练图像和105个测试图像。显然地，训练集太小了，从而不能从零开始训练深度网络。即使数据增加(裁剪，翻转)，每种类型的场景仍然不足。因此，本发明使用这个网络去预训练LSUN数据集，从而初始化新网络的权重。
Caffe是用来实现网络的。设置基础学习速率为3×10-0.54，动量因子为0.5。输入图像被重置为为227×227。我们从每个输入图像中减去平均图像中，以促进训练。网络生成的边缘图大小为56×56。
预测房间边缘的性能：
将评估这个网络用于预测边缘图时的性能。反卷积网络(记作DeconvNet)和FCN的主要差异表现在两个方面。
首先，网络有多层反卷积层。这个反卷积层能够以从粗到细的方式生成高质量的边缘图，当有多层反卷积层时，边缘图是一层一层地被优化，分离和重建的。
第二，反卷积网络有全连接层，从而使接受域扩展到整个图像中。这个属性可以让网络通过周围的信息来处理遮挡。
最后，为了清楚起见，表2和表3总结了(1)FCN；(2)FCDN；(3)pro–DeconvNet；这三个网络的主要差异。直观地说，由DeconvNet预测的边缘图的不仅是最准确的，而且非常清晰和明确，这对于用我们的自适应采样方法生成候选布局是有益的。结果表明，DeconvNet对于遮挡处理得最好。即使在房间边缘是由大规模障碍严重堵塞的，例如，床覆盖了大部分图像，看不见的边缘仍可以准确地预测。相反，FCN给出的预测很少。FCDN稍好，但仍然不能处理遮挡问题。
表2.三种网络的差别
表3.三种采样方法的性能对比
本发明提出了通过学习反卷积网络来预测边缘图，以估计房间布局。这个网络展现了优越的性能，即生成高质量的房间边缘图。验结果表明，在Hedau和LSUN数据集上，本发明的该方法优于现有的方法。
本发明的该方法首先利用反卷积网络对输入图像的每一个局部区域进行分类，从而得到一个低分辨率的标签图，然后对一个有很大内核和步幅的反卷积层进行双线性插值，以便对原始输入尺寸进行上采样标签图，本发明通过反卷积网络预测五个房间面的分割掩膜，而不是房间边缘，然后基于预测的掩膜被大量优化，从而改善最终的结果。
本发明首先从边缘图中生成候选布局，然后通过排名选择最佳布局。使用LSUN的定义来确定生成布局的参数，其中每个布局都有自己的类型和角点坐标。11个类型的房间布局覆盖了大部分可能的房间图像。与Hedau标签相比，这是一个更明确的和简单的布局参数化模型。Hedau标签给出了地板的多边形边界，左边的墙，中间的墙，右边的墙和天花板。此外，地面真实有效的边缘图和房间布局分割掩膜都可以唯一地映射出相应的类型和点坐标。
图4是本发明的基于学习预测高质量边缘图的房间布局估计系统结构示意图，如图所示的基于学习预测高质量边缘图的房间布局估计系统，包括：
反卷积网络训练模块，其用于构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
预测边缘图输出模块，其用于将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
扇区选择模块，其用于计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
所述采样扇区选择模块中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。
所述扇区选择模块包括扇区生成模块，所述扇区生成模块用于：从消失点发出射线，均匀分割待测房间布局图，得到一定数目的扇区。
所述扇区选择模块还包括采样扇区筛选模块，所述采样扇区筛选模块用于：选择的扇区数目不固定，被选中的扇区需要满足两个条件：
该区域边缘图平均强度强于相邻两个扇区；
至少与一个相邻扇区的强度大于一个阈值。
房间布局估计图筛选模块，其用于对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
本发明的该系统准确地根据图像预测房间的空间布局，得到房间三维结构；对于房间内有遮挡的情况，仍可以较为准确地做出预测；本发明的该系统广泛化性能较好，可以用于预测各种复杂的室内场景。
本发明还提供了一种基于学习预测高质量边缘图的房间布局估计系统，包括采集装置和处理器，所述采集装置被配置为采集训练样本并存储至训练集内，所述训练样本为房间布局图及其对应的边缘图。
采集装置为图像采集器，比如摄像机或视频采集装置。
所述处理器被配置为：
提取训练集内训练样本来训练反卷积网络，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
该系统还包括客户端，所述客户端用于显示处理器输出的房间布局图。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于学习预测的室内布局估计方法，其特征在于，包括：
步骤1：构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
所述训练反卷积网络，包括：
首先利用反卷积网络对输入图像的每一个局部区域进行分类，从而得到一个低分辨率的标签图，然后对一个有很大内核和步幅的反卷积层进行双线性插值，通过反卷积网络预测五个房间面的分割掩膜，然后基于预测的掩膜被大量优化；步骤2：将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
步骤3：计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
步骤4：对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与步骤2得到的边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
2.如权利要求1所述的一种基于学习预测的室内布局估计方法，其特征在于，所述步骤3中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。
3.如权利要求1所述的一种基于学习预测的室内布局估计方法，其特征在于，所述步骤3中，计算待测房间布局图中预设方向的消失点，生成若干个扇区的具体过程为：从消失点发出射线，均匀分割待测房间布局图，得到若干个扇区。
4.如权利要求1所述的一种基于学习预测的室内布局估计方法，其特征在于，步骤3中从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区的过程为：
选择的若干个扇区数目不固定，被选中的扇区需要满足两个条件：
被选中的扇区边缘图平均强度强于相邻两个扇区；
至少与一个相邻扇区的强度大于一个阈值。
5.一种基于学习预测高质量边缘图的房间布局估计系统，其特征在于，包括：
反卷积网络训练模块，其用于构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
预测边缘图输出模块，其用于将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
扇区选择模块，其用于计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
房间布局估计图筛选模块，其用于对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
6.如权利要求5所述的一种基于学习预测高质量边缘图的房间布局估计系统，其特征在于，所述采样扇区选择模块中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。
7.如权利要求5所述的一种基于学习预测高质量边缘图的房间布局估计系统，其特征在于，所述扇区选择模块包括扇区生成模块，所述扇区生成模块用于：从消失点发出射线，均匀分割待测房间布局图，得到若干个扇区。
8.如权利要求7所述的一种基于学习预测高质量边缘图的房间布局估计系统，其特征在于，所述扇区选择模块还包括采样扇区筛选模块，所述采样扇区筛选模块用于：选择的若干个扇区数目不固定，被选中的扇区需要满足两个条件：
被选中的扇区边缘图平均强度强于相邻两个扇区；
至少与一个相邻扇区的强度大于一个阈值。
9.一种基于学习预测高质量边缘图的房间布局估计系统，其特征在于，包括采集装置和处理器，所述采集装置被配置为采集训练样本并存储至训练集内，所述训练样本为房间布局图及其对应的边缘图；
所述处理器被配置为：
提取训练集内训练样本来训练反卷积网络，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；
将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；
计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；
对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。
10.如权利要求9所述的一种基于学习预测高质量边缘图的房间布局估计系统，其特征在于，该系统还包括客户端，所述客户端用于显示处理器输出的房间布局图。
CN201710154250.4A 2017-03-15 2017-03-15 基于学习预测的室内布局估计方法及系统 Active CN107122792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710154250.4A CN107122792B (zh) 2017-03-15 2017-03-15 基于学习预测的室内布局估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710154250.4A CN107122792B (zh) 2017-03-15 2017-03-15 基于学习预测的室内布局估计方法及系统

Publications (2)

Publication Number Publication Date
CN107122792A CN107122792A (zh) 2017-09-01
CN107122792B true CN107122792B (zh) 2019-11-26

Family

ID=59718003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710154250.4A Active CN107122792B (zh) 2017-03-15 2017-03-15 基于学习预测的室内布局估计方法及系统

Country Status (1)

Country Link
CN (1) CN107122792B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320333B (zh) * 2017-12-29 2022-01-11 中国银联股份有限公司 场景适应型虚拟现实转换设备和虚拟现实的场景适应方法
CN109360232B (zh) * 2018-09-10 2021-04-06 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置
CN110307791B (zh) * 2019-06-13 2020-12-29 东南大学 基于三维车辆边界框的车辆长度及速度计算方法
CN110379168B (zh) * 2019-06-24 2021-09-24 东南大学 一种基于Mask R-CNN的交通车辆信息获取方法
CN111104704B (zh) * 2019-12-10 2023-08-18 杭州群核信息技术有限公司 柜体内部布局设计方法、装置、系统以及存储介质
CN112907750A (zh) * 2021-03-05 2021-06-04 齐鲁工业大学 一种基于卷积神经网络的室内场景布局估计方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751454A (zh) * 2015-03-11 2015-07-01 百度在线网络技术（北京）有限公司 一种用于确定图像中的人物轮廓的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751454A (zh) * 2015-03-11 2015-07-01 百度在线网络技术（北京）有限公司 一种用于确定图像中的人物轮廓的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Informative Edge Maps for Indoor Scene Layout Prediction;Arun Mallya et al.;《IEEE》;20160218;第936-944页 *
一种基于深度神经网络的无线定位方法;刘侃 等;《计算机工程》;20160731;第42卷(第7期);第82-85页 *

Also Published As

Publication number Publication date
CN107122792A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN107122792B (zh) 基于学习预测的室内布局估计方法及系统
CN109360232B (zh) 基于条件生成对抗网络的室内场景布局估计方法和装置
CN102099829B (zh) 测地图像和视频处理
CN109325998A (zh) 一种基于点云数据的室内3d建模方法、系统及相关装置
CN104424634B (zh) 对象跟踪方法和装置
CN104899883B (zh) 一种深度图像场景的室内对象立方体检测方法
US8248410B2 (en) Synthesizing detailed depth maps from images
EP2428036B1 (en) Systems and methods for the autonomous production of videos from multi-sensored data
WO2018201019A1 (en) Extracting 2d floor plan from 3d grid representation of interior space
Musialski et al. Interactive coherence‐based façade modeling
CN102509105B (zh) 一种基于贝叶斯推理的图像场景分层处理方法
CN111667030B (zh) 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
JP2012529691A (ja) ３次元画像生成
Rav-Acha et al. Dynamosaicing: Mosaicing of dynamic scenes
CN103856727A (zh) 一种多路实时视频拼接处理系统
US10413803B2 (en) Method, system and apparatus for displaying a video sequence
CN101588459A (zh) 一种视频抠像处理方法
CN106993152B (zh) 三维监控系统及其快速部署方法
CN101729791A (zh) 图像处理设备和方法
CN112752158B (zh) 一种视频展示的方法、装置、电子设备及存储介质
CN110796141A (zh) 目标检测方法及相关设备
CN111340882B (zh) 基于图像的室内定位方法及装置
CN103577875A (zh) 一种基于fast的计算机辅助cad人数统计方法
CN109993753B (zh) 遥感影像中城市功能区的分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180926

Address after: 250061 Ji'nan Lishi District, Ji'nan, Shandong Province, No. 17923

Applicant after: Shandong University

Applicant after: Shenzhen Research Institute of Shandong University

Address before: 250061 Ji'nan City, Shandong Province, No. ten, No. 17923

Applicant before: Shandong University

GR01 Patent grant
GR01 Patent grant