CN107424161A - 一种由粗至精的室内场景图像布局估计方法 - Google Patents
一种由粗至精的室内场景图像布局估计方法 Download PDFInfo
- Publication number
- CN107424161A CN107424161A CN201710274710.7A CN201710274710A CN107424161A CN 107424161 A CN107424161 A CN 107424161A CN 201710274710 A CN201710274710 A CN 201710274710A CN 107424161 A CN107424161 A CN 107424161A
- Authority
- CN
- China
- Prior art keywords
- mrow
- layout
- msub
- estimation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 230000010354 integration Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 33
- 230000007935 neutral effect Effects 0.000 claims description 16
- 230000008034 disappearance Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 239000012141 concentrate Substances 0.000 claims description 4
- 239000004020 conductor Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 1
- 238000003708 edge detection Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种由粗至精的室内场景图像布局估计方法，首先基于Canny边缘检测结果，设置阈值获得相应长直线段，对长直线段进行方向上的归类并估计消失点，进而生成大量布局候选项；然后，构建以VGG‑16为原型的全卷积神经网络预测信息化边界图，并将fc7层提取特征经Softmax分类器获得布局类别信息，两者融合生成全局特征进行布局候选项的粗选取；最后，建立布局估计的结构化回归模型，在提取线段、几何上下文、法向量和深度等信息的基础上，经几何积分图像形成区域级特征，实现布局候选项到特征域的映射的同时进行特征参数的学习，从而获得布局估计参数模型。该方法提高了布局估计的准确率，在室内场景的3D重建中具有重要的应用价值。
Description
技术领域
本发明涉及一种由粗至精的室内场景图像布局估计方法，属于图像场景理解技术领域。
背景技术
图像场景理解一直都是计算机视觉领域的研究热点，室内场景布局估计作为其初始也是关键单元，基本目标是根据给定的室内场景图像恢复出场景内房间的布局结构。对于人眼这种高度精确且即时的视觉系统来说，识别房间的布局并不困难，仅需一瞥，即可获知视场范围内场景的上下文信息，但利用现有计算机技术模拟人类视觉系统，使计算机具有“观察”世界的能力并非易事，需要经历较复杂的机器学习过程。主要是因为场景内部存在大量的杂物，例如家具、个人等，都会对房间的布局边界造成遮挡，使得布局的恢复变得极具挑战性。
近年来，许多的场景布局估计研究工作中致力于提出有效的方法进行布局估计。文献[Hedau V,Hoiem D,Forsyth D.Recovering the spatial layout of clutteredrooms.International Conference on Computer Vision.2009:1849-1856.]提出将房间布局边界参数化为3D盒模型结构，基于估计的消失点生成布局候选项，提取线段、几何上下文等特征进行学习。文献[Lee D C,Hebert M,Kanade T.Geometric reasoning forsingle image structure recovery.Computer Vision and Pattern Recognition.2009:2136-2143.]在此基础之上又引入方向图特征。文献[Zhang J,Kan C,Schwing A G,etal.Estimating the 3D Layout of Indoor Scenes and Its Clutter from DepthSensors.IEEE International Conference on Computer Vision.2013:1273-1280.]除给定RGB图像之外加入了深度信息，对仅基于外观信息特征提取的进行补充。文献[Schwing AG,Hazan T,Pollefeys M,et al.Efficient structured prediction for 3D indoorscene understanding.IEEE Conference on Computer Vision and PatternRecognition.2012:2815-2822.]提出一种新的参数化方法,将房间布局边界参数化为由消失点引出的成对射线之间的夹角，问题转化为四个离散随机变量的基础预测，对目标函数采用新方法求解。随着卷积神经网络狂潮的掀起，文献[Mallya A,Lazebnik S.LearningInformative Edge Maps for Indoor Scene Layout Prediction.InternationalConference on Computer Vision.2015:936-944.]对场景布局的边界进行预测，提取新的边界特征。上述方法主要从特征提取和模型求解这两方面进行优化，并没有对模型本身进行修改。
上述方法所涉及的特征都是从既定场景布局候选项的划分区域内逐个提取拼接而成，则所提取的特征都是区域级特征，并没有将基于整幅图像所提取的全局特征融入进去考虑。
发明内容
本发明所要解决的技术问题是提供一种由粗至精的室内场景图像布局估计方法，采用改进型消失点估计方法基于图像中检测出的线段进行消失点估计，用于生成布局候选项；基于卷积神经网络提取的全局特征，对布局候选项进行粗选取，将误差较大的剔除；根据布局估计问题定义结构化学习模型，利用几何积分图像提取区域级特征，进行特征参数的学习。本发明的方法充分融合了全局特征和区域级特征，对布局估计结果进行严格约束。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种由粗至精的室内场景图像布局估计方法，包括以下步骤：
步骤A、针对室内场景图像，采用改进型的消失点估计方法对图像中检测出的边缘线段进行消失点估计，生成若干场景布局候选项；
步骤B、针对室内场景图像，基于卷积神经网络提取布局边界和布局类别信息，融合成全局特征，对步骤A生成的场景布局候选项进行粗选取；
步骤C、根据布局估计问题定义结构化回归问题模型，通过训练图像集对结构化回归问题模型进行训练学习，通过训练学习完成的模型进行室内场景布局估计；最后用查询图像测试。
作为本发明的进一步技术方案，步骤A具体为：
A1，针对室内场景图像，采用Canny算子进行边缘检测，并设置边缘线段的阈值，将小于阈值的边缘线段剔除，将剩余的长直边缘线段用于消失点估计；
A2，将图像中长直边缘线段进行竖直方向、水平方向线段的划分，分别用于估计竖直方向消失点、水平及投影方向消失点，其中，竖直方向的线段用于估计竖直方向上的消失点，水平方向的线段用于估计水平和投影方向上的消失点；
A3，由估计得到的竖直方向、水平方向的消失点等间隔地引出射线，两两成对射线相交确定图像内区域面的划分情况，从而生成若干场景布局候选项。
作为本发明的进一步技术方案，步骤A2中长直边缘线段进行竖直方向、水平方向线段划分的方法为：首先，设定一竖直方向的消失点，计算该消失点与任一长直边缘线段重点的连线与前述长直边缘线段的夹角，若该夹角大于20°则前述长直边缘线段划分为水平方向的线段，否则划分为竖直方向的线段。
作为本发明的进一步技术方案，步骤A2中采用投票得分机制估计竖直方向消失点、水平及投影方向消失点，具体为：
1)竖直方向的线段集合记为{lvi}，1≤i≤n，n为竖直方向上的线段数目，pk为{lvi}中线段两两相交的形成第k个交点，1≤k≤K，K为{lvi}中线段两两相交的形成的交点数目，则第i个竖直方向线段lvi对pk的得分贡献为：
其中，α表示lvi与pk和lvi中点的连线之间的夹角，γ是设定阈值；
2)将所有竖直方向线段对pk的得分贡献进行求和，得到pk的得分
3)所有K个交点中得分最高的即为竖直方向的消失点vp1；
4)基于消失点的正交性准则：＜vp1,vp2＞＝0、＜vp1,vp3＞＝0、＜vp2,vp3＞＝0，分别获得若干符合上述消失点的正交性准则的水平方向消失点和投影方向消失点的可能项，再基于如1)至3)中相同的投票得分机制，即可得到最终的水平方向的消失点vp2与投影方向向的消失点vp3。
作为本发明的进一步技术方案，步骤B具体为：
B1，针对室内场景图像，采用基于VGG-16的全卷积神经网络对图像的布局边界进行估计，估计得到场景的布局边界信息；
B2，提取步骤B1中基于VGG-16的全卷积神经网络中最后一层卷积层的输出特征作为一个浅层神经网络的输入，进行布局类别标注概率的训练，估计得到场景的布局类别信息；
B3，将步骤B1中估计得到的布局边界信息和步骤B2中估计得到的布局类别信息融合生成全局特征，通过全局特征对场景布局候选项的边界位置和结构进行约束，实现对场景布局候选项的粗选取。
作为本发明的进一步技术方案，步骤B1中采用联合训练的机制，采用基于VGG-16的全卷积神经网络对布局边界图和几何上下文图进行联合训练，该神经网络的损失函数为：
L(I,E,G)＝Ledge(E,E*)+Lgc(G,G*)
其中，L(I,E,G)表示该神经网络的损失函数，Ledge(E,E*)表示布局边界损失函数，Lgc(G,G*)表示几何上下文图损失函数，I表示输入的室内场景图像，E和E*分别表示预测和基准标注的信息化边界图，G和G*分别表示预测和基准标注的几何上下文GC图，m表示室内场景图像中的像素点个数，Ez和分别表示像素点位置z的预测和基准标注的信息化边界图，Gz和分别表示像素点位置z的预测和基准标注的几何上下文GC图。
作为本发明的进一步技术方案，步骤B2中的浅层神经网络由1层全连接层和1层softmax层构成，该浅层神经网络的损失函数定义如下
其中，o表示输入室内场景图像的提取的基于VGG-16的全卷积神经网络最后一层卷积层的特征，c表示室内场景图像对应的场景类别基准标注，h表示场景布局类别数目，θ表示需要训练的浅层神经网络模型参数矩阵，a、b均表示任一场景布局类别索引值，θa、θb分别表示矩阵θ的第a、b行向量；δ(·)表示冲击函数，若括号内的表达式为0则δ(·)取值为1，否则δ(·)取值为0。
作为本发明的进一步技术方案，步骤B3具体为：首先，针对任一场景布局候选项，计算由该候选项映射得到的布局边界图与步骤B1中估计得到的布局边界图之间的重合像素点数目，并参照室内场景图像的大小进行归一化处理，即得到布局边界得分s1；然后，针对该场景布局候选项，从步骤B2估计得到的各个布局类别标注概率中找出该候选项映射得到的布局类别标注概率，即为布局类别得分s2；再后，针对该场景布局候选项，计算该候选项的总得分s＝α1×s1+α2×s2，α1、α2均为权值，α1+α2＝1；最后，针对所有场景布局候选项，选择得分较高的M个候选项保留，舍弃其余候选项，从而完成场景布局候选项的粗选取，其中，M的取值根据实际需要选取。
作为本发明的进一步技术方案，步骤C具体为：
C1，针对训练图像集中的室内场景图像及其对应的基准标注布局，分别通过Canny算子进行边缘检测获得室内场景图像的边缘线段信息、通过基于VGG-16的全卷积神经网络获得室内场景图像的几何上下文信息、通过基于VGG-16的空间多尺度卷积神经网络获得室内场景图像的法向量信息和深度信息，通过几何积分图像方式将提取的线段信息、几何上下文信息、法向量和深度信息经线性变换拼接为特征向量的形式，形成区域级特征，实现室内场景图像到特征域的映射；
C2，将布局估计问题转化为步骤B中粗选取后的场景布局候选项的最优选取问题，定义结构化回归问题模型，其目标函数为：
其中，f(x,y；w)表示室内场景图像x与其基准标注布局y之间的映射关系，w表示权重向量，f(x,y)＝wTψ(x,y)，ψ(x,y)表示室内场景图像x针对其基准标注布局y所提取的区域级特征；
C3，根据步骤C1中训练图像集中的室内场景图像的区域级特征，对步骤C2中的结构化回归问题模型进行训练学习，求解得到权重向量w，完成结构化回归问题模型的训练学习完成具体为：
将目标函数转化为以下问题：
其中，λ表示常量，xq表示训练图像集中第q个室内场景图像，1≤q≤Q，Q表示训练图像集中室内场景图像的数目；ξq表示xq的松弛变量，Y表示xq经过步骤A和步骤B处理后得到的粗选取后的布局候选项集合，y′表示集合Y中的元素，yq表示xq的基准标注布局，ψ(xq,yq)表示xq对应的基准标注布局yq所提取的区域级特征，ψ(xq,y′)表示xq对应的粗选取后的布局候选项y′所提取的区域级特征，Δ(yq,y′)表示用于量化yq和y′两种布局之间的测度的损失函数；
C4，用查询图像测试，具体为：采用步骤A和B的方法对查询图像进行处理，得到粗选取后的布局候选项，将粗选取后的布局候选项分别映射为区域级特征的形式，输入训练学习完成的结构化回归问题模型即可获得最优布局候选项，将最优布局候选项标注为布局估计的结果，从而完成室内场景图像布局的估计。
作为本发明的进一步技术方案，步骤C3中采用Cutting-Plane算法对C2中的结构化回归问题模型进行训练学习，求解权重向量w。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明引入布局候选项粗选取步骤，基于卷积神经网络对初始图像提取有关整幅图像的全局特征，对生成的大量布局候选项的边界位置和结构进行粗略约束，仅将较优的布局候选项保留下来进行后处理，故得到的估计结果更好；
2)本发明同时对区域级特征进行了更新，在原始特征的基础上引入极具空间几何信息的法向量和深度特征，使得提取的特征更具鲁棒性且习得的模型参数更能有效的估计出最佳的布局候选项。
附图说明
图1是由粗至精的室内场景图像布局估计流程图；
图2是提取全局特征采用的全卷积神经网络；
图3是估计法向量和深度图采用的卷积神经网络。
具体实施方式
下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明：
本发明提供了一种由粗至精的室内场景图像布局估计方法，如图1所示，包括如下步骤：
步骤A，针对训练图像集中的室内场景图像，采用改进型的消失点估计方法对室内场景图像中检测出的边缘线段进行消失点估计，生成若干布局候选项。
步骤A1，针对训练图像集中的室内场景图像，采用Canny算子进行边缘线段的检测，并将检测出的边缘线段根据设定的阈值进行筛选，将小于阈值的边缘线段剔除，剩下的长直边缘线段则用于估计消失点。
由于实际的室内场景图像的大小并不是固定值，因此将边缘线段的长度阈值σ设置为随图像大小变化的，即其中，height、width分别表示图像的宽和长，固定参数ε取值为ε＝0.025。
步骤A2，将长直边缘线段竖直方向、水平方向线段的划分，分别用于估计竖直方向消失点、水平及投影方向消失点，其中，归为竖直方向的线段用于估计竖直方向消失点，归为水平方向的线段用于估计水平及投影方向消失点，由此合成规范化的消失点估计值。
本发明中，对长直边缘线段进行竖直方向、水平方向线段划分的方法为：首先，设定一竖直方向的消失点p1＝[0,-105]，计算点p1与任一长直边缘线段重点的连线与前述长直边缘线段的夹角，若该夹角大于20°则前述长直边缘线段划分为水平方向的线段，否则划分为竖直方向的线段。
本发明中，采用投票得分机制估计竖直方向消失点、水平及投影方向消失点，具体为：
1)将消失点表示为VPs＝[vp1,vp2,vp3]，其中，vp1表示竖直方向上的消失点，vp2表示水平方向上的消失点，vp3表示投影方向上的消失点；
2)假设竖直方向上的线段集合为{lvi}(1≤i≤n)，n为竖直方向上的线段数目，则由竖直方向上的线段两两相交所形成交点都是vp1的可能值，采用投票得分机制估计即可得到竖直方向消失点。针对{lvi}中线段两两相交的形成第k个交点pk，，1≤k≤K，K为{lvi}中线段两两相交的形成的交点数目，第i个竖直方向线段lvi对pk的得分贡献可表示为
其中，α表示lvi与pk和lvi中点的连线之间的夹角，γ是设定阈值，取值为0.1。
3)所有竖直方向上的线段对点pk的得分贡献求和得到点pk的得分为
4)比较所有K个交点的得分情况，其中得分最高的交点即为竖直方向消失点vp1。
5)在求得vp1的前提下，基于消失点的正交性准则：＜vp1,vp2＞＝0、＜vp1,vp3＞＝0、＜vp2,vp3＞＝0，可以获得多个符合上述正交性准则的vp2和vp3的可能项，再基于相同的投票得分机制即可确定水平方向的消失点vp2与投影方向向的消失点vp3。
相比较于传统的消失点估计方法，采用投票得分机制所基于的线段是全部的长直线段，且直接将得分最高的交点标记为vp1，这样并不严格满足消失点VPs＝[vp1,vp2,vp3]定义，因为只有当得分最高的点是竖直方向上的线段交点时才能判定为vp1，同时将所有长直线段考虑在内增加了计算复杂度和干扰影响，故改进型消失点估计方法通用性更强，求解速度更快。
步骤A3，由估计得到的竖直方向、水平方向的消失点等间隔地引出射线，两两成对射线相交确定图像内区域面的划分情况，从而生成若干场景布局候选项。
步骤B，针对训练图像集中的室内场景图像，基于卷积神经网络提取布局边界和布局类别信息，融合成全局特征，对步骤A生成的场景布局候选项进行粗选取。
步骤B1，针对训练图像集中的室内场景图像，基于以VGG-16为原型修改的全卷积神经网络FCNs实现对室内场景图像的布局边界图的估计，将估计得到的场景的布局边界信息作为全局特征之一。
基准标注的布局边界太细，若直接用于估计误差较大，故首先将布局边界的宽度扩大至8个像素点。且为了取得更好的布局边界预测效果，采用联合训练的机制，将布局边界图与几何上下文图(Geometric Context，GC)的估计任务放入同一模型中进行训练，具体的FCNs网络模型如图2所示，其损失函数定义如下
L(I,E,G)＝Ledge(E,E*)+Lgc(G,G*)
其中，L(I,E,G)表示该神经网络的损失函数，Ledge(E,E*)表示布局边界损失函数，Lgc(G,G*)表示几何上下文图损失函数，I表示输入的室内场景图像，E和E*分别表示预测和基准标注的信息化边界图，G和G*分别表示预测和基准标注的几何上下文GC图，m表示室内场景图像中的像素点个数，Ez和分别表示像素点位置z的预测和基准标注的信息化边界值，Gz和分别表示像素点位置z的预测和基准标注的几何上下文GC值。在这里，图的表现形式是矩阵，z是图中的像素点位置，也就是矩阵中的索引位置，则表示的应该是某一点的数值。
步骤B2，同样针对训练图像集中的室内场景图像，可以通过将上述全卷积神经网络FCNs模型提取的最后一层特征作为一个浅层神经网络的输入，实现对室内场景图像的布局类别标注概率的估计，将估计得到的布局类别信息作为另一个全局特征。
给定一幅室内场景图像，将上述用于估计布局边界图与几何上下文图的FCNs模型中最后一层特征(即fc7层特征)提取出来，作为一个浅层神经网络的输入，进行场景布局类别标注概率的训练。该浅层神经网络主要由1层全连接层和1层softmax层构成，由于最终的目的是实现场景布局的类别标定估计，故可看做是一个多值问题，其损失函数定义如下
其中，o表示输入室内场景图像的提取的基于VGG-16的全卷积神经网络最后一层卷积层的特征，c表示室内场景图像对应的场景类别基准标注，h表示场景布局类别数目，θ表示需要训练的浅层神经网络模型参数矩阵，a、b均表示任一场景布局类别索引值，θa、θb分别表示矩阵θ的第a、b行向量；δ(·)表示冲击函数，若括号内的表达式为0则δ(·)取值为1，否则δ(·)取值为0。
步骤B3，将B1和B2中提取的两种信息融合生成全局特征，对场景布局候选项的边界位置和结构起到粗略的约束作用，实现对场景布局候选项的粗选取。
针对任一布局候选项，计算由该候选项映射得到的布局边界图与B1中估计得到的布局边界图之间的重合像素点数目，并参照图像大小进行归一化处理，得到的结果记为布局边界得分s1；同时，从B2中估计得到的各个布局类别标注概率中找出该候选项映射得到的布局类别的概率结果，记为布局类别得分s2；则每一个布局候选项的总得分记为s＝α1×s1+α2×s2，α1+α2＝1。根据每个布局候选项的总得分将得分较高的前若干个保留下来，其余则舍弃，从而实现粗选取的目的。
本发明中进行全局特征融合的目标为：(1)保证最佳的布局候选项经过粗筛选后仍然在布局候选项中，(2)粗筛选后的布局候选项的平均误差尽量小，即选出的布局候选项较优。将这两个目标作为学习权重的优劣性判定指标，对权重进行调整学习出最佳的权重值。当α1＝0.26，α2＝0.74，且粗选取结果为100个布局候选项时，获得的选取效果最好。
步骤C，根据布局估计问题定义结构化学习模型，通过几何积分图像方式将提取的线段成员信息、几何上下文、法向量及深度信息进行线性变换，拼接为区域级特征向量的形式，实现布局候选项到特征域的映射，进行特征参数的学习获得最佳的模型参数；最后用查询图像测试。
步骤C1，针对训练图像集中的室内场景图像及其对应的基准标注布局，分别通过Canny算子进行边缘检测获得室内场景图像的边缘线段信息、通过基于VGG-16的全卷积神经网络获得室内场景图像的几何上下文信息、通过基于VGG-16的空间多尺度卷积神经网络获得室内场景图像的法向量信息和深度信息，通过几何积分图像方式将提取的线段信息、几何上下文信息、法向量和深度信息经线性变换拼接为特征向量的形式，形成区域级特征，实现室内场景图像到特征域的映射。
对布局估计需要用到的信息进行提取，本发明中主要考虑4种信息：线段信息征、几何上下文信息、法向量和深度信息。
针对任意一种场景布局所提取的区域级特征，通过几何积分图像方式将提取的线段信息、几何上下文信息、法向量和深度信息经线性变换拼接为特征向量的形式，实现布局候选项到特征域的映射。
线段信息，依据的是消失点估计的过程中检测出的长直边缘线段。针对房间布局估计中的任意一个区域面Fu，1≤u≤5，分为地面、中墙、左墙、右墙、天花板这5个区域面，其无权重的线成员特征Vr定义如下：
其中，Lu表示检测出的线段rg位于区域面Fu内部的所有线段的集合，Uu表示检测出的线段rg可以归属为构成区域面Fu的所涉及到两个消失点的所有线段的集合，g是线段的索引值。需要注意的是公式中的|rg|表示线段rg的长度。
几何上下文信息，由于上述进行边界估计的全卷积神经网络的另一路输出是对几何上下文图的预测，故将输出结果进行提取即可。
法向量和深度信息，基于卷积神经网络构建的多尺度输入模型根据一幅RGB图像估计出对应的法向量和深度图，通过适当的变换提取相应的特征。该基于VGG-16的空间多尺度卷积神经网络模型的结构如图3所示，具体的损失函数定义如下：
L(I,D,N)＝Ldepth(D,D*)+Lnormal(N,N*)
其中，L(I,D,N)表示整个神经网络的损失函数，Ldepth(D,D*)表示深度损失函数，Lnormal(N,N*)表示法向量损失函数；D和D*分别表示预测和基准标注的深度图，d表示两者的差值，即d＝D-D*；z表示图像中的像素点位置，m表示图像中所有的像素点个数；▽Hdz和▽Sdz分别代表水平和数值方向上的像素点之间的深度变化值。N和N*分别表示预测和基准标注的法向量图。
图像中任意点像素的法向量是一个3维的特征，每一维分别代表该像素点所位于的平面的法向量方向(实际上第二维数据全部为负值，因为方向向后的像素点都被其他方向的像素点遮挡住)，故只有往左、右、前、上、下5个方向。受方向图的启发，将3通道的法向量图Nh×w×3转化为5通道的法向量特征Fh×w×5。假设法向量的任意像素点为(χ1,χ2,χ3)，相同像素点位置的法向量特征为(η1,η2,η3,η4,η5)，则它们之间的转换关系如下
其中，βi值表示根据χτ(τ＝1,2,3)绝对值的大小所赋予的权重因子，绝对值越大的表示对应的方向性越强，故赋予较大的权重值，相反的，绝对值越小的赋予较小的权重值。本文的实验中，将β分为3个等级。由此生成对应的法向量特征，因为深度信息只是1通道的信息，故只需对其进行归一化处理。
步骤C2，将室内场景图像布局的估计看做对粗选取后的场景布局候选项进行最优化选取的问题，故可定义为结构化回归问题，确定其目标函数。通过将由室内场景图像粗选取得到的场景布局候选项参数化为固定特征域的特征向量的形式，求解室内场景图像与布局估计结果之间的映射函数。
假设一幅室内场景图像用x表示，其基准标注布局用y＝{F1,F2,F3,F4,F5}表示，要实现对布局的最佳估计就需要找到它们的映射关系，表示为映射函数f(x,y；w)，w表示权重向量，需进行学习得到。该映射函数依据布局候选项与输入图像基准标注布局的相似度计算得分，相似度越高得分越高，排名越靠前，具体数学表达式(即结构化回归问题的目标函数)如下：
其中，f(x,y；w)表示室内场景图像x与其基准标注布局y之间的映射关系，通过在给定的训练图像集(室内场景图像与其对应基准标注布局)上进行训练学习，求得上述映射关系f。假设f(x,y)＝wTΨ(x,y)，其中，Ψ(x,y)表示表示针对任意一种场景布局所提取的区域级特征，则对映射关系的求解问题可以转化为对w权重向量的求解。故可将上述目标函数转变为以下问题：
其中，λ表示常量，本发明中λ＝1；xq表示训练图像集中第q个室内场景图像，1≤q≤Q，Q表示训练图像集中室内场景图像的数目；ξq表示xq的松弛变量，Y表示xq经过步骤A和B处理后得到的粗选取后的布局候选项集合，y′表示集合Y中的元素，yq表示xq的基准标注布局，ψ(xq,yq)表示xq对应的基准标注布局yq所提取的区域级特征，ψ(xq,y′)表示xq对应的粗选取后的布局候选项y′所提取的区域级特征，Δ(yq,y′)表示用于量化yq和y′两种布局之间的测度的损失函数。
本发明中，采用Cutting-Plane算法对C2中的结构化回归问题模型进行训练学习，求解权重向量w，完成结构化回归问题模型的训练学习。
步骤C3，给定一幅室内场景图像(查询图像)，将粗选取后的布局候选项都映射为区域级特征ψ(x,y)的形式，在权重向量w的引导下求得wTψ(x,y)的数值得分，将计算得分最高的布局候选项标注为估计的布局结果，从而实现了对室内场景图像布局估计任务。
针对每个场景布局候选项，通过几何积分图像方式将提取的上述信息进行线性变换，拼接为区域级特征向量的形式，实现布局候选项到特征域的映射，放入定义结构化模型中采用Cutting-Plane算法进行模型参数的学习。
本发明公开的一种由粗至精的室内场景图像布局估计方法，针对一幅室内场景RGB图像，首先基于Canny边缘检测结果，设置阈值获得相应长直线段，对线段进行方向上的归类并估计消失点，由竖直和水平方向上的消失点等间隔地引出成对射线生成大量布局候选项；然后，构建以VGG-16为原型的全卷积神经网络预测信息化边界图，并将fc7层提取特征经Softmax分类器获得布局类别信息，两者融合生成全局特征进行布局候选项的粗选取；最后，建立布局估计的结构化回归模型，在提取线段、几何上下文、等常规特征的基础之上，融入基于VGG-16的空间多尺度输入卷积神经网络生成的法向量和深度等信息，经几何积分图像形成区域级特征，实现布局候选项到特征域的映射的同时进行特征参数的学习，从而获得布局估计参数模型。该方法同时考虑了全局特征和区域级特征，能更全面、更有效地对布局候选项进行约束，提高了布局估计的准确率，在室内场景的3D重建中具有重要的应用价值。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种由粗至精的室内场景图像布局估计方法，其特征在于，包括以下步骤：
步骤A、针对室内场景图像，采用改进型的消失点估计方法对图像中检测出的边缘线段进行消失点估计，生成若干场景布局候选项；
步骤B、针对室内场景图像，基于卷积神经网络提取布局边界和布局类别信息，融合成全局特征，对步骤A生成的场景布局候选项进行粗选取；
步骤C、根据布局估计问题定义结构化回归问题模型，通过训练图像集对结构化回归问题模型进行训练学习，通过训练学习完成的模型进行室内场景布局估计；最后用查询图像测试。
2.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤A具体为：
A1，针对室内场景图像，采用Canny算子进行边缘检测，并设置边缘线段的阈值，将小于阈值的边缘线段剔除，将剩余的长直边缘线段用于消失点估计；
A2，将图像中长直边缘线段进行竖直方向、水平方向线段的划分，分别用于估计竖直方向消失点、水平及投影方向消失点，其中，竖直方向的线段用于估计竖直方向上的消失点，水平方向的线段用于估计水平和投影方向上的消失点；
A3，由估计得到的竖直方向、水平方向的消失点等间隔地引出射线，两两成对射线相交确定图像内区域面的划分情况，从而生成若干场景布局候选项。
3.根据权利要求2所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤A2中长直边缘线段进行竖直方向、水平方向线段划分的方法为：首先，设定一竖直方向的消失点，计算该消失点与任一长直边缘线段重点的连线与前述长直边缘线段的夹角，若该夹角大于20°则前述长直边缘线段划分为水平方向的线段，否则划分为竖直方向的线段。
4.根据权利要求2所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤A2中采用投票得分机制估计竖直方向消失点、水平及投影方向消失点，具体为：
1)竖直方向的线段集合记为{lvi}，1≤i≤n，n为竖直方向上的线段数目，pk为{lvi}中线段两两相交的形成第k个交点，1≤k≤K，K为{lvi}中线段两两相交的形成的交点数目，则第i个竖直方向线段lvi对pk的得分贡献为：
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mrow>
<mi>v</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<msub>
<mi>l</mi>
<mrow>
<mi>v</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>&CenterDot;</mo>
<mi>exp</mi>
<mo>&lsqb;</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&alpha;</mi>
<mrow>
<mn>2</mn>
<msup>
<mi>&gamma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中，α表示lvi与pk和lvi中点的连线之间的夹角，γ是设定阈值；
2)将所有竖直方向线段对pk的得分贡献进行求和，得到pk的得分
3)所有K个交点中得分最高的即为竖直方向的消失点vp1；
4)基于消失点的正交性准则：＜vp1,vp2＞＝0、＜vp1,vp3＞＝0、＜vp2,vp3＞＝0，分别获得若干符合上述消失点的正交性准则的水平方向消失点和投影方向消失点的可能项，再基于如1)至3)中相同的投票得分机制，即可得到最终的水平方向的消失点vp2与投影方向向的消失点vp3。
5.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤B具体为：
B1，针对室内场景图像，采用基于VGG-16的全卷积神经网络对图像的布局边界进行估计，估计得到场景的布局边界信息；
B2，提取B1中基于VGG-16的全卷积神经网络中最后一层卷积层的输出特征作为一个浅层神经网络的输入，进行布局类别标注概率的训练，估计得到场景的布局类别信息；
B3，将B1中估计得到的布局边界信息和B2中估计得到的布局类别信息融合生成全局特征，通过全局特征对场景布局候选项的边界位置和结构进行约束，实现对场景布局候选项的粗选取。
6.根据权利要求5所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤B1中采用联合训练的机制，采用基于VGG-16的全卷积神经网络对布局边界图和几何上下文图进行联合训练，该神经网络的损失函数为：
L(I,E,G)＝Ledge(E,E*)+Lgc(G,G*)
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>e</mi>
<mi>d</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>E</mi>
<mo>,</mo>
<msup>
<mi>E</mi>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>z</mi>
</munder>
<msubsup>
<mi>E</mi>
<mi>z</mi>
<mo>*</mo>
</msubsup>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>E</mi>
<mi>z</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>g</mi>
<mi>c</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>G</mi>
<mo>,</mo>
<msup>
<mi>G</mi>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>z</mi>
</munder>
<msubsup>
<mi>G</mi>
<mi>z</mi>
<mo>*</mo>
</msubsup>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>z</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，L(I,E,G)表示该神经网络的损失函数，Ledge(E,E*)表示布局边界损失函数，Lgc(G,G*)表示几何上下文图损失函数，I表示输入的室内场景图像，E和E*分别表示预测和基准标注的信息化边界图，G和G*分别表示预测和基准标注的几何上下文GC图，m表示室内场景图像中的像素点个数，Ez和分别表示像素点位置z的预测和基准标注的信息化边界值，Gz和分别表示像素点位置z的预测和基准标注的几何上下文GC值。
7.根据权利要求5所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤B2中的浅层神经网络由1层全连接层和1层softmax层构成，该浅层神经网络的损失函数定义如下
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>s</mi>
<mi>c</mi>
<mi>e</mi>
<mi>n</mi>
<mi>e</mi>
<mo>-</mo>
<mi>t</mi>
<mi>y</mi>
<mi>p</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>a</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>h</mi>
</munderover>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mo>-</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mfrac>
<msup>
<mi>e</mi>
<mrow>
<msubsup>
<mi>&theta;</mi>
<mi>a</mi>
<mi>T</mi>
</msubsup>
<mi>o</mi>
</mrow>
</msup>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>b</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>h</mi>
</msubsup>
<msup>
<mi>e</mi>
<mrow>
<msubsup>
<mi>&theta;</mi>
<mi>b</mi>
<mi>T</mi>
</msubsup>
<mi>o</mi>
</mrow>
</msup>
</mrow>
</mfrac>
</mrow>
其中，o表示输入室内场景图像的提取的基于VGG-16的全卷积神经网络最后一层卷积层的特征，c表示室内场景图像对应的场景类别基准标注，h表示场景布局类别数目，θ表示需要训练的浅层神经网络模型参数矩阵，a、b均表示任一场景布局类别索引值，θa、θb分别表示矩阵θ的第a、b行向量；δ(·)表示冲击函数，若括号内的表达式为0则δ(·)取值为1，否则δ(·)取值为0。
8.根据权利要求5所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤B3具体为：首先，针对任一场景布局候选项，计算由该候选项映射得到的布局边界图与步骤B1中估计得到的布局边界图之间的重合像素点数目，并参照室内场景图像的大小进行归一化处理，即得到布局边界得分s1；然后，针对该场景布局候选项，从步骤B2估计得到的各个布局类别标注概率中找出该候选项映射得到的布局类别标注概率，即为布局类别得分s2；再后，针对该场景布局候选项，计算该候选项的总得分s＝α1×s1+α2×s2，α1、α2均为权值，α1+α2＝1；最后，针对所有场景布局候选项，选择得分较高的M个候选项保留，舍弃其余候选项，从而完成场景布局候选项的粗选取，其中，M的取值根据实际需要选取。
9.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤C具体为：
C1，针对训练图像集中的室内场景图像及其对应的基准标注布局，分别通过Canny算子进行边缘检测获得室内场景图像的边缘线段信息、通过基于VGG-16的全卷积神经网络获得室内场景图像的几何上下文信息、通过基于VGG-16的空间多尺度卷积神经网络获得室内场景图像的法向量信息和深度信息，通过几何积分图像方式将提取的线段信息、几何上下文信息、法向量和深度信息经线性变换拼接为特征向量的形式，形成区域级特征，实现室内场景图像到特征域的映射；
C2，将布局估计问题转化为步骤B中粗选取后的场景布局候选项的最优选取问题，定义结构化回归问题模型，其目标函数为：
<mrow>
<mi>y</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi> </mi>
<mi>max</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>y</mi>
</munder>
</mrow>
其中，f(x,y；w)表示室内场景图像x与其基准标注布局y之间的映射关系，w表示权重向量，f(x,y)＝wTψ(x,y)，ψ(x,y)表示室内场景图像x针对其基准标注布局y所提取的区域级特征；
C3，根据步骤C1中训练图像集中的室内场景图像的区域级特征，对步骤C2中的结构化回归问题模型进行训练学习，求解得到权重向量w，完成结构化回归问题模型的训练学习完成具体为：
将目标函数转化为以下问题：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>min</mi>
<mrow>
<mi>w</mi>
<mo>,</mo>
<mi>&xi;</mi>
</mrow>
</msub>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>w</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>&lambda;&Sigma;</mi>
<mi>q</mi>
</msub>
<msub>
<mi>&xi;</mi>
<mi>q</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>q</mi>
<mo>:</mo>
<msub>
<mi>&xi;</mi>
<mi>q</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>q</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>Y</mi>
<mo>\</mo>
<msub>
<mi>y</mi>
<mi>q</mi>
</msub>
<mo>:</mo>
<msup>
<mi>w</mi>
<mi>T</mi>
</msup>
<mi>&psi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>q</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<mi>w</mi>
<mi>T</mi>
</msup>
<mi>&psi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>q</mi>
</msub>
<mo>,</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>&Delta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>q</mi>
</msub>
<mo>,</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&xi;</mi>
<mi>q</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，λ表示常量，xq表示训练图像集中第q个室内场景图像，1≤q≤Q，Q表示训练图像集中室内场景图像的数目；ξq表示xq的松弛变量，Y表示xq经过步骤A和步骤B处理后得到的粗选取后的布局候选项集合，y′表示集合Y中的元素，yq表示xq的基准标注布局，ψ(xq,yq)表示xq对应的基准标注布局yq所提取的区域级特征，ψ(xq,y′)表示xq对应的粗选取后的布局候选项y′所提取的区域级特征，Δ(yq,y′)表示用于量化yq和y′两种布局之间的测度的损失函数；
C4，用查询图像测试，具体为：采用步骤A和步骤B的方法对查询图像进行处理，得到粗选取后的布局候选项，将粗选取后的布局候选项分别映射为区域级特征的形式，输入训练学习完成的结构化回归问题模型即可获得最优布局候选项，将最优布局候选项标注为布局估计的结果，从而完成室内场景图像布局的估计。
10.根据权利要求9所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤C3中采用Cutting-Plane算法对步骤C2中的结构化回归问题模型进行训练学习，求解权重向量w。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710274710.7A CN107424161B (zh) | 2017-04-25 | 2017-04-25 | 一种由粗至精的室内场景图像布局估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710274710.7A CN107424161B (zh) | 2017-04-25 | 2017-04-25 | 一种由粗至精的室内场景图像布局估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107424161A true CN107424161A (zh) | 2017-12-01 |
| CN107424161B CN107424161B (zh) | 2021-03-02 |
Family
ID=60424285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710274710.7A Active CN107424161B (zh) | 2017-04-25 | 2017-04-25 | 一种由粗至精的室内场景图像布局估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107424161B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108062437A (zh) * | 2017-12-06 | 2018-05-22 | 北京居然设计家家居连锁集团有限公司 | 智能生成房间设计方案的方法 |
| CN108492284A (zh) * | 2018-03-12 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 用于确定图像的透视形状的方法和装置 |
| CN109033652A (zh) * | 2018-08-02 | 2018-12-18 | 江苏艾佳家居用品有限公司 | 一种基于滑动窗特征与回归预测的室内自动布局方法 |
| CN109360232A (zh) * | 2018-09-10 | 2019-02-19 | 南京邮电大学 | 基于条件生成对抗网络的室内场景布局估计方法和装置 |
| CN109509222A (zh) * | 2018-10-26 | 2019-03-22 | 北京陌上花科技有限公司 | 直线类物体的检测方法及装置 |
| CN111179337A (zh) * | 2018-10-24 | 2020-05-19 | 中国科学院自动化研究所 | 空间直线朝向测量方法、装置、计算机设备和存储介质 |
| CN112950662A (zh) * | 2021-03-24 | 2021-06-11 | 电子科技大学 | 一种交通场景空间结构提取方法 |
| WO2023103147A1 (zh) * | 2021-12-10 | 2023-06-15 | 广东三维家信息科技有限公司 | 一种室内场景布局方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268635A (zh) * | 2013-05-15 | 2013-08-28 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
| CN103337072A (zh) * | 2013-06-19 | 2013-10-02 | 北京航空航天大学 | 一种基于纹理与几何属性联合模型的室内对象解析方法 |
| CN104809187A (zh) * | 2015-04-20 | 2015-07-29 | 南京邮电大学 | 一种基于rgb-d数据的室内场景语义标注方法 |
| US9165410B1 (en) * | 2011-06-29 | 2015-10-20 | Matterport, Inc. | Building a three-dimensional composite scene |
| CN105023029A (zh) * | 2015-06-29 | 2015-11-04 | 中国科学院软件研究所 | 一种联机手写藏文音节识别方法及装置 |
| WO2015191369A1 (en) * | 2014-06-09 | 2015-12-17 | Microsoft Technology Licensing, Llc | Layout design using locally satisfiable proposals |
| CN105488809A (zh) * | 2016-01-14 | 2016-04-13 | 电子科技大学 | 基于rgbd描述符的室内场景语义分割方法 |
| CN105513070A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 一种基于前景背景优化的rgb-d显著物体检测方法 |
| CN106485743A (zh) * | 2016-09-27 | 2017-03-08 | 深圳大学 | 待测物三维模型的功能性分析方法及装置 |
-
2017
- 2017-04-25 CN CN201710274710.7A patent/CN107424161B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9165410B1 (en) * | 2011-06-29 | 2015-10-20 | Matterport, Inc. | Building a three-dimensional composite scene |
| CN103268635A (zh) * | 2013-05-15 | 2013-08-28 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
| CN103337072A (zh) * | 2013-06-19 | 2013-10-02 | 北京航空航天大学 | 一种基于纹理与几何属性联合模型的室内对象解析方法 |
| WO2015191369A1 (en) * | 2014-06-09 | 2015-12-17 | Microsoft Technology Licensing, Llc | Layout design using locally satisfiable proposals |
| CN104809187A (zh) * | 2015-04-20 | 2015-07-29 | 南京邮电大学 | 一种基于rgb-d数据的室内场景语义标注方法 |
| CN105023029A (zh) * | 2015-06-29 | 2015-11-04 | 中国科学院软件研究所 | 一种联机手写藏文音节识别方法及装置 |
| CN105513070A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 一种基于前景背景优化的rgb-d显著物体检测方法 |
| CN105488809A (zh) * | 2016-01-14 | 2016-04-13 | 电子科技大学 | 基于rgbd描述符的室内场景语义分割方法 |
| CN106485743A (zh) * | 2016-09-27 | 2017-03-08 | 深圳大学 | 待测物三维模型的功能性分析方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| VARSHA HEDAU等: "Recovering the Spatial Layout of Cluttered Rooms", 《2009 IEEE 12TH INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| XIAODONG YANG等: "Super Normal Vector for Activity Recognition Using Depth Sequences", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| YUZHUO REN等: "A Coarse-to-Fine Indoor Layout Estimation (CFILE) Method", 《ACCA 2016: 13TH ASIAN CONFERENCE ON COMPUTER VISION》 * |
| 牛玉婷: "单目图像中的场景深度结构分析和估计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062437A (zh) * | 2017-12-06 | 2018-05-22 | 北京居然设计家家居连锁集团有限公司 | 智能生成房间设计方案的方法 |
| CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108009524B (zh) * | 2017-12-25 | 2021-07-09 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108492284A (zh) * | 2018-03-12 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 用于确定图像的透视形状的方法和装置 |
| CN108492284B (zh) * | 2018-03-12 | 2020-03-03 | 百度在线网络技术（北京）有限公司 | 用于确定图像的透视形状的方法和装置 |
| CN109033652B (zh) * | 2018-08-02 | 2019-09-20 | 江苏艾佳家居用品有限公司 | 一种基于滑动窗特征与回归预测的室内自动布局方法 |
| CN109033652A (zh) * | 2018-08-02 | 2018-12-18 | 江苏艾佳家居用品有限公司 | 一种基于滑动窗特征与回归预测的室内自动布局方法 |
| CN109360232A (zh) * | 2018-09-10 | 2019-02-19 | 南京邮电大学 | 基于条件生成对抗网络的室内场景布局估计方法和装置 |
| CN111179337A (zh) * | 2018-10-24 | 2020-05-19 | 中国科学院自动化研究所 | 空间直线朝向测量方法、装置、计算机设备和存储介质 |
| CN111179337B (zh) * | 2018-10-24 | 2024-02-02 | 中国科学院自动化研究所 | 空间直线朝向测量方法、装置、计算机设备和存储介质 |
| CN109509222A (zh) * | 2018-10-26 | 2019-03-22 | 北京陌上花科技有限公司 | 直线类物体的检测方法及装置 |
| CN109509222B (zh) * | 2018-10-26 | 2020-11-03 | 北京陌上花科技有限公司 | 直线类物体的检测方法及装置 |
| CN112950662A (zh) * | 2021-03-24 | 2021-06-11 | 电子科技大学 | 一种交通场景空间结构提取方法 |
| CN112950662B (zh) * | 2021-03-24 | 2022-04-01 | 电子科技大学 | 一种交通场景空间结构提取方法 |
| WO2023103147A1 (zh) * | 2021-12-10 | 2023-06-15 | 广东三维家信息科技有限公司 | 一种室内场景布局方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107424161B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107424161A (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| CN110276316A (zh) | 一种基于深度学习的人体关键点检测方法 | |
| CN109934115A (zh) | 人脸识别模型的构建方法、人脸识别方法及电子设备 | |
| CN100407798C (zh) | 三维几何建模系统和方法 | |
| CN109829893A (zh) | 一种基于注意力机制的缺陷目标检测方法 | |
| CN109299274A (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN109902798A (zh) | 深度神经网络的训练方法和装置 | |
| CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN107423701A (zh) | 基于生成式对抗网络的人脸非监督特征学习方法及装置 | |
| Hartmann et al. | Streetgan: Towards road network synthesis with generative adversarial networks | |
| CN106127204A (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN108090443A (zh) | 基于深度强化学习的场景文本检测方法及系统 | |
| CN106709568A (zh) | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 | |
| CN107274419A (zh) | 一种基于全局先验和局部上下文的深度学习显著性检测方法 | |
| CN109558902A (zh) | 一种快速目标检测方法 | |
| CN105205453B (zh) | 基于深度自编码器的人眼检测和定位方法 | |
| CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
| CN108427924A (zh) | 一种基于旋转敏感特征的文本回归检测方法 | |
| CN107886120A (zh) | 用于目标检测跟踪的方法和装置 | |
| CN107871106A (zh) | 人脸检测方法和装置 | |
| CN106503729A (zh) | 一种基于顶层权值的图像卷积特征的生成方法 | |
| CN107679462A (zh) | 一种基于小波的深度多特征融合分类方法 | |
| CN112084869A (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN107220971A (zh) | 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法 | |
| CN105701493B (zh) | 基于阶层图形的图像提取以及前景估测的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171201 Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd. Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS Contract record no.: X2021980014141 Denomination of invention: A coarse to fine indoor scene image layout estimation method Granted publication date: 20210302 License type: Common License Record date: 20211206 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd. Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS Contract record no.: X2021980014141 Date of cancellation: 20231107 |