CN102930536B - 基于层次化结构的室内场景运动性分析与检测方法 - Google Patents

基于层次化结构的室内场景运动性分析与检测方法 Download PDF

Info

Publication number
CN102930536B
CN102930536B CN201210393017.9A CN201210393017A CN102930536B CN 102930536 B CN102930536 B CN 102930536B CN 201210393017 A CN201210393017 A CN 201210393017A CN 102930536 B CN102930536 B CN 102930536B
Authority
CN
China
Prior art keywords
node
hierarchical structure
scene
support
supported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210393017.9A
Other languages
English (en)
Other versions
CN102930536A (zh
Inventor
梁成
张嘉培
黄惠
陈宝权
汪云海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201210393017.9A priority Critical patent/CN102930536B/zh
Publication of CN102930536A publication Critical patent/CN102930536A/zh
Application granted granted Critical
Publication of CN102930536B publication Critical patent/CN102930536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及场景建模技术领域,提供了一种基于层次化结构的室内场景运动性分析与检测方法,该方法包括如下步骤:建立场景的层次化结构;建立结点的运动链,统一化所述层次化结构;在所述统一化的层次化结构上提取物体的运动性。本发明通过自动构建统一的层次化结构对场景进行规划和管理,不仅能够容忍原始模型上的拓扑结构错误和缺失,而且省去了对模型进行重组的人力;在统一的层次化结构中引入场景中普遍存在的支持关系,在统一的层次化结构和普遍的支持关系基础之上,自动分析和提取场景中物体的运动信息,对场景进行高层次理解。

Description

基于层次化结构的室内场景运动性分析与检测方法
技术领域
本发明涉及场景建模技术领域,特别是涉及一种基于层次化结构的室内场景运动性分析与检测方法。
背景技术
在室内场景辅助设计和游戏场景设计领域,目前已有一些三维软件可以进行场景建模,以及对场景模型进行编辑和管理。下面对与此相关的一些技术做简要介绍。
(一)层次化结构的场景图
由于原始模型在拓扑结构上的紊乱和缺失,需要寻找一个有效的数据结构来组织原始模型,以及表达整个室内场景。MarenandAli于1988年在图像分割领域提出了HSS(HierarchicalSceneStructure,层次场景结构)来表达图像分割块之间的内部关系,其主要用来解决图像理解的问题,并指出HSS中各结点之间的关系可以是分割块边界连续性、邻接性、包围性、几何相似性、大小和方向等。
层次化结构的场景图(简称“层次化结构图”)是一种对室内场景进行建模的有效的数据结构,图结构中的结点代表场景中的物体,边代表物体之间的某种关系。STOFFEL等人设计的室内场景导航系统有用到层次化结构的场景图,以帮助人们在大规模室内场景中认清方位。STRUG等人将层次化结构用在CAD的建筑结构平面图的设计和分类问题上。
除了有层次化结构图作为有效的数据结构对场景进行表达,还需要有效的算法对图结构进行信息的提取和运算。机器学习领域的Graph-Kernel方法是一种对层次化结构图各结点之间的关系进行研究的方法。S.V.NVishwanathan等人在“GraphKernels”一书中对Graph-Kernel方法进行了详尽的阐述。该书对不同的Graph-Kernel进行了数学描述和相关理论的证明,包括“随机漫步核(randomwalkkernel)”、“边缘核(marginalizedkernel)”、“有理核(rationalkernel)”、“R卷积核(R-convolutionkernel)”等。
Fisher等人结合了层次化结构图和graph-kernel方法来特征化场景中的结构关系,用一种语义化的层次化结构图来表达整个室内场景,并且在此基础上运用基于核的方法来获取场景图之间的相似性。其工作是以场景图中的每个结点都代表一个有意义的物体为前提,也即其工作在很大程度上依赖于一个具有好的语义分割的三维场景模型。当然他们也认识到目前公共三维模型数据库中室内场景数据的种种缺陷,而且提出了一个粗糙、简单的预处理过程,该预处理仅仅考虑了结点几何形状和纹理特征,在原始三维数据上难以达到高质量的语义上的分割效果。
(二)图割方法
图割方法是基于图论中的最大流最小割理论的一种解决能量函数最小化问题的最优化算法,它广泛应用于计算机视觉中的立体视觉匹配(stereomatching)、图像重建(imagerestoration)、纹理合成(texturesynthesis)等问题中。
图割方法算法大致是对一个由三个能量项构成的能量代价函数进行最优化的过程,这三个能量项分别为数据项(DataCost,定义结点赋予某个label(即标签,下同)的代价),平滑项(SmoothCost,定义相邻结点间的属于同一label的代价)和标签项(LabelCost,只是在多label的图割方法中用到)。
在图像分割和立体视觉领域,图割方法是区分前景和背景的有力工具。但是在三维图形领域却很少用到,BROWN等人设计的一种交互式网格和点集模型分割算法便是这些少量研究中的一种。它利用图割方法来分割三维网格模型,用户先粗略地在模型上画线来决定包含部分和剔除部分作为分割的参考,然后通过图割方法再迭代地对构建的有权图进行分割,该方法还利用了层次化结构加速来适应大规模的网格模型,因为传统的图割方法只能适用于小的模型。
图割方法允许用户自定义能量代价函数来适应不同问题的需求,并且能够产生很好的分割效果,具备有效性、灵活性和广泛性。
现有技术中,利用计算机对室内场景进行辅助设计采用的方案如下:
由于3D室内场景物体中家具居多,所以家具的配置和布局问题是室内场景研究的热点问题。YU等人开发了一套能够自动合成室内场景中合理的家具配置的系统,该方法首先提取一个层次化空间场景结构,然后用模拟退火算法对能量代价函数进行优化。MERRELL等人开发了一个基于室内场景设计的交互式家具布局系统,该方法将室内场景设计中的一些准则融入其中,并设计了一套从一组建筑平面图自动生成建筑的布局的系统,这其实也是一种和家具布局相似的空间分配问题,它是用一种基于概率图模型的数据驱动的方法来提取结点间的语义关系。
以上对室内场景的研究均需要以室内场景都是由有意义的物体组成的这一前提为基础。
现有技术中,在3D模型数据库中进行3D模型搜索采用的方案如下:
目前网络上的大规模3D模型数据库使得用户能够越来越容易获得想要的3D模型。为了适应大规模3D模型数据库发展的需求,3D模型搜索技术显得越来越重要。现有的3D模型搜索方法有关键字搜索(keyword-basedsearch)、基于形状的搜索(shape-basedsearch)、基于草图的搜索(sketch-basedsearch)、组合式搜索(assembly-basedsearch)以及上下文环境搜索(context-basedsearch)等。由于关键字搜索、基于形状的搜索和基于草图的搜索要么只是用到文字方面的描述信息,要么只是关注于搜索模型自身的特征信息。组合式搜索是对于一个给定的3D模型(缺失其中某些组成部件),运用“贝叶斯网络”概率图模型的方法来代表部件间的关系,进而搜索缺失的部件。上下文环境搜索是指用户在场景中放置一个搜索盒子,算法通过比较物体的形状特征、标签信息和空间关系等,用一个权值来描述待匹配模型和场景中的其他模型间的匹配程度,然后以匹配程度从大到小的顺序向用户展示搜索结果。
以上的3D模型搜索方法仍然以室内场景都是由有意义的物体组成这一前提为基础。
综上,由于现有的三维室内场景的模型库(如Google3DWarehouse)中的原始模型并不是像人们期望的那样经过了合理的语义分割,而是存在大量的拓扑结构错误和缺失。所以上述现有技术方案对于目前并不理想的3D室内原始模型来说仍具有很大的局限性。
此外,现有的一些三维软件如3DSMAX和GoogleSketchup可以对室内场景进行编辑和管理,但是仅停留在几何模型层面,并没有加入对室内场景的高层次理解。目前虽然有一些技术和研究有针对室内场景的高层次理解,如基于室内场景上下文环境的三维模型搜索、各种家具配置和布局系统,但其也都是基于手工分割结果良好的室内模型而做的高层次理解工作,并没有提出一个比较统一的结构来规划室内场景,而只是对某一特定功能具有强针对性,并不具有普适性,也很难扩展到其他的功能上。
发明内容
本发明提供一种基于层次化结构的室内场景运动性分析与检测方法,解决了现有技术需要以场景都是由有意义的物体组成的这一前提为基础进行、且没有加入对场景的高层次理解的问题。
本发明采用如下技术方案:
一种基于层次化结构的室内场景运动性分析与检测方法,所述方法包括如下步骤:
建立场景的层次化结构;
建立结点的运动链,统一化所述层次化结构;
在所述统一化的层次化结构上提取物体的运动性。
优选地,所述建立场景的层次化结构的步骤具体包括:
将所述场景抽象成层次化的树结构;
将所述场景中待分割的部分抽象成图结构;
利用图割方法对所述图结构进行语义层次上的分割。
优选地,所述建立场景的层次化结构的步骤具体包括:
在所述场景中检测出各个支持物体;
根据连接关系将所述场景分成各个团簇,所述团簇由各个支持物体的被支持物体组成;
将每个团簇抽象成一个图结构;
对所述图结构自顶向下迭代地运用图割方法进行细化分割。
优选地,所述利用图割方法对所述图结构进行语义层次上的分割的步骤以及对所述图结构自顶向下迭代地运用图割方法进行细化分割的步骤具体为:
以场景中存在的支持关系为准则进行分割,每次分割结果为一个支持物体和至少一个被支持物体。
优选地,所述方法还包括如下步骤:
与用户交互,根据用户操作更改分割结果。
优选地,所述建立结点的运动链,统一化所述层次化结构的步骤具体包括:
根据含有支持关系的所述层次化结构,将场景中的层次化结构最底层的所有结点链接出由支持到被支持的运动链;
根据所述运动链将所述层次化结构统一化,得到分割一致的层次化结构。
优选地,所述将场景中的层次化结构最底层的所有结点链接出由支持到被支持的运动链的步骤具体为:
寻找场景中的层次化结构最底层的每个目标结点的与其有直接支持关系的源结点,将目标结点和源结点链接成运动链。
优选地,所述寻找场景中的层次化结构最底层的每个目标结点的与其有直接支持关系的源结点的步骤具体包括:
寻找与所述目标结点距离最近的被支持结点;
寻找在所述被支持结点所在的层中的支持关系下的支持结点;
在所述支持结点下的结点中,寻找与目标结点有直接连接关系的源结点;
若寻找与所述目标结点距离最近的被支持结点失败,则所述目标结点在所述层次化结构中始终作为支持物体,所述目标结点为所述运动链的根结点。
优选地,所述在所述统一化的层次化结构上提取物体的运动性的步骤具体包括:
在所述统一化的层次化结构上提取物体的软约束,所述软约束是指物体只能在其支持物体的范围内运动,不能脱离其支持物体;
在所述统一化的层次化结构上提取物体的硬约束,所述硬约束是指通过比较同类物体之间的姿态性的不同,得到物体的刚性运动约束。
优选地,所述在所述统一化的层次化结构上提取物体的软约束的步骤具体包括:
选择物体;
寻找所述物体的支持物体;
显示所述物体的支持物体的范围以说明该物体的软约束;
在移动所述物体的时候检测物体是否超过所述范围,如果超过则不给予所述物体移动的权限。
优选地,所述寻找所述物体的支持物体的步骤具体包括:
对于被支持的结点,将同一层上的支持结点作为其支持物体;
对于支持结点,首先在上层寻找离所述支持结点最近的被支持结点,再寻找与所述被支持结点处于同一层上的支持结点作为其支持物体。
优选地,所述在所述统一化的层次化结构上提取物体的硬约束的步骤具体为:
寻找所述层次化结构中的重复结点,将所述重复结点的支持结点在同一坐标系下对齐,在所述同一坐标系下计算描述重复结点以及其支持结点姿态差异的参量。
优选地,所述物体的刚性运动约束包括平移量和旋转角大小。
本发明通过自动构建统一的层次化结构对场景进行规划和管理,不仅能够容忍原始模型上的拓扑结构错误和缺失,而且省去了对模型进行重组的人力;在统一的层次化结构中引入场景中普遍存在的支持关系,在统一的层次化结构和普遍的支持关系基础之上,自动分析和提取场景中物体的运动信息,对场景进行高层次理解。
附图说明
图1为本发明一优选实施例的基于层次化结构的室内场景运动性分析与检测方法流程图;
图2为本发明一优选实施例中建立运动链的示意图;
图3为本发明一优选实施例中办公转椅模型的运动链建立示意图;
图4为本发明一优选实施例的室内场景中物体硬约束的提取示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于层次化结构的室内场景运动性分析与检测方法,该方法包括如下步骤:
建立场景的层次化结构;
建立结点的运动链,统一化层次化结构;
在统一化的层次化结构上提取物体的运动性。
本发明实施例通过自动构建统一的层次化结构对场景进行规划和管理,不仅能够容忍原始模型上的拓扑结构错误和缺失,而且省去了对模型进行重组的人力;在统一的层次化结构中引入场景中普遍存在的支持关系,在统一的层次化结构和普遍的支持关系基础之上,对场景的各种物体进行运动性分析和提取,这些运动性不仅自身是对场景的高层次理解,而且还可以推广到其他功能性上。
请参阅图1所示,为本发明一优选实施例的基于层次化结构的室内场景运动性分析与检测方法流程图。该方法包括下述步骤:
步骤S1:建立场景的层次化结构。
在本实施例中,可通过如下方法建立场景的层次化结构:将场景抽象成层次化的树结构;将场景中待分割的部分抽象成图结构;利用图割方法对图结构进行语义层次上的分割。因此,整个场景图从上至下是一个层层细化的层次化结构,根结点代表整个场景,从跟结点往下逐步细分。具体地,可先在场景中检测出各个支持物体;根据连接关系将场景分成各个团簇,团簇由各个支持物体的被支持物体组成;将每个团簇抽象成一个图结构;对图结构自顶向下迭代地运用图割方法进行细化分割。在进行分割时,以场景中存在的支持关系为准则进行分割,每次分割结果为一个支持物体和至少一个被支持物体。由于室内场景的复杂性和不确定性,预期分割结果可能并不准确,因此需要与用户交互,根据用户操作更改分割结果,来确保每次分割的准确性。
步骤S2:建立结点的运动链,统一化层次化结构。
在本实施例中,可通过如下方法建立结点的运动链,统一化层次化结构:根据含有支持关系的层次化结构,将场景中的层次化结构最底层的所有结点链接出由支持到被支持的运动链;根据运动链将层次化结构统一化,得到分割一致的层次化结构。将场景中的层次化结构最底层的所有结点链接出由支持到被支持的运动链的具体方法为:寻找场景中的层次化结构最底层的每个目标结点的与其有直接支持关系的源结点,将目标结点和源结点链接成运动链。在寻找源结点时,首先寻找与目标结点距离最近的被支持结点;寻找在被支持结点所在的层中的支持关系下的支持结点;在支持结点下的结点中,寻找与目标结点有直接连接关系的源结点;若寻找与目标结点距离最近的被支持结点失败,则说明目标结点在层次化结构中始终作为支持物体,为运动链的根结点。
本步骤中,利用含有支持关系的层次化结构,将室内场景中最细节层次下的所有结点链接成一条由支持到被支持的链式结构,然后利用该链式结构重新将层次化结构进行统一化,从而得到一致性的层次化结构,有利于物体运动性的提取。
步骤S3:在统一化的层次化结构上提取物体的运动性。
在本实施例中,物体的运动性包括软约束和硬约束,软约束是指物体只能在其支持物体的范围内运动,不能脱离其支持物体;硬约束是指通过比较同类物体之间的姿态性的不同,得到物体的刚性运动约束,如平移量和旋转角大小。因此,需要在统一化的层次化结构上提取物体的软约束和硬约束。
具体地,提取软约束的方法为:选择物体;寻找物体的支持物体;显示物体的支持物体的范围以说明该物体的软约束;在移动物体的时候检测物体是否超过范围,如果超过则不给予物体移动的权限。寻找物体的支持物体时,对于被支持的结点,将同一层上的支持结点作为其支持物体;对于支持结点,首先在上层寻找离支持结点最近的被支持结点,再寻找与被支持结点处于同一层上的支持结点作为其支持物体。
提取硬约束的方法为:寻找层次化结构中的重复结点,将重复结点的支持结点在同一坐标系下对齐,在同一坐标系下计算描述重复结点以及其支持结点姿态差异的参量。
下面以室内场景为例对本发明实施例进行进一步详细说明。
(1)室内场景层次化结构的建立
因为室内场景里面所有的物体都被地板、墙和天花板所支持,因此在进行场景图像分析时,首先检测出地板、墙和天花板,然后根据简单的连接关系将整个场景分成一个个的团簇,这个过程为初分割(RoughGroup)。分出的第一个支持关系(SupportRelation)为地板、墙、天花板(支持物体)和各团簇(被支持物体)。接下来将每个团簇抽象成一个图结构,对这个图结构迭代地运用图割方法,可以不断地细化切分,此时整个场景层次化结构也就不断的深入和细化,结点间的各种关系也因此而建立。
图割方法的过程实际上是求解能量函数的最优化问题,其中Up(lp)是将lp赋予结点p的数据项(DataCost),Vp,q(lp,lq)是将结点p赋予lp、结点q赋予lq的平滑项(SmoothCost)。li∈0,1,0代表支持标签(SupportLabel),1代表非支持标签(Non-SupportLabel)。λ用来调节数据项和平滑项之间的比重关系。
一般的,如果一个物体(物体群)作为支持方而言,会有以下三个特征:(i)更接近于它上一层的支持物体(物体群);(ii)和较多的物体有连接关系;(iii)表面积较大。基于此,定义数据项如下:
U p ( 1 ) = 0.4 D ( p ) + 0.3 1 A ( p ) + 0.3 1 N ( p ) , U p ( 0 ) = 1 - U p ( 1 ) - - - ( 2 )
其中,D(p)表示p结点到其上一层的支持方的最短距离,A(p)是结点p的包围盒最大一个面的表面积,N(p)表示连接p结点的物体数量。
平滑项是用来衡量两个结点之间属于同一个物体的可能性,定义平滑项如下:
V p , q ( 0 , 1 ) = V p , q ( 1 , 0 ) = 0.4 S ( p , q ) + 0.3 G ( p , q ) + 0.3 1 C ( p ) , V p , q ( 0 , 0 ) = V p , q ( 1 , 1 ) = 1 - V p , q ( 0 , 1 ) . - - - ( 3 )
S(p,q)作为相似度的衡量定义了结点p和结点q的主轴长度和材料,G(p,q)作为对齐度的衡量定义了结点p和结点q之间重叠的比例,C(p,q)作为连接度的衡量定义了连接结点p和结点q的物体数量。
以自顶向下的迭代的方式不断地对场景进行图分割(graph-cut),直到达到用户期望的分割程度为止。当然,室内场景比较复杂,上面定义的有限的数据项和平滑项只能描述大部分室内场景的模型情况,对于有的室内场景,可能分割结果并不是用户所期望的那样语义层次上的分割,这时需要引入方便的用户交互,随时更改分割后的结果。
由于支持关系在室内场景中是普遍存在的,通过观察支持物体和被支持物体的特性,从而将支持关系以数据项的形式引入到层次化结构中。因此,能保证每一次分割结构均产生一个支持物体和至少一个被支持物体,这样,支持关系贯穿在层次化结构的每个细节层次中。这些支持关系以标签的形式对结点的属性进行标识。
(2)建立运动链并对层次化结构统一化
由于室内场景实质上是由各种原始的网格模型组合得到的,上面建立的层次化结构是对这些网格模型进行各细节层次上的分类和管理。然而,各物体代表的模型间存在的支持关系实际上成为它们运动性的制约,比如杯子放在桌面上,它就不能脱离桌面悬浮在空中;再如用户若对桌面进行拉伸变形,那么桌面上的物体也必须被拉伸同样的高度。因此,首先根据建立的含有支持关系的层次化结构对场景中所有的原始网格模型用一条运动链链接起来。由于图割方法进行分割可能导致分割的不一致性,再利用这条运动链将原来的层次化结构统一化,得到分割一致的层次化结构。
请参阅图2所示,为本发明一优选实施例中建立运动链的示意图。图2显示了建立运动链的一个大致思路,即找到离目标结点最近的被支持结点,沿这一层支持关系找到支持结点下对应的源结点。在建立运动链的过程中,遵循如下原则:
(a)建立运动链的对象是室内场景中各个最原始的网格模型,对应到层次化结构中即为最底层的每个叶子结点。对于每个叶子结点,需要找到另一个与它有直接支持关系的叶子结点,把它们链接成一条链,我们称这个叶子结点为目标结点,称与它有直接支持关系的叶子结点为源结点。
(b)由于被支持物体的运动性总是受到支持物体的约束,所以需要寻找离目标结点最近的一个支持关系,然后在这个关系下去找到源结点。在前面第一步分割时对支持结点标记为1,对被支持结点标记为0。具体地,首先找到离目标结点最近的一个标记为0的结点,在该标记为0的结点所在的这一层中存在一个支持关系,找到这个支持关系下标记为1的结点,然后在该标记为1的结点下的叶子结点中,寻找哪个结点与目标结点有直接连接关系,那么这个结点就是源结点。
(c)如果在寻找最近的标记为0的结点过程中失败了,说明这个目标结点在整个层次化结构中始终充当支持物体的角色,那么该目标结点即为该运动链的根结点。
请参阅图3所示,为本发明一优选实施例中办公转椅模型的运动链建立示意图。图3以一个复杂的办公转椅的模型为例,显示了如何从利用图割方法分割得到的层次化结构中提取运动链的过程。图3(a)中,将办公转椅分割成了层层细化的层次化结构,其中部件1、2、3、4、5、8、9、10、12、14、16为被支持结点,6、7、11、13、15为支持结点。图3(b)中,目标结点为10,首先找到离目标结点10最近的一个标记为0的结点,也即为目标结点10自身,在目标结点10所在的层中找到支持关系下标记为1的结点11-16,然后在结点11-16下的叶子结点中,找到与目标结点10有直接连接关系的结点16,那么结点16就是源结点。图3(c)中,目标结点为11,首先找到离目标结点11最近的一个标记为0的结点,也即为结点9-16,在结点9-16所在的层中找到支持关系下标记为1的结点1-8,然后在结点1-8下的叶子结点中,找到与目标结点11有直接连接关系的结点8,那么结点8就是源结点。图3(d)是通过上述提取运动链后将原来的层次化结构统一化得到的分割一致的层次化结构图。
(3)在统一化的层次结构上提取物体的运动性
对于软约束,前面已详细描述其含义及提取方法,此处不再赘述。
对于硬约束:此处只考虑物体的刚性运动约束,即平移和旋转。请参阅图4所示,为本发明一优选实施例的室内场景中物体硬约束的提取示意图。
如图4(a)所示,对于平移约束的提取,假设有一组代表相同物体的结点{pi,...,pj}和它们对应的支持结点{qi,...,qj},对于每个结点pi,将其中心点投影(利用向量点乘)到它对应的支持结点qi的PCA(Principalcomponentanalysis,主元分析法)轴上,检查每一条PCA轴上的投影中心点,如果投影中心点能够拟合为一条直线,那么就定义结点pi可以沿方向进行平移。
如图4(b)所示,对于旋转约束的提取,同样假设有一组代表相同物体的结点{pi,...,pj}和它们对应的支持结点{qi,...,qj},对于每个结点pi,将其PCA轴投影到结点qi的PCA轴上从而得到投影向量以结点qi的PCA原点作为旋转原点,如果所有的向量{vi,...,vj}是在同一个平面上,那么定义旋转轴为这个平面上的法线。
本发明实施例的有益效果是:
(1)现有的三维室内场景的模型库中的原始模型并不是像人们期望的那样经过了合理的语义分割,而是存在大量的拓扑结构错误。本发明实施例通过设计合理的算法和数据结构,构建统一的层次化结构来规划和管理室内场景,对原始模型在拓扑结构上进行纠正,能够容忍原始模型上的拓扑结构错误和缺失,并且进行合理的组织,采用层次化结构来组织室内场景,利用图割算法将场景由粗到细层层分割,建立一个有层次化结构的场景树,由于图割算法本身是依据支持关系这个室内场景中普遍存在的拓扑关系来设计的,所以在建立层次化结构的同时,也在层次化结构中引入了支持关系,此外,将人们对于室内场景的一些理解(譬如一些拓扑关系,基于观察的规律准则等)引入到图割算法的各数据项和平滑项中,对室内场景进行层层递进式的分割,在做大量实验的基础上调整图割算法中的各项参数以达到对大部分室内场景能够进行强鲁棒性的分割,对于少数分割错误也设计了简单易操作的用户交互功能,允许用户通过极少量的点选操作对分割不正确的模型进行实时修改。而且,本发明实施例对室内场景的原始数据能够自动地进行有意义的分割,省去了大量的人力对模型进行重组。
(2)静态的室内场景实际上隐藏着丰富的运动信息,本发明实施例在统一的层次化结构中引入了室内场景中普遍存在的支持关系,在这个统一的层次化结构和普遍的支持关系基础之上,自动地对室内场景的各种物体进行运动性分析和提取,其中包括指示出物体的运动范围,以及在对场景进行编辑的时候能够受到这些运动性的约束,这些运动性的信息都是基于室内场景的层次化结构来提取的,这些运动性不仅自身是对室内场景的高层次理解,而且还可以推广到其他功能性上。
本发明实施例能够对类似GoogleWarehouse这样的大型公共三维模型数据库中的室内场景进行合理的自动切割,并且能够有效提取出室内场景物体的运动性特征,可以应用到一些专业室内场景辅助设计软件以及游戏场景设计软件中。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于层次化结构的室内场景运动性分析与检测方法,其特征在于,所述方法包括如下步骤:
建立场景的层次化结构,所述建立场景的层次化结构的步骤具体包括:在所述场景中检测出各个支持物体;根据连接关系将所述场景分成各个团簇,所述团簇由各个支持物体的被支持物体组成;将每个团簇抽象成一个图结构;对所述图结构自顶向下迭代地运用图割方法进行细化分割;所述图割过程为计算支持物体的数据项及平滑项能量函数的最优化,所述平滑项是用来衡量两个结点之间属于同一个物体的可能性;所述数据项将支持物体与被支持物体的支持关系引入到所述层次化结构中;
建立结点的运动链,统一化所述层次化结构;
在所述统一化的层次化结构上提取物体的运动性。
2.根据权利要求1所述的方法,其特征在于,对所述图结构自顶向下迭代地运用图割方法进行细化分割的步骤具体为:
以场景中存在的支持关系为准则进行分割,每次分割结果为一个支持物体和至少一个被支持物体。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括如下步骤:
与用户交互,根据用户操作更改分割结果。
4.根据权利要求1所述的方法,其特征在于,所述建立结点的运动链,统一化所述层次化结构的步骤具体包括:
根据含有支持关系的所述层次化结构,将场景中的层次化结构最底层的所有结点链接出由支持到被支持的运动链;
根据所述运动链将所述层次化结构统一化,得到分割一致的层次化结构。
5.根据权利要求4所述的方法,其特征在于,所述将场景中的层次化结构最底层的所有结点链接出由支持到被支持的运动链的步骤具体为:
寻找场景中的层次化结构最底层的每个目标结点的与其有直接支持关系的源结点,将目标结点和源结点链接成运动链。
6.根据权利要求5所述的方法,其特征在于,所述寻找场景中的层次化结构最底层的每个目标结点的与其有直接支持关系的源结点的步骤具体包括:
寻找与所述目标结点距离最近的被支持结点;
寻找在所述被支持结点所在的层中的支持关系下的支持结点;
在所述支持结点下的结点中,寻找与目标结点有直接连接关系的源结点;
若寻找与所述目标结点距离最近的被支持结点失败,则所述目标结点在所述层次化结构中始终作为支持物体,所述目标结点为所述运动链的根结点。
7.根据权利要求1所述的方法,其特征在于,所述在所述统一化的层次化结构上提取物体的运动性的步骤具体包括:
在所述统一化的层次化结构上提取物体的软约束,所述软约束是指物体只能在其支持物体的范围内运动,不能脱离其支持物体;
在所述统一化的层次化结构上提取物体的硬约束,所述硬约束是指通过比较同类物体之间的姿态性的不同,得到物体的刚性运动约束。
8.根据权利要求7所述的方法,其特征在于,所述在所述统一化的层次化结构上提取物体的软约束的步骤具体包括:
选择物体;
寻找所述物体的支持物体;
显示所述物体的支持物体的范围以说明该物体的软约束;
在移动所述物体的时候检测物体是否超过所述范围,如果超过则不给予所述物体移动的权限。
9.根据权利要求8所述的方法,其特征在于,所述寻找所述物体的支持物体的步骤具体包括:
对于被支持的结点,将同一层上的支持结点作为其支持物体;
对于支持结点,首先在上层寻找离所述支持结点最近的被支持结点,再寻找与所述被支持结点处于同一层上的支持结点作为其支持物体。
10.根据权利要求7所述的方法,其特征在于,所述在所述统一化的层次化结构上提取物体的硬约束的步骤具体为:
寻找所述层次化结构中的重复结点,将所述重复结点的支持结点在同一坐标系下对齐,在所述同一坐标系下计算描述重复结点以及其支持结点姿态差异的参量。
11.根据权利要求7或10所述的方法,其特征在于,所述物体的刚性运动约束包括平移量和旋转角大小。
CN201210393017.9A 2012-10-16 2012-10-16 基于层次化结构的室内场景运动性分析与检测方法 Active CN102930536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210393017.9A CN102930536B (zh) 2012-10-16 2012-10-16 基于层次化结构的室内场景运动性分析与检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210393017.9A CN102930536B (zh) 2012-10-16 2012-10-16 基于层次化结构的室内场景运动性分析与检测方法

Publications (2)

Publication Number Publication Date
CN102930536A CN102930536A (zh) 2013-02-13
CN102930536B true CN102930536B (zh) 2016-08-03

Family

ID=47645326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210393017.9A Active CN102930536B (zh) 2012-10-16 2012-10-16 基于层次化结构的室内场景运动性分析与检测方法

Country Status (1)

Country Link
CN (1) CN102930536B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337072B (zh) * 2013-06-19 2016-02-10 北京航空航天大学 一种基于纹理与几何属性联合模型的室内对象解析方法
CN104021255B (zh) * 2014-06-20 2017-03-22 上海交通大学 Cad模型的多分辨率层次表示及层次匹配加权比较方法
CN109977466B (zh) * 2019-02-20 2021-02-02 深圳大学 一种三维扫描视点规划方法、装置及计算机可读存储介质
CN110032837A (zh) * 2019-04-17 2019-07-19 腾讯科技(深圳)有限公司 一种数据处理的方法、装置、设备及存储介质
CN113892731B (zh) * 2021-10-13 2023-05-02 云路复合材料(上海)有限公司 一种三维曲面定量涂胶系统及三维曲面定量涂胶方法
CN116310226B (zh) * 2023-05-16 2023-08-18 深圳大学 三维对象层级模型生成方法、装置、设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2839176A1 (fr) * 2002-04-30 2003-10-31 Koninkl Philips Electronics Nv Systeme d'animation pour robot comprenant un ensemble de pieces mobiles
WO2004042659A1 (en) * 2002-11-01 2004-05-21 Sony Electronics Inc. A unified surface model for image based and geometric scene composition
CN101174332B (zh) * 2007-10-29 2010-11-03 张建中 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统
CN102194250B (zh) * 2011-05-19 2012-10-03 北京中科辅龙计算机技术股份有限公司 基于流程工厂参数模型的复杂场景快速绘制方法及系统
CN102509119B (zh) * 2011-09-30 2014-03-05 北京航空航天大学 一种基于分类器的图像场景分层与对象遮挡处理方法

Also Published As

Publication number Publication date
CN102930536A (zh) 2013-02-13

Similar Documents

Publication Publication Date Title
CN102930536B (zh) 基于层次化结构的室内场景运动性分析与检测方法
De Las Heras et al. Statistical segmentation and structural recognition for floor plan interpretation: Notation invariant structural element recognition
Archambault et al. Topolayout: Multilevel graph layout by topological features
JP4516957B2 (ja) 3次元オブジェクトについて検索を行なうための方法、システムおよびデータ構造
Solihin et al. Multiple representation approach to achieve high-performance spatial queries of 3D BIM data using a relational database
Karantzalos et al. Large-scale building reconstruction through information fusion and 3-d priors
Zhou et al. Accurate and efficient indoor pathfinding based on building information modeling data
CN105825550A (zh) 顾及一致性的复杂三维建筑物模型剖切建模方法
CN106981093A (zh) 一种分区约束耦合的三维地层并行建模方法
KR101626384B1 (ko) 3차원 모델 데이터 검색 장치 및 방법
US20160078674A1 (en) Three-dimensional scene model generating method
Ying et al. Building 3D cadastral system based on 2D survey plans with SketchUp
Abou Diakité et al. Topological reconstruction of complex 3d buildings and automatic extraction of levels of detail
Zhou et al. Convertible furniture design
Diakité et al. Extraction of the 3D free space from building models for indoor navigation
Jang et al. Automatic wall detection and building topology and property of 2D floor plan (short paper)
CN104090945B (zh) 一种地理空间实体构建方法及系统
Hidaka et al. Creating product models from point cloud of civil structures based on geometric similarity
CN102855667A (zh) 三维物体的计算机辅助设计系统及方法
Sun Multilevel semantic modelling of urban building space based on the geometric characteristics in 3d environment
Finat et al. Constructors of geometric primitives in domain ontologies for urban environments
Ochmann et al. Towards the Extraction of Hierarchical Building Descriptions from 3D Indoor Scans.
Ying et al. Probabilistic matching of map objects in multi-scale space
CN103984784B (zh) 核电站图模一体可视化方法及系统
Ning et al. Structure reconstruction of indoor scene from terrestrial laser scanner

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant