CN103198522B - 三维场景模型生成方法 - Google Patents

三维场景模型生成方法 Download PDF

Info

Publication number
CN103198522B
CN103198522B CN201310144170.2A CN201310144170A CN103198522B CN 103198522 B CN103198522 B CN 103198522B CN 201310144170 A CN201310144170 A CN 201310144170A CN 103198522 B CN103198522 B CN 103198522B
Authority
CN
China
Prior art keywords
model
sketch
scene
gauss
distribution function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310144170.2A
Other languages
English (en)
Other versions
CN103198522A (zh
Inventor
徐昆
陈康
孙伟伦
胡事民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201310144170.2A priority Critical patent/CN103198522B/zh
Publication of CN103198522A publication Critical patent/CN103198522A/zh
Priority to PCT/CN2013/090463 priority patent/WO2014173158A1/zh
Priority to US14/786,818 priority patent/US20160078674A1/en
Priority to EP13883238.1A priority patent/EP2991037B1/en
Application granted granted Critical
Publication of CN103198522B publication Critical patent/CN103198522B/zh
Priority to HK16104206.4A priority patent/HK1216201A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种三维场景模型生成方法，S11：从场景模型库中分析提取出场景的物体结构组以及物体间的语义关系；S12：统计拟合出每个物体结构组间物体的相对位置，并计算高斯分布函数；S21：对所述草图中的每一个物体在模型库中进行检索；S22：确定所述草图对应的模型；S23：根据所述草图计算对应物体的初始位置；S24：根据S23计算出的初始位置和S12中的高斯分布函数，并结合梯度下降法寻找局部最优位置，根据该位置摆放每一个S22中的物体模型，得到最终场景模型。本发明的方法充分利用场景的语义信息，提高了利用草图检索模型方法的准确率，在最少人工干预的前提下自动解决输入草图中的歧义性。

Description

三维场景模型生成方法
技术领域
本发明涉及三维技术领域，特别涉及一种三维场景模型生成方法，尤其涉及一种基于草图的三维场景模型生成方法。
背景技术
随着互联网上三维模型数量的增加（例如Google3D Warehouse等模型库）和越来越成熟的利用二维草图检索三维模型的技术的发展，合理利用单个模型组合成所需场景的技术成为了可能。大量的研究表明随意画的二维草图既可以用来做模型检索也可以提供场景中物体的位置信息来帮助优化场景模型的放置，这些都极大的减轻了建模的工作量。本发明的技术背景主要源自上述两个方面。
在利用草图进行模型检索方面最主流方法为“How do humanssketch objects”一文以及其引文中阐述的内容。这些方法致力于改进由单幅草图检索模型的效果，往往很少考虑场景中模型间的语义关系。并且由于二维草图的局限性，在表达内容和空间位置关系方面存在很大的歧义，这些方法都只能高度依赖用户去解决这些歧义
近些年，在自动优化三维模型位置方面的研究也取得了一些进展，这些研究的主要目标是将模型摆放在合理的位置上生成美观的场景。最直接的应用就是如何自动确定各种家具摆放的位置从而使房间变得美观舒适。这些研究主要包括：“Interactive furniture layout usinginterior design guidelines”、“Make it home:automatic optimization offurniture arrangement”、“Context-based search for3D models”等。
当前比较主流的基于草图生成三维模型的方法如“Magic canvas:interactive design of a3-d scene prototype from freehandsketches”、“Sketch-Based Search and Composition of3D Models”、“Sketch-to-Design:Context-based Part Assembly”都是基于单个物体的设计模式：先从二维草图检索出三维模型，然后放置模型。由于不考虑物体间的语义关系，这些方法的效果要求每个草图都必须精确检索出所需模型。为了做到这一点，这些系统需要大量用户干预，也需要许多专业知识。
发明内容
（一）要解决的技术问题
本发明要解决的技术问题是，针对现有技术的不足，提供一种三维场景模型生成方法，在最少用户干预的前提下，自动从输入草图生成准确并且美观的三维场景。
（二）技术方案
本发明提供一种三维场景模型生成方法，包括：
S1：预处理阶段：
S11：从场景模型库中分析提取出场景的多个物体结构组，其中每一个物体结构组定义场景中物体间的语义关系；
S12：统计拟合出每个物体结构组间物体的相对位置，并计算出高斯分布函数；
S2：生成阶段：
S21：输入由草图表示的场景，并对所述草图中的每一个物体在模型库中进行检索；
S22：结合S21的检索结果和S1中的语义关系，确定所述草图对应的物体模型；
S23：根据所述草图计算对应物体模型的初始位置；
S24：根据S23计算出的初始位置和S12中的高斯分布函数，并结合梯度下降法寻找局部最优位置，该局部最优位置就是模型的合理摆放位置，根据该位置摆放每一个S22中的物体模型，得到最终场景模型。
其中，在S11中，利用数据挖掘的关联规则从场景中提取由Apriori算法定义的关联程度最高的常见物体结构组；
其中，S23具体包括：对放在地面上的物体直接按一定比例投影到场景中的地面上，对放置在其它物体上的物体，从所述输入草图中利用图像方法匹配出支撑面，在支撑面上插值，计算出其相对支撑物体的位置。
其中，在S11中，所述多个物体结构组的数量为至少一个物体结构组。
（三）有益效果
本发明的方法充分利用场景的语义信息，提高了利用草图检索模型方法的准确率，在最少人工干预的前提下自动解决输入草图中的歧义性，使没有专业知识的用户也可以利用本发明的系统创作出与专业人士相媲美的场景模型。另外，本发明有着良好的可扩展性，所提出的结构组的概念也可以为解决其他领域的问题提供一种思路。
附图说明
图1是本发明三维场景模型生成方法步骤流程图；
图2是本发明基于草图生成三维场景模型方法实例1的处理流程图；
图3是基于草图生成三维场景模型方法的部分结果以及在相同模型库上制作的结果示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明提供一种三维场景模型生成方法，包括：
S1：预处理阶段：
S11：从场景模型库中分析提取出场景的多个物体结构组，其中每一个物体结构组定义场景中物体间的语义关系；
S12：统计拟合出每个物体结构组间物体的相对位置，并计算出高斯分布函数；
S2：生成阶段：
S21：输入由草图表示的场景，并对所述草图中的每一个物体在模型库中进行检索；
S22：结合S21的检索结果和S1中的语义关系，确定所述草图对应的物体模型；
S23：根据所述草图计算对应物体模型的初始位置；
S24：根据S23计算出的初始位置和S12中的高斯分布函数，并结合梯度下降法寻找局部最优位置，该局部最优位置就是模型的合理摆放位置，根据该位置摆放每一个S22中的物体模型，得到最终场景模型。
其中，在S11中，利用数据挖掘的关联规则从场景中提取由Apriori算法定义的关联程度最高的常见物体结构组；（Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。而且算法已经被广泛的应用到商业、网络安全等各个领域）
其中，S23具体包括：对放在地面上的物体直接按一定比例投影到场景中的地面上，对放置在其它物体上的物体，从所述输入草图中利用图像方法匹配出支撑面，在支撑面上插值，计算出其相对支撑物体的位置。
其中，在S11中，所述多个物体结构组的数量为至少一个物体结构组。
实施例1
图2是本发明基于草图生成三维场景模型方法实例1的处理流程图，如图2所示：
（1）处理阶段：
该阶段主要从场景数据库中分析提取出常见的结构组。比如图1中展示了两个结构组“电视——柜子”和“床头柜——床——床头柜”。第一个结构组中“电视”和“柜子”的关系是“电视”放在“柜子”上，并且从拟合出高斯函数可以看到“电视”中心相对“柜子”中心的分布。第二个结构组中“床”和两个“床头柜”都放在地上，并且两个“床头柜”一般都放在“床”两侧接近对称的位置。
（2）运行阶段：
运行阶段由如下四个部分组成:
a.输入一幅场景草图，可以看到场景草图中不同的物体以不同的颜色表示，及场景草图是“分割”好的。
b.将输入场景草图中的每一个物体的草图用图像匹配的方法去模型库中与所有模型不同视角生成的轮廓图像匹配，将模型库中所有模型按相似度降序排列。从中可以看到由于单幅草图检索模型的局限性，并不能保证每个期望的类别的模型都排列在第一个。
c.对每个物体草图取出前100个候选模型进行组合优化，每一个组合除了考虑草图匹配的得分以外，如果其中包含有预处理阶段提取出的结构组，则还会加上预定义的结构组的得分。以一种贪心的方式取出得分最高的组合，从而得到场景草图中每个物体对应的最终模型。从草图估计出每个模型的位置，将模型放置在各自估计的位置上。
定义一个关于物体平移和旋转的势函数，该势函数同时要求场景中包含的结构组中物体的相对位置关系尽量服从预定的高斯函数，又要求每个物体的位置和朝向不能离初始估计的位置太远。利用梯度下降法搜索出一个局部最优解，将模型放置在最终确定的位置上。
如图3所示，第一列是一些输入草图，第二列是由邀请的专业美工人员根据草图在相同的模型库上制作出来的场景。第三、四、五列为本发明的系统自动生成的结果。可以看到，本发明生成的结果和美工制作的结果在视觉效果上基本相当。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种三维场景模型生成方法，其特征在于，包括：
S1：预处理阶段：
S11：从场景模型库中分析提取出场景的多个物体结构组，其中每一个物体结构组定义场景中物体间的语义关系；
S12：统计拟合出每个物体结构组内部的物体之间的相对位置，并计算出高斯分布函数；
S2：生成阶段：
S21：输入由草图表示的场景，并对所述草图中的每一个物体在模型库中进行检索；
S22：结合S21的检索结果和S11中的语义关系，确定所述草图对应的物体模型；
S23：根据所述草图计算对应物体模型的初始位置；
S24：根据S23计算出的初始位置和S12中的高斯分布函数，并结合梯度下降法寻找局部最优位置，该局部最优位置就是所述物体模型的合理摆放位置，根据所述合理摆放位置摆放每一个S22中的物体模型，得到最终场景模型。
2.如权利要求1所述的方法，其特征在于，在S11中，利用数据挖掘的关联规则从场景中提取由Apriori算法定义的关联程度最高的物体结构组。
3.如权利要求1所述的方法，其特征在于，S23具体包括：对放在地面上的物体直接按一定比例投影到场景中的地面上，对放置在其它物体上的物体，从所述输入草图中利用图像方法匹配出支撑面，在支撑面上插值，计算出其相对支撑物体的位置。
CN201310144170.2A 2013-04-23 2013-04-23 三维场景模型生成方法 Active CN103198522B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310144170.2A CN103198522B (zh) 2013-04-23 2013-04-23 三维场景模型生成方法
PCT/CN2013/090463 WO2014173158A1 (zh) 2013-04-23 2013-12-25 三维场景模型生成方法
US14/786,818 US20160078674A1 (en) 2013-04-23 2013-12-25 Three-dimensional scene model generating method
EP13883238.1A EP2991037B1 (en) 2013-04-23 2013-12-25 Method of generating three-dimensional scene model
HK16104206.4A HK1216201A1 (zh) 2013-04-23 2016-04-13 三維場景模型生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310144170.2A CN103198522B (zh) 2013-04-23 2013-04-23 三维场景模型生成方法

Publications (2)

Publication Number Publication Date
CN103198522A CN103198522A (zh) 2013-07-10
CN103198522B true CN103198522B (zh) 2015-08-12

Family

ID=48721016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310144170.2A Active CN103198522B (zh) 2013-04-23 2013-04-23 三维场景模型生成方法

Country Status (5)

Country Link
US (1) US20160078674A1 (zh)
EP (1) EP2991037B1 (zh)
CN (1) CN103198522B (zh)
HK (1) HK1216201A1 (zh)
WO (1) WO2014173158A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198522B (zh) * 2013-04-23 2015-08-12 清华大学 三维场景模型生成方法
CN105469103B (zh) * 2014-09-11 2018-10-16 清华大学 基于低质量rgb-d数据的场景恢复方法及装置
CN108986224B (zh) * 2017-06-01 2021-08-17 腾讯科技（深圳）有限公司 电子地图处理方法、装置和计算机设备
CN110415328B (zh) * 2018-04-26 2024-03-26 清华大学 三维场景图生成方法、装置和机器人
CN108763807B (zh) * 2018-06-07 2022-04-05 安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中心站） 一种在管网设计中自动布置统计配件的方法
CN113553636B (zh) * 2020-04-03 2024-03-01 琦境科技（北京）有限公司 一种三维空间物品规划设计及方案展示的方法和系统
WO2021253277A1 (zh) * 2020-06-17 2021-12-23 上海亦我信息技术有限公司 虚拟装修方法、装置、系统
CN114840107B (zh) * 2021-04-28 2023-08-01 中国科学院软件研究所 一种草图数据重用与场景草图辅助构建方法及系统
CN113223173B (zh) * 2021-05-11 2022-06-07 华中师范大学 基于图模型的三维模型重建迁移方法及系统
CN114911967B (zh) * 2022-05-25 2024-03-29 北方民族大学 一种基于自适应域增强的三维模型草图检索方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633995A (en) * 1991-06-19 1997-05-27 Martin Marietta Corporation Camera system and methods for extracting 3D model of viewed object
CN101714262A (zh) * 2009-12-10 2010-05-26 北京大学 单幅图像的三维场景重建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611609B1 (en) * 1999-04-09 2003-08-26 The Board Of Regents Of The University Of Nebraska Method of tracking changes in a multi-dimensional data structure
EP1586020A2 (en) * 2003-01-25 2005-10-19 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7586490B2 (en) * 2004-10-20 2009-09-08 Siemens Aktiengesellschaft Systems and methods for three-dimensional sketching
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image
CN101657839B (zh) * 2007-03-23 2013-02-06 汤姆森许可贸易公司 用于对2d图像进行区域分类以进行2d至3d转换的系统和方法
US8232999B2 (en) * 2008-01-22 2012-07-31 Dreamworks Animation Llc Fast oceans at near infinite resolution
US8831271B2 (en) * 2008-10-07 2014-09-09 Ochanomizu University Subgraph detection device, subgraph detection method, program, data structure of data, and information recording medium
CN103198522B (zh) * 2013-04-23 2015-08-12 清华大学 三维场景模型生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633995A (en) * 1991-06-19 1997-05-27 Martin Marietta Corporation Camera system and methods for extracting 3D model of viewed object
CN101714262A (zh) * 2009-12-10 2010-05-26 北京大学 单幅图像的三维场景重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hyojong shin等.Magic Canvas:Interactive Design of a 3-D Scene Prototype from Freehand Sketches.《Proceeding of Graphics Interface 2007》.2007,63-70. *
Robert C.Zeleznik等.Sketch:An Interface for Sketching 3D Scenes.《Computer graphics Proceeding,Annual Conference Series》.1996,163-170. *
Shi Min Hu等.Internet visual media processing:a survey with graphics and vision applications.《The Visual Computer》.2013,第29卷(第5期),393-405. *

Also Published As

Publication number Publication date
EP2991037A4 (en) 2016-12-07
EP2991037B1 (en) 2020-02-05
CN103198522A (zh) 2013-07-10
WO2014173158A1 (zh) 2014-10-30
EP2991037A1 (en) 2016-03-02
US20160078674A1 (en) 2016-03-17
HK1216201A1 (zh) 2016-10-21

Similar Documents

Publication Publication Date Title
CN103198522B (zh) 三维场景模型生成方法
Chang et al. Shapenet: An information-rich 3d model repository
Kottur et al. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations
Fu et al. Adaptive synthesis of indoor scenes via activity-associated object relation graphs
Zhang et al. A survey of 3D indoor scene synthesis
CN106599181B (zh) 一种基于主题模型的新闻热点检测方法
Xu et al. Sketch2Scene: Sketch-based co-retrieval and co-placement of 3D models
Xie et al. Sketch‐to‐design: Context‐based part assembly
Xu et al. Organizing heterogeneous scene collections through contextual focal points
Liang et al. Knowledge graph construction with structure and parameter learning for indoor scene design
CN106446148A (zh) 一种基于聚类的文本查重方法
Einasto et al. Sdss dr7 superclusters-morphology
CN109871470A (zh) 一种电网设备数据标签化管理系统及实现方法
Sharf et al. Mobility‐trees for indoor scenes manipulation
CN104361347A (zh) 一种基于单一图像的数控机床设计模块三维模型检索方法
Patil et al. Advances in Data‐Driven Analysis and Synthesis of 3D Indoor Scenes
Vartak et al. CHIC: a combination-based recommendation system
Guerrero et al. Edit propagation using geometric relationship functions
Su et al. Cross-class 3D object synthesis guided by reference examples
CN104036024A (zh) 一种基于GACUC和Delaunay三角网的空间聚类方法
Shao et al. Cross-modal attribute transfer for rescaling 3D models
Ting-Ting et al. Interest points guided convolution neural network for furniture styles classification
Zhang et al. Scenedirector: Interactive scene synthesis by simultaneously editing multiple objects in real-time
Yan et al. Joint image-text representation learning for fashion retrieval
Teng et al. Survey on visualization layout for big data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant