CN107590852B - 行为约束的室内三维场景自动构建方法 - Google Patents

行为约束的室内三维场景自动构建方法 Download PDF

Info

Publication number
CN107590852B
CN107590852B CN201710719859.1A CN201710719859A CN107590852B CN 107590852 B CN107590852 B CN 107590852B CN 201710719859 A CN201710719859 A CN 201710719859A CN 107590852 B CN107590852 B CN 107590852B
Authority
CN
China
Prior art keywords
room
behavior
objects
layout
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710719859.1A
Other languages
English (en)
Other versions
CN107590852A (zh
Inventor
陈小武
符强
周彬
赵沁平
王晓天
高博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710719859.1A priority Critical patent/CN107590852B/zh
Priority to US15/847,808 priority patent/US10417805B2/en
Publication of CN107590852A publication Critical patent/CN107590852A/zh
Application granted granted Critical
Publication of CN107590852B publication Critical patent/CN107590852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map

Abstract

本发明提供了一种行为约束的室内三维场景自动构建方法,包括:根据输入的信息,确定房间、所述房间的参数和第一行为语义;根据所述第一行为语义,得到对应的第一对象类别;根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型;根据所述第一参考布局图和所述三维模型,引导生成所述房间的室内三维场景。

Description

行为约束的室内三维场景自动构建方法
技术领域
本发明涉及三维场景建模领域,尤其涉及一种行为约束的室内三维场景自动构建方法。
背景技术
三维场景建模技术,可以理解为一种构建虚拟的三维场景的技术。现有的相关技术中,可以根据对现实中对象数据的采集,基于所采集的数据实现三维场景的构建,从而实现了现实场景的建模重现。
随着三维场景建模技术的发展以及室内对象模型资源的丰富,近年来,人们的需求不再满足于现实场景的建模重现,如何根据需求进行三维场景的自动构建,已经成为领域内亟待解决的问题。
发明内容
本发明提供一种行为约束的室内三维场景自动构建方法,以解决如何根据需求进行三维场景的自动构建的问题。
根据本发明的第一方面,提供了一种行为约束的室内三维场景自动构建方法,包括:
根据输入的信息,确定房间和第一行为语义;
根据所述第一行为语义,得到对应的第一对象类别;
根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型;
根据所述第一参考布局图和所述三维模型,引导生成室内三维场景。
可选的,所述根据输入的信息,确定房间和第一行为语义之前,还包括:构建关系树,其中,所述关系树的根节点为行为语义,所述关系树的其余节点为对象类别;
所述根据所述第一行为语义,得到对应的第一对象类别,包括:
根据所述第一行为语义,在所述关系树中确定对应的对象类别为第一对象类别。
可选的,所述构建关系树包括:
构建平面布局图的数据集;
在所述平面布局图的对象中,根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个行为逻辑对应的一个对象类别,所述对象类别中包含至少一个对象;
对所述行为进行语义确定,得到其行为语义;
根据行为语义确定根节点,并根据对象类别确定其余节点,构建所述关系树。
可选的,所述在根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别,具体包括:
在所述平面布局图的对象中,根据所述第一标注数据、第二标注数据、第三标注数据、所述N个行为及每个所述行为对应的M个行为逻辑,得到每个行为逻辑对应的一个对象类别;其中,所述第一标注数据为所述平面布局图中对象的标注数据,所述第二标注数据为平面布局图中使用者的标注数据,所述第三标注数据为平面布局图中空白区域的标注数据。
可选的,所述根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别之前,还包括:
将所述平面布局图中的部分或全部对象划分为第一对象组、第二对象组与第三对象组;其中:所述第一对象组中的对象为使用交互终端时使用者停留的对象,且预设的使用者停留时间处于第一时长范围;所述第二对象组中的对象为使用交互终端时使用者停留的对象,且预设的使用者停留时间处于第二时长范围,所述第一时长范围的最大值小于所述第二时长范围的最小值;所述第三对象组的对象为使用者使用的交互终端的对象;
得到不同对象组中对象的交互关联数据;所述交互关联数据用于表征不同对象组中的对象间被同一使用者同时停留和/或交互使用的可能性;
所述根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别,具体包括:
根据所述行为、所述行为逻辑以及所述交互关联数据,筛选确定每个对象类别中的对象。
可选的,所述根据所述第一对象类别以及所述房间参数,确定对应的第一参考布局图,以及对象的三维模型,包括:
根据所述第一对象类别以及所述房间的参数,确定第一参考布局图所属的第一场景类别;
根据所述第一场景类别下的候选布局图、所述第一对象类别与其中的对象,以及所述房间的参数,在所述候选布局图中确定所述第一参考布局图,并选定其中一个第一对象类别;
根据所述第一参考布局图中的空白区域以及选定的第一对象类别中的对象,在三维模型库中选定对象的三维模型。
可选的,所述根据所述第一对象类别以及所述房间参数,确定第一参考布局图所属的第一场景类别,包括:
根据所述第一对象类别、所述房间参数,以及第一概率数据,确定所述第一场景类别;其中,所述第一概率数据用于表示不同场景下各对象类别出现的概率。
可选的,所述根据所述第一场景类别下的候选布局图、所述第一对象类别与其中的对象,以及所述房间的参数,在所述候选布局图中确定所述第一参考布局图,包括:
根据所述候选布局图和所述房间的参数,以各候选布局图对应的划分方式将所述房间划分为至少一个子房间,并确定各子房间中的对象;
针对每个候选布局图,根据所述子房间、子房间中的对象,分别计算能量数据;
选取能量数据最小的候选布局图为所述第一参考布局图。
可选的,根据所述房间的参数、第一对象类别和其中的对象,分别计算能量数据,包括:
计算得到每个子房间的第一房间特征;
计算得到每个子房间中对象对应的第一对象特征参数;
根据候选布局图对应的第二房间特征参数、对应的第二对象特征参数、以及所述第一房间特征参数和第一对象特征参数,计算得到所述能量数据;所述对应的第二对象特征参数为根据候选布局图中对象对应的空白区域得到的。
可选的,所述根据所述第一参考布局图和所述三维模型,引导生成所述房间的室内三维场景,包括:
将所述第一参考布局图中的对应线条与所述房间中的子房间的对应线条对齐,其中,所述房间中的子房间为根据所述第一参考布局图划分所述房间得到;
将所述第一参考布局图中的空白区域映射至所述房间中;
根据所述第一参考布局图中的预设的朝向信息和位置信息,以及所述映射的结果,将所述三维模型放置于房间中。
本发明提供的行为约束的室内三维场景自动构建方法,通过根据输入的信息,确定房间和第一行为语义,确定了需求,并通过根据所述第一行为语义,得到对应的第一对象类别;以及根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型;实现了针对需求的对象类别确定,以及布局确定,进而实现了根据需求进行三维场景的自动构建。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一行为约束的室内三维场景自动构建方法的流程示意图一;
图2是本发明一行为约束的室内三维场景自动构建方法的流程示意图二;
图3是图2中步骤S21的流程示意图;
图4是图2中步骤S24的流程示意图;
图5是图4中步骤S242的流程示意图;
图6是图2中步骤S25的流程示意图;
图7是本发明一关系树的构造示意图;
图8是本发明一输入信息的界面示意图;
图9是本发明一得到第一对象类别和第一场景类别的结果示意图;
图10是本发明一确定第一参考布局图的示意图;
图11是本发明一引导生成的室内三维场景的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明一行为约束的室内三维场景自动构建方法的流程示意图一;请参考图1,包括:
S11:根据输入的信息,确定房间、所述房间的参数和第一行为语义。
房间,可以理解为所需构建的三维场景所在的房间,或可理解为房间的三维模型;房间的参数,可以理解为有关构成房间或房间的三维模型的任意参数,可以包括房间的形状,形状对应的尺寸等。语义行为,可以理解为表征用户室内行为的内容。输入的信息,可以为任意可用于匹配确定房间、房间的参数以及第一行为语义的信息。
S12:根据所述第一行为语义,得到对应的第一对象类别;
本实施例将对象的类别与行为语义对应,在三维场景的构建中,可以通过对应关系实现:根据需求进行场景的构建。
S13:根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型;
参考布局图,可以理解为用于实现室内场景布局的预设图纸,对象的三维模型,可以了理解为对象预设的可加入到三维场景中的三维模型,通过以上步骤,可以在预设的布局图和模型中确定构建三维场景所需的布局图和模型。
S14:根据所述第一参考布局图和所述三维模型,引导生成所述房间的室内三维场景。
本实施例提供的行为约束的室内三维场景自动构建方法,通过根据输入的信息,确定房间和第一行为语义,确定了需求,并通过根据所述第一行为语义,得到对应的第一对象类别;以及根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型;实现了针对需求的对象类别确定,以及布局确定,进而实现了根据需求进行三维场景的自动构建。
图2是本发明一行为约束的室内三维场景自动构建方法的流程示意图二;请参考图2,包括:
S21:构建关系树,其中,所述关系树的根节点为行为语义,所述关系树的其余节点为对象类别。
图3是图2中步骤S21的流程示意图,图7是本发明一关系树的构造示意图;请参考图3和图7,步骤S21,包括:
S211:构建平面布局图的数据集。
具体实施过程中,可以包含8个不同类别的室内场景(比如:卧室、客厅、餐厅、书房、会议室、办公室、健身房、食堂),并对其进行标注,即:在每张二维的平面布局图上,标注出不同室内对象的位置与尺寸,同时标记出其中使用者的位置和朝向,以及可放置家具的空白区域。对应的,可以得到第一标注数据、第二标注数据和第三标注数据。其中,所述第一标注数据为所述平面布局图中对象的标注数据,例如所述室内对象的位置与尺寸;所述第二标注数据为平面布局图中使用者的标注数据,例如所述使用者的位置和朝向,所述第三标注数据为平面布局图中空白区域的标注数据,例如所述可放置家具的空白区域。
S212:将所述平面布局图中的部分或全部对象划分为第一对象组、第二对象组和第三对象组。其中:所述第一对象组中的对象为使用交互终端时使用者停留的对象,且预设的使用者停留时间处于第一时长范围;所述第二对象组中的对象为使用交互终端时使用者停留的对象,且预设的使用者停留时间处于第二时长范围,所述第一时长范围的最大值小于所述第二时长范围的最小值;所述第三对象组的对象为使用者使用的交互终端的对象。其中,停留,可以理解为处于对象预设的范围内。
第一时长范围,可以理解为使用者短暂停留对应的时长,对应的第一对象组中的对象主要包括书架、衣柜等交互后使用者短时间停留的对象。第二时长范围,可以理解为使用者长时间停留对应的时长,对应的第二对象组中的对象主要包括沙发、床等交互后使用者长时间停留的对象。第三对象组的对象可以列举为书桌、电视、电脑等。
此外,第一对象组中的对象、第二对象组中的对象,以及第三对象组中的对象可以仅为部分对象的划分,布局图中对象也可以不做划分。通过以上划分,能够更有利于量化计算对象间的交互关联性,进而根据量化计算的结果确定对象类别。
S213:得到不同对象组中对象的交互关联数据。
交互关联数据,可以理解为表征不同对象组中的对象间被同一使用者同时停留和/或交互使用的可能性的数据,可以列举为表征用户停留于第一对象组中对象或第二对象组中对象时,是否可能交互使用第三对象组中对象。其可以为表征可能与不可能的数据,也可以具体为表征可能性量化比例的数据。
具体实施方式中,通过标注的使用者的位置P和朝向,根据人体工程学的人体可触及区域和视野区域P,通过以下公式可以检测同一使用者针对两个对象oi与oj的交互关联数据
Figure BDA0001384710300000071
Figure BDA0001384710300000072
其中,oi与oj为检测是否关联的两个室内对象,
Figure BDA0001384710300000081
Figure BDA0001384710300000082
分别为其投影区域,由此可以得到室内对象中第二对象组与第三对象组之间若干对象的交互关联数据。在其他可选实施方式中,也可以得到第一对象组与第三对象组之间的交互关联数据。
S214:在所述平面布局图的对象中,根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别,所述对象类别中包含至少一个对象。
具体可以包括:根据所述行为、所述行为逻辑以及所述交互关联数据,筛选确定每个对象类别中的对象;也可以具体包括:在所述平面布局图的对象中,根据第一标注数据、第二标注数据、第三标注数据、所述N个行为及每个所述行为对应的M个行为逻辑,得到每个行为逻辑对应的一个对象类别;其中,所述第一标注数据为所述平面布局图中对象的标注数据,所述第二标注数据为平面布局图中使用者的标注数据,所述第三标注数据为平面布局图中空白区域的标注数据。具体实施过程中,可以根据所述行为、所述行为逻辑、所述交互关联数据、所述第一标注数据、所述第二标注数据、所述第三标注数据,得到每个行为逻辑对应的一个对象类别。
行为逻辑,可以理解为实施行为的逻辑。比如,行为可以为看阅读、用餐、喝茶等行为,对应的,行为语义可以为阅读、用餐、喝茶等根据行为标注的词语,以喝茶为例,其对应的行为逻辑可以例如包括:第一行为逻辑:坐沙发上看书,则对应的一个对象类别下可以包括沙发与茶几,第二行为逻辑:坐椅子上看书,则对应的另一个对象类别下可以包括椅子,同时,该两个对象类别都可以包括饮水机。
具体实施过程中,在交互关联数据的基础上,可以通过自动和/或人工判断,筛选符合行为逻辑的对象。筛选符合行为逻辑的对象后,可分别确定为各对象类别,进而可以标注这些对象类别对应的行为逻辑所属的行为,得到行为语义(例如:看书、用餐、喝茶等),其可以理解为根据行为的功能进行定义的,进而可以通过步骤S216建立关系树。
S215:对所述行为进行语义确定,得到其行为语义。
S216:根据行为语义确定根节点,并根据对象类别确定其余节点,构建所述关系树。
请参考图7,对于根节点,可以直接以行为语义本身作为根节点,举例中,阅读、用餐、办公、弹钢琴、开会、绘画、换衣服、喝茶、睡觉、健身、娱乐、看电视等行为语义为根节点。
对于其余节点的确定,其余节点,可以理解为实现关系树中关系线索分叉的点;故而,根据对象类别确定其余节点,可以理解为:根据不同的对象类别,可以在关系树中对应不同的关系线索,以根节点“阅读”举例,其中一个关系线索为书架、椅子和书桌,另一个关系线索为书架、床和床头柜,对应的,其中一个对象类别中的对象包括书架、椅子和书桌,另一个对象类别中的对象包括书架、床和床头柜。
可见,本实施例可以在布局图中检测室内对象的交互关联性,结合室内先验知识,得到关系树。
S22:根据输入的信息,确定房间、所述房间的参数和第一行为语义。
图8是本发明一输入信息的界面示意图;房间,可以理解为所需构建的三维场景所在的房间,或可理解为房间的三维模型;房间的参数,可以理解为有关构成房间或房间的三维模型的任意参数,可以包括房间的形状,形状对应的尺寸等。语义行为,可以理解为表征用户室内行为的内容,请参考图8,其可以列举为看电视、睡觉、喝茶、换衣服,输入的信息,可以为任意预先标注的信息或与预先标注信息匹配的信息。
S23:根据所述第一行为语义,得到对应的第一对象类别;具体可以包括:根据所述第一行为语义,在所述关系树中确定对应的对象类别为第一对象类别。
请参考图7,举例中,根据喝茶的第一行为,根据关系树可以确定其对应的第一对象类别,其对应的一个第一对象类别中的对象包括饮水机、沙发、茶几,其对应的另一个第一对象类别中的对象包括饮水机椅子。
本实施例将对象的类别与行为语义对应,在三维场景的构建中,可以通过对应关系实现:根据需求进行场景的构建。利用关系树将用户输入的行为语义转化为三维对象类别,增加三维场景构建过程的自动化程度,且使得整个过程简单有效。
S24:根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型。
参考布局图,可以理解为用于实现室内场景布局的预设图纸,对象的三维模型,可以了理解为对象预设的可加入到三维场景中的三维模型,通过以上步骤,可以在预设的布局图和模型中确定构建三维场景所需的布局图和模型。
该实施方式利用包含设计先验知识的布局图引导三维场景构建生成,能保证生成场景的布局合理性。
图10是本发明一确定第一参考布局图的示意图;请参考图10,经确定后,布局的方式以及对应的标注信息被确定。
图4是图2中步骤S24的流程示意图;请参考图4,步骤S24,可以包括:
S241:根据所述第一对象类别以及所述房间的参数,确定第一参考布局图所属的第一场景类别。具体可以包括:根据所述第一对象类别、所述房间参数,以及第一概率数据,确定所述第一场景类别;其中,所述第一概率数据用于表示不同场景下各对象类别出现的概率。
图9是本发明一得到第一对象类别和第一场景类别的结果示意图;请参考图9,场景类别可以包括客厅、卧室等。
具体实施过程中,根据用户的行为语义输入,从关系树的分支中选取多组对象类别,这些类别可以满足用户的行为需求,对其中的任意一组对象类别
Figure BDA0001384710300000101
oj为其中的某一对象类别中的对象,根据布局图中统计得到的不同场景类别中该对象出现的概率P(oj|si),以及各个类别中布局图的平均面积φ(si),可以由如下公式得到合适的第一场景类别
Figure BDA0001384710300000102
Figure BDA0001384710300000103
其中,Si用于表征布局图,第一概率数据可以包括概率P(oj|si)。
由此可以得到一个或多第一场景类别。
还可以根据以下公式得到对象类别
Figure BDA0001384710300000104
中每个对象所对应的场景布局图类别,这些类别可以用于指导输入房间的布局:
Figure BDA0001384710300000105
S242:根据所述第一场景类别下的候选布局图、所述第一对象类别与其中的对象,以及所述房间的参数,在所述候选布局图中确定所述第一参考布局图,并选定其中一个第一对象类别;
候选布局图,可以理解为第一场景类别下的布局图。
步骤S241之后,即确定的第一场景类别后,可以针对其中的布局图确定布局图对应的房间特征参数fr与对象特征参数fo。具体可以包括:
根据房间短边与长边的比例Lr以及房间门与窗户相对于房间中心点的夹角
Figure BDA0001384710300000111
构建布局图的房间特征参数fr,并用对象的投影包围盒的短边与长边比例Lo及其投影面积与房间面积的比例
Figure BDA0001384710300000112
构建布局图的对象特征参数fo。布局图的房间特征参数fr与布局图的对象特征参数fo,可以如下所示:
Figure BDA0001384710300000113
图5是图4中步骤S242的流程示意图;其中,步骤S242包括:
S2421:根据所述候选布局图和所述房间的参数,以各候选布局图对应的划分方式将所述房间划分为至少一个子房间,并确定各子房间中的对象。
S2422:针对每个候选布局图,根据所述子房间、子房间中的对象,分别计算能量数据;具体可以包括:
计算得到每个子房间的第一房间特征
Figure BDA0001384710300000114
计算得到每个子房间中对象对应的第一对象特征参数
Figure BDA0001384710300000115
由于对于子房间,已经对象类别
Figure BDA0001384710300000116
中划分了相应的室内对象oi,这些对象可以根据子房间的面积计算其第一对象特征参数
Figure BDA0001384710300000117
此外,还可得到对应的布局图的第二房间特征参数
Figure BDA0001384710300000118
以及其与对象oi对应的空白区域的第二对象特征参数
Figure BDA0001384710300000119
以上计算过程无先后次序。
最后,根据候选布局图对应的第二房间特征参数
Figure BDA00013847103000001110
对应的第二对象特征参数
Figure BDA00013847103000001111
以及所述第一房间特征参数
Figure BDA00013847103000001112
和第一对象特征参数
Figure BDA00013847103000001113
计算得到所述能量数据;所述对应的第二对象特征参数为根据候选布局图中对象对应的空白区域得到的。
具体的,可以通过以下公式计算得到:
Figure BDA0001384710300000121
其中,COST用于表征能量数据。
S2423:选取能量数据最小的候选布局图为所述第一参考布局图。同时,可以选定其中一个第一对象类别及其中的对象与第一参考布局图中各个空白区域的对应关系。
S243:根据所述第一参考布局图中的空白区域以及选定的第一对象类别中的对象,在三维模型库中选定对象的三维模型。具体的,可以根据空白区域对应的对象特征参数,从对应类别的三维模型库中检索出合适的三维模型。
S25:根据所述第一参考布局图和所述三维模型,引导生成所述房间的室内三维场景。
图6是图2中步骤S25的流程示意图;图11是本发明一引导生成的室内三维场景的示意图,请参考图6与图11,步骤S25,可以包括:
S251:将所述第一参考布局图中的对应线条与所述房间中的子房间的对应线条对齐,其中,所述房间中的子房间为根据所述第一参考布局图划分所述房间得到;
S252:将所述第一参考布局图中的空白区域映射至所述房间中;
S253:根据所述第一参考布局图中的预设的朝向信息和位置信息,以及所述映射的结果,将所述三维模型放置于房间中。
同时,还可推荐出相似的同类别可替换候选模型,并根据选择输入信息确定所述三维模型,可以让用户丰富三维场景的生成结果。
此外,本实施例所示方法能快速构建大量的三维场景,为三维动画制作、游戏场景构建等多种应用领域提供三维素材。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种行为约束的室内三维场景自动构建方法,其特征在于,包括:
根据输入的信息,确定房间、所述房间的参数和第一行为语义;
根据所述第一行为语义,得到对应的第一对象类别;
根据所述第一对象类别和所述房间的参数,确定对应的第一参考布局图,以及房间中对象的三维模型;
根据所述第一参考布局图和所述三维模型,引导生成所述房间的室内三维场景;
其中,所述根据所述第一对象类别以及所述房间参数,确定对应的第一参考布局图,以及对象的三维模型,包括:
根据所述第一对象类别以及所述房间的参数,确定第一参考布局图所属的第一场景类别;
根据所述第一场景类别下的候选布局图、所述第一对象类别与其中的对象,以及所述房间的参数,在所述候选布局图中确定所述第一参考布局图,并选定其中一个第一对象类别;
根据所述第一参考布局图中的空白区域以及选定的第一对象类别中的对象,在三维模型库中选定对象的三维模型。
2.根据权利要求1所述的方法,其特征在于,所述根据输入的信息,确定房间和第一行为语义之前,还包括:构建关系树,其中,所述关系树的根节点为行为语义,所述关系树的其余节点为对象类别;
所述根据所述第一行为语义,得到对应的第一对象类别,包括:
根据所述第一行为语义,在所述关系树中确定对应的对象类别为第一对象类别。
3.根据权利要求2所述的方法,其特征在于,所述构建关系树包括:
构建平面布局图的数据集;
在所述平面布局图的对象中,根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别,所述对象类别中包含至少一个对象;
并对所述行为进行语义确定,得到其行为语义;
根据行为语义确定根节点,并根据对象类别确定其余节点,构建所述关系树。
4.根据权利要求3所述的方法,其特征在于,所述根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别,具体包括:
在所述平面布局图的对象中,根据第一标注数据、第二标注数据、第三标注数据、所述N个行为及每个所述行为对应的M个行为逻辑,得到每个行为逻辑对应的一个对象类别;其中,所述第一标注数据为所述平面布局图中对象的标注数据,所述第二标注数据为平面布局图中使用者的标注数据,所述第三标注数据为平面布局图中空白区域的标注数据。
5.根据权利要求3所述的方法,其特征在于,所述根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别之前,还包括:
将所述平面布局图中的部分或全部对象划分为第一对象组、第二对象组与第三对象组;其中:所述第一对象组中的对象为使用交互终端时使用者停留的对象,且预设的使用者停留时间处于第一时长范围;所述第二对象组中的对象为使用交互终端时使用者停留的对象,且预设的使用者停留时间处于第二时长范围,所述第一时长范围的最大值小于所述第二时长范围的最小值;所述第三对象组的对象为使用者使用的交互终端的对象;
得到不同对象组中对象的交互关联数据;所述交互关联数据用于表征不同对象组中的对象间被同一使用者同时停留和/或交互使用的可能性;
所述根据使用者交互使用对象的N个行为及每个所述行为对应的M个行为逻辑,得到每个所述行为逻辑对应的一个对象类别,具体包括:
根据所述行为、所述行为逻辑以及所述交互关联数据,筛选确定每个对象类别中的对象。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一对象类别以及所述房间参数,确定第一参考布局图所属的第一场景类别,包括:
根据所述第一对象类别、所述房间参数,以及第一概率数据,确定所述第一场景类别;其中,所述第一概率数据用于表示不同场景下各对象类别出现的概率。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一场景类别下的候选布局图、所述第一对象类别与其中的对象,以及所述房间的参数,在所述候选布局图中确定所述第一参考布局图,包括:
根据所述候选布局图和所述房间的参数,以各候选布局图对应的划分方式将所述房间划分为至少一个子房间,并确定各子房间中的对象;
针对每个候选布局图,根据所述子房间、子房间中的对象,分别计算能量数据;
选取能量数据最小的候选布局图为所述第一参考布局图。
8.根据权利要求7所述的方法,其特征在于,根据所述房间的参数、第一对象类别和其中的对象,分别计算能量数据,包括:
计算得到每个子房间的第一房间特征;
计算得到每个子房间中对象对应的第一对象特征参数;
根据候选布局图对应的第二房间特征参数、对应的第二对象特征参数、以及所述第一房间特征参数和第一对象特征参数,计算得到所述能量数据;所述对应的第二对象特征参数为根据候选布局图中对象对应的空白区域得到的。
9.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述第一参考布局图和所述三维模型,引导生成所述房间的室内三维场景,包括:
将所述第一参考布局图中的对应线条与所述房间中的子房间的对应线条对齐,其中,所述房间中的子房间为根据所述第一参考布局图划分所述房间得到;
将所述第一参考布局图中的空白区域映射至所述房间中;
根据所述第一参考布局图中的预设的朝向信息和位置信息,以及所述映射的结果,将所述三维模型放置于房间中。
CN201710719859.1A 2017-08-21 2017-08-21 行为约束的室内三维场景自动构建方法 Active CN107590852B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710719859.1A CN107590852B (zh) 2017-08-21 2017-08-21 行为约束的室内三维场景自动构建方法
US15/847,808 US10417805B2 (en) 2017-08-21 2017-12-19 Method for automatic constructing three-dimensional indoor scenario with behavior-constrained

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710719859.1A CN107590852B (zh) 2017-08-21 2017-08-21 行为约束的室内三维场景自动构建方法

Publications (2)

Publication Number Publication Date
CN107590852A CN107590852A (zh) 2018-01-16
CN107590852B true CN107590852B (zh) 2020-04-14

Family

ID=61043106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710719859.1A Active CN107590852B (zh) 2017-08-21 2017-08-21 行为约束的室内三维场景自动构建方法

Country Status (2)

Country Link
US (1) US10417805B2 (zh)
CN (1) CN107590852B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369203B (zh) * 2017-07-14 2020-04-28 北京航空航天大学 室内三维场景自适应构建方法及装置
CN111985022B (zh) * 2020-06-23 2022-07-19 北京城市网邻信息技术有限公司 一种线上装修的处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103548027A (zh) * 2011-03-17 2014-01-29 阿迪塔兹公司 用于实现建筑系统的系统和方法
CN104050722A (zh) * 2014-06-06 2014-09-17 北京航空航天大学 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5522054B2 (ja) * 2008-12-09 2014-06-18 日本電気株式会社 電波環境データ補正システム、方法およびプログラム
US8989440B2 (en) * 2012-03-27 2015-03-24 Way Out Ip, Llc System and method of room decoration for use with a mobile device
US20170076016A1 (en) * 2015-09-10 2017-03-16 Maysam MIR AHMADI Automated layout generation
US10191969B2 (en) * 2016-11-17 2019-01-29 Facebook, Inc. Filtering online content using a taxonomy of objects
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103548027A (zh) * 2011-03-17 2014-01-29 阿迪塔兹公司 用于实现建筑系统的系统和方法
CN104050722A (zh) * 2014-06-06 2014-09-17 北京航空航天大学 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Activity-centric Scene Synthesis for Functional 3D Scene Modeling;Matthew Fisher 等;《ACM Transactions on Graphic》;20151105;第34卷(第6期);179:1-179:13 *
Adaptive Synthesis of Indoor Scenes via Activity-Associated Object Relation Graphs;QIANG FU 等;《ACM Transactions on Graphics》;20171130;第36卷(第6期);201:1-201:13 *
PiGraphs: learning interaction snapshots from observations;Manolis Savva 等;《ACM Transactions on Graphics》;20160728;第35卷(第4期);139:1-139:12 *

Also Published As

Publication number Publication date
US20190057538A1 (en) 2019-02-21
CN107590852A (zh) 2018-01-16
US10417805B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
Fu et al. Adaptive synthesis of indoor scenes via activity-associated object relation graphs
Kottur et al. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations
Karimi et al. Deep learning in a computational model for conceptual shifts in a co-creative design system
Kán et al. Automated interior design using a genetic algorithm
CN1312615C (zh) 为媒体内容管理系统索引数字信息信号的方法和设备
KR20150131296A (ko) 증강 현실 경험의 다양한 환경에의 매핑
Van der Sluis et al. Generating multimodal references
Akase et al. Automatic 3D furniture layout based on interactive evolutionary computation
CN109887095A (zh) 一种情绪刺激虚拟现实场景自动生成系统及方法
CN107590852B (zh) 行为约束的室内三维场景自动构建方法
CN108961426A (zh) 基于虚拟现实的家居设计方法及系统
CN109509057A (zh) 一种室内设计方法及装置
CN109903369A (zh) 三维户型模型构建方法、装置、设备及可读存储介质
Jensen et al. Putting it in perspective: designing a 3D visualization to contextualize indigenous knowledge in rural Namibia
Huang et al. The effects of visual realism on spatial memory and exploration patterns in virtual reality
Cadi Yazli et al. Modeling craftspeople for cultural heritage: A case study
Ducrou et al. An intelligent user interface for browsing and searching MPEG-7 images using concept lattices
Song et al. Digital heritage application as an edutainment tool
Khanna et al. Habitat synthetic scenes dataset (hssd-200): An analysis of 3d scene scale and realism tradeoffs for objectgoal navigation
Akase et al. Web-based multiuser 3D room layout system using interactive evolutionary computation with conjoint analysis
CN105809742B (zh) 一种数据驱动的室内场景着色方法
KR101804679B1 (ko) 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법
Rouhizadeh et al. Collecting semantic information for locations in the scenario-based lexical knowledge resource of a text-to-scene conversion system
Ordonez et al. Furniture-geek: Understanding fine-grained furniture attributes from freely associated text and tags
Yan et al. An interactive system for efficient 3D furniture arrangement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant