CN110599592A - 一种基于文本的三维室内场景重建方法 - Google Patents

Abstract

一种基于文本的三维室内场景重建方法，目的是让用户仅需输入自然语言文本，便可重建出文本描述的三维室内场景，其方法包括：将用户输入的室内场景文本数据利用深度语义分析模型抽取出文本中包含的三维模型的词语以及三维模型之间显式空间关系的描述文本；将抽取出来的三维模型词语对照空间知识图谱进行隐式空间关系抽取；利用从室内场景文本中抽取的三维模型词语通过与三维模型数据库中的标签进行相似度计算抽取与之最为接近的三维模型；基于深度语义分析模型得到的三维模型间的显式空间关系与对照空间知识图谱的得到的隐式空间关系，实现对抽取的三维模型的放置，还原文本数据对三维室内场景的描述，实现对用户意图的智能辨别和对三维室内场景的重建。

Description

一种基于文本的三维室内场景重建方法

技术领域

本发明涉及基于深度学习的自然语言处理技术和文本特征提取技术，具体是涉及一种基于文本的三维室内场景重建的方法。

背景技术

自然语言是一种描述视觉创意和精神意象的简单而有效的媒介，基于自然语言的三维室内场景重建将人们从繁杂的软件学习和操作中解脱出来。在面向生活中各个领域的虚拟现实、增强现实、混合现实的诸多应用中，需要大量逼真的三维室内场景，供用户在其中进行各类交互活动。互联网的迅猛发展和日益普及使得相关文本这类简单却蕴含大量真实场景信息的数据的获取、聚集、存储、传输、处理、分析等变得越来越便捷。三维数据的数量不及文本数据，虽然在互联网上已经存在一些三维模型数据库，但仍需要进行三维模型的检索与生成，以便支持三维室内场景的重建。这些海量数据资源为三维室内场景生成的研究提供了必要的数据基础。因此开展基于文本的三维室内场景重建方法研究具有重要的理论意义和广泛的应用价值。

设计三维室内场景目前是一项富有创造性的任务，目前已有技术需要在使用复杂的三维设计界面方面拥有丰富的专业知识和精力。这种复杂的设计过程与人们直接用语言描述真实和虚构环境的容易程度形成了鲜明对比。我们介绍的这种方法，允许用户使用自然语言设计三维室内场景。用户提供输入文本，我们从中提取应该出现在场景中的三维模型和它们之间的显式空间关系和隐式空间关系。这样的优势在于，随着文本命令的更改，通过我们提出的方法，可以通过添加，移除，和替换对象来迭代地更改重建的场景。知识图谱是一个具有属性的实体通过关系链接而成的网状语义知识库。从图的角度来看，知识图谱在本质上是一种概念网络，其中的节点表示物理世界中的实体，而实体之间的各种语义关系则构成网络中的边.由此，知识图谱是对物理世界的一种符号表达。其基本组成单位是“实体－关系－实体”三元组，以及实体及其相关属性－值对，实体间通过关系相互联结，构成网状的知识结构。知识图谱的应用价值在于，它能够改变现有的信息检索方式，一方面通过推理实现概念检索(相对于现有的字符串模糊匹配方式而言)；另一方面以图形化方式向用户展示经过分类整理的结构化知识，从而使人们从人工过滤网页寻找答案的模式中解脱出来。

三维室内场景的生成是在获取相关数据的基础上，结合用户的上下文以及先验知识，对用户数据进行分析与推理，结合三维模型检索与生成、三维室内场景生成与渲染等技术，准确理解用户真实意图，生成三维室内场景。用户文本数据的分析与推理、三维模型检索与生成、三维室内场景的生成与渲染是根据用户数据生成三维室内场景的研究重点。虽然已经取得了许多成果，但对用户数据的理解较差，在三维室内场景的生成过程中存在三维模型间几何关系不精准、比例适配不均衡等问题。因此，需要结合文本，利用基于深度学习的自然语言处理技术和文本特征提取技术，对输入的文本数据进行深度语义分析与场景空间关系抽取，得到文本中涉及的三维模型，显式空间关系，以及对照空间知识图谱抽取得到的隐式空间关系，全面获取三维室内场景中三维模型之间的空间关系并完成对场景的重建。

在基于文本的三维室内场景重建方面，现有技术中提出将室内场景的重建任务分为子场景的重建，最后将子场景进行组合的方法。通过将输入的描述三维室内场景的文本与现存场景数据库中描述场景的文本进行匹配，选出与输入文本最为匹配的场景作为子场景，最后将所有匹配得到的子场景进行组合得到输入文本对应的最终场景。这个方法的缺点在于，现有的场景数据集中包含的三维模型种类和三维模型间的空间关系类型极为有限，无法完成复杂的三维室内场景重建，且即便场景数据库中拥有与文本描述相符的子场景，由于人们语言习惯的不同，导致对场景的描述方式不同，同样很难从中找出与描述文本相匹配的子场景。此外，如果文本中对于三维模型的文本描述具有很多属性信息，例如“颜色”，“形状”等，那么从场景数据库中匹配得到的子场景与文本描述的场景就会产生较大的偏差，因此不能准确地完成对三维室内场景的重建。本发明设计了一个基于深度学习的深度语义分析模型，能够从输入的文本中抽取出三维模型词语和显式空间关系，并根据抽取出的三维模型词语对照空间知识图谱进行隐式空间关系的抽取，从三维模型数据库中抽取出与三维模型词语最为相近的三维模型，并结合显式空间关系和隐式空间关系对抽取得到的三维模型进行合理的放置。其优势在于，深度语义分析模型中运用的自然语言处理(NLP)技术在近年来拥有巨大进步，使得关系抽取的能力得到了巨大的提升，且由于不受现有场景数据库的限制，本发明设计的模型拥有更好的鲁棒性，随着输入文本的更改，现有技术的方法可能会因为文本中语言表达方式的变化而无法从现有场景数据库中找到合适的子场景，从而导致重建得到的三维室内场景于输入的文本描述不符或缺失，本发明提出的方法可以随着输入文本的变化，实时地进行三维模型词语的抽取和对三维模型间空间关系的抽取，进而重建出更加全面的，更为准确的三维室内场景。对于更早的相关工作，由于自然语言处理技术的不成熟，关系抽取网络较浅，对文本特征的提取方法比较单一，导致关系抽取的结果较差，因此不能准确，全面地抽取出三维室内场景重建中所需的信息。

发明内容

针对已有工作存在的不足，本发明解决的主要问题是提供一种基于文本的三维室内场景重建技术，目的是让用户仅需输入描述三维室内场景的文本，便可基于本发明设计的方法重建出文本描述的三维室内场景。

为解决上述技术问题，本发明采用的技术方案是一种基于文本的三维室内场景重建方法，包括如下步骤：

(1)从输入的描述室内场景的文本数据中利用深度语义分析模型抽取出其中三维模型词语和描述三维模型之间显式空间关系的文本并将其以三元组的形式进行存储。

(2)将无法通过深度语义分析模型抽取出显式空间关系的三维模型词语对通过对照空间知识图谱进行隐式空间关系的抽取。空间知识图谱是由三维模型之间存在的先验空间关系的三元组构成，可以有效的弥补文本描述中对于常识性空间关系知识的缺失，以便重建更为完整的三维室内场景。

(3)利用从描述室内场景的文本数据中抽取的三维模型词语通过与三维模型数据库中的标签进行相似度计算并从中抽取与描述三维模型的词语最为相似的三维模型。

(4)在步骤1中抽取出的描述三维模型之间显式空间关系的三元组和步骤2中抽取的隐式空间关系的三元组的指导下，实现对步骤3中抽取的与三维模型词语相似度最高的三维模型进行放置，最大程度上还原文本数据对三维室内场景的描述，用于实现对用户输入文本的智能辨别和对室内场景的重建。

只需要输入文本描述信息，就可以重建文本描述的三维室内场景。首先，通过深度语义分析模型并对照空间知识图谱抽取输入文本中的三维模型词语及其之间的空间关系；利用三维模型词语从三维模型数据库中抽取到与词语描述相似度最高的三维模型；结合三维模型间的空间关系对抽取的三维模型进行放置得到最终的三维室内场景。

在步骤(1)中，基于深度语义分析模型对输入文本进行处理，抽取出描述三维模型的文本和描述三维模型之间显式空间关系的文本，并将其以三元组进行存储。

在步骤(2)中，对照蕴含空间关系常识的空间知识图谱，抽取出无法通过深度语义分析模型得到显式空间关系的三维模型词语对间存在的隐式空间关系，用于弥补输入的文本数据在先验空间关系知识方面的不足。

在步骤(3)中，利用在步骤(1)中抽取出的三维模型词语，与三维模型数据库中的标签进行相似度计算，抽取出与三维模型词语最为相似的标签对应的三维模型。

在步骤(4)中，将从步骤(3)中得到的用于室内场景重建的三维模型，在步骤(1)和步骤(2)中得到的显式空间关系和隐式空间关系三元组的指导下，完成对三维室内场景的重建。

有益效果：

本发明与现有技术相比的优点在于：我们提出的这种方法，允许用户将自然语言文本作为三维室内场景重建的唯一输入。利用用户提供的文本描述，我们基于本发明从中提取出应该出现在三维室内场景中的三维模型和它们之间的空间关系。这样的优势在于，随着我们对文本数据的更改，可以实时地生成与文本对应的三维室内场景。由于本发明提出的方法不使用现有场景数据库，因此并不会存在场景数据库中子场景的数量问题。本发明提出的是一种基于自然语言处理技术和文本特征提取技术的三维室内场景重建方法。相较于现在的主流方法，能够不受有限场景数据库的约束，根据用户输入文本的变化，实时地进行场景的重建，具有更高的准确性和全面性。

附图说明

图1是本发明基于文本的三维室内场景重建的流程图；

图2是深度语义分析模型的框架图；

图3是三维模型间隐式空间关系的抽取流程图；

图4是从三维模型数据库中提取三维模型的流程图。

具体实施方式

下面结合附图和具体实现步骤对本发明进行描述。其中附图1描述了基于文本的三维室内场景生成过程。图2描述了基于深度学习的深度语义分析模型，用于从文本数据中识别三维模型词语并抽取三维模型之间显式空间关系。图3描述了从空间知识图谱中抽取三维模型词语对间隐式空间关系的过程。图4描述了从三维模型数据集中提取文本所描述的三维模型的过程。

下面结合附图对本发明进行进一步的说明。

具体实现步骤如下：

(1)在三维模型词语及三维模型间显式空间关系的抽取过程中，本发明设计基于深度学习的深度语义分析模型(如图2所示)，该模型包括两部分，识别室内场景中三维模型词语的文本识别网络和抽取三维模型间显式空间关系的关系抽取网络。首先，通过Word2vec方法将文本中的单词转换为向量。将卷积层，池化层，全连接层和Logitech分类器作为识别室内场景中三维模型词语的文本识别网络的主要组成部分，卷积层，池化层和全连接层用于学习室内场景中三维模型词语的特征，并在最后一层网络后引入一个Logitech分类器(二分类器)，用于作为最终判定输入词语是否描述的是属于室内场景的三维模型。在识别出文本中三维模型词语后，对三维模型词语对应的向量引入注意力机制，将描述三维模型词语对应的向量进行加倍处理，目的是为了使其在文本对应的向量中更加明显，避免句子太长导致三维模型词语所对应的向量在文本所对应的向量中被忽略。在考虑文本中词语级别向量的同时，还考虑词语在句子中的位置关系，将其以向量的形式表示，链接在句子向量的后面作为抽取三维模型间显式空间关系的关系抽取网络的输入，例如：输入的文本为’The sculpture on the table is created by Tom.’,通过文本识别网络，可以抽取得到’sculpture’和’table’两个三维模型词语，并分别以这两个词为原点对文本进行编码，得到两个与文本长度相同的向量[-1,0,1,2,3,4,5,6,7]和[-4,-3,-2,-1,0,1,2,3,4]并将其链接在句子向量的后面。抽取三维模型间显式空间关系的关系抽取网络包括卷积层，池化层全连接层和Softmax分类器，Softmax是一个多分类器，用于确定三维模型间的显式空间关系，预先定义好三维模型间可能存在的空间关系类型，通过Softmax分类器处理将输出每种空间关系的概率，概率最高的将作为最终抽取得到的三维模型间的空间关系。在三维模型间空间关系特征的学习过程中，引入残差网络，每个残差块都包含多个卷积层和池化层，其特征如公式1所示,第i个卷积残差块的输入C_i是由前面残差块的输出以一定的权重相加得到的，其中c_j表示第j个残差块的输出，每个残差块对后面的残差网络拥有特有的权重w_j和偏值b_j。其优势在于，一些不明显的特征会随着网络的增加而消失，残差网络很好的解决了这个问题，将不明显的特征始终保留并以一定的权重加入到后面的残差块，使得学习的特征更加的全面。在深度语义分析模型的参数更新过程中，均采用梯度下降的方法并选取如公式2所示的交叉熵作为损失函数。对于文本识别网络，n为2，P为二分类器输出的概率预测值，A为词语对应的真实值；对于关系抽取网络，n代表关系分类的数量，P为多分类器输出的概率预测值，A为各个关系的真实值。交叉熵损失函数的优势在于，相较于均方误差等损失函数，它能够使模型拥有更快的收敛速度且可以避免梯度消失的问题。

(2)在经过深度语义分析模型处理输入文本信息之后，我们得到了三维模型词语及三维模型之间的显式空间关系。然而，一些常识性的空间关系在句子中往往不会进行说明，例如’There is a desk with a chair.’,句子没有说明词语对’desk’和’chair’间的空间关系，但是，对于三维室内场景的重建，这种常识性的隐式空间关系知识非常重要，且一对三维模型间可能存在多种隐式空间关系。因此本发明通过如图3所示的方法，从空间知识图谱中找到包含三维模型词语’A’和’B’的所有三元组并抽取两者之间可能存在的所有隐式空间关系如’supported by’,’on the right of’,’in’等和其对应的置信度得分。空间知识图谱中蕴含的三维模型间存在的常识性关系，可以作为对基于深度语义分析模型所抽取的三维模型间的显式空间关系的补充，共同指导三维模型的放置，完成对三维室内场景更加全面的重建。

(3)通过深度语义分析模型，我们得到了三维模型词语，利用这些抽取出来的词语直接去三维模型数据库中进行检索，通过计算三维模型词语与数据库中标签间的欧氏距离(如公式3所示，其中X(x₁,x₂,...,x_n)和Y(y₁,y₂,...,y_n)为三维模型词语和三维模型数据库中的标签通过Word2vec方法得到的两个长度为n的向量)，抽取距离D_(X,Y)最小即最为匹配的三维模型(如图4所示)。三维模型数据库中的三维模型都拥有细粒度级别或属性标签，可以用于与文本进行匹配，这些标签通过对原始文本运用深度神经语言模型进行端到端的训练和推理，从头开始训练高容量文本编码器，共同嵌入细粒度的视觉描述和图像，使得每个三维模型都拥有属于自己的标签，这显著地提高了所有模型的检索性能，为我们提供了熟悉的注释和检索模式。

基于步骤(1)和(2)中抽取的三维模型间的显式和隐式空间关系(三元组形式)，对从(3)中获取的三维模型进行放置，完成对描述三维室内场景文本的重建。其中，空间知识图谱中两个三维模型间的隐式空间关系可能有很多种，每种关系都拥有置信度，置信度越高说明越可能成为三维模型间最终的空间关系，我们将三维模型间的所有空间关系和其对应的置信度都抽取出来。因此，重建可能得到多个与输入文本对应的三维室内场景，且每个场景都拥有属于该种可能性的得分，该得分由当前场景中从空间知识图谱抽取到的关系的置信度相加而得。得分高的场景更加符合室内场景的布置逻辑，与输入的三维室内场景文本匹配的可能性更高。随着用户输入文本的更改，本发明可以实时地对三维室内场景进行重建，且随着空间知识图谱的扩充和深度语义分析模型对于三维模型词汇特征的不断学习，对于三维模型之间空间关系抽取能力的不断提升，通过本发明所得到的重建结果会越来越接近输入文本的描述。

Claims (6)

1.一种基于文本的三维室内场景重建方法，其特征在于，包括如下步骤：

(1)从输入的描述室内场景的文本数据中利用深度语义分析模型抽取出其中三维模型词语和描述三维模型之间显式空间关系的文本并将其以三元组的形式进行存储，三元组的形式为三维模型A-显式空间关系-三维模型B；

(2)将无法通过深度语义分析模型抽取出显式空间关系的三维模型词语对通过对照空间知识图谱进行隐式空间关系的抽取；空间知识图谱是由三维模型之间存在的先验空间关系的三元组构成，能有效地弥补文本描述中对于常识性空间关系知识的缺失，以便重建更为完整的三维室内场景；

(3)利用从描述室内场景的文本数据中抽取的三维模型词语通过与三维模型数据库中的标签进行相似度计算并从中抽取与文本中三维模型词语最为相似的三维模型；

(4)在步骤(1)中抽取出的描述三维模型之间显式空间关系的三元组和步骤2中抽取的隐式空间关系的三元组的指导下，实现对步骤(3)中抽取的与文本中三维模型词语相似度最高的标签所对应的三维模型进行放置，还原文本数据对三维室内场景的描述，用于实现对用户输入文本的智能辨别和对室内场景的重建。

2.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：只需要输入描述室内场景的文本数据，就能通过深度语义分析模型得到其中描述三维模型的词语以及描述三维模型之间显式空间关系的文本，利用三元组对显式空间关系进行存储；将无法通过深度语义分析模型抽取出显式空间关系的三维模型词语对通过对照空间知识图谱进行隐式空间关系的抽取，其形式为三元组；接着利用文本中的三维模型词语与三维模型数据库中的标签进行相似度计算并抽取出与文本描述最为相似的三维模型；最后在显式空间关系和隐式空间关系三元组的指导下，对从三维场景数据库中抽取的三维模型进行放置，完成对三维室内场景的重建。

3.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(1)中，基于深度语义分析模型对输入文本进行处理，抽取出文本中的三维模型词语和描述三维模型之间显式空间关系的文本，并将其以三元组的形式进行存储，其具体步骤如下：

(1.1)设计从描述室内场景的文本数据中识别出三维模型词语的文本识别网络；

(1.2)在步骤(1.1)的基础上，基于深度学习技术设计抽取三维模型间显式空间关系的关系抽取网络；

(1.3)利用三元组对(1.2)中抽取出来的显式空间关系进行存储，其形式为三维模型A-显式空间关系-三维模型B。

4.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(2)中，对照蕴含常识性空间关系的空间知识图谱，抽取出无法通过深度语义分析模型得到显式空间关系的三维模型词语对中存在的隐式空间关系，用于弥补输入的文本数据在先验空间关系知识方面的不足，其具体步骤如下：

(2.1)在步骤(1)中三维模型间的显式空间关系抽取结束后，找出无法抽取出显式空间关系的三维模型词语对；

(2.2)将步骤(2.1)中的词语对对输入到空间知识图谱中，用于抽取出三维模型间可能存在的所有隐式空间关系，每种隐式空间关系都具有对应的置信度得分。

5.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(3)中，利用在步骤(1)中抽取出的三维模型词语，与三维模型数据库中的标签进行相似度计算，抽取出与三维模型词语最为相似的标签对应的三维模型，其步骤如下：

(3.1)将步骤1中抽取的三维模型词语作为从三维模型库中抽取所需三维模型的输入；

(3.2)通过计算输入的词语与三维模型库中标签间的欧式距离，选择距离最小的三维模型标签对应的三维模型作为用于室内场景重建的三维模型。

6.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(4)中，将从步骤(3)中得到的用于室内场景重建的三维模型，在步骤(1)和步骤(2)中得到的显式空间关系和隐式空间关系三元组的指导下，完成对三维室内场景的重建。