CN111724467A

CN111724467A - 一种用于3d打印的体素模型生成方法及系统

Info

Publication number: CN111724467A
Application number: CN202010488881.1A
Authority: CN
Inventors: 刘丽; 王天时; 张化祥; 田甜; 王萍; 张庆科; 刘冬梅
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-06-02
Filing date: 2020-06-02
Publication date: 2020-09-29
Anticipated expiration: 2040-06-02
Also published as: CN111724467B

Abstract

本公开提供了一种用于3D打印的体素模型生成方法及系统，根据自然语言描述得到词嵌入特征矩阵和句嵌入特征向量；以句嵌入特征向量为输入，经过条件增强并与噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征，并生成粗粒度体积元素模型；根据体积元素模型特征计算体积元素模型中每个子区域的文本条件特征向量，将体积元素模型特征和对应的文本条件特征矩阵输入下一个模型特征转换网络，生成较细粒度的体积元素模型；依次轮询每一个模型特征转换网络，得到最终的细粒度体积元素模型；本公开增强了生成的体积元素模型与自然语言描述之间的语义关联程度，使得生成的体积元素模型更符合文本语义描述。

Description

一种用于3D打印的体素模型生成方法及系统

技术领域

本公开涉及3D打印技术领域，特别涉及一种用于3D打印的体素模型生成方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着计算机图形学的不断发展和工业生产水平的提高，三维模型逐渐被运用到建筑、医学、影视、地理、3D打印等各种不同的领域，而将基于计算机视觉的三维模型与人工智能相结合，由自然语言描述自动生成三维模型，为工业生产、医学科研、虚拟现实等领域的研究带来了极大便利，如何由语义描述自动生成三维模型也成为计算机视觉和计算机图形学领域广受关注的重要课题。

三维模型建模是3D打印的核心，也是计算机视觉和图形学等领域研究的重要内容。目前，现有的三维建模方法包括基于专业软件的，基于扫描设备的和基于图像的建模技术。这些方法在一定程度上有效的满足了不同的应用领域对三维模型建模技术在通用性、易用性、专业性和精确性等方面上的不同要求。

现有的这三种技术存在以下缺点：

(1)基于专业软件的三维建模技术：虽然用户可以根据自己想象设计模型，但是需要用户花费大量的时间来学习软件的使用方法，甚至只有专业的设计师才能很好的使用专业软件。

(2)基于扫描设备的建模技术：低成本的扫描设备往往精度低且扫描场景小，而高精度、大场景的三维扫描设备的价格非常昂贵，只应用于专业的建模领域。并且缺乏用户在建模过程中的参与和交互。

(3)基于图像的建模技术：与传统的利用建模软件或者三维扫描仪得到立体模型的方法相比，基于图像的建模方法具有成本低廉，真实感强，自动化程度高等优点，但是当多幅图像进行建模时往往需要对图像进行匹配。基于单幅图像的三维重建避免了多幅图像重建的特征匹配问题，但是从单幅图像中推断深度信息显然是一个病态问题，其求解往往需要结合各种约束条件。

本公开发明人发现，由于不同模态之间的异构性，由文本到三维模型的生成依然存在一些问题。一方面，从三维模型的语言描述中提取高级语义特征时，由于人的主观描述存在多样性，使同一种三维模型可能对应多种不同的语言描述，而从多样的语言描述中提取一致的语义特征是比较困难的，因此机器往往不能根据同一三维模型的不同描述生成相同的三维模型。另一方面，由于三维模型多运用在可视化领域，为了方便建模，往往使用数学参数描述一个三维模型，如三维坐标、反射强度、色彩RGB值等，缺少贴合自然语言的描述性定义，这大大增加了提取三维模型高级语义特征的困难性。

发明内容

为了解决现有技术的不足，本公开提供了一种用于3D打印的体素模型生成方法及系统，通过文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束等模块的协同作用，细化了生成的3D打印目标物体的体积元素模型的分辨率，增强了生成的体积元素模型与自然语言描述之间的语义关联程度，使得生成的体积元素模型更符合文本语义描述。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种用于3D打印的体素模型生成方法。

一种用于3D打印的体素模型生成方法，包括以下步骤：

获取待打印目标物体的至少一句自然语言描述；

对获取的自然语言描述进行预处理，得到词嵌入特征矩阵和句嵌入特征向量；

以句嵌入特征向量为输入，经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征，并生成待打印目标物体的当前阶段体积元素模型；

根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量；

将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络，生成待打印目标物体的粒度更细的体积元素模型，依次轮询每一个模型特征转换网络，得到待打印目标物体的最终的体积元素模型。

作为可能的一些实现方式，通过连续叠加多个模型特征转换网络，结合文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束，构造基于注意力机制的多阶段体积元素模型生成框架，用于生成细粒度体积元素模型。

本公开第二方面提供了一种用于3D打印的体素模型生成系统。

一种用于3D打印的体素模型生成系统，包括：

数据获取模块，被配置为：获取待打印目标物体的至少一句自然语言描述；

预处理模块，被配置为：对获取的待打印目标物体的自然语言描述进行预处理，得到词嵌入特征矩阵和句嵌入特征向量；

体积元素模型预生成模块，被配置为：以文本描述的句嵌入特征向量为输入，经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征，并生成待打印目标物体的当前阶段体积元素模型；

体积元素模型注意力模块，被配置为：根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量；

体积元素模型生成模块，被配置为：将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络，生成待打印目标物体的粒度更细的体积元素模型，依次轮询每一个模型特征转换网络，得到待打印目标物体的最终的体积元素模型。

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的用于3D打印的体素模型生成方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的用于3D打印的体素模型生成方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质及电子设备，通过文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束等模块的协同作用细化生成的体积元素模型的粒度，增强体积元素模型与自然语言描述之间的语义关联程度，使得体积元素模型更符合文本语义描述。

2、本公开所述的方法、系统、介质及电子设备，在生成对抗网络中引入注意力机制，捕获体积元素模型中的局部细节信息和非局部关系，关联分散在不同位置的子区域，通过增加文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束，增强了体积元素模型与自然语言描述之间的语义关联，使得生成的体积元素模型不仅在形状结构上更为逼真，而且在语义表达上与给定的自然语言描述更加一致。

3、本公开所述的方法、系统、介质及电子设备，可以使普通用户在不掌握三维建模技术的情况下，只需表达出想要三维建模的模型特征等信息，可自动生成想要的三维体素模型，进而即可通过3D打印设备根据生成的体素模型实现3D打印。

附图说明

图1为本公开实施例1提供的用于3D打印的体素模型生成方法的流程示意图。

图2为本公开实施例1提供的用于3D打印的体素模型生成框架的结构示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种用于3D打印的体素模型生成方法，具体来说在模型建模过程中通过提取自然语言中的语义信息将自然语言理解技术与三维模型理解技术融合，依靠人的先验知识实现三维模型的描述、提取和语义分析，最终生成满足3D打印要求的三维模型。

在本实施例中，自然语言描述生成体积元素模型以多阶段生成过程为主体，在生成对抗网络框架下引入注意力机制，多阶段细化体积元素模型并增强自然语言描述与体积元素模型之间的关联，体积元素模型的生成过程如图2所示。

以待打印目标物体中的自然语言描述作为输入，首先运用循环神经网络对文本进行编码，分别得到其句嵌入特征向量和词嵌入特征矩阵，然后采用条件增强法，与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征，并生成粗粒度体积元素模型，再根据体积元素模型特征计算体积元素模型每个子区域的文本条件特征向量，将体积元素模型特征与对应的文本条件特征矩阵输入下一个模型特征转换网络，生成粒度较细的体积元素模型。依次轮询每一个模型特征转换网络，得到最终的细粒度体积元素模型。

本实施例中，3D打印目标物体选取为一个带有方形货箱的四轮卡车。

可以理解的，在其他一些实施方式中，所述3D打印目标物体可以是一个西瓜，一架飞机，一张桌子或者一栋房子，只要能够通过自然语言描述进行描述即可。

具体包括如下过程：

(1)文本语义提取过程。

神经网络通过文本量化来提取自然语言描述的语义特征信息。通过堆叠正向序列隐藏层和逆向序列隐藏层构成的双向长短期记忆网络，得到一个深度双向长短期记忆模型。在这个深度双向长短期记忆模型中，每个单词对应两个隐藏状态，每个方向上各对应一个隐藏状态，把它的两个隐藏状态连接起来表示一个单词的语义。本实施例用

表示所有词嵌入特征向量组成的词嵌入特征矩阵，词嵌入特征矩阵w中的第i列w_i表示第i个单词的词嵌入特征向量，其中D表示词嵌入特征向量的维数，T表示自然语言描述中词的总数。将深度双向长短期记忆模型的最后一个隐藏状态连接为自然语言描述的句嵌入特征向量，记为

(2)体积元素模型生成过程。

由于不同的自然语言描述可能具有相似的语义，那么与其对应的体积元素模型同样应是相似的。因此，利用条件增强方法产生更多的文本-模型数据，从而增强体积元素模型对文本流形上小扰动的鲁棒性。

条件增强的增广函数表示为：

其中，F_ca(·)表示条件增强方法，

表示句嵌入特征向量，

表示对句嵌入特征向量

使用条件增强方法F_ca(·)后得到的句嵌入特征向量，D^′表示句嵌入特征向量

的维度，

相较于

具有更多的文本-模型数据。

在体积元素模型的生成过程中，通过连续叠加三个生成网络构造基于注意力机制的多阶段体积元素模型生成框架。{NN₀,NN₁,…,NN_m-1}表示m个模型特征转换网络，{G₀,G₁,…,G_m-1}表示m个模型生成器。f_i表示模型特征转换网络NN_i输出的体积元素模型特征，则每一阶段根据体积元素模型特征f_i生成体积元素模型M_i的过程表示为：

f_i＝NN_i(f_i-1,Attn_i(f_i-1,w)),i∈{1,2,…,m-1} (3)

M_i＝G_i(f_i),i∈{0,1,2,…,m-1} (4)

其中z表示从标准正态分布中采样的噪声向量，

表示经过条件增强后的句嵌入特征向量，Attn_i,G_i,f_i,M_i分别表示模型生成过程中第i个阶段的注意力模型、生成器、体积元素模型特征和体积元素模型。

注意力模型Attn_i有两个输入：词嵌入特征矩阵

和来自前一隐层的体积元素模型特征

词嵌入特征矩阵w通过感知机被映射到体积元素模型的语义空间，映射过程表示为：

w′＝Uw (5)

其中w′表示映射后得到的词嵌入特征矩阵，

表示映射矩阵。

根据体积元素模型特征f计算体积元素模型每个子区域的文本条件特征向量。体积元素模型特征f中的每一列向量表示体积元素模型的一个子区域，对于体积元素模型中的第j个子区域，用自然语言描述中的所有词嵌入特征向量进行表示，那么与该子区域相关的词嵌入特征向量应具有较大的权重，不相关的词嵌入特征向量应具有较小的权重，每一个子区域的词嵌入特征向量加权和称为文本条件特征向量。对于第j个子区域，它的文本条件特征向量及关联权重的计算方式表示为：

其中

β_j,i表示当生成体积元素模型中的第j个子区域时，第i个单词所获得的关注程度，

表示第j个子区域的文本条件特征向量。

由上述公式可获得体积元素模型特征f的文本条件特征矩阵：

Attn(f,w)＝(c₀,c₁,c₂,…,c_N-1) (7)

其中{c₀,c₁,…,c_N-1}表示N个与体积元素模型子区域对应的文本条件特征向量，

将体积元素模型特征f和对应的文本条件特征矩阵Attn(f,w)输入下一阶段的模型特征转换网络以生成较细粒度的体积元素模型。

(2)体积元素模型生成约束及其损失函数。

为了在多模态语义约束(文本语义嵌入约束、深度多模态注意力约束及语义再生成对齐约束)的协同作用下生成更具真实感的体积元素模型，将体积元素模型生成框架的目标函数定义为：

其中，λ₁,λ₂是平衡各损失项的超参数。

(2-1)文本语义嵌入约束。

在体积元素模型生成框架中，生成器和判别器均采用卷积神经网络，生成器的对抗损失

联合了条件近似分布和无条件近似分布。

在注意力网络的第i个阶段，生成器的对抗损失为：

其中无条件损失

决定了体积元素模型是真实模型还是生成模型，条件损失

决定了体积元素模型和自然语言描述是否匹配，判别器D_i与生成器G_i的训练交替进行，通过最小化交叉熵的方式提高判别器D_i判断输入模型真假的能力，其对抗损失为：

其中x_i表示第i个尺度下服从真实体积元素模型分布

的模型，M_i表示相同尺度i下服从生成的体积元素模型分布

的模型。由于体积元素模型生成框架中的判别器在结构上是不相交的，因此它们可以被并行训练，并且每一个判别器都只在一个固定的模型尺度上发挥作用。

(2-2)深度多模态注意力约束。

深度多模态注意力约束通过模型编码器将生成的体积元素模型中的子区域映射到自然语言描述中的词嵌入语义空间，从而在词的层次上测量自然语言描述和体积元素模型的相似度，计算体积元素模型生成的细粒度损失。模型编码器是一个将体积元素模型M映射到词嵌入语义空间的三维卷积神经网络，映射过程表示为：

其中

中的每一列向量v_i是体积元素模型的第i个子区域的特征，

是生成模型的全局特征，D是词嵌入语义空间的维度，N是体积元素模型的子区域的个数。因此，自然语言描述中的词与体积元素模型中的子区域的相似度矩阵可表示为：

s＝w^Tv (12)

其中

中每一元素s_i,j是自然语言描述中第i个词与体积元素模型中第j个子区域的点积相似度。

对s_i,j正则化得到：

与文本条件特征向量的计算方式类似，模型条件特征向量被定义为：

其中γ₁是由实验决定的注意力因子。自然语言描述中的第i个词w_i与该模型子区域的余弦相似度为：

将基于注意力驱动的整个自然语言描述(Te)与整个生成的体积元素模型(Mo)之间的文本-模型匹配分数定义为：

其中γ₂是由实验决定的相关性因子。深度多模态注意力约束是以半监督方式学习的注意力模型，其中监督信息是整个自然语言描述(Te)与整个体积元素模型(Mo)之间的文本-模型匹配分数。对于统同一批次的文本-模型对

其后验概率的计算形式可表示为：

其中γ₃是由实验决定的平滑因子。在同一批次的自然语言描述中，只有句子Te_i与体积元素模型Mo_i匹配，其余的M-1个句子都是错误匹配的自然语言描述。深度多模态注意力约束将损失函数定义为负对数后验概率：

此外通过修改

并将其代入后验概率公式与负对数后验概率公式，在句的层次上得到损失项

最终可得到深度多模态注意力约束的损失函数

(2-3)语义再生成对齐约束。

语义再生成对齐约束采用文本语义重构损失，使对应的再生成自然语言描述与预先给定的自然语言描述的语义保持一致。文本解码器由LSTM(长短期记忆网络)构成，模型生成器生成的体积元素模型被输入到模型编码器CNN(卷积神经网络)和文本解码器LSTM中，表示如下：

x_-1＝CNN(M_m-1) (19)

x_t＝W_eT_t,t∈{0,…,L-1} (20)

p_t+1＝LSTM(x_t),t∈{0,…,L-1} (21)

其中x_-1表示在开始时作为输入并为LSTM提供模型内容的体积元素模型特征，W_e表示将词嵌入特征矩阵映射到体积元素模型特征空间的映射矩阵，p_t+1表示单词的预测概率分布。

再生成文本对齐模型的最终损失表示为：

其中，Te_t表示整个自然语言描述(Te)中的第t个单词，L表示单词的数量，p_t表示单词的预测概率分布。

本实施例1研究与自然语言描述保持语义一致的细粒度体积元素模型生成方法，分析多种自然语言描述嵌入式特征的语义表征能力，构建多阶段体积元素模型生成框架，引入注意力机制和强化学习理论，探析相似自然语言描述间的语义差异，揭示自然语言描述与体积元素模型的语义关联，建立多约束协同作用模型，生成了具有视觉写实性与语义一致性的细粒度体积元素模型。

通过文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束等模块的协同作用细化体积元素模型的粒度，增强生成的体积元素模型与自然语言描述之间的语义关联程度，使得生成的体积元素模型更符合文本语义描述。在生成对抗网络中引入注意力机制，捕获体积元素模型中的局部细节信息和非局部关系，关联分散在不同位置的子区域，通过增加文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束，增强体积元素模型与自然语言描述之间的语义关联，使得生成的体积元素模型不仅在形状结构上更为逼真，而且在语义表达上与给定的自然语言描述更加一致。

实施例2：

本公开实施例2提供了一种用于3D打印的体素模型生成系统，包括：

所述生成系统的工作方法与实施例1中的生成方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的用于3D打印的体素模型生成方法中的步骤。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的用于3D打印的体素模型生成方法中的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。