CN115496881A - 单目图像辅助的大型飞机点云补全方法 - Google Patents

Abstract

本发明公开了单目图像辅助的大型飞机点云补全方法，利用卷积神经网络从单目图像中提取3D点云；将输入的大型飞机残缺点云和从单目图像中提取的点云进行配准合并后下采样；使用基于Transformer的几何信息感知编码器提取下采样后的点云的特征；解码器解码编码器提取得到的特征，得到粗糙的点云；利用编码器提取得到的特征，对粗糙的点云进行多次细化和上采样操作，得到高质量且稠密的补全结果。在基于深度学习的点云补全方法中引入单目图像信息去辅助点云补全，在一定程度上提高了补全效果。而使用Transformer结构进行点云补全，则增强了特征的提取能力和3D结构的恢复能力，相较之前的方法可以得到更好的补全效果。

Description

单目图像辅助的大型飞机点云补全方法

技术领域

本发明属于三维点云模型补全技术领域，具体涉及单目图像辅助的大型飞机点云补全方法。

背景技术

大型飞机因为自身尺寸过大，例如运-20，机身长度47m，翼展50m，高度15m，在扫描完成后得到的3D点云模型上通常会出现残缺的区域。在一些实时性要求很高的任务中，通常难以继续重新扫描，因此需要设计算法处理不完整的3D点云模型，从而得到完整的3D点云模型。

深度学习算法在三维视觉领域取得了很多成果，包括点云补全领域。但是，点云补全是一个病态问题，不能每次都得到令人满意的结果。而单目图像数据的获取相较3D点云容易许多，而且可以在补全过程中增加几何信息，提高补全的精度。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供单目图像辅助的大型飞机点云补全方法，在基于深度学习的点云补全方法中引入单目图像信息去辅助点云补全，在传统的深度学习点云补全的基础上，引入图像信息进行辅助，在一定程度上提高了补全效果，使点云补全这一病态问题的解决方法更加合理。而且，在传统的深度学习方法的基础上，使用最近的Transformer结构进行点云补全，增强了特征的提取能力和3D结构的恢复能力，可以得到更好的补全效果。

为实现上述技术目的，本发明采取的技术方案为：

单目图像辅助的大型飞机点云补全方法，包括以下步骤：

S1、利用卷积神经网络从单目图像中提取3D点云；

S2、结合相机内参，将输入的大型飞机残缺点云和从单目图像中提取的点云进行配准合并，然后对合并结果进行下采样操作；

S3、使用基于Transformer的几何信息感知编码器提取下采样后的点云的特征；

S4、使用卷积神经网络设计的解码器解码编码器提取得到的特征，得到粗糙的补全点云；

S5、采用Transformer结构，利用编码器提取得到的特征，对粗糙的点云进行多次细化和上采样操作，得到高质量且稠密的补全结果。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤S1包括以下子步骤：

S101、使用一个卷积层处理输入单目图像I，得到张量T₁；

S102、针对输入的单目图像I，生成一个符合正态分布的随机数，并用全连接层，将该随机数拓展到2D，生成一个2D张量T₂，其尺寸和张量T₁相同；

S103、连接张量T₁和T₂，得到张量T₃；

S104、使用多个卷积层处理张量T₃，得到中间结果张量T₄、T₅和T₆，以及最终结果特征V_img；

S105、对V_img进行反卷积操作，并将反卷积结果和T₆连接，得到张量T₇；

S106、对T₇进行卷积和反卷积操作，并将反卷积结果和T₅连接，得到张量T₈；

S107、对T₈进行卷积和反卷积操作，并将反卷积结果和T₄连接，得到张量T₉；

S108、对T₉进行卷积和反卷积操作，得到点集P₁；

S109、对V_img进行全连接操作，得到点集P₂；

S110、合并点集P₁和P₂，得到最终结果3D点云P_img。

上述的步骤S2包括以下子步骤：

S201、通过相机内参，旋转从单目图像中提取到的3D点云P_img，得到P′_img；

S202、将旋转结果P′_img和输入的残缺点云P_input连接；

S203、对S202的连接结果进行下采样，得到新的点云P₀。

上述的步骤S3包括以下子步骤：

S301、对下采样后的点云P₀进行下采样，得到骨架点云P₀₀＝{q₁，q₂，...，q_N}；

S302、对P₀₀中的每个点q_i，使用一个多层特征感知器MLP，在点云P₀₀中提取点q_i的特征τ(q_i)；

S303、对P₀₀中的每个点q_i，使用一个轻量动态图卷积神经网络并在其中多层进行下采样，在点云P₀中提取点q_i的特征

S304、对P₀₀＝(q₁，q₂，...，q_N}中的每个点，得到其特征

从而得到一个一维的向量序列F＝{f₁，f₂，...，f_N}；

S305、将一维的向量序列F＝f₁，f₂，...，f_N输入到一个几何信息感知编码器中，该编码器基于Transformer结构，得到同样维度的特征向量序列F′＝{f′₁，f′₂，...，f′_N}；

S306、将特征向量序列F′＝{f′₁，f′₂，...，f′_N}输入到一个MLP中，得到全局特征f_code，即编码器提取得到的特征。

上述的步骤S4包括以下子步骤：

S401、将编码器提取得到的特征f_code拓展为N维向量f_code，f_code，...，f_code，并与特征向量序列F′＝{f′₁，f′₂，...，f′_N}连接，得到新的特征向量序列{f′₁+f_code，f′₂+f_code，...，f′_N+f_code}；

S402、使用MLP处理{f′₁+f_code，f′₂+f_code，...，f′_N+f_code}，得到新的特征向量序列{f″₁，f″₂，...，f″_N}；

S403、将f_code拓展为N维向量f_code，f_code，...，f_code，并与特征向量序列{f″₁，f″₂，...，f″_N}连接，得到新的特征向量序列{f″₁+f_code，f″₂+f_code，...，f″_N+f_code}；

S404、使用MLP处理{f″₁+f_code，f″₂+f_code，...，f″_N+f_code}，对得到的点云进行下采样，最终得到粗糙的点云P′_coarse。

上述的步骤S5包括以下子步骤：

S501、先用编码器提取得到的特征f_code平铺粗糙的点云P′_coarse，再输入到MLP中，得到特征序列Q₁；

S502、将Q₁输入到一个Transformer结构的网络中，该网络中的Q＝Q₁，K＝Q₁，得到输出结果：特征序列H₁；

S503、对H₁使用一维卷积，再将卷积结果和H₁连接，得到新的特征序列H′₁；

S504、使用MLP处理H′₁，得到特征序列K₂；

S505、使用MLP处理K₂，得到位移序列ΔP₁，将P′_coarse与ΔP₁相加，得到新点云P′₁；

S506、先用f_code平铺点云P′₁，再输入到MLP中，得到特征序列Q₂；

S507、将Q₂输入到一个Transformer结构的网络中，该网络中的Q＝Q₂，K＝K₂，得到输出结果：特征序列H₂；

S508、对H₂使用一维卷积，再将卷积结果和多倍的的H₂连接，得到新的特征序列H′₂；

S509、使用MLP处理H′₂，得到特征序列K₃；

S510、使用MLP处理K₃，得到多倍的位移序列ΔP₂，将P′₁与ΔP₂相加，得到更稠密的点云P′₂′；

S511、先用f_code平铺点云P′₂，再输入到MLP中，得到特征序列Q₃；

S512、将Q₃输入到一个Transformer结构的网络中，该网络中的Q＝Q₃，K＝K₃，得到输出结果：特征序列H₃；

S513、对H₃使用一维卷积，再将卷积结果和多倍的H₃连接，得到新的特征序列H′₃；

S515、使用MLP处理H′₃，得到特征序列K₄；

S515、使用MLP处理K₄，得到多倍的位移序列ΔP₃，将P′₂与ΔP₃相加，得到更稠密的最终补全结果P′₃。

利用密度感知的倒角距离函数作为损失函数对S1-S5整体网络进行训练，倒角距离函数定义如下：

其中，S₁和S₂是待比较的两个点集，

a是一个参数，n_y^表示y^在集合S₂中被查询的次数，n_x^表示x^在集合S₁中被查询的次数。

本发明具有以下有益效果：

本发明改进了传统的点云补全方法，通过添加单目图像信息来辅助点云补全，可以在实际场景中取得更好地补全效果。

其次，本发明将自然语言处理中广泛应用的Transformer结构应用到点云补全中，可以更好地进行缺失结构的修复。

最后，新的损失函数提高了网络模型的训练效率及质量。本发明设计的整体网络模型在训练完成后，可以通过输入的残缺大飞机点云和单目图像得到完整、稠密且高质量的点云数据。

附图说明

图1为本发明的整体流程图；

图2为从单目图像中提取3D点云的卷积神经网络结构图；

图3为编码器的结构图；

图4为解码器的结构图；

图5为细化和上采样的部分结构图；

图6为本发明补全效果图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

如图1和6所示，本发明单目图像辅助的大型飞机点云补全方法，包括以下步骤：

S1、利用卷积神经网络从单目图像中提取3D点云；

S2、结合相机内参，将输入的大型飞机残缺点云和从单目图像中提取的点云进行配准合并，然后对合并结果进行下采样操作；

S3、使用基于Transformer的几何信息感知编码器提取下采样后的点云的特征；

S4、使用卷积神经网络设计的解码器解码编码器提取得到的特征，得到粗糙的补全点云；

S5、采用Transformer结构，利用编码器提取得到的特征，对粗糙的点云进行多次细化和上采样操作，得到高质量且稠密的补全结果。

结合图2，步骤S1包括以下子步骤：

S101、使用一个卷积层处理输入单目图像I，得到张量T₁；

S102、针对输入的单目图像I，生成一个符合正态分布的随机数，并用全连接层，将该随机数拓展到2D，生成一个2D张量T₂，其尺寸和张量T₁相同；

S103、连接张量T₁和T₂，得到张量T₃；

S104、使用多个卷积层处理张量T₃，得到中间结果张量T₄、T₅和T₆，以及最终结果特征V_img；

S105、对V_img进行反卷积操作，并将反卷积结果和T₆连接，得到张量T₇；

S106、对T₇进行卷积和反卷积操作，并将反卷积结果和T₅连接，得到张量T₈；

S107、对T₈进行卷积和反卷积操作，并将反卷积结果和T₄连接，得到张量T₉；

S108、对T₉进行卷积和反卷积操作，得到点集P₁；

S109、对V_img进行全连接操作，得到点集P₂；

S110、合并点集P₁和P₂，得到最终结果3D点云P_img。

步骤S2包括以下子步骤：

S201、通过相机内参，旋转从单目图像中提取到的3D点云P_img，得到P′_img；

S202、将旋转结果P′_img和输入的残缺点云P_input连接；

S203、对S202的连接结果进行下采样，得到新的点云P₀。

结合图3，步骤S3包括以下子步骤：

S301、对下采样后的点云P₀进行下采样，得到骨架点云P₀₀＝{q₁，q₂，...，q_N}；

S302、对P₀₀中的每个点q_i，使用一个多层特征感知器MLP，在点云P₀₀中提取点q_i的特征τ(q_i)；

S303、对P₀₀中的每个点q_i，使用一个轻量动态图卷积神经网络并在其中多层进行下采样，在点云P₀中提取点q_i的特征

S304、对P₀₀＝{q₁，q₂，...，q_N}中的每个点，得到其特征

从而得到一个一维的向量序列F＝{f₁，f₂，...，f_N}；

S305、将一维的向量序列F＝f₁，f₂，...，f_N输入到一个几何信息感知编码器中，该编码器基于Transformer结构，得到同样维度的特征向量序列F′＝{f′₁，f′₂，...，f′_N}；

S306、将特征向量序列F′＝{f′₁，f′₂，...，f′_N}输入到一个MLP中，得到全局特征f_code，即编码器提取得到的特征。

结合图4，步骤S4包括以下子步骤：

S401、将编码器提取得到的特征f_code拓展为N维向量f_code，f_code，...，f_code，并与特征向量序列F′＝{f′₁，f′₂，...，f′_N}连接，得到新的特征向量序列{f′₁+f_code，f′₂+f_code，...，f′_N+f_code}；

S402、使用MLP处理{f′₁+f_code，f′₂+f_code，...，f′_N+f_code}，得到新的特征向量序列{f″₁，f″₂，...，f″_N}；

S403、将f_code拓展为N维向量f_code，f_code，...，f_code，并与特征向量序列{f″₁，f″₂，...，f″_N}连接，得到新的特征向量序列{f″₁+f_code，f″₂+f_code，...，f″_N+f_code}；

S404、使用MLP处理{f″₁+f_code，f″₂+f_code，...，f″_N+f_code}，对得到的点云进行下采样，最终得到粗糙的点云P′_coarse。

结合图5，步骤S5包括以下子步骤：

S501、先用编码器提取得到的特征f_code平铺粗糙的点云P′_coarse，再输入到MLP中，得到特征序列Q₁；

S502、将Q₁输入到一个Transformer结构的网络中，该网络中的Q＝Q₁，K＝Q₁，得到输出结果：特征序列H₁；

S503、对H₁使用一维卷积，再将卷积结果和H₁连接，得到新的特征序列H′₁；

S504、使用MLP处理H′₁，得到特征序列K₂；

S505、使用MLP处理K₂，得到位移序列ΔP₁，将P′_coarse与ΔP₁相加，得到新点云P′₁；

S506、先用f_code平铺点云P′₁，再输入到MLP中，得到特征序列Q₂；

S507、将Q₂输入到一个Transformer结构的网络中，该网络中的Q＝Q₂，K＝K₂，得到输出结果：特征序列H₂；

S508、对H₂使用一维卷积，再将卷积结果和多倍的的H₂连接，得到新的特征序列H′₂；

S509、使用MLP处理H′₂，得到特征序列K₃；

S510、使用MLP处理K₃，得到多倍的位移序列ΔP₂，将P′₁与ΔP₂相加，得到更稠密的点云P′₂；

S511、先用f_code平铺点云P′₂，再输入到MLP中，得到特征序列Q₃；

S512、将Q₃输入到一个Transformer结构的网络中，该网络中的Q＝Q₃，K＝K₃，得到输出结果：特征序列H₃；

S513、对H₃使用一维卷积，再将卷积结果和多倍的H₃连接，得到新的特征序列H′₃；

S515、使用MLP处理H′₃，得到特征序列K₄；

S515、使用MLP处理K₄，得到多倍的位移序列ΔP₃，将P′₂与ΔP₃相加，得到更稠密的最终补全结果P′₃。

本发明提出的网络其训练过程具体包括：

(1)基于ShapeNetRendering数据集建立一个新的数据集。

对ShapeNetRendering数据集每个3D模型，在24个视点下扣除最近的部分点云，生成两类不完整点云(有和无噪声)，随后在每个视点下都采样2048个点作为ground truth，并渲染24张图像。

因此该数据集中有38,328×24＝919,872个集合，每个集合中有一个groundtruth，两个不完整点云，一张图像。

其中，80％的数据用作训练，20％的数据用作测试。

(2)预训练步骤S2和S3部分的网络，即从单目图像中提取点云的网络以及将其与输入的残缺点云进行拼接的网络。

在训练中，将图像的大小设置为224×224，从中提取784个3D点。残缺的输入包括2048个点，将这2048+784个点进行最远点采样得到1024个点。

(3)确定训练时损失函数的参数，并设置epoch和batch的大小，然后根据数据集开始训练整个网络。

(4)保存最后的模式，根据测试确定网络效果。

本发明训练时使用的损失函数——密度感知的倒角距离函数，定义如下：

其中，S₁和S₂是待比较的两个点集，

α是一个参数，n_y^表示y^在该集合中被查询的次数，n_x^与之类似。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.单目图像辅助的大型飞机点云补全方法，其特征在于，包括以下步骤：

S1、利用卷积神经网络从单目图像中提取3D点云；

S2、结合相机内参，将输入的大型飞机残缺点云和从单目图像中提取的点云进行配准合并，然后对合并结果进行下采样操作；

S3、使用基于Transformer的几何信息感知编码器提取下采样后的点云的特征；

S4、使用卷积神经网络设计的解码器解码编码器提取得到的特征，得到粗糙的补全点云；

S5、采用Transformer结构，利用编码器提取得到的特征，对粗糙的点云进行多次细化和上采样操作，得到高质量且稠密的补全结果。

2.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法，其特征在于，步骤S1包括以下子步骤：

S101、使用一个卷积层处理输入单目图像I，得到张量T₁；

S102、针对输入的单目图像I，生成一个符合正态分布的随机数，并用全连接层，将该随机数拓展到2D，生成一个2D张量T₂，其尺寸和张量T₁相同；

S103、连接张量T₁和T₂，得到张量T₃；

S104、使用多个卷积层处理张量T₃，得到中间结果张量T₄、T₅和T₆，以及最终结果特征V_img；

S105、对V_img进行反卷积操作，并将反卷积结果和T₆连接，得到张量T₇；

S106、对T₇进行卷积和反卷积操作，并将反卷积结果和T₅连接，得到张量T₈；

S107、对T₈进行卷积和反卷积操作，并将反卷积结果和T₄连接，得到张量T₉；

S108、对T₉进行卷积和反卷积操作，得到点集P₁；

S109、对V_img进行全连接操作，得到点集P₂；

S110、合并点集P₁和P₂，得到最终结果3D点云P_img。

3.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法，其特征在于，步骤S2包括以下子步骤：

S201、通过相机内参，旋转从单目图像中提取到的3D点云P_img，得到P′_img；

S202、将旋转结果P′_img和输入的残缺点云P_input连接；

S203、对S202的连接结果进行下采样，得到新的点云P₀。

4.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法，其特征在于，步骤S3包括以下子步骤：

S301、对下采样后的点云P₀进行下采样，得到骨架点云P₀₀＝{q₁,q₂,...,q_N}；

S302、对P₀₀中的每个点q_i，使用一个多层特征感知器MLP，在点云P₀₀中提取点q_i的特征τ(q_i)；

S303、对P₀₀中的每个点q_i，使用一个轻量动态图卷积神经网络并在其中多层进行下采样，在点云P₀中提取点q_i的特征

S304、对P₀₀＝{q₁,q₂,...,q_N}中的每个点，得到其特征

从而得到一个一维的向量序列F＝{f₁,f₂,...,f_N}；

S305、将一维的向量序列F＝f₁,f₂,…,f_N输入到一个几何信息感知编码器中，该编码器基于Transformer结构，得到同样维度的特征向量序列F′＝{f′₁,f′₂,...,f′_N}；

S306、将特征向量序列F′＝{f′₁,f′₂,...,f′_N}输入到一个MLP中，得到全局特征f_code，即编码器提取得到的特征。

5.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法，其特征在于，步骤S4包括以下子步骤：

S401、将编码器提取得到的特征f_code拓展为N维向量f_code,f_code,…,f_code，并与特征向量序列F′＝{f′₁,f′₂,…,f′_N}连接，得到新的特征向量序列{f′₁+f_code,f′₂+f_code,...,f′_N+f_code}；

S402、使用MLP处理{f′₁+f_code,f′₂+f_code,...,f′_N+f_code}，得到新的特征向量序列{f″₁,f″₂,…,f″_N}；

S403、将f_code拓展为N维向量f_code,f_code,…,f_code，并与特征向量序列{f″₁,f″₂,…,f″_N}连接，得到新的特征向量序列{f″₁+f_code,f″₂+f_code,...,f″_N+f_code}；

S404、使用MLP处理{f″₁+f_code,f″₂+f_code,...,f″_N+f_code}，对得到的点云进行下采样，最终得到粗糙的点云P′_coarse。

6.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法，其特征在于，步骤S5包括以下子步骤：

S501、先用编码器提取得到的特征f_code平铺粗糙的点云P′_coarse，再输入到MLP中，得到特征序列Q₁；

S502、将Q₁输入到一个Transformer结构的网络中，该网络中的Q＝Q₁，K＝Q₁，得到输出结果：特征序列H₁；

S503、对H₁使用一维卷积，再将卷积结果和H₁连接，得到新的特征序列H′₁；

S504、使用MLP处理H′₁，得到特征序列K₂；

S505、使用MLP处理K₂，得到位移序列ΔP₁，将P′_coarse与ΔP₁相加，得到新点云P′₁；

S506、先用f_code平铺点云P′₁，再输入到MLP中，得到特征序列Q₂；

S507、将Q₂输入到一个Transformer结构的网络中，该网络中的Q＝Q₂，K＝K₂，得到输出结果：特征序列H₂；

S508、对H₂使用一维卷积，再将卷积结果和多倍的的H₂连接，得到新的特征序列H′₂；

S509、使用MLP处理H′₂，得到特征序列K₃；

S510、使用MLP处理K₃，得到多倍的位移序列ΔP₂，将P′₁与ΔP₂相加，得到更稠密的点云P₂ ^′；

S511、先用f_code平铺点云P′₂，再输入到MLP中，得到特征序列Q₃；

S512、将Q₃输入到一个Transformer结构的网络中，该网络中的Q＝Q₃，K＝K₃，得到输出结果：特征序列H₃；

S513、对H₃使用一维卷积，再将卷积结果和多倍的H₃连接，得到新的特征序列H′₃；

S515、使用MLP处理H′₃，得到特征序列K₄；

S515、使用MLP处理K₄，得到多倍的位移序列ΔP₃，将P′₂与ΔP₃相加，得到更稠密的最终补全结果P′₃。

7.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法，其特征在于，对S1-S5整体网络进行训练时，利用密度感知的倒角距离函数作为损失函数，倒角距离函数定义如下：

其中，S₁和S₂是待比较的两个点集，

α是参数，n_y^表示y^在集合S₂中被查询的次数，n_x^表示x^在集合S₁中被查询的次数。

Images