CN112819960A - 一种对抗性点云生成方法、存储介质和终端 - Google Patents

Abstract

本发明公开了一种对抗性点云生成方法、存储介质和终端，方法包括以下步骤：破坏输入点云的拓扑结构，生成对抗点云。本发明采用的是通过改变破坏输入点云的拓扑结构，进而在点云表面形成孔空洞，生成对抗点云；有选择性的对点云拓扑结构进行破坏，丢弃掉点云的关键拓扑，会大大降低模型的识别准确率，误导模型输出错误的结果；该方法在降低模型识别准确率方面优于已有的对抗性攻击。

Description

一种对抗性点云生成方法、存储介质和终端

技术领域

本发明涉及对抗点云生成领域，尤其涉及一种对抗性点云生成方法、存储介质和终端。

背景技术

点云是一种重要的三维数据表示形式，可以直接从三维采集设备获取。近年来，深度神经网络(DNNs)被成功地应用于点云数据处理，其中最流行的是PointNet及其变体PointNet++。它们以端到端的方式从原始点云中提取特征，并已应用于分类、分割、检测和跟踪场景中，取得了较好的性能。最近的研究发现，DNN很容易受到对抗攻击，通过对原始数据进行难以察觉的修改，可以误导深层网络。现有的欺骗攻击算法主要集中在2D攻击领域。最近的研究发现，三维点云识别模型对对抗样本也很敏感。Xiang等人，首次提出了一种针对3D深度模型生成对抗性样本的方法，该方法通过对原始点云进行点扰动或添加点来生成、对抗性点云。Tu等人提出了一种物理上可实现的对LiDAR探测器的攻击方法，该方法是通过在车顶上放置对抗性物体来实现的。Zheng等人提出了一种基于丢点的攻击方法，该方法通过构建显著图并从临界子集中随机丢点来实现。Zhou等人设计了一种端到端的生成网络LG-GAN，该网络通过标签引导进行训练，实现了灵活的定向攻击。这些方法为评估现有的由原始点云经过不同变换发展而来的深度3D模型的稳健性提供了一种有效的方法。然而，现有的对抗性攻击方法忽略了点云的拓扑结构。

发明内容

本发明的目的在于克服现有技术的不足，提供一种对抗性点云生成方法、存储介质和终端。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面，提供一种对抗性点云生成方法，包括以下步骤：

破坏输入点云的拓扑结构，生成对抗点云。

进一步地，所述破坏输入点云的拓扑结构，生成对抗点云，包括：

获取输入点云的邻接矩阵和辅助点云；

选择邻接矩阵中至少一个被选中的概率较高的选择点，以所述选择点及选择点的邻接点为局部拓扑，在所述输入点云上丢弃所述局部拓扑，生成对抗点云。

进一步地，所述获取输入点云的邻接矩阵和辅助点云，包括：

提取所述输入点云的代表几何信息的全局特征；

将所述全局特征转换为能够反映点之间邻接关系的初始邻接矩阵；

将初始邻接矩阵与输入点云的几何信息相结合，进行二维到三维的映射，进而得到所述输入点云的邻接矩阵；

利用所述初始邻接矩阵生成辅助点云。

进一步地，所述获取输入点云的邻接矩阵和辅助点云，还包括：

计算所述输入点云的邻接矩阵及其转置的平均值，得到最终的邻接矩阵。

进一步地，所述邻接矩阵中至少一个被选中的概率较高的选择点，包括：

将输入点云的邻接矩阵、辅助点云、全局特征输入至小网络，得到一向量，所述向量的每个值代表对应点被选中的概率；

选择至少一个被选中的概率较高的选择点。

进一步地，所述以所述选择点及选择点的邻接点为局部拓扑，包括：

通过邻接矩阵找到所选择的点及其最近的若干个邻接点，形成局部拓扑。

进一步地，所述方法还包括：

利用对抗性损失衡量攻击成功的可能性。

进一步地，所述方法还包括：

利用重构损失鼓励邻接矩阵更好地学习原始点云的拓扑信息。

本发明的第二方面，提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的一种对抗性点云生成方法的步骤。

本发明的第三方面，提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的一种对抗性点云生成方法的步骤。

本发明的有益效果是：

(1)在本发明的一示例性实施例中，采用的是通过改变破坏输入点云的拓扑结构，进而在点云表面形成孔空洞，生成对抗点云。有选择性的对点云拓扑结构进行破坏，丢弃掉点云的关键拓扑，会大大降低模型的识别准确率，误导模型输出错误的结果。该方法在降低模型识别准确率方面优于已有的对抗性攻击。

(2)在本发明的又一示例性实施例中，在给定点云P的情况下，提取几何特征，并将点云的拓扑信息编码为邻接矩阵，描述点云的点状贴近性；之后通过改变原始点云的拓扑结构来生成对抗性示例，从而在对象表面上产生一个洞。

(3)在本发明的又一示例性实施例中，生成辅助点云的意义在于：通过提高邻接矩阵A与原始点云P的接近程度可以更好地学习邻接矩阵A。

(4)在本发明的又一示例性实施例中，利用对抗性损失衡量攻击成功的可能性；而在本发明的又一示例性实施例中，利用重构损失鼓励邻接矩阵更好地学习原始点云的拓扑信息。

附图说明

图1为本发明一示例性实施例中公开的方法流程图；

图2为本发明又一示例性实施例中公开的网络结构示意图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

参见图1，图1示出了本发明的一示例性实施例提供一种对抗性点云生成方法，包括以下步骤：

破坏输入点云的拓扑结构，生成对抗点云。

具体地，在该示例性实施例中，利用丢弃点的攻击方式生成对抗点云；更为具体地，采用的是通过改变破坏输入点云的拓扑结构，进而在点云表面形成孔空洞，生成对抗点云。该方法在降低模型识别准确率方面优于已有的对抗性攻击。

现有的三维识别网络对随机丢点有较强的鲁棒性，即通过随机丢点的方式并不能降低识别网络的准确率。有选择性的对点云拓扑结构进行破坏，丢弃掉点云的关键拓扑(例如椅子的腿，花瓶的底座等)，会大大降低模型的识别准确率，误导模型输出错误的结果。

更优地，在一示例性实施例中，所述破坏输入点云的拓扑结构，生成对抗点云，包括：

S11：获取输入点云的邻接矩阵和辅助点云；

S13：选择邻接矩阵中至少一个被选中的概率较高的选择点，以所述选择点及选择点的邻接点为局部拓扑，在所述输入点云上丢弃所述局部拓扑，生成对抗点云。

具体地，在该示例性实施例中，在给定输入点云P的情况下，将其编码为邻接矩阵，描述点云的点状贴近性；然后通过改变原始点云的拓扑结构来生成对抗性示例(即对抗点云)，从而在对象表面上产生一个洞。

另外，该方法可对应于一对抗点云生成网络，如图2所示，该网络的输入数据为具有N个点的输入点云P，每个点都是一个代表它(x，y，z)坐标的向量。该网络包括编码器和解码器：该编码器将输入点云P编码为邻接矩阵，描述点云的点状贴近性；然后，解码器学习要与其邻近点一起丢弃的点。其中，解码器会生成一个1×M的向量，向量里元素总和为1，代表其被选中的概率，即丢弃该点及其邻接点组成的局部拓扑，(相较于其他的局部拓扑)更可能会使识别网络识别出错。

更优地，在一示例性实施例中，所述获取输入点云的邻接矩阵和辅助点云，包括：

S31：提取所述输入点云的代表几何信息的全局特征；

S33：将所述全局特征转换为能够反映点之间邻接关系的初始邻接矩阵；

S35：将初始邻接矩阵与输入点云的几何信息相结合，进行二维到三维的映射，进而得到所述输入点云的邻接矩阵；

S37：利用所述初始邻接矩阵生成辅助点云。

具体地，在该示例性实施例中，对于步骤S31的所述提取所述输入点云的代表几何信息的全局特征，首先使用类似于PointNet的网络结构来提取输入点云P的几何信息，即使用三层多层感知器(MLP)完成从低维到高维的映射，然后使用最大池法提取全局特征，最后使用两层多层感知器(MLP)进行降维映射，以获得全局特征E。即：

E＝MLP⁽²⁾(maxpooling(MLP⁽¹⁾(P)))

式中

是原始点云，MLP⁽¹⁾和MLP⁽²⁾表示二维映射操作。

然后，对于步骤S33中的将所述全局特征转换为能够反映点之间邻接关系的初始邻接矩阵，对编码E进行处理，并将其转换为能够反映点之间邻接关系的邻接矩阵。使用二维网格初始化

g_i∈R³是邻接矩阵M*M，它反映了两个维点之间的邻接关系。从数学上讲，初始化操作是：

式中，X_ij表示邻接矩阵第i行第j列元素，N_i表示点距点g_i前k近距离的所有点，k值可人为设置，δ表示一个可调整的参数。公式含义：距g_i越近的点，在邻接矩阵中对应位置的值越大。

之后，对于步骤S35中的将初始邻接矩阵与输入点云的几何信息相结合，进行二维到三维的映射，进而得到所述输入点云的邻接矩阵，具体的数学表示为：

A′＝softmax(MLP⁽⁴⁾([MLP⁽³⁾([X，E])，E]))

式中，MLP⁽³⁾和MLP⁽⁴⁾表示二维映射操作，X即所有的所述X_ij的集合。

最后对于步骤S37，利用所述初始邻接矩阵生成辅助点云，为了使邻接矩阵A’更好地学习原始点云的拓扑信息，需要生成辅助点云P’。通过类似于上式的转换，完成2D坐标到3D坐标的映射，通过对3D坐标和邻接矩阵滤波得到P’(与得到A’的公式一样，只需要把X换成网格坐标G)。

其中，需要说明的是生成辅助点云的意义在于：通过提高辅助点云与原始点云的相似程度来更好的学习邻接矩阵A’(或者下述示例性实施例中的A)。即，辅助点云与原始点云在视觉上越相像，说明我们对原始点云的拓扑学习的越好(拓扑是通过邻接矩阵A反映的，故可以说对A学习的更好)

当对应于对抗点云生成网络，步骤S31对应于编码器中的PointNet网络，步骤S33～S37对应于拓扑提取模块。

更优地，在一示例性实施例中，所述获取输入点云的邻接矩阵和辅助点云，还包括：

计算所述输入点云的邻接矩阵及其转置的平均值，得到最终的邻接矩阵。

具体地，在该示例性实施例中，为了保证邻接矩阵的对称性，计算A’及其转置的平均值，得到最终的邻接矩阵A。

为了方便说明，在下述示例性实施例中，输入点云的邻接矩阵A’和最终的邻接矩阵A统称为邻接矩阵A。

更优地，在一示例性实施例中，所述邻接矩阵中至少一个被选中的概率较高的选择点，包括：

S51：将输入点云的邻接矩阵、辅助点云、全局特征输入至小网络，得到一向量，所述向量的每个值代表对应点被选中的概率；

S53：选择至少一个被选中的概率较高的选择点。

具体地，在该示例性实施例中，步骤S51将邻接矩阵A、代表几何信息的全局特征E、辅助点云P’输入到一个小网络中，得到一个1*M向量，每个值代表该点被选中的概率。在数学上选择至少一个概率较高的点v：

υ＝g(softmax(MLP([E，A，P′])))

式中，Softmax层会得到一个1×M的向量，每个值代表对应的点被选中的概率。在一优选示例性实施例中，点v为概率最高的点；对应地，g()代表取其中最大值的索引v，即点v。

需要说明的是，所述小网络就是上式里的g()括号内的部分。一个多层感知机(MLP)完成高维到低维的映射，得到1×M的向量，然后使用softmax函数使向量内元素和为1，每个值代表被选中的概率，即与其邻接的点组成的局部拓扑被丢弃的概率。被选中的点由解码器获得，其邻接点由邻接矩阵获得。

更优地，在一示例性实施例中，所述以所述选择点及选择点的邻接点为局部拓扑，包括：

通过邻接矩阵找到所选择的点及其最近的若干个邻接点，形成局部拓扑。

具体地，在该示例性实施例中，点v及其最近的K个邻接点，局部拓扑的数学表示为：

P_drop＝f(E+I，v)

式中，I表示单位矩阵。

即对应于步骤S13中的“在所述输入点云上丢弃所述局部拓扑，生成对抗点云”，数学表示为：

式中，

表示对抗点云，即通过在辅助点云上丢弃局部拓扑，得到对抗点云。

需要说明的是，原始点云即输入点云P输入的点是零散无序的，并没有点与点之间的邻接关系表示。二维网格是具有点与点之间的邻接关系表示的，我们用二维网格坐标和其邻接关系表示(邻接矩阵A0)作为初始化，与编码器得到的原始点云几何信息结合，完成一个二维网格坐标到三维点云坐标、二维邻接到三维邻接的转化，此时生成的辅助点云P’之间的点具有邻接关系表示(A表示)。辅助点云P’与输入点云P在视觉上越相似，说明对原始点云的邻接关系学习的越好。当肉眼难以区别原始点云与辅助点云P’时，就代表已经很好的学习到了输入点云P的拓扑。由于辅助点云有邻接矩阵A表示其点与点之间的邻接关系，我们就可以通过丢弃不同的点与其邻接点来模拟输入点云P丢弃不同的局部拓扑对识别模型识别准确率的影响。

当对应于对抗点云生成网络，图2中的小网络对应于步骤S51，得到K×3的需要丢弃的局部拓扑，含有K个点，K×3代表其坐标。

更优地，在一示例性实施例中，所述方法还包括：

利用对抗性损失衡量攻击成功的可能性。

具体地，在本领域中，损失函数用于对应用于所述方法的对抗点云生成网络进行更新。在该示例性实施例中，损失函数的其中一部分为对抗性损失L_adv，用于衡量攻击成功的可能性：

式中，

是一个对抗性点云，

是pointnet网络(目标网络)Softmax层的第i个输出分数，t是原始点云的标签。这个损失函数的含义是让鉴别器将对抗点云识别为不是其标签的对象，这是一种无目标攻击。

更优地，在一示例性实施例中，所述方法还包括：

利用重构损失鼓励邻接矩阵更好地学习原始点云的拓扑信息。

具体地，在该示例性实施例中，损失函数的其中一部分为重构损失L_rec，用于鼓励邻接矩阵更好地学习原始点云的拓扑信息。在其中一示例性实施例中，使用辅助点云和原始点云的倒角距离：

重采样使原始点云和辅助点云具有相同的点数N。第一部分测量原始点云中每个点与辅助点云中每个点之间的l₂距离，第二部分测量辅助点云中每个点与原始点云中每个点之间的l₂距离；取其最大值。

具体地，还可以将两个损失共同参考：

L＝L_adv+λL_rec

式中，λ是权重因子。

基于上述任意一示例性实施例，本发明的一示例性实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的一种对抗性点云生成方法的步骤。

基于上述任意一示例性实施例，本发明的一示例性实施例提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的一种对抗性点云生成方法的步骤。

基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得装置执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种对抗性点云生成方法，其特征在于：包括以下步骤：

破坏输入点云的拓扑结构，生成对抗点云。

2.根据权利要求1所述的一种对抗性点云生成方法，其特征在于：所述破坏输入点云的拓扑结构，生成对抗点云，包括：

获取输入点云的邻接矩阵和辅助点云；

选择邻接矩阵中至少一个被选中的概率较高的选择点，以所述选择点及选择点的邻接点为局部拓扑，在所述输入点云上丢弃所述局部拓扑，生成对抗点云。

3.根据权利要求2所述的一种对抗性点云生成方法，其特征在于：所述获取输入点云的邻接矩阵和辅助点云，包括：

提取所述输入点云的代表几何信息的全局特征；

将所述全局特征转换为能够反映点之间邻接关系的初始邻接矩阵；

将初始邻接矩阵与输入点云的几何信息相结合，进行二维到三维的映射，进而得到所述输入点云的邻接矩阵；

利用所述初始邻接矩阵生成辅助点云。

4.根据权利要求3所述的一种对抗性点云生成方法，其特征在于：所述获取输入点云的邻接矩阵和辅助点云，还包括：

计算所述输入点云的邻接矩阵及其转置的平均值，得到最终的邻接矩阵。

5.根据权利要求3或4所述的一种对抗性点云生成方法，其特征在于：所述邻接矩阵中至少一个被选中的概率较高的选择点，包括：

将输入点云的邻接矩阵、辅助点云、全局特征输入至小网络，得到一向量，所述向量的每个值代表对应点被选中的概率；

选择至少一个被选中的概率较高的选择点。

6.根据权利要求5所述的一种对抗性点云生成方法，其特征在于：所述以所述选择点及选择点的邻接点为局部拓扑，包括：

通过邻接矩阵找到所选择的点及其最近的若干个邻接点，形成局部拓扑。

7.根据权利要求2所述的一种对抗性点云生成方法，其特征在于：所述方法还包括：

利用对抗性损失衡量攻击成功的可能性。

8.根据权利要求3所述的一种对抗性点云生成方法，其特征在于：所述方法还包括：

利用重构损失鼓励邻接矩阵更好地学习原始点云的拓扑信息。

9.一种存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求1-8中任意一项所述的一种对抗性点云生成方法的步骤。

10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1-8中任意一项所述的一种对抗性点云生成方法的步骤。

Images