CN113610904B - 3d局部点云对抗样本生成方法、系统、计算机及介质 - Google Patents

3d局部点云对抗样本生成方法、系统、计算机及介质 Download PDF

Info

Publication number
CN113610904B
CN113610904B CN202110817436.XA CN202110817436A CN113610904B CN 113610904 B CN113610904 B CN 113610904B CN 202110817436 A CN202110817436 A CN 202110817436A CN 113610904 B CN113610904 B CN 113610904B
Authority
CN
China
Prior art keywords
point cloud
attacked
local
local point
challenge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110817436.XA
Other languages
English (en)
Other versions
CN113610904A (zh
Inventor
唐可可
史亚文
吴坚鹏
顾钊铨
李树栋
李默涵
仇晶
韩伟红
田志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110817436.XA priority Critical patent/CN113610904B/zh
Publication of CN113610904A publication Critical patent/CN113610904A/zh
Application granted granted Critical
Publication of CN113610904B publication Critical patent/CN113610904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种3D局部点云对抗样本生成方法、系统、计算机及介质，所述方法为获取待攻击局部点云和与待攻击局部点云匹配的待匹配局部点云，计算待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定待攻击局部点云的对抗关键点，再采用FGSM算法，根据待攻击局部点云和待匹配局部点云的特征距离，对对抗关键点添加扰动，得到一组待分析对抗样本后，计算各个待分析对抗样本与待攻击局部点云的点云距离，并根据点云距离从待分析对抗样本中确定对抗样本。本发明的实际应用中，不仅对抗样本构建技术简单可靠，而且生成的对抗样本攻击力强，有效提升点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。

Description

3D局部点云对抗样本生成方法、系统、计算机及介质
技术领域
本发明涉及几何深度学习技术领域，特别是涉及一种3D局部点云对抗样本生成方法、系统、计算机设备及存储介质。
背景技术
随着人工智能的快速发展，深度学习方法在众多领域显现出独特的优势，近年来，图形学和三维视觉领域也逐渐开始探索将深度学习技术应用于三维数据的分析与三维视觉领域的任务处理中，即几何深度学习技术应运而生。三维点云局部形状匹配是众多三维视觉应用必不可少的环节，几何深度学习方法因其在处理三维点云局部形状匹配问题上展现出的独特优势，而成为现有研究三维点云局部形状匹配问题的首选技术方法。众所周知，深度学习技术存在脆弱性，当然，几何深度学习技术也存在着被攻击的风险，无论是应用于点云神经网络分类任务还是处理点云局部形状匹配任务都无例外。此外，神经网络对抗攻击和防御能力的广泛研究，也促进了三维视觉和计算机图形学领域对提升点云神经网络对抗鲁棒性的关注，开启了针对点云神经网络的对抗攻击与防御能力的研究。
然而，现有针对点云神经网络的对抗攻击研究主要集中在点云分类任务，即通过对点云进行对抗扰动可能导致其分类结果出错，罕有针对点云局部形状匹配模型的对抗攻击技术的研究。但，局部形状匹配任务建模的是一个特征距离问题，明显比点云分类任务更加复杂，这也导致对其进行对抗攻击更加复杂，不可能使用针对点云分类任务的对抗攻击研究来解决针对三维点云局部形状匹配的几何深度学习模型对抗攻击的问题。
因此，亟需提供一种针对三维点云局部形状匹配的几何深度学习模型对抗攻击的对抗样本生成方法，以提升点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。
发明内容
本发明的目的是提供一种针对三维点云局部形状匹配的几何深度学习模型对抗攻击的对抗样本生成方法，通过采用chamfer损失函数确定待攻击局部点云中的对抗关键点后，利用FGSM算法对已确定的对抗关键点添加扰动，再结合L2距离限制，简单有效的生成对抗样本，以提高点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。
为了实现上述目的，有必要针对上述技术问题，提供了一种3D局部点云对抗样本生成方法、系统、计算机设备及存储介质。
第一方面，本发明实施例提供了一种3D局部点云对抗样本生成方法，所述方法包括以下步骤：
获取待攻击局部点云和与所述待攻击局部点云匹配的待匹配局部点云；
计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点；
获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本；
计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本。
进一步地，所述计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点的步骤包括：
分别删除所述待攻击局部点云内的每个点，得到对应的缺失点待攻击局部点云；所述缺失点待攻击局部点云的数目与所述待攻击局部点云内的点数相同；
采用chamfer损失函数，计算所述待攻击局部点云与缺失点待攻击局部点云的点云损失值，并将所述点云损失值作为对应缺失点的所述对抗攻击敏感度；所述点云损失值表示为：
式中，x表示待攻击局部点云P1中的一个点；x'表示缺失点待攻击局部点云P1'，中的一个点；第一项表示待攻击局部点云P1中任意一点x到缺失点待攻击局部点云P1'中任意一点x'的最小距离之和；第二项表示缺失点待攻击局部点云P1'中任意一点x'到待攻击局部点云P1中任意一点x的最小距离之和；
按照所述对抗攻击敏感度由高到低的顺序，依次从所述待攻击局部点云中选择与所述对抗攻击敏感度对应的多个所述对抗关键点。
进一步地，所述获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本的步骤包括：
将所有对抗关键点按照预设扰动数目，自由组合生成待扰动点集；任一所述待扰动点集包括预设扰动数目个所述对抗关键点；
根据所述待攻击局部点云和所述待匹配局部点云的特征距离，分别对所述待攻击局部点云的各个待扰动点集添加扰动，生成对应的待分析对抗样本；所述待分析对抗样本表示为：
式中，i和m分别表示第i个待扰动集合和待扰动集合总数目；Ai表示对第i待扰动点集施加扰动得到的对抗样本；P1i'表示确定了第i个待扰动点集且未添加扰动的待匹配局部点云；P1和P2分别表示待匹配局部点和待匹配局部点云；ε表示扰动步长；sign(·)表示符号函数；表示根据待攻击局部点云和待匹配局部点云的特征距离对应的梯度方向。
进一步地，所述计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本的步骤包括：
采用L2距离，分别计算各个所述待分析对抗样本对应的所述点云距离；所述点云距离的数目与所述待分析对抗样本的数目相同；
根据所述点云距离，从所述待分析对抗样本中选择候选对抗样本，并将所述候选对抗样本中所述点云距离最大的候选对抗样本作为所述对抗样本。
进一步地，所述根据所述点云距离，从所述待分析对抗样本中选择候选对抗样本的步骤包括：
判断是否存在所述点云距离小于预设距离阈值；
若所述点云距离小于预设距离阈值，则将所述点云距离对应的所述待分析对抗样本作为候选对抗样本，反之，则更新所述待分析对抗样本，并根据更新后的所述待分析对抗样本，确定所述候选对抗样本。
进一步地，所述更新所述待分析对抗样本，并根据更新后的所述待分析对抗样本，确定所述候选对抗样本的步骤包括：
根据所述待攻击局部点云和所述待匹配局部点云的特征距离，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本。
进一步地，所述根据所述待攻击局部点云和所述待匹配局部点云的特征距离，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本的步骤包括：
调整所述FGSM算法的扰动步长；
根据所述扰动步长，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本。
第二方面，本发明实施例提供了一种3D局部点云对抗样本生成系统，所述系统包括：
预处理模块，用于获取待攻击局部点云和与所述待攻击局部点云匹配的待匹配局部点云；
敏感检测模块，用于计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点；
扰动添加模块，用于获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本；
样本生成模块，用于计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种3D局部点云对抗样本生成方法、系统、计算机设备及存储介质，通过所述方法，实现了通过获取待攻击局部点云和与待攻击局部点云匹配的待匹配局部点云后，采用chamfer损失函数计算得到待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定待攻击局部点云的对抗关键点，再采用FGSM算法，根据待攻击局部点云和待匹配局部点云的特征距离，对对抗关键点分组添加扰动，得到一组待分析对抗样本后，基于L2距离计算得到各个待分析对抗样本与待攻击局部点云的点云距离，并根据点云距离从待分析对抗样本中确定对抗样本的技术方案。与现有技术相比，该3D局部点云对抗样本生成方法，为针对三维点云局部形状匹配的几何深度学习模型对抗攻击研究提供了有效技术支撑，不仅对抗样本构建技术简单可靠，而且生成的对抗样本攻击力强，有效提升点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。
附图说明
图1是本发明实施例中3D局部点云对抗样本生成方法应用场景示意图；
图2是本发明实施例中3D局部点云对抗样本生成方法的流程示意图；
图3是图2中步骤S12确定待攻击局部点云的对抗关键点的流程示意图；
图4是图2中步骤S13对对抗关键点添加扰动得到一组待分析对抗样本的流程示意图；
图5是图2中步骤S14根据待分析对抗样本与待攻击局部点云的点云距离确定对抗样本的流程示意图；
图6是本发明实施例中3D局部点云对抗样本生成系统的结构示意图；
图7是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的3D局部点云对抗样本生成方法，是采用chamfer损失函数确定待攻击局部点云中的对抗关键点，利用FGSM算法对已确定的对抗关键点添加扰动，再结合L2距离限制生成针对3D局部点云匹配模块的对抗样本的方法，可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可通过采用3D局部点云对抗样本生成方法得到满足要求的对抗样本，并使用该对抗样本完成后续的3D局部点云形状匹配模型的对抗训练或者将生成的对抗样本发送至终端，以供终端的使用分析。
点云是非结构化的，用点覆盖一个局部形状有着非常多的可能性，比如对待攻击局部点云中的部分点执行移动操作，可能不会对人眼辨别形状产生影响，但却能影响到三维点云局部形状匹配模型的判别结果。基于以上情况的考虑，本发明通过删减待攻击局部点云中每个点的方法确定对抗攻击敏感度高的对抗关键点后，通过移动对抗关键点位置生成一个与待攻击局部点云有着人眼难以察觉差异但特征距离差异较大的对抗样本。具体的3D局部点云对抗样本生成方法，在下述实施例中进行详细阐述。
在一个实施例中，如图2所示，提供了一种3D局部点云对抗样本生成方法，包括以下步骤：
S11、获取待攻击局部点云和与所述待攻击局部点云匹配的待匹配局部点云；
其中，待攻击局部点云和待匹配局部点云可根据待攻击或需要对抗训练的3D点云均布形状匹配模型选取的两个可以匹配成功的局部点云，且待攻击局部点云为后续对抗样本的扰动添加提供基础，待匹配局部点云用于后续待攻击局部点云对应的扰动生成。
S12、计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点；
其中，对抗关键点即为将其位置改变或直接删减会导致局部形状匹配预测结果发生很大改变的待攻击局部点云内的某些点，对应某点位置改变或直接删减的对局部形状预测结果影响的大小认为是该点的对抗敏感度。本实施例通过损失函数Chamfer loss对待攻击局部点云内所有点的对抗攻击敏感度进行评分，进而确定待攻击局部点云内的对抗关键点，如图3所示，所述计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点的步骤S12包括：
S121、分别删除所述待攻击局部点云内的每个点，得到对应的缺失点待攻击局部点云；所述缺失点待攻击局部点云的数目与所述待攻击局部点云内的点数相同；
其中，缺失点待攻击局部点云与待攻击局部点云的区别仅在于缺少了一个点，其他保持不变，即采用每次仅移除一个点的方法，便于独立准确的检测出每个点的对抗敏感度。
S122、采用chamfer损失函数，计算所述待攻击局部点云与缺失点待攻击局部点云的点云损失值，并将所述点云损失值作为对应缺失点的所述对抗攻击敏感度；所述点云损失值表示为：
式中，x表示待攻击局部点云P1中的一个点；x'表示缺失点待攻击局部点云P1'中的一个点；第一项表示待攻击局部点云P1中任意一点x到缺失点待攻击局部点云P1'中任意一点x'的最小距离之和；第二项表示缺失点待攻击局部点云P1'中任意一点x'到待攻击局部点云P1中任意一点x的最小距离之和；
其中，chamfer损失函数应用得到的是待攻击局部点云与删除某点后的缺失点待攻击局部点云之间的损失，该损失为对被删除的某点的对抗攻击敏感度的评分，即得到的损失越大则认为该点的对抗攻击敏感度越高，被选为对抗关键点的可能性就越大。
S123、按照所述对抗攻击敏感度由高到低的顺序，依次从所述待攻击局部点云中选择与所述对抗攻击敏感度对应的多个所述对抗关键点。
其中，待攻击局部点云中的每个点的对抗攻击敏感度采用上述方法得到后，可根据应用需求，根据对抗攻击敏感度的排序，从待攻击局部点云中选择一定数目的对抗关键点，如根据应用需求需要选择10个对抗关键点，则将所有点的对抗攻击敏感度按照由高到底排序，选择对抗敏感度较高的10个点作为待攻击局部点云的对抗关键点。
本实施例中通过将待攻击局部点云中的每个点分别删除，再采用chamfer损失函数计算对应缺失点待攻击局部点云和原始待攻击局部点云的损失值对每个点的对抗攻击敏感度进行评分的方法，简单高效的找出了待攻击局部点云中的对抗关键点，为后续基于该对抗关键点生成对抗样本提供了有效的保障。
S13、获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本；
其中，待攻击局部点云的对抗关键点如上所述有多个，原则上可以对确定的对抗关键点同时添加扰动得到一个对抗样本，但为了保证对抗样本更合理有效，本实施例采用将对抗关键点按照预设扰动数目自由组合为不同的待扰动点集，通过对每个待扰动点集内的对抗关键点同步添加扰动得到对应的对抗样本。如图4所示，所述获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本的步骤S13包括：
S131、将所有对抗关键点按照预设扰动数目，自由组合生成待扰动点集；任一所述待扰动点集包括预设扰动数目个所述对抗关键点；
其中，预设扰动数目可根据选取进行选择，根据预设扰动数目对所有对抗关键点按照预设扰动数目进行组合，得到对应的多个待扰动点集，如通过上述步骤得到N个对抗关键点，确定预设扰动数目为m，就可以得到个待扰动点集，并在每个待扰动点集上采用FGSM算法对该扰动点集内的所有对抗关键点进行同步扰动。
S132、根据所述待攻击局部点云和所述待匹配局部点云的特征距离，分别对所述待攻击局部点云的各个待扰动点集添加扰动，生成对应的待分析对抗样本；所述待分析对抗样本表示为：
式中，i和m分别表示第i个待扰动集合和待扰动集合总数目；Ai表示对第i待扰动点集施加扰动得到的对抗样本；P1i'表示确定了第i个待扰动点集且未添加扰动的待匹配局部点云；P1和P2分别表示待匹配局部点和待匹配局部点云；ε表示扰动步长；sign(·)表示符号函数；表示根据待攻击局部点云和待匹配局部点云的特征距离对应的梯度方向。
其中，待攻击局部点云和待匹配局部点云的特征距离的计算方法采用与实际应用的3D局部点云匹配模型对应的特征距离计算方法实现即可，此处不作限制。
FGSM(Fast Gradient Sign Method)算法，是一种基于梯度生成对抗样本的单步(one-step)非定向(non-targeted)的攻击算法，其目标是通过最大化损失函数来获取对抗样本，此处具体如何使用上述待分析对抗样本公式分别对各个待扰动点集添加扰动的过程，此处不再详述。需要说明的是，上述公式中的扰动步长ε用于控制添加扰动的大小，即对对抗关键点的移动距离，可以根据需求进行调整。
本实施例通过将对抗关键点按照预设扰动数目自由组合生成多个待扰动点集，分别对待攻击局部点云上的每个待扰动点集内的对抗关键点采用FGSM算法同步添加扰动得到一组待分析对抗样本用于后续决策出最终对抗样本的方法，在保证后续得到合理有效的对抗样本的同时，还通过单步扰动提高了对抗样本的生成效率。
S14、计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本。
其中，待分析对抗样本按照上述步骤得到后，并不一定能够满足难以被人眼察觉的要求，为了使得上述添加的扰动难以被人眼察觉，本实施例选用L2距离方式进一步约束待分析对抗样本与待攻击对抗样本的距离，保证得到的对抗样本满足人眼难以察觉差异，但局部形状匹配模型预测的特征距离差异比较大的对抗样本生成要求。如图5所示，所述计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本的步骤S14包括：
S141、采用L2距离，分别计算各个所述待分析对抗样本对应的所述点云距离；所述点云距离的数目与所述待分析对抗样本的数目相同；
其中，点云距离为待分析对抗样本与待攻击局部点云的L2距离，对应的数学表达式如下：
式中，DL2(P1,Ai)表示待攻击点云P1与第i个扰动点集合对应的待分析对抗样本Ai的L2距离；x表示待攻击局部点云P1的点，x'表示待分析对抗样本Ai中的点。
S142、根据所述点云距离，从所述待分析对抗样本中选择候选对抗样本，并将所述候选对抗样本中所述点云距离最大的候选对抗样本作为所述对抗样本。
其中，候选对抗样本的选择方式原则上可以根据实际应用需求确定，本实施例中采用将得到的所有点云距离与预设距离阈值作比，从待分析对抗样本中筛选满足预设距离阈值要求的候选对抗样本，具体筛选过程为：判断是否存在所述点云距离小于预设距离阈值；若所述点云距离小于预设距离阈值，则将所述点云距离对应的所述待分析对抗样本作为候选对抗样本，反之，则更新所述待分析对抗样本，并根据更新后的所述待分析对抗样本，确定所述候选对抗样本。
上述基于L2距离得到的所有待分析样本与待攻击局部点云的点云距离均大于预设距离阈值，则需要根据所述待攻击局部点云和所述待匹配局部点云的特征距离，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本，具体步骤包括：调整所述FGSM算法的扰动步长；根据所述扰动步长，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本。
需要说明的是，上述调整FGSM算法的扰动步长，对对抗关键点重新添加扰动，更新待分析对抗样本的过程中，待扰动点集的划分不变，仅通过改变待分析对抗样本生成公式中的步长ε的大小来改变对抗关键点移动的距离的大小，且对更新后的待分析对抗样本仍重复采用上述步骤S14的过程，直至得到满足条件的对抗样本。
本申请实施例通过采用chamfer损失函数计算得到待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定待攻击局部点云的对抗关键点，再采用FGSM算法，根据待攻击局部点云和待匹配局部点云的特征距离，对对抗关键点分组添加扰动，并对得到的待分析对抗样本基于L2距离计算得到各个待分析对抗样本与待攻击局部点云的点云距离，以及根据点云距离从待分析对抗样本中确定对抗样本的技术方案，为针对三维点云局部形状匹配的几何深度学习模型对抗攻击研究提供了有效技术支撑，不仅对抗样本构建技术简单可靠，而且生成的对抗样本攻击力强，有效提升点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。
为了验证本发明3D局部点云对抗样本生成方法的技术效果，本实例选用三维点云局部形状匹配模型DIP和SpinNet模型进行实验，通过比较攻击前后的匹配成功率，来检验对抗样本的攻击性，如表1所示的实验数据可知攻击后匹配准确率明显降低很多，即采用上述3D局部点云对抗样本生成方法得到对抗样本具有很强的攻击性，有助于提高点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。
在一个实施例中，如图6所示，提供了一种3D局部点云对抗样本生成系统，所述系统包括：
预处理模块1，用于获取待攻击局部点云和与所述待攻击局部点云匹配的待匹配局部点云；
敏感检测模块2，用于计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点；
扰动添加模块3，用于获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本；
样本生成模块4，用于计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本。
需要说明的是，关于3D局部点云对抗样本生成系统的具体限定可以参见上文中对于3D局部点云对抗样本生成方法的限定，在此不再赘述。上述3D局部点云对抗样本生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图7示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种3D局部点云对抗样本生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比途中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种3D局部点云对抗样本生成方法、系统、计算机设备及存储介质，其3D局部点云对抗样本生成方法实现了通过获取待攻击局部点云和与待攻击局部点云匹配的待匹配局部点云，采用chamfer损失函数计算待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定待攻击局部点云的对抗关键点，再采用FGSM算法，根据待攻击局部点云和待匹配局部点云的特征距离，对对抗关键点添加扰动，得到一组待分析对抗样本后，基于L2距离计算各个待分析对抗样本与待攻击局部点云的点云距离，并根据点云距离从待分析对抗样本中确定对抗样本的技术方案。该3D局部点云对抗样本生成方法，为针对三维点云局部形状匹配的几何深度学习模型对抗攻击研究提供了有效技术支撑，不仅对抗样本构建技术简单可靠，而且生成的对抗样本攻击力强，有效提升点云局部形状匹配的学习能力和防御能力，进而提升点云匹配模型的鲁棒性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种3D局部点云对抗样本生成方法，其特征在于，所述方法包括以下步骤：
获取待攻击局部点云和与所述待攻击局部点云匹配的待匹配局部点云；
计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点；
获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本；
计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本；
其中，所述计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点的步骤包括：
分别删除所述待攻击局部点云内的每个点，得到对应的缺失点待攻击局部点云；所述缺失点待攻击局部点云的数目与所述待攻击局部点云内的点数相同；
采用chamfer损失函数，计算所述待攻击局部点云与缺失点待攻击局部点云的点云损失值，并将所述点云损失值作为对应缺失点的所述对抗攻击敏感度；所述点云损失值表示为：
式中，x表示待攻击局部点云P1中的一个点；x'表示缺失点待攻击局部点云P1'，中的一个点；第一项表示待攻击局部点云P1中任意一点x到缺失点待攻击局部点云P1'中任意一点x'的最小距离之和；第二项表示缺失点待攻击局部点云P1'中任意一点x'到待攻击局部点云P1中任意一点x的最小距离之和；
按照所述对抗攻击敏感度由高到低的顺序，依次从所述待攻击局部点云中选择与所述对抗攻击敏感度对应的多个所述对抗关键点。
2.如权利要求1所述的3D局部点云对抗样本生成方法，其特征在于，所述获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本的步骤包括：
将所有对抗关键点按照预设扰动数目，自由组合生成待扰动点集；任一所述待扰动点集包括预设扰动数目个所述对抗关键点；
根据所述待攻击局部点云和所述待匹配局部点云的特征距离，分别对所述待攻击局部点云的各个待扰动点集添加扰动，生成对应的待分析对抗样本；所述待分析对抗样本表示为：
式中，i和m分别表示第i个待扰动集合和待扰动集合总数目；Ai表示对第i待扰动点集施加扰动得到的对抗样本；P1i'表示确定了第i个待扰动点集且未添加扰动的待匹配局部点云；P1和P2分别表示待匹配局部点和待匹配局部点云；ε表示扰动步长；sign(·)表示符号函数；表示根据待攻击局部点云和待匹配局部点云的特征距离对应的梯度方向。
3.如权利要求1所述的3D局部点云对抗样本生成方法，其特征在于，所述计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本的步骤包括：
采用L2距离，分别计算各个所述待分析对抗样本对应的所述点云距离；所述点云距离的数目与所述待分析对抗样本的数目相同；
根据所述点云距离，从所述待分析对抗样本中选择候选对抗样本，并将所述候选对抗样本中所述点云距离最大的候选对抗样本作为所述对抗样本。
4.如权利要求3所述的3D局部点云对抗样本生成方法，其特征在于，所述根据所述点云距离，从所述待分析对抗样本中选择候选对抗样本的步骤包括：
判断是否存在所述点云距离小于预设距离阈值；
若所述点云距离小于预设距离阈值，则将所述点云距离对应的所述待分析对抗样本作为候选对抗样本，反之，则更新所述待分析对抗样本，并根据更新后的所述待分析对抗样本，确定所述候选对抗样本。
5.如权利要求4所述的3D局部点云对抗样本生成方法，其特征在于，所述更新所述待分析对抗样本，并根据更新后的所述待分析对抗样本，确定所述候选对抗样本的步骤包括：
根据所述待攻击局部点云和所述待匹配局部点云的特征距离，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本。
6.如权利要求5所述的3D局部点云对抗样本生成方法，其特征在于，所述根据所述待攻击局部点云和所述待匹配局部点云的特征距离，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本的步骤包括：
调整所述FGSM算法的扰动步长；
根据所述扰动步长，对所述对抗关键点重新添加扰动，更新所述待分析对抗样本。
7.一种3D局部点云对抗样本生成系统，其特征在于，所述系统包括：
预处理模块，用于获取待攻击局部点云和与所述待攻击局部点云匹配的待匹配局部点云；
敏感检测模块，用于计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点；
扰动添加模块，用于获取所述待攻击局部点云和所述待匹配局部点云的特征距离，并根据所述特征距离，采用FGSM算法对所述对抗关键点添加扰动，得到一组待分析对抗样本；
样本生成模块，用于计算各个所述待分析对抗样本与所述待攻击局部点云的点云距离，并根据所述点云距离，从所述待分析对抗样本中确定对抗样本；
其中，所述计算所述待攻击局部点云内每个点的对抗攻击敏感度，并根据各个对抗攻击敏感度，确定所述待攻击局部点云的对抗关键点，包括：
分别删除所述待攻击局部点云内的每个点，得到对应的缺失点待攻击局部点云；所述缺失点待攻击局部点云的数目与所述待攻击局部点云内的点数相同；
采用chamfer损失函数，计算所述待攻击局部点云与缺失点待攻击局部点云的点云损失值，并将所述点云损失值作为对应缺失点的所述对抗攻击敏感度；所述点云损失值表示为：
式中，x表示待攻击局部点云P1中的一个点；x'表示缺失点待攻击局部点云P1'，中的一个点；第一项表示待攻击局部点云P1中任意一点x到缺失点待攻击局部点云P1'中任意一点x'的最小距离之和；第二项表示缺失点待攻击局部点云P1'中任意一点x'到待攻击局部点云P1中任意一点x的最小距离之和；
按照所述对抗攻击敏感度由高到低的顺序，依次从所述待攻击局部点云中选择与所述对抗攻击敏感度对应的多个所述对抗关键点。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一所述方法的步骤。
CN202110817436.XA 2021-07-19 2021-07-19 3d局部点云对抗样本生成方法、系统、计算机及介质 Active CN113610904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110817436.XA CN113610904B (zh) 2021-07-19 2021-07-19 3d局部点云对抗样本生成方法、系统、计算机及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110817436.XA CN113610904B (zh) 2021-07-19 2021-07-19 3d局部点云对抗样本生成方法、系统、计算机及介质

Publications (2)

Publication Number Publication Date
CN113610904A CN113610904A (zh) 2021-11-05
CN113610904B true CN113610904B (zh) 2023-10-20

Family

ID=78337958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110817436.XA Active CN113610904B (zh) 2021-07-19 2021-07-19 3d局部点云对抗样本生成方法、系统、计算机及介质

Country Status (1)

Country Link
CN (1) CN113610904B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100503B (zh) * 2022-07-29 2024-05-07 电子科技大学 一种基于曲率距离与硬具体分布的对抗点云生成方法、系统、存储介质及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961145A (zh) * 2018-12-21 2019-07-02 北京理工大学 一种针对图像识别模型分类边界敏感的对抗样本生成方法
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111914946A (zh) * 2020-08-19 2020-11-10 中国科学院自动化研究所 针对离群点移除方法的对抗样本生成方法、系统和装置
CN112884802A (zh) * 2021-02-24 2021-06-01 电子科技大学 一种基于生成的对抗攻击方法
CN112927211A (zh) * 2021-03-09 2021-06-08 电子科技大学 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961145A (zh) * 2018-12-21 2019-07-02 北京理工大学 一种针对图像识别模型分类边界敏感的对抗样本生成方法
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111914946A (zh) * 2020-08-19 2020-11-10 中国科学院自动化研究所 针对离群点移除方法的对抗样本生成方法、系统和装置
CN112884802A (zh) * 2021-02-24 2021-06-01 电子科技大学 一种基于生成的对抗攻击方法
CN112927211A (zh) * 2021-03-09 2021-06-08 电子科技大学 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端

Also Published As

Publication number Publication date
CN113610904A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
Cui et al. Detection of malicious code variants based on deep learning
Lin et al. Particle swarm optimization for parameter determination and feature selection of support vector machines
CN111241989B (zh) 图像识别方法及装置、电子设备
EP4058916A1 (en) Detecting unknown malicious content in computer systems
CN113435583B (zh) 基于联邦学习的对抗生成网络模型训练方法及其相关设备
Dai et al. SMASH: A malware detection method based on multi-feature ensemble learning
Naeem Detection of malicious activities in internet of things environment based on binary visualization and machine intelligence
Zhu et al. Android malware detection based on multi-head squeeze-and-excitation residual network
CN110602120B (zh) 一种面向网络的入侵数据检测方法
CN111898561B (zh) 一种人脸认证方法、装置、设备及介质
CN113449783A (zh) 一种对抗样本生成方法、系统、计算机设备和存储介质
WO2017214970A1 (en) Building convolutional neural network
Sommer et al. Athena: Probabilistic verification of machine unlearning
CN113780363B (zh) 一种对抗样本防御方法、系统、计算机及介质
CN113610904B (zh) 3d局部点云对抗样本生成方法、系统、计算机及介质
Chen et al. CCFS: a confidence-based cost-effective feature selection scheme for healthcare data classification
Yoo et al. The image game: exploit kit detection based on recursive convolutional neural networks
CN110020593B (zh) 信息处理方法及装置、介质及计算设备
Gallagher et al. Investigating machine learning attacks on financial time series models
CN112613032B (zh) 基于系统调用序列的主机入侵检测方法及装置
CN114283899A (zh) 一种训练分子结合模型的方法、分子筛选方法及装置
Vashishtha et al. An Ensemble approach for advance malware memory analysis using Image classification techniques
CN115330579B (zh) 模型水印的构建方法、装置、设备及存储介质
CN116737850A (zh) Apt实体关系预测的图神经网络模型训练方法
CN115601629A (zh) 模型训练方法、图像识别方法、介质、装置和计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant