CN116486089A - 基于知识蒸馏的点云分割网络轻量化方法、装置及设备 - Google Patents

基于知识蒸馏的点云分割网络轻量化方法、装置及设备 Download PDF

Info

Publication number
CN116486089A
CN116486089A CN202310678715.1A CN202310678715A CN116486089A CN 116486089 A CN116486089 A CN 116486089A CN 202310678715 A CN202310678715 A CN 202310678715A CN 116486089 A CN116486089 A CN 116486089A
Authority
CN
China
Prior art keywords
point
representing
saliency
information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310678715.1A
Other languages
English (en)
Inventor
刘浩伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Weiya Intelligence Technology Co ltd
Original Assignee
Xiamen Weiya Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Weiya Intelligence Technology Co ltd filed Critical Xiamen Weiya Intelligence Technology Co ltd
Priority to CN202310678715.1A priority Critical patent/CN116486089A/zh
Publication of CN116486089A publication Critical patent/CN116486089A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于知识蒸馏的点云分割网络轻量化方法，通过将点云与标签信息送入教师模型、学生模型，以分别获取第一特征图以及第一特征图的点特征重要性分数、第二特征图，再对第一特征图、第二特征图基于重要性分数、标签信息进行分类采样，进一步处理获得全局结构化信息、局部结构化信息，再结合标签信息与学生模型预测结果的交叉熵损失，获得语义分割的总损失；本发明提出了分类采样的类别均衡性采样策略，有效缓解了点云的稀疏性和类别不均衡性导致的问题，并针对点云语义分割设计了全局结构化信息提取和局部结构化信息提取，有效传递了教师模型学习到的知识。

Description

基于知识蒸馏的点云分割网络轻量化方法、装置及设备
技术领域
本发明涉及点云分割技术领域，尤其涉及基于知识蒸馏的点云分割网络轻量化方法、装置及设备。
背景技术
随着三维激光传感器、RGB-D相机（如Kinect、RealSense和Apple深度相机）等三维采集设备性能的提高，获取具有丰富几何形状的纹理信息的三维数据。该类传感器可应用于不同测量精度的场景，随着数据精度的提高，使消费电子产品的微小零部件缺陷检测成为可能，而深度学习的发展为工业缺陷检测领域提供了有效的技术手段，因此基于深度学习的大规模三维点云实时处理成为研究热点。深度学习技术自PointNet解决点云的旋转不变性和置换不变性后，各种新的点云深度学习架构不断提出，深度学习模型在点云分割任务中的性能不断提高。然而目前点云语义分割模型为了获得越好性能，往往采用更深更宽的模型，这意味着更大的计算量和存储量。复杂的模型具有更好的性能，但是高额的存储空间与计算资源消耗使其难以应对高实时性任务（自动驾驶）或轻量化载体（移动设备与边缘设备）要求。
如何对点云深度模型及逆行压缩和加速，利用深度学习模型直接高效的处理大规模点云是目前的研究难点和热点。知识蒸馏作为一种特别的模型压缩方法，采用教师模型传递知识给学生模型的训练方式，可以将具有较低的推理时延、较弱的算力和较少的存储量的轻量化学生模型的准确率提高到接近教师模型的水平，满足资源受限的平台部署和运行需求。
现有的知识蒸馏策略大都应用于基于图像的深度学习模型，其采取的方式主要有logits蒸馏、feature蒸馏、注意力蒸馏以及结构化信息蒸馏等。其中结构化信息蒸馏是针对图像语义分割模型提出的，其用于提取像素之间的结构化关系。然而由于三维点云存在稀疏性、类别不均衡性等特点，以上方法直接应用于点云处理任务中收效甚微，故有学者针对点云深度学习模型的知识蒸馏策略进行了研究。
方案一：发明名称为“一种对点云分割网络进行知识蒸馏的方法”的专利提出一种对点云分割网络进行知识蒸馏的方法，该方法从点和体素两个层面去进行知识蒸馏，可以有效缓解点云的稀疏性问题。同时为了缓解点云无序密度不均导致的问题设计了基于学习难度和距离远近的采样策略。此外，该方法通过构建体素内部点亲和度和体素间亲和度关系有效传递了点云空间信息，提高了蒸馏性能。
方案二：发明名称为“一种基于知识蒸馏和语义融合的点云场景分割方法”的专利设计了双流图神经网络，教师模型学习局部的稠密点云信息，学生模型学习采样后的稀疏全局点云信息。然后通过对抗学习构建蒸馏模块将细节信息传递给稀疏点云的特征。最后通过动态图上下文语义信息融合模块，同时学习稠密局部点云特征和稀疏全局点云特征的高层语义关系和空间位置关系将全局的上下文语义信息融合至局部区域，从而得到更精确的分割结果。该方法由于需要双流执行，会引入额外的参数量和计算量。
方案三：发明名称为“目标识别方法、目标识别模型训练方法及装置”的专利设计了3个蒸馏模块，分别是基于学生模型和教师模型分别输出的3D特征图的类别传导蒸馏模块、基于学生模型和教师模型所分别输出的2D特征图的特征传导蒸馏模块以及基于学生模型和教师模型分别输出的识别结果的预测传导蒸馏模块。该方法使得所训练得到的学生模型达到接近于教师模型的目标检测、识别效果。
上诉三个技术方案中，方案一考虑到点云的稀疏性和密度不均匀等问题，通过逐点和逐体素的蒸馏方法有效提升了蒸馏效果，但是该方法不适用于基于点的点云深度神经网络。方案二仅考虑到点云的稀疏性问题，并没有考虑结构化信息，同时需要双流执行，会引入额外的参数量和计算量。方案三从多个角度传递教师模型的学习到的知识，使学生模型达到接近于教师模型的性能，但是该方法并不适用于点云语义分割模型。因而以上方案有待进一步优化。
发明内容
本发明的目的在于提供基于知识蒸馏的点云分割网络轻量化方法，以解决上述问题。
本发明第一方面提供了一种基于知识蒸馏的点云分割网络轻量化方法，包括以下步骤：
步骤A：将采集到的点云数据以及逐点标注的标签信息/>，分别送入学生模型和教师模型，然后提取教师模型骨干网络输出的第一特征图/>并计算第一特征图，提取学生模型骨干网络输出的第二特征图/>；
步骤B：基于标签信息和重要性分数/>，分别对第一特征图/>、第二特征图/>进行分类采样，得到基于教师模型的第一显著性特征图/>、基于学生模型的第二显著性特征图/>，其中第一显著性特征图/>中的每一个点特征为第一显著性点、第二显著性特征图/>中的每一个点特征为第二显著性点；
步骤C：构建各第一显著性点之间的第一逐点的相似性矩阵，构建各第二显著性点之间的第二逐点的相似性矩阵/>，并对第一逐点的相似性矩阵/>及第二逐点的相似性矩阵/>进行知识蒸馏，获得全局结构化信息/>；
步骤D：构建各第一显著性点与其邻居节点间相似性的第一局部信息，构建各第二显著性点与其邻居节点间相似性的第二局部信息/>，对第一局部信息/>及第二局部信息进行知识蒸馏，获得局部结构化信息/>；
步骤E：在知识蒸馏的基础上，计算标签信息与学生模型预测结果/>的交叉熵损失/>，结合全局结构化信息/>、局部结构化信息/>，以获得点云语义分割的总损失/>。
进一步地，所述步骤A具体包括以下步骤：
步骤A1：将采集到的点云数据以及逐点标注的标签信息/>送入学生模型和教师模型，其中/>表示点云中点的数量，/>表示点的特征数；然后提取教师模型骨干网络输出的第一特征图/>，其中，/>表示点云中点的数量,/>表示第一特征图的通道数；提取学生模型骨干网络输出的第二特征图/>，其中/>表示点云中点的数量,/>表示第二特征图/>的通道数；
步骤A2：计算第一特征图中所有点特征的重要性分数/>，所述重要性分数中第/>个点特征的重要性分数/>为第一特征图/>中对应点特征沿通道维度的置换不变最大值，表示如下：
进一步地，所述步骤B具体包括以下步骤：
步骤B1：利用标签信息对第一特征图/>中所有点特征的重要性分数/>进行分类聚合，得到重要性分数类别总集/>，其中/>表示类别数，/>表示第/>个类别的点特征的重要性分数集合；
步骤B2：对重要性分数类别总集中每个类别的点特征的重要性分数集合，分别提取出n个关键点云的第一索引/>，将第一索引/>聚合后得到第二索引/>，其中维度/>，式中/>表示每个类别关键点云数量，/>表示类别数；
步骤B3：通过第二索引提取与第一特征图/>对应的第一显著性特征图，其中/>表示第一特征图的通道数, 所述第一显著性特征图/>中的每一个点特征为第一显著性点；通过第二索引/>提取与第二特征图/>对应的第二显著性特征图，其中/>表示第二特征图的通道数,所述第二显著性特征图/>中的每一个点特征为第二显著性点。
进一步地，所述步骤C具体包括以下步骤：
步骤C1：构建各第一显著性点之间的第一逐点的相似性矩阵，构建各第二显著性点之间的第二逐点的相似性矩阵/>，表述为下式，其中/>表示转置操作：
其中中的/>和/>表示第一显著性点在第一显著性特征图中的索引，/>中/>和/>表示第二显著性点在第二显著性特征图中的索引，/>表示第一显著性特征图中第/>个第一显著性点，/>表示第一显著性特征图中第/>个第一显著性点，/>表示第二显著性特征图中第/>个第二显著性点，/>表示第二显著性特征图中第/>个第二显著性点；
步骤C2：对第一逐点的相似性矩阵及第二逐点的相似性矩阵/>进行知识蒸馏，表述为下式：
式中，和/>表示第一显著性点/第二显著性点在第一显著性特征图/第二显著性特征图中的索引，/>表示类别数，/>表示每个类别关键点云数量，/>表示第/>个第一显著性点与第/>个第一显著性点间的相似度，/>表示第/>个第二显著性点与第/>个第二显著性点间的相似度。
进一步地，所述步骤D具体包括以下步骤：
步骤D1：以每个第一显著性点作为中心点，然后查找其周围个邻居节点；以每个第二显著性点作为中心点，然后查找其周围/>个邻居节点；
步骤D2：构建各第一显著性点与其邻居节点间相似性的第一局部信息，具体是分别对每个第一显著性点与其邻居节点进行构图，/>，其中顶点，边/>，/>表示第一显著性点和其邻居节点的相似性，可表述为下式，其中/>表示转置操作：
式中：表示第一特征图/>中第/>个第一显著性点，/>表示与该第一显著性点相邻的第/>个邻居节点；
构建各第二显著性点与其邻居节点间相似性的第二局部信息，具体是分别对每个第二显著性点与其周围/>个邻居节点进行构图/>，其中顶点，边/>，/>表示第二显著性点和其邻居节点的相似性：
式中：表示第二特征图/>中第/>个第二显著性点，/>表示与该第二显著性点相邻的第/>个邻居节点；
步骤D3：对第一局部信息及第二局部信息/>进行知识蒸馏，表述为下式：
式中，表示类别数，/>表示每个类别关键点云数量，/>表示第一显著性点/第二显著性点进行构图的邻居节点数量，/>表示第一显著性点和其邻居节点的相似性，表示第二显著性点和其邻居节点的相似性。
进一步地，所述步骤E具体包括以下步骤：
步骤E1：将标签信息传递给学生模型加以指导，即计算标签信息/>与学生模型预测结果/>的交叉熵损失：
式中，表示点云中点的数量，/>表示类别数，/>为网络预测点/>为归属于/>类别的概率，/>是其one-hot编码的对应标签，/>表示点云中点的索引，/>表示类别；
步骤E2：计算点云语义分割的总损失，表述为下式：
式中，表示计算标签信息/>与学生模型预测结果/>的交叉熵损失，/>表示第一平衡权重，/>表示第二平衡权重，/>表示全局结构化信息，/>表示局部结构化信息。
本发明的第二方面提供了一种基于知识蒸馏的点云分割网络轻量化装置，应用于第一方面所述的一种基于知识蒸馏的点云分割网络轻量化方法，包括：
第一特征信息提取模块，其内置教师模型，用于接收点云数据、预设的标签信息，并基于点云数据/>提取教师模型骨干网络输出的第一特征图/>，并计算第一特征图/>中每一个点特征的重要性分数/>；
第二特征信息提取模块，其内置学生模型，用于接收点云数据、预设的标签信息，并基于点云数据/>提取学生模型骨干网络输出的第二特征图/>、以及输出学生模型预测结果/>；
类别均衡性采样模块，接收第一特征信息提取模块输出的第一特征图及重要性分数/>，接收第二特征信息提取模块输出的第二特征图/>，基于标签信息/>和重要性分数/>分别对第一特征图/>、第二特征图/>进行分类采样，得到基于教师模型的第一显著性特征图/>、基于学生模型的第二显著性特征图/>，其中第一显著性特征图/>中的每一个点特征称为第一显著性点、第二显著性特征图/>中的每一个点特征称为第二显著性点；
全局结构化信息提取模块，用于接收类别均衡性采样模块输出的第一显著性特征图、第二显著性特征图/>，对各第一显著性点求第一逐点的相似性矩阵/>，对第二显著性点/>求第二逐点的相似性矩阵/>，对齐第一逐点的相似性矩阵/>与第二逐点的相似性矩阵/>,获得全局结构化信息/>；
局部结构化信息提取模块，用于接收类别均衡性采样模块输出的第一显著性特征图、第二显著性特征图/>，为第一显著性点构建邻域关系并计算第一局部信息/>，为第二显著性点构建邻域关系并计算第二局部信息/>，对齐第一局部信息/>与第二局部信息, 获得局部结构化信息/>；
模型训练模块，用于接收全局结构化信息提取模块输出的全局结构化信息、局部结构化信息提取模块输出的局部结构化信息/>以及第二特征信息提取模块输出的学生模型预测结果/>，通过计算标签信息与学生模型预测结果的交叉熵损失/>，矫正教师模型传递给学生模型的错误信息，结合全局结构化信息、局部结构化信息/>，以获得点云语义分割的总损失/>。
本发明第三方面提供了一种电子设备，包括：
一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的方法。
采用上述方案后，相比于现有技术，本发明具有以下有益效果：
一、在提取第一显著性特征图、第二显著性特征图的过程中，通过标签信息和重要性分数/>分别对第一特征图/>、第二特征图/>进行分类采样，即使用了类别均衡性采样策略，有效缓解了点云的稀疏性和类别不均衡性导致的问题，
二、针对点云语义分割设计了全局结构化信息部分和局部结构化信息部分，通过全局结构化信息与局部结构化信息的整合，有效将教师模型学习到的知识，传递至学生模型。
三、本发明适用于基于点/体素的点云深度神经网络，且属于可插拔式结构，不会引入额外的参数量和计算量，不仅适用于大规模点云应用场景，还能轻松地应用到任意点云语义分割网络。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的变形形式。
图1是本发明实施例的步骤流程示意图；
图2是本发明实施例的类别均衡性采样示意图；
图3是本发明实施例的局部结构化信息提取示意图；
图4是本发明实施例的装置框图；
图5是本发明实施例的设备框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的适用于点云语义分割的知识蒸馏策略，通常需要对点云做进一步处理（如体素化）这导致方法的可移植性和适用性较差。如图1-图4所示，本发明提供了一种基于知识蒸馏的点云分割网络轻量化方法，通过将点云数据X与标签信息Y送入教师模型、学生模型，以分别获取基于教师模型的第一特征图以及第一特征图/>的所有点特征的重要性分数/>、基于学生模型的第二特征图/>，再对第一特征图/>、第二特征图/>基于重要性分数/>、标签信息Y进行分类采样，进一步处理获得第一显著性特征图/>、第二显著性特征图，提取第一显著性特征图/>、第二显著性特征图/>中各点特征的全局结构化信息、局部结构化信息/>，最终结合标签信息Y与学生模型预测结果/>的交叉熵损失/>，获得语义分割的总损失/>，如此不仅有效向学生模型传递了教师模型学习到的知识，还可轻松迁移到任意架构的点云语义分割模型中，应用范围广泛，即不仅可应用于工业缺陷检测领域，亦适用于其他大规模点云场景。本方法包括以下步骤：
步骤A：将采集到的点云数据以及逐点标注的标签信息/>，分别送入学生模型和教师模型，然后提取教师模型骨干网络输出的第一特征图/>并计算第一特征图，提取学生模型骨干网络输出的第二特征图/>；
具体地，步骤A1:将采集到的点云数据以及逐点标注的标签信息送入学生模型和教师模型，其中/>表示点云中点的数量如/>，/>表示点的特征数，点的特征数根据实际情况进行设定，在本实施例中/>为6,即包括点的三维坐标()以及颜色信息(/>)，教师模型举例而言，为经过预训练的RandLA-Net网络（进行5次特征聚合），相应地学生模型为未训练的RandLA-Net网络（进行4次特征聚合）；然后提取教师模型骨干网络输出的第一特征图/>，其中/>表示点云中点的数量如,/>表示第一特征图/>的通道数；提取学生模型骨干网络输出的第二特征图，其中/>表示点云中点的数量如/>,/>表示第二特征图/>的通道数，在教师模型与学生模型为RandLA-Net的网络中，上述骨干网络解释为特征提取和特征聚合构成的U-Net结构;步骤A2:计算第一特征图/>中所有点特征的重要性分数/>，需要说明的是重要性分数/>视为一种注意力机制，即教师模型更关注的点，所述重要性分数/>中第个点特征的重要性分数/>为第一特征图/>中对应点特征沿通道维度的置换不变最大值，表示如下：
步骤B：如图2所示，基于标签信息和重要性分数/>，分别对第一特征图/>、第二特征图/>进行分类采样，得到基于教师模型的第一显著性特征图/>、基于学生模型的第二显著性特征图/>，其中第一显著性特征图/>中的每一个点特征为第一显著性点、第二显著性特征图/>中的每一个点特征为第二显著性点；
具体地，步骤B1：利用标签信息对第一特征图/>中所有点特征的重要性分数/>进行分类聚合，得到重要性分数类别总集/>，其中/>表示类别数，/>表示第个类别的点特征的重要性分数集合，类别数根据实际情况设定，如本实施例中点云分割类别数设置为13；步骤B2：对重要性分数类别总集/>中每个类别的点特征的重要性分数集合，分别提取出n个关键点云的第一索引/>，将第一索引/>聚合后得到第二索引/>，其中维度/>，式中/>表示每个类别关键点云数量，/>表示类别数，其中关键点云即在各类别中重要性分数高的点云，重要性分数高如选取重要性分数排名前20%的分数，具体可根据实际情况而定；在本实施例中，/>，即索引个数取原始点数的1/5，使20%的点特征成为更关注的点，但需要说明的是各类别/>的值优选相同，但允许各类别存在一定偏差，如最小值与最大值的比在80%-100%；步骤B3：通过第二索引/>提取与第一特征图/>对应的第一显著性特征图/>，其中/>表示第一特征图的通道数, 所述第一显著性特征图/>中的每一个点特征为第一显著性点；通过第二索引/>提取与第二特征图/>对应的第二显著性特征图/>，其中/>表示第二特征图的通道数,所述第二显著性特征图/>中的每一个点特征为第二显著性点；上述采样为类别均衡性采样，即每个类别所采集的数量是相同或基本相同的。
步骤C：构建各第一显著性点之间的第一逐点的相似性矩阵，构建各第二显著性点之间的第二逐点的相似性矩阵/>，需要说明的是逐点的相似性矩阵定义如下，例如矩阵数值(i,j)位置的值表示的是第i个点和第j个点之间的相似性，该定义可参考专利《一种对点云分割网络进行知识蒸馏的方法》，并对第一逐点的相似性矩阵/>及第二逐点的相似性矩阵/>进行知识蒸馏，获得全局结构化信息/>，其中蒸馏原理可参考论文《Structured Knowledge Distillation for Semantic Segmentation》；
具体地，步骤C1：构建各第一显著性点之间的第一逐点的相似性矩阵，构建各第二显著性点之间的第二逐点的相似性矩阵/>，表述为下式，其中/>表示转置操作：
其中中的/>和/>表示第一显著性点在第一显著性特征图中的索引，/>中/>和/>表示第二显著性点在第二显著性特征图中的索引，/>表示第一显著性特征图中第/>个第一显著性点，/>表示第一显著性特征图中第/>个第一显著性点，/>表示第二显著性特征图中第/>个第二显著性点，/>表示第二显著性特征图中第/>个第二显著性点；
步骤C2：对第一逐点的相似性矩阵及第二逐点的相似性矩阵/>进行知识蒸馏，表述为下式：
式中，和/>表示第一显著性点/第二显著性点在第一显著性特征图/第二显著性特征图中的索引，/>表示类别数，/>表示每个类别关键点云数量，其中关键点云即在各类别中重要性分数高的点云，重要性分数高如选取重要性分数排名前20%的分数，具体可根据实际情况而定，/>表示第/>个第一显著性点与第/>个第一显著性点间的相似度，/>表示第/>个第二显著性点与第/>个第二显著性点间的相似度。
步骤D：如图4所示，构建各第一显著性点与其邻居节点间相似性的第一局部信息，构建各第二显著性点与其邻居节点间相似性的第二局部信息/>，对第一局部信息/>及第二局部信息/>进行知识蒸馏，获得局部结构化信息/>；
具体地，
步骤D1：以每个第一显著性点作为中心点，然后查找其周围个邻居节点；以每个第二显著性点作为中心点，然后查找其周围/>个邻居节点；
步骤D2：构建各第一显著性点与其邻居节点间相似性的第一局部信息，具体是分别对每个第一显著性点与其邻居节点进行构图，/>，其中顶点，边/>，/>表示第一显著性点和其邻居节点的相似性，可表述为下式，其中/>表示转置操作：
式中：表示第一特征图/>中第/>个第一显著性点，/>表示与该第一显著性点相邻的第/>个邻居节点；
构建各第二显著性点与其邻居节点间相似性的第二局部信息，具体是分别对每个第二显著性点与其周围/>个邻居节点进行构图/>，其中顶点，边/>，/>表示第二显著性点和其邻居节点的相似性：
式中：表示第二特征图/>中第/>个第二显著性点，/>表示与该第二显著性点相邻的第/>个邻居节点；
步骤D3：对第一局部信息及第二局部信息/>进行知识蒸馏，表述为下式：
式中，表示类别数，/>表示每个类别关键点云数量，/>表示第一显著性点/第二显著性点进行构图的邻居节点数量，/>表示第一显著性点和其邻居节点的相似性，表示第二显著性点和其邻居节点的相似性。
步骤E：由于教师模型不可避免地传递一些错误信息，为了减缓这些信息的影响，将标签信息传递给学生模型加以指导，即在知识蒸馏的基础上，计算标签信息/>与学生模型预测结果/>的交叉熵损失/>，由于标签信息/>是正确的，将标签信息/>和学生模型预测结果/>做交叉熵损失/>，预防学生模型被教师模型的错误信息误导，交叉熵损失/>结合全局结构化信息/>、局部结构化信息/>，以获得点云语义分割的总损失/>。
具体地，步骤E1：将标签信息传递给学生模型加以指导，即计算标签信息/>与学生模型预测结果/>的交叉熵损失：
式中，表示点云中点的数量，/>表示类别数，/>为网络预测点/>为归属于/>类别的概率，/>是其one-hot编码的对应标签，/>表示点云中点的索引，/>表示类别；
步骤E2：计算点云语义分割的总损失，表述为下式：
式中，表示计算标签信息/>与学生模型预测结果/>的交叉熵损失，/>表示第一平衡权重，/>表示第二平衡权重，/>表示全局结构化信息，/>表示局部结构化信息。在本实例中，可令/>，在实际应用中仅需通过更换不同的教师模型以及学生模型即可轻松地将本方法应用到任意点云语义分割网络。
综上，本发明具有以下有益效果：
一、在提取第一显著性特征图、第二显著性特征图的过程中，通过标签信息和重要性分数/>分别对第一特征图/>、第二特征图/>进行分类采样，即使用了类别均衡性采样策略，有效缓解了点云的稀疏性和类别不均衡性导致的问题，
二、针对点云语义分割设计了全局结构化信息部分和局部结构化信息部分，通过全局结构化信息与局部结构化信息的整合，有效将教师模型学习到的知识，传递至学生模型。
三、本发明适用于基于点/体素的点云深度神经网络，且属于可插拔式结构，不会引入额外的参数量和计算量，不仅适用于大规模点云应用场景，还能轻松地应用到任意点云语义分割网络。
本发明还提供了一种基于知识蒸馏的点云分割网络轻量化装置，应用于上述的一种基于知识蒸馏的点云分割网络轻量化方法，如图5所示，包括：
第一特征信息提取模块，其内置教师模型，用于接收点云数据、预设的标签信息，并基于点云数据/>提取教师模型骨干网络输出的第一特征图/>，并计算第一特征图/>中每一个点特征的重要性分数/>；
第二特征信息提取模块，其内置学生模型，用于接收点云数据、预设的标签信息，并基于点云数据/>提取学生模型骨干网络输出的第二特征图/>、以及输出学生模型预测结果/>；
类别均衡性采样模块，接收第一特征信息提取模块输出的第一特征图及重要性分数/>，接收第二特征信息提取模块输出的第二特征图/>，基于标签信息/>和重要性分数/>分别对第一特征图/>、第二特征图/>进行分类采样，得到基于教师模型的第一显著性特征图/>、基于学生模型的第二显著性特征图/>，其中第一显著性特征图/>中的每一个点特征称为第一显著性点、第二显著性特征图/>中的每一个点特征称为第二显著性点；
全局结构化信息提取模块，用于接收类别均衡性采样模块输出的第一显著性特征图、第二显著性特征图/>，对各第一显著性点求第一逐点的相似性矩阵/>，对第二显著性点求第二逐点的相似性矩阵/>，对齐第一逐点的相似性矩阵/>与第二逐点的相似性矩阵/>,获得全局结构化信息/>；
局部结构化信息提取模块，用于接收类别均衡性采样模块输出的第一显著性特征图、第二显著性特征图/>，为第一显著性点构建邻域关系并计算第一局部信息/>，为第二显著性点构建邻域关系并计算第二局部信息/>，对齐第一局部信息/>与第二局部信息, 获得局部结构化信息/>；
模型训练模块，用于接收全局结构化信息提取模块输出的全局结构化信息、局部结构化信息提取模块输出的局部结构化信息/>以及第二特征信息提取模块输出的学生模型预测结果/>，通过计算标签信息与学生模型预测结果的交叉熵损失/>，矫正教师模型传递给学生模型的错误信息，结合全局结构化信息、局部结构化信息/>，以获得点云语义分割的总损失/>。
本发明还提供一种电子设备，如图5所示，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。由于本实施例所介绍的电子设备为实施方法所采用的设备，故而基于本申请中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (8)

1.一种基于知识蒸馏的点云分割网络轻量化方法，其特征在于，包括以下步骤：
步骤A：将采集到的点云数据以及逐点标注的标签信息/>，分别送入学生模型和教师模型，然后提取教师模型骨干网络输出的第一特征图/>并计算第一特征图/>中所有点特征的重要性分数/>，提取学生模型骨干网络输出的第二特征图/>；
步骤B：基于标签信息和重要性分数/>，分别对第一特征图/>、第二特征图/>进行分类采样，得到基于教师模型的第一显著性特征图/>、基于学生模型的第二显著性特征图，其中第一显著性特征图/>中的每一个点特征为第一显著性点、第二显著性特征图中的每一个点特征为第二显著性点；
步骤C：构建各第一显著性点之间的第一逐点的相似性矩阵，构建各第二显著性点之间的第二逐点的相似性矩阵/>，并对第一逐点的相似性矩阵/>及第二逐点的相似性矩阵进行知识蒸馏，获得全局结构化信息/>；
步骤D：构建各第一显著性点与其邻居节点间相似性的第一局部信息，构建各第二显著性点与其邻居节点间相似性的第二局部信息/>，对第一局部信息/>及第二局部信息/>进行知识蒸馏，获得局部结构化信息/>；
步骤E：在知识蒸馏的基础上，计算标签信息与学生模型预测结果/>的交叉熵损失，结合全局结构化信息/>、局部结构化信息/>，以获得点云语义分割的总损失/>。
2.根据权利要求1所述的一种基于知识蒸馏的点云分割网络轻量化方法，其特征在于，所述步骤A具体包括以下步骤：
步骤A1：将采集到的点云数据以及逐点标注的标签信息/>送入学生模型和教师模型，其中/>表示点云中点的数量，/>表示点的特征数；然后提取教师模型骨干网络输出的第一特征图/>，其中，/>表示点云中点的数量,/>表示第一特征图/>的通道数；提取学生模型骨干网络输出的第二特征图/>，其中/>表示点云中点的数量,/>表示第二特征图/>的通道数；
步骤A2：计算第一特征图中所有点特征的重要性分数/>，所述重要性分数/>中第/>个点特征的重要性分数/>为第一特征图/>中对应点特征沿通道维度的置换不变最大值，表示如下：
。
3.根据权利要求1所述的一种基于知识蒸馏的点云分割网络轻量化方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：利用标签信息对第一特征图/>中所有点特征的重要性分数/>进行分类聚合，得到重要性分数类别总集/>，其中/>表示类别数，/>表示第/>个类别的点特征的重要性分数集合；
步骤B2：对重要性分数类别总集中每个类别的点特征的重要性分数集合，分别提取出n个关键点云的第一索引/>，将第一索引/>聚合后得到第二索引/>，其中维度，式中/>表示每个类别关键点云数量，/>表示类别数；
步骤B3：通过第二索引提取与第一特征图/>对应的第一显著性特征图/>，其中/>表示第一特征图的通道数, 所述第一显著性特征图/>中的每一个点特征为第一显著性点；通过第二索引/>提取与第二特征图/>对应的第二显著性特征图/>，其中/>表示第二特征图的通道数,所述第二显著性特征图/>中的每一个点特征为第二显著性点。
4.根据权利要求1至3任一所述的一种基于知识蒸馏的点云分割网络轻量化方法，其特征在于，所述步骤C具体包括以下步骤：
步骤C1：构建各第一显著性点之间的第一逐点的相似性矩阵，构建各第二显著性点之间的第二逐点的相似性矩阵/>，表述为下式，其中/>表示转置操作：
其中中的/>和/>表示第一显著性点在第一显著性特征图中的索引，/>中/>和/>表示第二显著性点在第二显著性特征图中的索引， />表示第一显著性特征图中第/>个第一显著性点，/>表示第一显著性特征图中第/>个第一显著性点，/>表示第二显著性特征图中第/>个第二显著性点，/>表示第二显著性特征图中第/>个第二显著性点；
步骤C2：对第一逐点的相似性矩阵及第二逐点的相似性矩阵/>进行知识蒸馏，表述为下式：
式中，和/>表示第一显著性点/第二显著性点在第一显著性特征图/第二显著性特征图中的索引，/>表示类别数，/>表示每个类别关键点云数量，/>表示第/>个第一显著性点与第/>个第一显著性点间的相似度，/>表示第/>个第二显著性点与第/>个第二显著性点间的相似度。
5.根据权利要求1至3任一所述的一种基于知识蒸馏的点云分割网络轻量化方法，其特征在于，所述步骤D具体包括以下步骤：
步骤D1：以每个第一显著性点作为中心点，然后查找其周围个邻居节点；以每个第二显著性点作为中心点，然后查找其周围/>个邻居节点；
步骤D2：构建各第一显著性点与其邻居节点间相似性的第一局部信息，具体是分别对每个第一显著性点与其邻居节点进行构图，/>，其中顶点，边/>，/>表示第一显著性点和其邻居节点的相似性，可表述为下式，其中/>表示转置操作：
式中：表示第一特征图/>中第/>个第一显著性点，/>表示与该第一显著性点相邻的第/>个邻居节点；
构建各第二显著性点与其邻居节点间相似性的第二局部信息，具体是分别对每个第二显著性点与其周围/>个邻居节点进行构图/> ，其中顶点，边/>，/>表示第二显著性点和其邻居节点的相似性：
式中：表示第二特征图/>中第/>个第二显著性点，/>表示与该第二显著性点相邻的第/>个邻居节点；
步骤D3：对第一局部信息及第二局部信息/>进行知识蒸馏，表述为下式：
式中，表示类别数，/>表示每个类别关键点云数量，/>表示第一显著性点/第二显著性点进行构图的邻居节点数量，/>表示第一显著性点和其邻居节点的相似性，/>表示第二显著性点和其邻居节点的相似性。
6.根据权利要求1至3任一所述的一种基于知识蒸馏的点云分割网络轻量化方法，其特征在于，所述步骤E具体包括以下步骤：
步骤E1：将标签信息传递给学生模型加以指导，即计算标签信息/>与学生模型预测结果/>的交叉熵损失：
式中，表示点云中点的数量，/>表示类别数，/>为网络预测点/>为归属于/>类别的概率，/>是其one-hot编码的对应标签，/>表示点云中点的索引，/>表示类别；
步骤E2：计算点云语义分割的总损失，表述为下式：
式中，表示计算标签信息/>与学生模型预测结果/>的交叉熵损失，/>表示第一平衡权重，/>表示第二平衡权重，/>表示全局结构化信息，/>表示局部结构化信息。
7.一种基于知识蒸馏的点云分割网络轻量化装置，应用于权利要求1至6任一项所述的一种基于知识蒸馏的点云分割网络轻量化方法，包括：
第一特征信息提取模块，其内置教师模型，用于接收点云数据、预设的标签信息/>，并基于点云数据/>提取教师模型骨干网络输出的第一特征图/>，并计算第一特征图/>中每一个点特征的重要性分数/>；
第二特征信息提取模块，其内置学生模型，用于接收点云数据、预设的标签信息/>，并基于点云数据/>提取学生模型骨干网络输出的第二特征图/>、以及输出学生模型预测结果；
类别均衡性采样模块，接收第一特征信息提取模块输出的第一特征图及重要性分数，接收第二特征信息提取模块输出的第二特征图/>，基于标签信息/>和重要性分数/>分别对第一特征图/>、第二特征图/>进行分类采样，得到基于教师模型的第一显著性特征图、基于学生模型的第二显著性特征图/>，其中第一显著性特征图/>中的每一个点特征称为第一显著性点、第二显著性特征图/>中的每一个点特征称为第二显著性点；
全局结构化信息提取模块，用于接收类别均衡性采样模块输出的第一显著性特征图、第二显著性特征图/>，对各第一显著性点求第一逐点的相似性矩阵/>，对第二显著性点/>求第二逐点的相似性矩阵/>，对齐第一逐点的相似性矩阵/>与第二逐点的相似性矩阵/>, 获得全局结构化信息/>；
局部结构化信息提取模块，用于接收类别均衡性采样模块输出的第一显著性特征图、第二显著性特征图/>，为第一显著性点构建邻域关系并计算第一局部信息/>，为第二显著性点构建邻域关系并计算第二局部信息/>，对齐第一局部信息/>与第二局部信息/>, 获得局部结构化信息/>；
模型训练模块，用于接收全局结构化信息提取模块输出的全局结构化信息、局部结构化信息提取模块输出的局部结构化信息/>以及第二特征信息提取模块输出的学生模型预测结果/>，通过计算标签信息与学生模型预测结果的交叉熵损失/>，矫正教师模型传递给学生模型的错误信息，结合全局结构化信息、局部结构化信息/>，以获得点云语义分割的总损失/>。
8.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。
CN202310678715.1A 2023-06-09 2023-06-09 基于知识蒸馏的点云分割网络轻量化方法、装置及设备 Pending CN116486089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310678715.1A CN116486089A (zh) 2023-06-09 2023-06-09 基于知识蒸馏的点云分割网络轻量化方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310678715.1A CN116486089A (zh) 2023-06-09 2023-06-09 基于知识蒸馏的点云分割网络轻量化方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116486089A true CN116486089A (zh) 2023-07-25

Family

ID=87214117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310678715.1A Pending CN116486089A (zh) 2023-06-09 2023-06-09 基于知识蒸馏的点云分割网络轻量化方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116486089A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333757A (zh) * 2023-11-16 2024-01-02 中国科学院空天信息创新研究院 图像处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333757A (zh) * 2023-11-16 2024-01-02 中国科学院空天信息创新研究院 图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Li et al. Learning source-invariant deep hashing convolutional neural networks for cross-source remote sensing image retrieval
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
Costea et al. Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN111753677A (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN116486089A (zh) 基于知识蒸馏的点云分割网络轻量化方法、装置及设备
Zhang et al. CFANet: Efficient detection of UAV image based on cross-layer feature aggregation
Jiang et al. Local and global structure for urban ALS point cloud semantic segmentation with ground-aware attention
Yang et al. C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks
Pierdicca et al. GeoAI: a review of artificial intelligence approaches for the interpretation of complex geomatics data
Vlahogianni et al. Model free identification of traffic conditions using unmanned aerial vehicles and deep learning
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Yuan et al. Category-level adversaries for outdoor lidar point clouds cross-domain semantic segmentation
Liu et al. Locate where you are by block joint learning network
Zoljodi et al. 3dlanenas: Neural architecture search for accurate and light-weight 3d lane detection
WO2023179593A1 (zh) 数据处理方法及装置
CN114913330B (zh) 点云部件分割方法、装置、电子设备与存储介质
Wang et al. YOLO-ERF: lightweight object detector for UAV aerial images
Ansari et al. Angle-based feature learning in GNN for 3D object detection using point cloud
CN104408158A (zh) 一种基于几何重构和语义融合的视点追踪方法
CN115471833A (zh) 一种动态局部自注意力卷积网络点云分析系统及方法
Hu et al. PolyRoad: Polyline Transformer for Topological Road-boundary Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 201a, Jinfeng Building, information optoelectronic Park, torch high tech Zone, Xiamen, Fujian Province

Applicant after: Xiamen Weiya Intelligent Technology Co.,Ltd.

Address before: Room 201a, Jinfeng Building, information optoelectronic Park, torch high tech Zone, Xiamen, Fujian Province

Applicant before: XIAMEN WEIYA INTELLIGENCE TECHNOLOGY Co.,Ltd.