CN117094925A - 一种基于点代理增强和逐层上采样的猪体点云补全方法 - Google Patents

一种基于点代理增强和逐层上采样的猪体点云补全方法 Download PDF

Info

Publication number
CN117094925A
CN117094925A CN202310740692.2A CN202310740692A CN117094925A CN 117094925 A CN117094925 A CN 117094925A CN 202310740692 A CN202310740692 A CN 202310740692A CN 117094925 A CN117094925 A CN 117094925A
Authority
CN
China
Prior art keywords
point
layer
point cloud
feature
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310740692.2A
Other languages
English (en)
Inventor
尹令
罗泗港
蔡更元
杨杰
吴珍芳
张素敏
黄琼
叶健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202310740692.2A priority Critical patent/CN117094925A/zh
Publication of CN117094925A publication Critical patent/CN117094925A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述方法包括以下步骤：采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率、细粒度和均匀的完整点云，完成点云补全任务；所述的点云补全网络模型包括基于采样抽象和局部自注意力的特征提取模块、局部点云点代理生成模块、初始骨架点代理生成模块、邻域感知点代理增强Transformer模块、基于局部自注意力的逐层上采样模块。

Description

一种基于点代理增强和逐层上采样的猪体点云补全方法
技术领域
本发明涉及三维点云补全技术领域，更具体的，涉及一种基于点代理增强和逐层上采样的猪体点云补全方法。
背景技术
牲畜选种育种工作中，评估牲畜的体型和体况是被特别关注的内容。通过对牲畜的外貌和身体状况的评定，养殖户可以对牲畜的种用价值进行评估，以提高育种效益。目前牲畜的体型和体况数据基本是通过接触式的人工测量方式采集，像胸围、体长等体型和体况数据一般都是由人直接利用皮尺、测杖等工具进行手工测量。这种传统的人工测量方式不仅工作量大、效率低，而且容易产生误差，有时还会对牲畜产生应激，影响牲畜的生产质量。而采用逆向工程技术，实现牲畜表型三维重建与量算，自动化数字化的牲畜体型和体况指标的获取不仅满足了无接触、无应激的福利养殖需求，而且节约了大量的时间和人力成本，极大地提高了畜牧养殖和育种信息化及智能化水平。
从单视角获取牲畜一侧局部深度数据并提取三维特征，这种方法无需同步采集和配准，使得采集系统简单、操作便捷，能够估算体长、体宽、体高等体尺数据，但如胸围、腹围等体尺数据无法获得，因此存在一定的局限性。多视角获取牲畜多角度点云数据，再经过配准融合、平滑去噪等数据预处理过程，能够得到牲畜的完整三维点云数据，并为下游任务所使用，其中就包括体型和体况评定，但该方法相较于单视角，其采集系统的复杂性更高，采集设备需要同步、正确定位等条件的支持，价格也相对较高。
随着深度学习在点云补全上的研究和应用，将获取的局部点云恢复成完整点云成为了可能。基于监督学习的方法是将多视角采集的完整点云作为补全网络的学习数据，并将训练得到的网络模型应用于局部点云恢复成完整点云，而其中作为监督信号的完整点云对网络模型的训练和实际应用起到至关重要的作用。之前的研究者们多是在仿真模型数据集上训练补全网络，作为监督信号的完整点云可通过在CAD模型的三维网格表面上采样得到，因此得到的完整点云干净均匀，但现实世界采集得到的完整点云会由于复杂的采集环境、遮挡、反射等因素，出现密度不均匀、数据缺失，并且带有噪音的情况。针对仿真数据集和现实数据集之间的领域差异，有的研究者尝试在静物点云数据集(如植物等)上进行训练。目前还没有找到针对动物的基于深度学习的点云补全工作，相较于静物，动物完整点云的采集更加困难，且会由于视角限制、约束活动的栏杆、嘈杂的现场环境等出现大面积孔洞和显著的噪声，因此对网络模型的鲁棒性和稳定性要求更高。
对于点云补全这项任务，基于特征点的方法展现出比以往基于全局特征的方法更好地修复细粒度形状的能力，同时多级由粗到细的点云生成策略也展示出生成分布均匀、可视化效果好的点云的能力，因此吸引了许多研究者投入这方面的研究。
发明内容
本发明为了解决以上现有技术中存在的不足与缺陷的问题，提供了一种基于点代理增强和逐层上采样的猪体点云补全方法。
为实现上述本发明目的，采用的技术方案如下：
一种基于点代理增强和逐层上采样的猪体点云补全方法，所述方法包括以下步骤：
采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率、细粒度和均匀的完整点云，完成点云补全任务；
所述的点云补全网络模型包括基于采样抽象和局部自注意力的特征提取模块、局部点云点代理生成模块、初始骨架点代理生成模块、邻域感知点代理增强Transformer模块、基于局部自注意力的逐层上采样模块。
优选地，所述点云补全网络模型对输入的局部点云恢复得到完整点云的过程如下：
所述的特征提取模块，用于将输入待补全的局部点云采样出特征点并获取相应的特征向量，以及输出描述局部点云全局结构的全局特征；
所述的局部点云点代理生成模块，用于将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理；
所述的初始骨架点代理生成模块，用于将特征提取器输出的全局特征作为输入，结合特征点动态地生成骨架点并转换得到特征信息，同样加上骨架点的位置嵌入信息得到相应的初始骨架点代理；
所述的邻域感知点代理增强Transformer模块，用于增强骨架点代理的表示能力，其中包括骨架点代理全局自注意力、与局部点云点代理的交叉注意力以及邻域信息提取；
所述的逐层上采样模块，用于将骨架点及其对应的增强后的骨架点代理也可称为骨架点特征作为输入，进行逐层上采样，以逐步恢复出高分辨率、细粒度和均匀的完整点云。
进一步地，所述的特征提取模块采样出局部点云的特征点并输出特征信息，具体实现如下：采用PointNet++采样抽象层和PointTransformer局部自注意力的组合来对局部点云应用层次化的采样抽象和邻域特征点自注意力。
进一步地，所述的局部点云点代理生成模块将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理，其中位置嵌入具体如下：
对于特征点ci＝(xi，yi，zi)∈R3，利用三角函数将特征点ci嵌入到一个C维的向量中，PE(ci)＝concat(fi x，fi y，fi z)∈Rc，其中fi x，fi y，fi z分别表示x，y，z轴分量的嵌入，且
式中，α和β表示用于控制三角函数波形的可调参数。
进一步地，所述的初始骨架点代理生成模块的具体工作原理如下：
所述初始骨架点代理生成模块将特征提取器输出的全局特征投影成维度为k×3的特征，该特征被转化为k个坐标Ck，用于表示预测的骨架点，并结合特征点，一起表示完整点云的骨架点Cn；
采用多层感知机和sigmoid函数为各个骨架点Cn评分排序，选择排名前m的骨架点Cm；
骨架点Cm经过与局部点云点代理生成模块相同的位置嵌入操作提取出位置信息，最后骨架点Cm拼接上全局特征再经由多层感知机特征转换得到特征信息，并加上位置信息得到初始骨架点代理。
进一步地，所述的邻域感知点代理增强Transformer模块包括多个相同的层，每一层包括三个子层；
其中，第一子层是多头自注意力机制，用于在骨架点代理之间进行交互；
第二子层是多头交叉注意力机制，用于检索局部点云点代理中的信息；
第三子层是逐位置全连接前馈网络；
每个子层后面都使用残差连接和归一化层。
进一步地，所述的邻域感知点代理增强Transformer模块，还包括利用边卷积的邻域感知模块，用于捕获点云中的局部邻域关系；
最后将邻域感知模块捕获的特征和多头注意力机制捕获的特征拼接起来，映射到原始维度，形成输出。
进一步地，所述的逐层上采样模块包括三个上采样层，每个上采样层都包含一个上采样Transformer，其需要一个查询集Q和一个键集K；
在第一层中，利用骨架点Cm和骨架点代理也可称为骨架点特征，使用最大汇聚层求得骨架点全局特征，拼接上骨架点的坐标信息和特征信息，经由多层感知机完成特征转换得到输入上采样Transformer的查询Q；
在另外两层中，先根据骨架点和上一层输出的上采样点将骨架点特征通过插值的方式得到上采样点特征，同样使用最大汇聚层求得上采样点全局特征，再拼接上上采样点的坐标信息和特征信息，经由多层感知机完成特征转换得到输入上采样Transformer的查询Q；
具体的，采用基于k近邻的倒数距离加权平均来计算插值特征，对于上采样点中的一点，通过计算其与近邻的k个骨架点的距离，来聚合骨架点特征得到上采样点的特征；
对于上采样Transformer模块的键K，第一层使用查询Q作为键K，而另外两层使用上一层传入的模式信息作为键K；
在上采样Transformer中，首先将查询Q和键K拼接并使用多层感知机获得值V，然后通过计算中心点查询Q与其k最近邻各点键K的减法注意力来聚合值V以形成上采样特征；
对于与中心点相关的每个上采样点，对应一个特定的内核γr，其中r＝1，2，...R，R为上采样率，每个核独立地学习局部邻域的结构特征，产生一组独立的自注意权重，然后通过对值V的加权和得到上采样特征，与中心点特征相结合得到用于下一层的模式信息；
最后，在上采样特征上应用多层感知机来得到一组点位移偏移量，与中心点位置相加得到输出的上采样点。
进一步地，采集并处理得到用于训练和测试点云补全网络模型的三维点云数据，所述的三维点云数据包括局部点云和实际完整点云；
将局部点云输入点云补全网络模型恢复得到预测完整点云；
对预测完整点云与实际完整点云计算多尺度联合损失，根据多尺度联合损失迭代训练点云补全网络模型。
进一步地，采集用于训练和测试点云补全网络模型的三维点云数据，具体如下：采集目标物不同方向的局部视角点云，经过配准融合、背景去除、噪声去除以及下采样得到三维点云数据，包括局部点云和实际完整点云。
进一步地，采用倒角距离作为损失函数，其定义为如下：
式中，S1、S2为两个点云，x、y分别为点云S1和S2中一点；
倒角距离的对称版本用于计算两点云之间的平均最近点距离；
将骨架点记作Cm，将逐层上采样过程中产生的多个不同分辨率的点云记作{C1，C2，C3}，其中C3即为预测完整点云，将实际完整点云G通过迭代最远点下采样得到与{Cm，C1，C2}相同的点数，记作{G0，G1，G2}，将四个预测的损失函数写作：
l0＝dCD(G0，Cm) (5)
li＝dCD(Gi，Ci)，i＝1，2 (6)
l3＝dCD(G，C3) (7)
同时使用倒角距离的非对称版计算预测完整点云和输入的局部点云的部分匹配损失记作l4；
将总和定义为多尺度联合损失并用于点云补全网络模型的训练：
l＝l0+l1+l2+l3+l4 (8)。
本发明的有益效果如下：
本发明提出基于点代理增强和逐层上采样的猪体点云补全方法，用于将局部点云恢复成完整点云。点云补全网络模型通过特征提取加上位置嵌入生成点代理，使用邻域感知点代理增强Transformer增强骨架点代理，并采用逐级上采样实现由粗到细生成高分辨率、细粒度和分布均匀的完整点云。在单类别、密度不均匀、存在噪声、小规模的猪体数据集上与目前主流的点云补全模型进行对比实验，在多个指标的评定上，本发明提出的点云补全网络模型都取得了最佳性能，并且有较好的可视化效果，由此验证了所提的点云补全网络模型对于解决点云补全任务的有效性。
附图说明
图1是实施例1所述的基于点代理增强和逐层上采样的猪体点云补全方法的模块结构图。
图2是实施例1点云补全网络模型的总体架构图。
图3是实施例1特征提取器的设计图。
图4是实施例1局部点云点代理生成的过程。
图5是实施例1动态骨架点生成和初始骨架点代理生成的过程。
图6是实施例1邻域感知点代理增强Transformer的常规子层和邻域感知子层的设计图。
图7是实施例1邻域感知多头注意力的设计图。
图8是实施例1上采样层的设计图。
图9是实施例1各网络模型在猪体数据集上简单难度下的补全效果对比。
图10是实施例1各网络模型在猪体数据集上中等难度下的补全效果对比。
图11是实施例1各网络模型在猪体数据集上高级难度下的补全效果对比。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
本实施例以猪体点云补全为例进行详细说明如下：
如图1所示，一种基于点代理增强和逐层上采样的猪体点云补全方法，所述方法包括以下步骤：
采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率、细粒度和均匀的完整点云，完成点云补全任务；
所述的点云补全网络模型包括基于采样抽象和局部自注意力的特征提取模块、局部点云点代理生成模块、初始骨架点代理生成模块、邻域感知点代理增强Transformer模块、基于局部自注意力的逐层上采样模块。
在一个具体的实施例中，如图2所示，所述点云补全网络模型对输入的局部点云恢复得到完整点云的过程如下：
所述的特征提取模块，用于将输入待补全的局部点云采样出特征点并获取相应的特征向量，以及输出描述局部点云全局结构的全局特征；
所述的局部点云点代理生成模块，用于将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理；
所述的初始骨架点代理生成模块，用于将特征提取器输出的全局特征作为输入，结合特征点动态地生成骨架点并转换得到特征信息，同样加上骨架点的位置嵌入信息得到相应的初始骨架点代理；
所述的邻域感知点代理增强Transformer模块，用于增强骨架点代理的表示能力，其中包括骨架点代理全局自注意力、与局部点云点代理的交叉注意力以及邻域信息提取；
所述的逐层上采样模块，用于将骨架点及其对应的增强后的骨架点代理也可称为骨架点特征作为输入，进行逐层上采样，以逐步恢复出高分辨率、细粒度和均匀的完整点云。
在本实施例中，所述的特征提取模块采样出局部点云的特征点并输出特征信息，具体实现如下：采用PointNet++采样抽象层和PointTransformer局部自注意力的组合来对局部点云应用层次化的采样抽象和邻域特征点自注意力，如图3所示，其中，PointNet++采样抽象层能够逐步减少点数采样出特征点，并能有效聚合邻域信息；Point Transformer局部自注意力机制用于对邻接特征点的感知，以增强特征表示的鲁棒性。
在本实施例中，所述的局部点云点代理生成模块将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理，如图4所示，其中位置嵌入具体如下：
对于特征点ci＝(xi，yi，zi)∈R3，利用三角函数将特征点ci嵌入到一个C维的向量中，PE(ci)＝concat(fi x，fi y，fi z)∈RC，其中fi x，fi y，fi z分别表示x，y，z轴分量的嵌入，且
式中，α和β表示用于控制三角函数波形的可调参数。
得益于三角函数的内在特性，转换后的位置嵌入向量不仅可以很好地编码不同点之间的绝对位置信息，而且可以隐式地编码点之间的相对位置信息。
在本实施例中，所述的初始骨架点代理生成模块，如图5所示，具体工作原理如下：
所述初始骨架点代理生成模块将特征提取器输出的全局特征投影成维度为k×3的特征，该特征被转化为k个坐标Ck，用于表示预测的骨架点，并结合特征点，一起表示完整点云的骨架点Cn；
由于限制了Transformer输入初始骨架点代理的个数m，因此需要采用多层感知机和sigmoid函数为各个骨架点Cn评分排序，选择排名前m的骨架点Cm。该过程是动态自适应的，因此能够更好地适应点云不同程度的缺失情况，即当点云大范围缺失时，特征点相对集中，为了更好地描述完整点云，预测的骨架点评分会相对较高。而当点云只有小范围缺失，特征点能够很好地描述完整点云，则此时保留特征点作为骨架点是最合适的选择。
骨架点Cm经过与局部点云点代理生成模块相同的位置嵌入操作提取出位置信息，最后骨架点Cm拼接上全局特征经由多层感知机特征转换得到特征信息，并加上位置信息得到初始骨架点代理。
在本实施例中，采用邻域感知点代理增强Transformer模块来增强初始骨架点代理。如图6(a)所示，所述的邻域感知点代理增强Transformer模块包括多个相同的层，每一层包括三个子层；
其中，第一子层是多头自注意力机制，用于在骨架点代理之间进行交互；
第二子层是多头交叉注意力机制，用于检索局部点云点代理中的信息；
第三子层是逐位置全连接前馈网络；
每个子层后面都使用残差连接和归一化层。
为了方便残差连接，所有层的输出特征维度保持不变。
为了便于Transformer更好地利用三维点云几何结构的归纳偏差，在利用特征相似性来捕获语义关系的注意力机制外，所述的邻域感知点代理增强Transformer模块，还包括利用边卷积的邻域感知模块，用于捕获点云中的局部邻域关系，将邻域感知模块捕获的特征和多头注意力机制捕获的特征拼接起来，如图7所示，最后映射到原始维度，形成输出。
由此可以实现邻域感知多头自注意力机制和邻域感知多头交叉注意力机制，并组成邻域感知子层，如图6中的(b)所示，而图6中的(a)是常规子层。
将邻域感知子层作为邻域感知点代理增强Transformer的第一层。
在一个具体的实施例中，如图8所示，所述的逐层上采样模块包括三个上采样层，每个上采样层都包含一个上采样Transformer，其需要一个查询集Q和一个键集K。
在第一层中，利用骨架点Cm和骨架点代理也可称为骨架点特征，使用最大汇聚层求得骨架点全局特征，拼接上骨架点的坐标信息和特征信息，经由多层感知机完成特征转换得到输入上采样Transformer的查询Q。
在另外两层中，先根据骨架点和上一层输出的上采样点将骨架点特征通过插值的方式得到上采样点特征，同样使用最大汇聚层求得上采样点全局特征，再拼接上上采样点的坐标信息和特征信息，经由多层感知机完成特征转换得到输入上采样Transformer的查询Q。
具体的，采用基于k近邻的倒数距离加权平均来计算插值特征，对于上采样点中的一点c′i，通过计算点c′i与点c′i近邻的k个骨架点记作Nk(c′i)的距离，来聚合骨架点特征得到c′i的特征，具体过程描述为如下：
式中，表示点c′i和骨架点cj之间距离的倒数，pj是cj对应的骨架点特征，p′i是点c′i的插值特征。
对于上采样Transformer模块的键K，第一层使用查询Q作为键K，而另外两层使用上一层传入的模式信息作为键K。
在上采样Transformer中，首先将查询Q和键K拼接并使用多层感知机获得值V，然后通过计算中心点查询Q与其k最近邻各点键K的减法注意力来聚合值V以形成上采样特征，具体过程描述为如下：
δ＝ρ(ci-cj)+θ(pi-pj) (7)
式中，γr、α、β、和ρ、θ是特征映射函数即多层感知机，δ是学习的空间关系和特征关系的嵌入信息，attijr是对于中心点ci的近邻点cj的第r个注意力分数，vj和kj分别是近邻点的值和键，qi则是中心点的查询，hir是对于中心点ci的第r个上采样特征；
对于与中心点ci相关的每个上采样点，对应一个特定的内核γr，其中r＝1，2，...R，R为上采样率；每个核独立地学习局部邻域的结构特征，产生一组独立的自注意权重，然后通过对值V的加权和得到上采样特征，与中心点特征相结合得到用于下一层的模式信息；
最后，在上采样特征上应用多层感知机来得到一组点位移偏移量，与中心点位置相加得到输出的上采样点。
在一个具体的实施例中，对点云补全网络模型进行训练如下：
采集并处理得到用于训练和测试点云补全网络模型的猪体三维点云数据，所述的三维点云数据包括局部点云和实际完整点云；
将局部点云输入点云补全网络模型恢复得到预测完整点云；
对预测完整点云与实际完整点云计算多尺度联合损失，根据多尺度联合损失迭代训练点云补全网络模型。
进一步地，采集用于训练和测试点云补全网络模型的三维点云数据，具体如下：以猪体点云补全作为实际应用场景，采用多视角KinectAzure相机建立的非接触式猪体点云数据采集系统采集得到左、右、上3个不同方向的局部视角点云，并经过基于长方体标定物的配准算法配准融合、直通滤波和点云差集算法去除背景、地面和栏杆点云、统计滤波器和半径滤波器组合的两级滤波器去除近噪声点以及迭代最远点下采样得到用于网络训练和测试的猪体三维点云数据，包括局部点云和实际完整点云。
进一步地，采用倒角距离作为损失函数，其定义为如下：
式中，S1、S2为两个点云，x、y分别为点云S1和S2中一点；
倒角距离的对称版本用于计算两点云之间的平均最近点距离；
将骨架点记作Cm，将逐层上采样过程中产生的多个不同分辨率的点云记作{C1，C2，C3}，其中C3即为预测完整点云，将实际完整点云G通过迭代最远点下采样得到与{Cm，C1，C2}相同的点数，记作{G0，G1，G2}，将四个预测的损失函数写作：
l0＝dCD(G0，Cm) (9)
li＝dCD(Gi，Ci)，i＝1,2 (10)
l3＝dCD(G，C3) (11)
同时使用倒角距离的非对称版计算预测完整点云和输入的局部点云的部分匹配损失记作l4；
将总和定义为多尺度联合损失并用于点云补全网络模型的训练：
l＝l0+l1+l2+l3+l4 (12)。
在本实施例中，对于点云补全网络模型的训练和测试作以下的环境配置和参数设置，硬件环境为AMD Ryzen Threadripper PRO 3945WX CPU；32GB内存；NVIDIA GeForceRTX 3090GPU；操作系统为Ubuntu 22.04LTS；深度学习环境为python 3.9.13、pytorch1.13.0、CUDA 11.6。
点云补全网络模型的训练迭代次数设置为300，批大小设置为13，参数优化器选择AdamW，初始学习率设置为0.0001且每21轮衰减为原来的0.9倍，最小的学习率设置为0.02×初始学习率，权重衰退系数设置为0.0005。
在本实施例中，以猪体数据集作为基准数据集，其中猪体数据集在位于广东温氏河源新晶公司中采集完成，并且采集数据均为同种猪。经过数据预处理后，共计得到342条完整猪体点云数据，每个猪体点云包含16384个点。训练集和测试集合的划分比例为8：2。局部点云采用在线生成的方式以检验点云补全网络模型在面对各种缺失情况下的性能表现，具体来说，为了模拟现实情况，首先选择一个视角，然后从去除距离视角最远的n个点，然后通过迭代最远点采样下采样到2048个点，得到局部点云，这种局部点云生成策略灵活且高效，另外还使得视角更加多样。在训练过程中，视角随机选取，n也从2048到6144(完整点云的25％到75％)中随机选择，由此产生不同视角下不同程度的不完整性。在测试过程中，固定几个视角，并且可通过将n被设置为2048、4096或6144(完整点云的25％、50％、75％)将测试过程分为三个难度等级，包括简单难度、中等难度和高级难度。
在本实施例中，以倒角距离的L1范数版本和F-Score@1％作为评估指标定量评定补全质量。其中，给定实际点云G和预测点云P，倒角距离的L1范数版本的定义为：
其值越低表示补全效果越好，为了方便展示，将其值乘以1000。
F-Score在距离阈值d上的定义如下：
其中，P(d)和R(d)表示在距离阈值d上的准确率和召回率，它们的定义如下：
其值越高表示补全效果越好，实验中将距离阈值d设置为1％。
在本实施例中，将所提出的点云补全网络模型与在点云补全任务上具有代表性的PCN、TopNet、GRNet、SnowFlakeNet、PoinTr、AdaPoinTr网络模型进行对比实验，各网络模型的超参数设置保持原有的最佳设定以保证公平的比较。
在本实施例中，给出在猪体数据集上的定量结果，如表1所示。其中CD-S、CD-M、CD-H为固定8个视角时简单、中等、高级三种难度等级下的CD-L1值，Avg CD-L1和F-Score@1％为随机视角随机不完整性下的平均CD-L1值和F-Score@1％值。
表1在猪体数据集上的结果
由表1结果可以看到，本发明提出的点云补全网络模型在两项评估指标CD-L1和F-Score@1％明显优于其他方法，并且可以注意到提出的点云补全网络模型在固定视角不同难度等级下的表现也都优于其他方法。
图9-11展示了在固定上方、左侧和右侧三个视角时简单、中等、高级三种难度等级下的补全效果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (11)

1.一种基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述方法包括以下步骤：
采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率、细粒度和均匀的完整点云，完成点云补全任务；
所述的点云补全网络模型包括基于采样抽象和局部自注意力的特征提取模块、局部点云点代理生成模块、初始骨架点代理生成模块、邻域感知点代理增强Transformer模块、基于局部自注意力的逐层上采样模块。
2.根据权利要求1所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述点云补全网络模型对输入的局部点云恢复得到完整点云的过程如下：
所述的特征提取模块，用于将输入待补全的局部点云采样出特征点并获取相应的特征向量，以及输出描述局部点云全局结构的全局特征；
所述的局部点云点代理生成模块，用于将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理；
所述的初始骨架点代理生成模块，用于将特征提取器输出的全局特征作为输入，结合特征点动态地生成骨架点并转换得到特征信息，同样加上骨架点的位置嵌入信息得到相应的初始骨架点代理；
所述的邻域感知点代理增强Transformer模块，用于增强骨架点代理的表示能力，其中包括骨架点代理全局自注意力、与局部点云点代理的交叉注意力以及邻域信息提取；
所述的逐层上采样模块，用于将骨架点及其对应的增强后的骨架点代理也可称为骨架点特征作为输入，进行逐层上采样，以逐步恢复出高分辨率、细粒度和均匀的完整点云。
3.根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的特征提取模块采样出局部点云的特征点并输出特征信息，具体实现如下：采用PointNet++采样抽象层和Point Transformer局部自注意力的组合来对局部点云应用层次化的采样抽象和邻域特征点自注意力。
4.根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的局部点云点代理生成模块将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理，其中位置嵌入具体如下：
对于特征点ci＝(xi,yi,zi)∈R3，利用三角函数将特征点ci嵌入到一个C维的向量中，PE(ci)＝concat(fi x,fi y,fi z)∈RC，其中fi x,fi y,fi z分别表示x,y,z轴分量的嵌入，且
式中，α和β表示用于控制三角函数波形的可调参数。
5.根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的初始骨架点代理生成模块的具体工作原理如下：
所述初始骨架点代理生成模块将特征提取器输出的全局特征投影成维度为k×3的特征，特征被转化为k个坐标Ck，用于表示预测的骨架点，并结合特征点，一起表示完整点云的骨架点Cn；
采用多层感知机和sigmoid函数为各个骨架点Cn评分排序，选择排名前m的骨架点Cm；
骨架点Cm经过与局部点云点代理生成模块相同的位置嵌入操作提取出位置信息，最后骨架点Cm拼接上全局特征再经由多层感知机特征转换得到特征信息，并加上位置信息得到初始骨架点代理。
6.根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的邻域感知点代理增强Transformer模块包括多个相同的层，每一层包括三个子层；
其中，第一子层是多头自注意力机制，用于在骨架点代理之间进行交互；
第二子层是多头交叉注意力机制，用于检索局部点云点代理中的信息；
第三子层是逐位置全连接前馈网络；
每个子层后面都使用残差连接和归一化层。
7.根据权利要求6所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的邻域感知点代理增强Transformer模块，还包括利用边卷积的邻域感知模块，用于捕获点云中的局部邻域关系；
最后将邻域感知模块捕获的特征和多头注意力机制捕获的特征拼接起来，映射到原始维度，形成输出。
8.根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的逐层上采样模块包括三个上采样层，每个上采样层都包含一个上采样Transformer，其需要一个查询集Q和一个键集K；
在第一层中，利用骨架点Cm和骨架点代理也可称为骨架点特征，使用最大汇聚层求得骨架点全局特征，拼接上骨架点的坐标信息和特征信息，经由多层感知机完成特征转换得到输入上采样Transformer的查询Q；
在另外两层中，先根据骨架点和上一层输出的上采样点将骨架点特征通过插值的方式得到上采样点特征，同样使用最大汇聚层求得上采样点全局特征，再拼接上上采样点的坐标信息和特征信息，经由多层感知机完成特征转换得到输入上采样Transformer的查询Q；
具体的，采用基于k近邻的倒数距离加权平均来计算插值特征，对于上采样点中的一点，通过计算其与近邻的k个骨架点的距离，来聚合骨架点特征得到上采样点的特征；
对于上采样Transformer模块的键K，第一层使用查询Q作为键K，而另外两层使用上一层传入的模式信息作为键K；
在上采样Transformer中，首先将查询Q和键K拼接并使用多层感知机获得值V，然后通过计算中心点查询Q与其k最近邻各点键K的减法注意力来聚合值V以形成上采样特征；
对于与中心点相关的每个上采样点，对应一个特定的内核γr，其中r＝1,2，...R，R为上采样率，每个核独立地学习局部邻域的结构特征，产生一组独立的自注意权重，然后通过对值V的加权和得到上采样特征，与中心点特征相结合得到用于下一层的模式信息；
最后，在上采样特征上应用多层感知机来得到一组点位移偏移量，与中心点位置相加得到输出的上采样点。
9.根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：对点云补全网络模型进行训练如下：
采集并处理得到用于训练和测试点云补全网络模型的三维点云数据，所述的三维点云数据包括局部点云和实际完整点云；
将局部点云输入点云补全网络模型恢复得到预测完整点云；
对预测完整点云与实际完整点云计算多尺度联合损失，根据多尺度联合损失迭代训练点云补全网络模型。
10.根据权利要求9所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：采集用于训练和测试点云补全网络模型的三维点云数据，具体如下：采集目标物不同方向的局部视角点云，经过配准融合、背景去除、噪声去除以及下采样得到三维点云数据，包括局部点云和实际完整点云。
11.根据权利要求9所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：采用倒角距离作为损失函数，其定义为如下：
式中，S1、S2为两个点云，x、y分别为点云S1和S2中一点；
倒角距离的对称版本用于计算两点云之间的平均最近点距离；
将骨架点记作Cm，将逐层上采样过程中产生的多个不同分辨率的点云记作{C1,C2,C3}，其中C3即为预测完整点云，将实际完整点云G通过迭代最远点下采样得到与{Cm,C1,C2}相同的点数，记作{G0,G1,G2}，将四个预测的损失函数写作：
l0＝dCD(G0,Cm) (5)
li＝dCD(Gi,Ci),i＝1,2 (6)
l3＝dCD(G,C3) (7)
同时使用倒角距离的非对称版计算预测完整点云和输入的局部点云的部分匹配损失记作l4；
将总和定义为多尺度联合损失并用于点云补全网络模型的训练：
l＝l0+l1+l2+l3+l4 (8)。
CN202310740692.2A 2023-06-20 2023-06-20 一种基于点代理增强和逐层上采样的猪体点云补全方法 Pending CN117094925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310740692.2A CN117094925A (zh) 2023-06-20 2023-06-20 一种基于点代理增强和逐层上采样的猪体点云补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310740692.2A CN117094925A (zh) 2023-06-20 2023-06-20 一种基于点代理增强和逐层上采样的猪体点云补全方法

Publications (1)

Publication Number Publication Date
CN117094925A true CN117094925A (zh) 2023-11-21

Family

ID=88775943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310740692.2A Pending CN117094925A (zh) 2023-06-20 2023-06-20 一种基于点代理增强和逐层上采样的猪体点云补全方法

Country Status (1)

Country Link
CN (1) CN117094925A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274764A (zh) * 2023-11-22 2023-12-22 南京邮电大学 一种多模态特征融合的三维点云补全方法
CN118211132A (zh) * 2024-05-21 2024-06-18 之江实验室 一种基于点云的三维人体表面数据生成方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274764A (zh) * 2023-11-22 2023-12-22 南京邮电大学 一种多模态特征融合的三维点云补全方法
CN117274764B (zh) * 2023-11-22 2024-02-13 南京邮电大学 一种多模态特征融合的三维点云补全方法
CN118211132A (zh) * 2024-05-21 2024-06-18 之江实验室 一种基于点云的三维人体表面数据生成方法及装置

Similar Documents

Publication Publication Date Title
Wang et al. Hf-neus: Improved surface reconstruction using high-frequency details
US11450066B2 (en) 3D reconstruction method based on deep learning
CN105741252B (zh) 基于稀疏表示与字典学习的视频图像分级重建方法
CN117094925A (zh) 一种基于点代理增强和逐层上采样的猪体点云补全方法
US20240257462A1 (en) Method, apparatus, and storage medium for three-dimensional reconstruction of buildings based on missing point cloud data
Yu et al. Part-wise AtlasNet for 3D point cloud reconstruction from a single image
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN104834931A (zh) 一种基于小波变换的改进的尺度不变特征匹配算法
CN113345106A (zh) 一种基于多尺度多层级转换器的三维点云分析方法及系统
CN111260702B (zh) 激光三维点云与ct三维点云配准方法
CN116052159A (zh) 基于深度霍夫投票的3d物体识别系统及其识别方法
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和系统
Yang et al. Multiscale mesh deformation component analysis with attention-based autoencoders
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN103854015B (zh) 基于联合稀疏描述的多姿态三维人脸识别方法
CN110986949A (zh) 一种基于人工智能平台下的路径识别方法
CN114494586A (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法
Srivastava et al. Drought stress classification using 3D plant models
CN117788810A (zh) 一种无监督语义分割的学习系统
CN111275680B (zh) 基于Gabor卷积网络的SAR图像变化检测方法
CN112686202A (zh) 一种基于3d重建的人头识别方法及系统
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
Cao et al. Understanding 3D point cloud deep neural networks by visualization techniques
Zhang et al. CAD‐Aided 3D Reconstruction of Intelligent Manufacturing Image Based on Time Series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination