CN112581626B - 一种基于非参数化和多注意力机制的复杂曲面测量系统 - Google Patents

一种基于非参数化和多注意力机制的复杂曲面测量系统 Download PDF

Info

Publication number
CN112581626B
CN112581626B CN202110198676.6A CN202110198676A CN112581626B CN 112581626 B CN112581626 B CN 112581626B CN 202110198676 A CN202110198676 A CN 202110198676A CN 112581626 B CN112581626 B CN 112581626B
Authority
CN
China
Prior art keywords
attention
module
curved surface
error
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110198676.6A
Other languages
English (en)
Other versions
CN112581626A (zh
Inventor
孙立剑
张文广
徐晓刚
王军
何鹏飞
朱岳江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110198676.6A priority Critical patent/CN112581626B/zh
Publication of CN112581626A publication Critical patent/CN112581626A/zh
Application granted granted Critical
Publication of CN112581626B publication Critical patent/CN112581626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非参数化和多注意力机制的复杂曲面测量系统，主要针对形貌随机复杂的2.5D连续曲面，该系统包括依次连接的基于被测对象几何形状的曲面特定核函数设计模块、高斯过程（GP）点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块、点云空间映射模块，最终将稀疏的点云数据进行增强得到高质量高密度的点云数据。该系统针对接触式形貌测量传感器测量效率较低的问题，通过结合高斯过程和多注意力机制的超分辨技术，利用较少的测量点即可以完成对连续复杂的2.5D曲面的高精度测量和重建，具有测量效率高、点云上采样精度高和曲面细节还原性高的优点。

Description

一种基于非参数化和多注意力机制的复杂曲面测量系统
技术领域
本发明属于计算机视觉、图形图像处理领域，尤其涉及一种基于非参数化和多注意力机制的复杂曲面高效测量系统。
背景技术
在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云，点云精度和密度直接关系到图像的质量，更高的点云密度意味着包含更多的细节信息，蕴含更大的应用潜能。然而在实际获取过程中，低精度的设备虽然能获得大量数据，但是点云质量较差，因此通常采用高精度设备，但是由于高精度设备本身的限制、环境因素的影响导致无法直接获取大量的点云数据，也不利于后续的重建，检测效率的问题阻碍高精度测量仪器的进一步应用。随着计算机视觉技术的不断发展，尤其是深度学习的发展，点云增强方法也越来越多，然后直接采用点云上采样网络计算量较为复杂，而大多数机械加工表面为2.5D曲面，将其投射到二维空间，利用图像超分辨技术不失为一种有效手段。图像超分辨率技术是将低分辨率的图像通过软件手段，将其上采样到高分辨率图像，与硬件方式相比，可以有效降低图像增强的成本，在卫星成像、安防监控、医学检测、刑事侦查、历史图像修复增强等多个领域都具有非常重要的应用价值。例如通过增强卫星图的分辨率，可以让目标检测识别网络更好地识别其中的目标。然而图像超分网络处理的是结构化像素数据，而点云是非结构化数据，因此需要首先通过其他模型将非结构点云数据处理为规则的数据。高斯过程作为一种基于统计学的非参数化方法，能够利用已有的先验知识进行回归分类处理，在点云处理，包括重建、采样和融合方面均取得了不错的效果，不仅能够处理带噪声的点云数据，而且能同时输出去噪后的连续曲面数据和对应的不确定度。因此，将其用于非结构点云数据的前处理是十分合适的。
目前有很多关于图像超分辨的网络，在处理各种各样的场景、物体方面都有了比较明显的提升，针对点云方面的超分辨网络较少，而且直接用图像超分技术不能直接适用于非结构的点云数据，而且缺少相关的具有实际应用价值的数据集，为了克服现有技术的不足，提升点云插值的效果，在网络方面融合高斯过程和多注意力超分辨网络的优势，在数据集方面融入实际加工和密集检测的小样本测量数据集，另外根据实测数据尺度和噪声规模，基于分形布朗运动来模拟加工误差数据，分形布朗运动与实际加工的误差数据分布非常接近，通过分形布朗运动生成仿真的数据对，结合小样本的实测数据对，能够有效提升网络的泛化性能。
发明内容
本发明的目的在于针对现有高精度接触式测量传感器测量效率较低的问题，提供了一种基于非参数化和多注意力机制的复杂曲面高效测量系统，利用较少的测量数据，通过上采样技术得到高密度高精度的点云数据，从而恢复出细节信息，达到重建精度的要求。
为实现上述目的，本发明采用如下技术方案：
一种基于非参数化和多注意力机制的复杂曲面测量系统，包括：基于被测对象几何形状的曲面特定核函数设计模块、高斯过程点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块和点云空间映射模块；所述曲面特定核函数设计模块、高斯过程点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块、点云空间映射模块依次连接，所述多尺度多注意力超分辨模块包括依次连接的高斯过程模型和多注意力超分辨结构，高斯过程模型用于从非结构的归一化数据中获得潜在的几何信息，然后输出三种分辨率的轮廓和对应的不确定度信息，其中三种分辨率分别是目标输出分辨率、1/2目标输出分辨率和1/4目标输出分辨率；多注意力超分辨结构具有并行的三个支路，每一个支路依次通过一个多注意力单元DAU和由多个通道注意力单元RCAB组成的多通道注意力单元RCABs。
进一步的，所述曲面特定核函数设计模块根据目标被测曲面的几何先验知识，结合高斯过程核函数的几何特性，利用贝叶斯准则确定优选的复合核函数模型，用于后续的点云自适应采样和重建。
进一步的，所述高斯过程点云自适应采样模块用于初始高斯模型的构建，然后根据模型输出的几何轮廓和设计曲面进行比较，得到重建误差，将重建误差和模型输出的不确定度作为采样准则进行后续点云的采集，目标采样点为重建误差和不确定度较大的区域。
进一步的，所述曲面配准和稀疏误差重建模块，利用基于内蕴曲面特征的数据匹配进行半精匹配，将检测数据进行曲面拟合，计算得到测量曲面和设计曲面的内蕴几何量：高斯曲率和平均曲率，然后计算两组高斯曲率的互相关性并进行归一化处理，找到峰值点坐标，确定两组数据的对应位置，获得刚体变换矩阵，然后再结合最近点迭代方法进行精匹配，最后将两组数据统一到同一个坐标系下，将测量点与设计曲面进行比对，输出实际测量点的测量误差图。
进一步的，所述曲面配准和稀疏误差重建模块输出的测量误差图输入高斯过程模型，其中1/4分辨率误差图通过一个DAU和RCABs之后，将特征图输入到上采样模块中得到1/2的上采样特征图，将其与第二支路的1/2分辨率误差图通过DAU处理之后的特征图进行级联，级联结果输入到第二支路的RCABs和与上采样模块中，得到1/1的上采样特征图，将其与第三支路的1/1分辨率误差图通过DAU处理之后的特征图进行级联，级联结果输入到第三支路的RCABs，然后与第三支路中通过DAU处理之后的特征图进行元素相加操作，输入到3×3卷积层，得到最终增强后的目标分辨率图。
进一步的，所述上采样模块由Nearest插值、LReLU和3×3卷积层组成。
进一步的，所述多注意力单元DAU包括对不确定度进行注意力操作，通过测量误差图得到误差特征图，该误差特征图分别输入到空间注意力单元和通道注意力单元，得到注意力图，所得注意力图再与输入的误差特征图进行点乘操作，得到注意力增强特征图；通过不确定度得到不确定度注意力图，将其与误差特征图进行点乘操作，得到基于不确定度增强的误差特征图，通过和注意力增强特征图进行级联操作，所得结果再和测量误差图进行元素相加操作，得到多注意力增强后的误差特征图。
进一步的，所述的通道注意力单元RCAB包括1个全局平均池化层、1个3×3卷积层和一个sigmoid激活层；所述的空间注意力单元包括一个并行的全局平均池化层和全局最大池化层，将并行的结果进行级联并输入到1个3×3卷积层和和一个sigmoid激活层。
进一步的，所述像素化和归一化模块将点云的测量误差数据转化为图像的像素信息，点云位置为像素位置，点云高度信息为图像的灰度信息，然后将其进行归一化处理。
进一步的，所述解归一化模块和点云空间映射模块用于将增强后的基于像素的灰度图像信息重新映射到2.5D曲面空间中，从而获得经过上采样之后的高精度点云。
本发明的有益效果是，结合非参数方法和基于多尺度多注意力机制的图像超分辨率方法来进行2.5D曲面点云的监督学习。GP提供不规则结构的潜在几何信息，超分辨方法提供目标几何形状的细节信息；引入分形布朗运动fBm，根据实际加工曲面的信息生成成对数据，模拟加工误差，并加入实测的真实加工数据，进一步提高训练与真实数据的相似性；利用基于GP的特定核函数，将分散的噪声数据转换为网格去噪数据，对训练和测试的输入数据进行映射，通过GP变换到高斯分布空间中，使该方法能够将真实世界的数据变换到与训练数据相对接近的分布中；开发了一种新的多尺度方法，在网络层次上保持原有的高分辨率特征。同时，模型将不确定性引入到注意力机制中，在每个多分辨率并行分支上都集成一个多注意单元。通过引入高斯过程，该模型能够输出连续的曲面模型，根据需要可以得到任意分辨率的网格数据，然后超分辨网络部分能够提供4倍的上采样操作，进一步对输入特征进行细节增强。
附图说明
图1是本发明的基于非参数化和多注意力机制的复杂曲面测量系统流程示意图；
图2是本发明的多尺度多注意力超分辨模块结构示意图；
图3是本发明的多注意力单元DAU结构示意图；
图4是本发明在合成数据集上的测试结果对比图。
具体实施方式
下面结合附图和实施例详细说明本发明。
如图1所示，本发明的基于非参数化和多注意力机制的复杂曲面测量系统，包括：基于被测对象几何形状的曲面特定核函数设计模块、高斯过程点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块、点云空间映射模块；所述曲面特定核函数设计模块、高斯过程点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块、点云空间映射模块依次连接，所述多尺度多注意力超分辨模块中包含多注意力单元，在每一个并行支路上执行多注意力机制操作。
所述曲面特定核函数设计模块根据目标被测曲面的几何先验知识，结合高斯过程 核函数的几何特性，利用贝叶斯准则确定优选的复合核函数模型，用于后续的点云自适应 采样和重建；根据常见的曲面几何形状，所述的复合核函数为平方指数核函数（
Figure 200435DEST_PATH_IMAGE001
）、 Matérn核函数族（
Figure 862360DEST_PATH_IMAGE002
）、周期性核函数（
Figure 532376DEST_PATH_IMAGE003
）、以及白噪声核函数（
Figure 646963DEST_PATH_IMAGE004
） 的一个或多个的组合形式，本实施例中选择的复合核函数为
Figure 427837DEST_PATH_IMAGE001
和
Figure 944269DEST_PATH_IMAGE002
的组合 形式，先在每一个维度上进行核函数相加操作，然后再将两个维度上的核函数进行相乘操 作，表达式如下所示：
Figure 785186DEST_PATH_IMAGE005
Figure 387069DEST_PATH_IMAGE006
；
其中
Figure 971634DEST_PATH_IMAGE007
，
Figure 342572DEST_PATH_IMAGE008
，表示第i个点和第j个点在x-y平面上的坐标。
所述高斯过程点云自适应采样模块用于指导接触式传感器进行点云的自适应采样，该模块用Hammersley采样方法采集若干点云用于初始高斯模型的构建，然后根据模型输出的几何轮廓和设计曲面进行比较，得到重建误差，将重建误差和模型输出的不确定度作为采样准则进行后续点云的采集，目标采样点为重建误差和不确定度较大的区域。
所述曲面配准和稀疏误差重建模块，利用基于内蕴曲面特征的数据匹配进行半精匹配，将传感器检测数据进行曲面拟合，计算得到测量曲面和设计曲面的内蕴几何量：高斯曲率和平均曲率，然后计算这两组高斯曲率的互相关性并进行归一化处理，找到峰值点坐标，确定两组数据的对应位置，获得刚体变换矩阵，然后再结合最近点迭代方法进行精匹配，最后将两组数据统一到同一个坐标系下，将测量点与设计曲面进行比对，输出实际测量点的测量误差。
所述像素化和归一化模块将点云的测量误差数据转化为图像的像素信息，点云位置为像素位置，点云高度信息为图像的灰度信息，然后将其进行归一化处理。
如图2所示，所述多尺度多注意力超分辨模块为本系统的核心模块，主要包括多尺度结构和多注意力机制结构，用于将目标分辨率的图像通过非参数化高斯过程和多注意力超分辨网络结构进行点云插值，获得高质量的上采样点云。该模块的结构包括依次连接的高斯过程模型GP和多注意力超分辨结构，高斯过程模型用于从非结构的归一化数据中获得潜在的几何信息，然后输出三种分辨率的轮廓和对应的不确定度信息，其中三种分辨率分别是目标输出分辨率、1/2目标输出分辨率和1/4目标输出分辨率；多注意力超分辨结构，该结构有并行的三个支路，每一个支路依次通过一个多注意力单元（DAU）和由多个通道注意力单元（RCAB）组成的多通道注意力单元（RCABs），每一支路的RCAB个数为10，每个RCAB的特征通道数为16，其中1/4分辨率误差图通过一个DAU和RCABs之后，将特征图输入到由Nearest插值、LReLU和3×3卷积层组成的上采样模块中得到1/2的上采样特征图，将其与第二支路的1/2分辨率误差图通过DAU处理之后的特征图进行级联，级联结果输入到第二支路的RCABs和与第一支路同样的上采样模块中，得到1/1的上采样特征图，同样地，将其与第三支路的1/1分辨率误差图通过DAU处理之后的特征图进行级联，级联结果输入到第三支路的RCABs，然后与第三支路中通过DAU处理之后的特征图进行元素相加操作，输入到3×3卷积层，得到最终增强后的目标分辨率图。
如图3所示，所述的多注意力单元（DAU）除了包括常用的空间注意力和通道注意力，还有包括对不确定度进行注意力操作，不确定度能反映出该区域是否测量到，信息量较少的地方通常不确定度较大，将误差图依次通过2个3×3卷积层、1个LReLU、1个3×3卷积层得到误差特征图，该误差特征图分别输入到空间注意力单元和通道注意力单元，得到注意力图，所得结果再与输入的误差特征图进行点乘操作，得到注意力增强特征图；另一方面，不确定度通过1个3×3卷积层、1个LReLU、1个3×3卷积层和1个sigmoid激活层，得到不确定度注意力图，将其与误差特征图进行点乘操作，得到基于不确定度增强的误差特征图，通过和注意力增强特征图进行级联操作，输入到一个3×3卷积层，所得结果再和误差图经过第一个3×3卷积层后的特征图进行元素相加操作，得到多注意力增强后的误差特征图；
所述的通道注意力单元RCAB包括1个全局平均池化层、1个3×3卷积层和一个sigmoid激活层；所述的空间注意力单元包括一个并行的全局平均池化层和全局最大池化层，将并行的结果进行级联并输入到1个3×3卷积层和和一个sigmoid激活层。
所述的多尺度多注意力超分辨模块的训练阶段，根据曲面的加工误差数据特性， 训练的数据包括两部分，一部分利用实际加工并通过高密度高精度测量的零件误差数据， 将该误差数据进行插值生成规则化的高分辨率网格数据，通过下采样得到低分辨率的网格 数据作为对应的低分辨数据对，通过裁剪获得目标分辨率大小的数据对，由于实际加工的 数量较少，该数据对规模较小；另一方面，根据实际加工误差的尺度范围和噪声情况，特别 地，引入分形布朗运动生成数据量较多的数据对，用于模拟实际的加工误差，从而在实测样 本不多的情况下保证网络的泛化性能，训练阶段的损失函数
Figure 354391DEST_PATH_IMAGE009
如下所示，
Figure 177990DEST_PATH_IMAGE010
其中
Figure 769508DEST_PATH_IMAGE011
为像素级损失，
Figure 994953DEST_PATH_IMAGE012
为负对数似然损失，
Figure 177673DEST_PATH_IMAGE013
和
Figure 754148DEST_PATH_IMAGE014
分别为对应的权重系 数；
Figure 680516DEST_PATH_IMAGE015
其中
Figure 763397DEST_PATH_IMAGE016
为已知像素点的灰度值，
Figure 382597DEST_PATH_IMAGE017
为基于复合核函数的协方差矩阵，
Figure 180789DEST_PATH_IMAGE018
为像 素点在图像平面上的位置，
Figure 645268DEST_PATH_IMAGE019
为单位矩阵，
Figure 845305DEST_PATH_IMAGE020
为已知像素点的个数；
Figure 900986DEST_PATH_IMAGE021
Figure 655315DEST_PATH_IMAGE022
表示模型的超参数，
Figure 189065DEST_PATH_IMAGE023
表示噪声的方差，
Figure 509188DEST_PATH_IMAGE024
表示真值,
Figure 204611DEST_PATH_IMAGE025
表示生成的超分辨图 像，𝜏 是常数，通常设置为
Figure 977395DEST_PATH_IMAGE026
。
所述解归一化模块和点云空间映射模块用于将增强后的基于像素的灰度图像信息重新映射到2.5D曲面空间中，从而获得经过上采样之后的高精度点云。
本案例中，利用分形布朗运动的生成5000组数据对，数据对的误差尺度来源于实 际某个铣床的加工误差，误差的峰谷值大约在45微米到55微米之间，测量噪声服从高斯分 布（0,0.0022），选择64×64图像块作为高分辨率图像，下采样率设置为5%，实际有效点数 204的图像块作为对应的低分辨率图像，将高低分辨率的图像对作为训练集、验证集和测试 集，使用Adam进行训练，指数衰减率β1 = 0.9，用来控制权重分配，指数衰减率β2 = 0.999， 用来控制梯度平方的影响情况，除数加一个参数
Figure 49256DEST_PATH_IMAGE027
，避免除数变为0，学习率设置为 0.0002，使用反向传播策略更新网络，如已收敛，则保存训练好的网络模型，用作最终的推 理。分布选择100张低分辨率的图作为测试集。另外，用同样的方法在实测数据集上进行训 练和测试，测试结果如表1所示，对比常用的插值方法，包括B样条（Bspline）、克里金 （Kriging）、高斯过程（GP）和去掉多尺度多注意力机制的本方法（GP-SR(w/o DAB)）进行了 同样的数据集训练和测试，本发明得到的100张测试图片的平均PSNR和SSIM都取得了较高 的结果，另外由于是点云组成的连续曲面数据，纹理信息较为单一，没有图片丰富和复杂， 所以生成的评价指标都很高。图4是多种方法在合成数据集上的测试结果，从图4中可以看 出本方法产生的结果和真值数据（GT）最接近。
数据 Ours Bspline Kriging GP GP-SR(w/o DAB)
仿真数据 52.78/0.8969 48.04/0.8461 49.66/0.8573 50.75/0.8657 51.55/0.8792
真实数据 52.33/0.8915 45.52/0.8374 49.03/0.8496 50.13/0.8609 51.07/0.8737
表1. 本发明与其他算法在不同测试数据集的性能比较(PSNR/SSIM)，采样率为5%。

Claims (7)

1.一种基于非参数化和多注意力机制的复杂曲面测量系统，包括：基于被测对象几何形状的曲面特定核函数设计模块、高斯过程点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块和点云空间映射模块；其特征在于：所述曲面特定核函数设计模块、高斯过程点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块、点云空间映射模块依次连接，所述多尺度多注意力超分辨模块包括依次连接的高斯过程模型和多注意力超分辨结构，高斯过程模型用于从非结构的归一化数据中获得潜在的几何信息，然后输出三种分辨率的轮廓和对应的不确定度信息，其中三种分辨率分别是目标输出分辨率、1/2目标输出分辨率和1/4目标输出分辨率；多注意力超分辨结构具有并行的三个支路，每一个支路依次通过一个多注意力单元DAU和由多个通道注意力单元RCAB组成的多通道注意力单元RCABs；
所述曲面特定核函数设计模块根据目标被测曲面的几何先验知识，结合高斯过程核函数的几何特性，利用贝叶斯准则确定优选的复合核函数模型，用于后续的点云自适应采样和重建；
所述曲面配准和稀疏误差重建模块，利用基于内蕴曲面特征的数据匹配进行半精匹配，将检测数据进行曲面拟合，计算得到测量曲面和设计曲面的内蕴几何量：高斯曲率和平均曲率，然后计算两组高斯曲率的互相关性并进行归一化处理，找到峰值点坐标，确定两组数据的对应位置，获得刚体变换矩阵，然后再结合最近点迭代方法进行精匹配，最后将两组数据统一到同一个坐标系下，将测量点与设计曲面进行比对，输出实际测量点的测量误差图；
所述曲面配准和稀疏误差重建模块输出的测量误差图输入高斯过程模型，其中1/4分辨率误差图通过一个DAU和RCABs之后，将特征图输入到上采样模块中得到1/2的上采样特征图，将其与第二支路的1/2分辨率误差图通过DAU处理之后的特征图进行级联，级联结果输入到第二支路的RCABs和与上采样模块中，得到1/1的上采样特征图，将其与第三支路的1/1分辨率误差图通过DAU处理之后的特征图进行级联，级联结果输入到第三支路的RCABs，然后与第三支路中通过DAU处理之后的特征图进行元素相加操作，输入到3×3卷积层，得到最终增强后的目标分辨率图。
2.如权利要求1所述的基于非参数化和多注意力机制的复杂曲面测量系统，其特征在于：
所述高斯过程点云自适应采样模块用于初始高斯模型的构建，然后根据模型输出的几何轮廓和设计曲面进行比较，得到重建误差，将重建误差和模型输出的不确定度作为采样准则进行后续点云的采集，目标采样点为重建误差和不确定度较大的区域。
3.如权利要求1所述的基于非参数化和多注意力机制的复杂曲面测量系统，其特征在于：所述上采样模块由Nearest插值、LReLU和3×3卷积层组成。
4.如权利要求1所述的基于非参数化和多注意力机制的复杂曲面测量系统，其特征在于：所述多注意力单元DAU包括对不确定度进行注意力操作，通过测量误差图得到误差特征图，该误差特征图分别输入到空间注意力单元和通道注意力单元，得到注意力图，所得注意力图再与输入的误差特征图进行点乘操作，得到注意力增强特征图；通过不确定度得到不确定度注意力图，将其与误差特征图进行点乘操作，得到基于不确定度增强的误差特征图，通过和注意力增强特征图进行级联操作，所得结果再和测量误差图进行元素相加操作，得到多注意力增强后的误差特征图。
5.如权利要求4所述的基于非参数化和多注意力机制的复杂曲面测量系统，其特征在于：
所述的通道注意力单元RCAB包括1个全局平均池化层、1个3×3卷积层和一个sigmoid激活层；所述的空间注意力单元包括一个并行的全局平均池化层和全局最大池化层，将并行的结果进行级联并输入到1个3×3卷积层和和一个sigmoid激活层。
6.如权利要求1所述的基于非参数化和多注意力机制的复杂曲面测量系统，其特征在于：
所述像素化和归一化模块将点云的测量误差数据转化为图像的像素信息，点云位置为像素位置，点云高度信息为图像的灰度信息，然后将其进行归一化处理。
7.如权利要求1所述的基于非参数化和多注意力机制的复杂曲面测量系统，其特征在于：
所述解归一化模块和点云空间映射模块用于将增强后的基于像素的灰度图像信息重新映射到2.5D曲面空间中，从而获得经过上采样之后的高精度点云，整个模型在训练过程中引入分形布朗运动fBm，根据实际加工曲面的历史测量信息生成高低分辨率的成对数据，模拟加工误差。
CN202110198676.6A 2021-02-23 2021-02-23 一种基于非参数化和多注意力机制的复杂曲面测量系统 Active CN112581626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110198676.6A CN112581626B (zh) 2021-02-23 2021-02-23 一种基于非参数化和多注意力机制的复杂曲面测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110198676.6A CN112581626B (zh) 2021-02-23 2021-02-23 一种基于非参数化和多注意力机制的复杂曲面测量系统

Publications (2)

Publication Number Publication Date
CN112581626A CN112581626A (zh) 2021-03-30
CN112581626B true CN112581626B (zh) 2021-06-08

Family

ID=75113903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110198676.6A Active CN112581626B (zh) 2021-02-23 2021-02-23 一种基于非参数化和多注意力机制的复杂曲面测量系统

Country Status (1)

Country Link
CN (1) CN112581626B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436237B (zh) * 2021-08-26 2021-12-21 之江实验室 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN114820329B (zh) * 2022-07-01 2022-11-25 之江实验室 基于高斯过程大核注意力装置引导的曲面测量方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060148181A1 (en) * 2004-12-31 2006-07-06 Taiwan Semiconductor Manufacturing Co., Ltd. Strained channel CMOS device with fully silicided gate electrode
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN108257093A (zh) * 2018-01-18 2018-07-06 洛阳理工学院 基于可控核与高斯过程回归的单帧图像超分辨方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060148181A1 (en) * 2004-12-31 2006-07-06 Taiwan Semiconductor Manufacturing Co., Ltd. Strained channel CMOS device with fully silicided gate electrode
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN108257093A (zh) * 2018-01-18 2018-07-06 洛阳理工学院 基于可控核与高斯过程回归的单帧图像超分辨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AIM 2020 Challenge on Real Image Super-Resolution: Methods and Results;Pengxu Wei等;《European Conference on Computer Vision Workshops》;20200925;全文 *
复杂曲面三维轮廓精度数字化比对检测与误差分析;陆峰等;《制造业自动化》;20140930;全文 *

Also Published As

Publication number Publication date
CN112581626A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
Riegler et al. Octnetfusion: Learning depth fusion from data
CN107239751B (zh) 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法
CN110187143B (zh) 一种基于深度神经网络的层析piv重构方法和装置
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN110348330A (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN113962858B (zh) 一种多视角深度获取方法
CN109410195B (zh) 一种磁共振成像脑分区方法及系统
CN112581626B (zh) 一种基于非参数化和多注意力机制的复杂曲面测量系统
CN114692509B (zh) 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN113112583A (zh) 基于红外热成像的3d人体重构方法
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
Wang et al. 3D model inpainting based on 3D deep convolutional generative adversarial network
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN117974886A (zh) 一种基于Transformer网络的三维流场超分辨率重建方法
CN113034371B (zh) 一种基于特征嵌入的红外与可见光图像融合方法
CN117788296A (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN118037791A (zh) 多模态三维医学图像分割配准模型的构建方法及其应用
CN117237663A (zh) 一种大感受野的点云修复方法
Lin et al. A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery
CN113593007B (zh) 一种基于变分自编码的单视图三维点云重建方法及系统
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant