CN114820329B - 基于高斯过程大核注意力装置引导的曲面测量方法及装置 - Google Patents
基于高斯过程大核注意力装置引导的曲面测量方法及装置 Download PDFInfo
- Publication number
- CN114820329B CN114820329B CN202210764209.XA CN202210764209A CN114820329B CN 114820329 B CN114820329 B CN 114820329B CN 202210764209 A CN202210764209 A CN 202210764209A CN 114820329 B CN114820329 B CN 114820329B
- Authority
- CN
- China
- Prior art keywords
- sampling
- curved surface
- gaussian process
- resolution
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 230000008569 process Effects 0.000 title claims abstract description 98
- 238000005070 sampling Methods 0.000 claims abstract description 158
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 15
- 238000004441 surface measurement Methods 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims 1
- 210000002231 macronucleus Anatomy 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 28
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000005653 Brownian motion process Effects 0.000 description 3
- 238000005537 brownian motion Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于高斯过程大核注意力装置引导的曲面测量方法及装置,依次进行初始点采样、曲面上采样、曲面重建和误差评定、采样点选择,其中曲面上采样由高斯过程模型和基于大核注意力机制的预训练上采样模型组成,通过上述操作获得关键的点云数据,通过这些数据,可以用非常有限的数据完成目标精度的曲面重建;同时,针对高精度接触式形貌测量传感器测量效率较低的问题,通过局域高斯过程和深度学习的上采样模型,进行点云的自适应采样,然后再对这些数据进行重建,可以在保证重建精度和细节还原度的同时提高复杂曲面的测量效率。
Description
技术领域
本发明涉及精密测量和图像处理技术领域,尤其是涉及一种基于高斯过程大核注意力装置引导的曲面测量方法及装置。
背景技术
对于复杂曲面形貌的准确恢复,往往需要一定数量的高精度数据和相应的曲面重建方法,如何在保持测量精度的同时,提高测量效率一直是复杂曲面测量领域非常关注的问题。通常在实际的测量中,低精度的测量设备能够快速获取大量点云数据,而高精度的测量设备往往需要花费很多时间,为了减少采样次数,需要寻找对重建效果帮助最大的点云数据,通过这些数据在进行相应的上采样方法即可恢复出高精度高密度的数据。目前已经有很多曲面重建和插值模型对测量传感器进行采样指导,获取信息量最大的点云数据,并通过该模型进一步获得高密度的点云数据。例如双三次曲面、B样条曲面、贝塞尔曲面、基于径向基函数和贝叶斯方法的曲面,通过这类基于参数化和非参数的曲面模型结合采样准则进行点云的采集和曲面的重建。随着机器学习和深度学习的不断发展,点云增强方法也越来越多,对于大多数工程零件而言,机加工表面为2.5D曲面,将其投射到二维空间,利用图像上采样技术可以用来进行细节的恢复。图像超分辨率网络可以将低分辨率的图像上采样到高分辨率图像,仅通过有限的数据就能恢复出较好的细节特征,在图像增强取得了不错的效果。然而图像超分网络需要规则化的输入,并且放大倍数是固定的,输入数据容易受到测量噪声的影响,无法直接将点云测量数据通过图像超分辨进行上采样,而且现有的超分辨方法大多只能捕获相邻的信息,无法捕获整体的结构信息,一些自我注意机制可以捕捉大范围的依赖,但是计算量过大,也不利于实际的采样中。
同时,针对具有形貌随机复杂的三维几何结构进行数字样机建模,由于其中涉及到的三维几何模型具有复杂的曲面,实际测量困难,测量效率低下,而实际测量中又需要保证较好的重建精度。
发明内容
为解决现有技术的不足,引入了多种设计曲面模型,并用分形布朗运动来模拟加工误差数据,作为数据集进行训练,并且引入高斯过程对原始采样的散乱点云数据进行预先处理,使真实数据分布逼近合成数据分布,同时获得干净的任意间隔的网格数据,进一步输入到超分辨模型中,超分辨模型引入自注意力和大核卷积的优点,分解一个大的核卷积操作来捕获较大范围的依赖关系,充分挖掘少量数据的相关性,最后利用该模型去选择目标采样点并进行稀疏点云的上采样操作,利用少量的测量信息即可恢复出曲面细节信息,提升测量效率。本发明采用如下的技术方案:
一种基于高斯过程大核注意力装置,包括高斯过程模型模块和图像超分辨率模型模块,所述图像超分辨模型模块用于将映射到二维空间的低密度点云数据,通过归一化层和卷积层,得到低分辨率特征,低分辨率特征经一组特征增强块处理后,与处理前的低分辨率特征相加,得到增强后的特征,增强后的特征经亚像素卷积层上采样和卷积层处理,得到增强后的高分辨率特征,将原始采样点通过高斯过程模型模块得到的目标分辨率数据,经归一化层和卷积层后,与增强后的高分辨率特征相加,再经解归一化后,得到目标规则化的高精度高密度点云数据。
进一步地,所述特征增强块,包括归一化层、高斯误差线性单元(GELU)、大核注意力卷积层、深度卷积层,归一化层对特征增强块的输入进行归一化处理后,经高斯误差线性单元进行激活,所得的激活值通过大核注意力卷积层,实现特征间的自适应和具有长依赖相关性,再经归一化层进一步稳定输入特征分布后,通过全连接层得到全局组合特征,全局组合特征通过深度卷积层减少卷积计算后,再依次经高斯误差线性单元和全连接层,进行进一步的激活和特征组合。该分解的模块结合了卷积和自我注意的优点,可以以较低的计算成本和参数获取较长的关系。它考虑了局部语境信息、大接收域和动态过程,不仅在空间维度上实现了适应性,而且在通道维度上也实现了适应性。
进一步地,所述大核注意力卷积层包括空间局部卷积层、空间长程卷积层和通道
卷积层,将K×K卷积分解为膨胀因子为d的深度膨胀卷积,(2d−1)×(2d−1)深度卷积
和1×1卷积,并进行残差操作,即输入与经过三个卷积操作的输出进行点乘操作得到最后
输出。
一种基于高斯过程大核注意力装置训练方法,包括如下步骤:
步骤S11,获取曲面数据集,并在曲面上叠加分形布朗运动生成的特征作为加工误差,在生成的曲面上进行密集采样,生成均匀网格线数据,作为真值;
步骤S12,对真值数据进行下采样操作,对下采样的结果再叠加不同尺度的高斯噪声,模拟实际的测量噪声,从而建立低分辨率和高分辨率的数据对;
步骤S13,将低分辨率数据输入到高斯过程模型进行回归建模,所得的结果经图像
超分辨模型进行特征增强和上采样操作,获得高分辨率的数据,通过真值数据对生成的高
分辨率的数据进行监督训练;训练中的损失函数包括高斯过程模型的损失函数和图像
超分辨模型的损失函数组成,
其中β表示高斯过程模型的损失函数的权重系数,和分别是高斯过程模型
输出的均值和不确定度,是图像超分辨模型的输出值,是真值数据,N是采样点的数量,是特征损失函数,表示预训练的VGG19神经网络的第n层输出结果中的第m个特征图,
NN表示所涉及的所有卷积层的数量,Mn是第n个卷积层后得到的特征图中所有的通道数,特
征图的尺寸为,,,和分别是高斯过程均方根误差、不确定度、图像超分
辨模型均方根误差以及图像特征图误差的权重系数,max(·)表示取最大值操作,||·||表
示范数,||·||2表示欧几里得范数。
一种基于高斯过程大核注意力装置引导的曲面测量装置,包括初始点采样模块、曲面上采样模块、曲面重建和误差评定模块、采样点选择模块;
所述初始点采样模块,用于指导传感器进行曲面初始点的采样;利用已有的设计曲面先验知识,根据曲面的整体特征进行少量的点云采集,通过采集到的数据构建初始的曲面模型,采样方法包括Hammersley序列和Halton序列,初始采集数据规模控制在候选点数量的3%以内,用较少的点构建轮廓趋势正确的初始曲面模型;
所述曲面上采样模块,用于获取信息量最大的目标点,作为后续的采样点,包括高
斯过程模型和图像超分辨模型,高斯过程模型对采样点进行重建操作,对散乱的带噪声信
号的点云进行处理,将得到的规则干净的低密度点云数据,映射到二维空间,高斯过程模型
中使用平方指数核函数()、Matérn核函数族()和白噪声核函数()相加组成复合核函数,以此提升模型对于各种曲面的建模能力;图像超分辨模
型对映射到二维空间的低密度点云数据进行处理,得到目标规则化的高精度高密度点云数
据;
所述曲面重建和误差评定模块,将高精度高密度点云数据与采样停止标准进行比较,当满足采样停止标准时,结束采样并完成曲面重建,否则进行新的采样;
将输出的高密度高精度点云数据输入到高斯过程模型中,可以获得连续曲面。
所述采样点选择模块,用于选择信息量大的采样点作为候选点,从而以总数较少的采样点完成目标的重建精度。
进一步地,所述采样停止标准,是构建的理论设计模型,将生成的高精度高密度点云数据,通过与理论设计模型进行比较,获得峰谷值和均方根误差,为所有候选点的不确定度小于设定的第一阈值,并且连续多次的重建结果的峰谷值误差的标准差小于设定第二阈值,和/或采样点数达到点数上限值,根据采样停止标准不断进行候选点的选取,如此迭代进行直至满足采样停止标准。
其中表示来自高斯过程模型的误差,表示来自图像超分辨模型的误差,表示第w次迭代中的第j个候选点,和分别表示在候选点处的高
斯过程模型不确定度值和预测均值输出误差,和分别表示在候选点处的图像超分辨模型与真值比较的输出误差和通过预训练的VGG19神经网络计算得到
的特征图误差,,和表示权重系数。
进一步地,选择误差最大的C个点作为同一批次的目标采样点,C根据曲面复杂程度确定,对于复杂度较高的情况,由于采样点数较多,选择一次性多采集若干点,对于较为简单的曲面,选择一次采集一个点。
一种基于高斯过程大核注意力装置引导的曲面测量方法,包括如下步骤:
步骤S21,进行曲面初始点的采样;
步骤S22,通过高斯过程模型对采样点进行重建操作,对散乱的带噪声信号的点云进行处理,将得到的规则干净的低密度点云数据,映射到二维空间;图像超分辨模型对映射到二维空间的低密度点云数据进行处理,得到目标规则化的高精度高密度点云数据;
步骤S23,将高精度高密度点云数据与采样停止标准进行比较,当满足采样停止标准时,结束采样并完成曲面重建,否则进行新的采样;将输出的高密度高精度点云数据输入到高斯过程模型中,可以获得连续曲面。
步骤S24,选择信息量大的采样点作为候选点,从而以总数较少的采样点完成目标的重建精度。
本发明的优势和有益效果在于:
本发明的高斯过程具有很强的低频特征插值拟合能力,并能够分离出噪声信息,大核注意力机制不仅保持了较少的计算量,并且可以有效捕获长距离的关系,从而使边缘信息也能助力于中心区域的重建,该模型可以利用较少的信息即可完成高质量的信息恢复。将该模型用于指导采样点,并结合该模型中的高斯过程输出的均值和不确定度以及超分辨输出的重建误差和基于VGG19的特征误差,可以从多方面进行最佳候选点的选择,提高采样效率和重建质量,非常适合于采样效率较低的高精度离散测量中。
附图说明
图1是本发明的基于高斯过程大核注意力装置结构示意图。
图2是本发明中特征增强块的结构示意图。
图3是本发明的基于高斯过程大核注意力装置训练方法流程图。
图4是本发明的基于高斯过程大核注意力装置引导的曲面测量装置整体执行过程图。
图5是本发明的基于高斯过程大核注意力装置引导的曲面测量方法流程图。
图6是本发明的基于高斯过程大核注意力装置引导的曲面测量设备结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,基于高斯过程大核注意力装置,包括高斯过程模型模块和图像超分辨率模型模块,所述图像超分辨模型模块用于将映射到二维空间的低密度点云数据,通过归一化层和卷积层,得到低分辨率特征,低分辨率特征经一组特征增强块处理后,与处理前的低分辨率特征相加,得到增强后的特征,增强后的特征经亚像素卷积层上采样和卷积层处理,得到增强后的高分辨率特征,将原始采样点通过高斯过程模型模块得到的目标分辨率数据,经归一化层和卷积层后,与增强后的高分辨率特征相加,再经解归一化后,得到目标规则化的高精度高密度点云数据。
特征增强块,包括归一化层、高斯误差线性单元、大核注意力卷积层、深度卷积层,归一化层对特征增强块的输入进行归一化处理后,经高斯误差线性单元进行激活,所得的激活值通过大核注意力卷积层,实现特征间的自适应和具有长依赖相关性,再经归一化层进一步稳定输入特征分布后,通过全连接层得到全局组合特征,全局组合特征通过深度卷积层减少卷积计算后,再依次经高斯误差线性单元和全连接层,进行进一步的激活和特征组合;
具体地,如图1所示,特征增强块,包括依次连接的归一化层、高斯误差线性单元、大核注意力卷积层、归一化层、全连接层、深度卷积层、高斯误差线性单元和全连接层,特征增强块,将输入数据通过一个归一化层,对每个特征层进行归一化处理以防止梯度爆炸和梯度消失,然后通过一个高斯误差线性单元进行激活处理,所得的激活值通过一个大核注意力卷积层实现特征间的自适应和具有长依赖相关性,再通过一个归一化层进一步稳定输入特征分布稳定,所得结果输入到一个全连接层得到全局组合特征,全局组合特征输入到一个深度卷积层减少卷积计算,所得结果通过高斯误差线性单元进行进一步的激活,再通过一个全连接层进行进一步的特征组合。
如图2所示,大核注意力卷积层包括依次连接的空间局部卷积层、空间长程卷积层
和通道卷积层,将K×K卷积分解为膨胀因子为d的深度膨胀卷积,(2d−1)×(2d−1)深
度卷积和1×1卷积,并进行残差操作,即输入与经过三个卷积操作的输出进行点乘操作得
到最后输出。
如图3所示,基于高斯过程大核注意力装置训练方法,包括如下步骤:
步骤S11,获取曲面数据集,并在曲面上叠加分形布朗运动生成的特征作为加工误差,在生成的曲面上进行密集采样,生成均匀网格线数据,作为真值;
步骤S12,对真值数据进行下采样操作,对下采样的结果再叠加不同尺度的高斯噪声,模拟实际的测量噪声,从而建立低分辨率和高分辨率的数据对;
步骤S13,将低分辨率数据输入到高斯过程模型进行回归建模,所得的结果经图像
超分辨模型进行特征增强和上采样操作,获得高分辨率的数据,通过真值数据对生成的高
分辨率的数据进行监督训练;训练中的损失函数包括高斯过程模型的损失函数和图像
超分辨模型的损失函数组成,
其中β表示高斯过程模型的损失函数的权重系数,和分别是高斯过程模型
输出的均值和不确定度,是图像超分辨模型的输出值,是真值数据,N是采样点的数量,是特征损失函数,表示预训练的神经网络的第n层输出结果中的第m个特征图,NN表示
所涉及的所有卷积层的数量,Mn是第n个卷积层后得到的特征图中所有的通道数,特征图的
尺寸为, ,和分别是高斯过程均方根误差、不确定度、图像超分辨模型均
方根误差以及图像特征图误差的权重系数,max(·)表示取最大值操作,||·||表示范数,|
|·||2表示欧几里得范数。
如图4所示,基于高斯过程大核注意力装置引导的曲面测量装置,将高斯过程构建初始的模型,获得较好的低频轮廓信息,再通过基于大核注意力机制的超分辨模型进一步恢复出曲面的高频信息,并基于该模型进行自适应采样,以及通过高斯过程模型的重构误差和超分辨模型的特征级误差和像素级误差作为采样点的选择标准,选择误差量最大的点进行采样,采样完成后,即可基于高斯过程大核注意力装置,将这些数量较少但是信息量丰富的点云信息通过上采样技术得到高密度高精度的点云数据,从而恢复出细节信息,达到重建精度的要求;
包括初始点采样模块、曲面上采样模块、曲面重建和误差评定模块、采样点选择模块;
初始点采样模块,用于指导传感器进行曲面初始点的采样;
本发明实施例中,该模块利用已有的设计曲面先验知识,根据曲面的整体特征进行少量的点云采集,采样方法包括Hammersley序列和Halton序列,采集到的数据用于构建初始的曲面模型,初始采集数据规模控制在候选点数量的3%以内,用较少的点构建轮廓趋势正确的初始曲面模型;
曲面上采样模块,用于获取信息量最大的目标点,作为后续的采样点,包括高斯过程模型和图像超分辨模型,高斯过程模型对采样点进行重建操作,将得到的规则干净的低密度点云数据,映射到二维空间;图像超分辨模型对映射到二维空间的低密度点云数据进行处理,得到目标规则化的高精度高密度点云数据;
本发明实施例中,曲面上采样模块,为该测量系统中的关键模块,主要用于获取信
息量最大的目标点,作为后续的采样点,该模块包括高斯过程模型和基于大核注意力卷积
的图像超分辨模型,为了提升模型对于各种曲面的建模能力,高斯过程模型中使用平方指
数核函数()、Matérn核函数族()和白噪声核函数()相加组成
复合核函数,利用高斯过程对采样点进行重建操作,对散乱的带噪声信号的点云进行处理,
得到规则干净的低密度点云数据,并将其映射到二维空间,作为图像超分辨模型的输入;
曲面上采样模块中的图像超分辨模型,主要用于进一步提升曲面的细节信息,如图1所示,该模型将高斯过程模型的输出作为输入,依次通过一个归一化操作和一个3×3卷积层,得到低分辨率特征,然后低分辨率特征经过L个相同结构的特征增强块以及一个层归一化(LN)处理后的特征,与原低分辨率特征经过相加操作,输入到亚像素卷积上采样和一个3×3卷积层,得到增强后的高分辨率特征,另一方面,为了充分保持原始数据的特征,利用高斯过程模型连续性的特点,引入一个分支,将原始输入数据经过高斯过程处理获取目标分辨率的数据,经过一个归一化和3×3卷积层操作后,与主路中增强后的高分辨率特征进行相加操作,所得结果经过解归一化操作后获得目标规则化的高精度高密度点云数据;
图像超分辨率模型中的特征增强块,包括依次连接的LN层,高斯误差线性单元
(GELU),可以表示为:,大核注意力卷
积,LN层,全连接层(FC),深度卷积层,GELU,FC层,其中大核注意力卷积,如图2所示,包括依
次连接的一个空间局部卷积(深度卷积)、一个空间长程卷积(深度膨胀卷积)和一个通道卷
积(1×1卷积),所得结果与大核注意力卷积的输入进行点乘操作,得到大核注意力卷积的
最后输出。具体地说,将一个21×21卷积分解为一个膨胀因子为3的深度膨胀卷积,一
个5×5深度卷积和一个1×1卷积,并进行残差操作,即输入与经过三个卷积操作的输出进
行点乘操作得到最后输出。该分解的模块结合了卷积和自我注意的优点,可以以较低的计
算成本和参数获取较长的关系。它考虑了局部语境信息、大接收域和动态过程,不仅在空间
维度上实现了适应性,而且在通道维度上也实现了适应性。
图像超分辨模型,需要预先进行训练,如图3所示,在自适应采样过程中采用预训
练好的模型,预训练中使用基于设计模型的数据集,该数据集中包含了常见的几何结构,包
括自由曲面、旋转面、直纹面、结构面,并且这些曲面上叠加分形布朗运动生成的特征作为
加工误差,在这些生成的曲面上进行密集采样,生成256×256的均匀网格线数据,作为真
值,然后再对这些真值数据进行下采样操作,采样率设置为3%-25%之间,采用了随机下采样
的方式,使其具有更加的普适性,对下采样的结果再叠加不同尺度的高斯噪声模拟实际的
测量噪声,从而建立低密度和高密度的数据对,将低分辨率数据输入到高斯过程模型进行
回归建模,所得的结果经过图像超分辨模块进行特征增强和上采样操作,获得高密度的数
据,训练中的损失函数主要来自于高斯过程模型的损失函数和整个超分辨模型的损失
函数组成,总体损失函数如下所示:
其中和分别是高斯过程模型输出的均值和不确定度,是超分辨模型的输
出值,是真值数据,N是采样点的数量,是特征损失函数,表示预训练的VGG19网络的
第n层输出结果中的第m个特征图,NN所涉及的所有卷积层的数量, Mn是第n个卷积层后得
到的特征图中所有通道数,特征图的尺寸为,,,和分别是高斯过程均方
根误差,不确定度,超分辨模型均方根误差以及特征图误差的权重系数,通过不断迭代训练
最小化损失函数获得优化参数,优化参数确定后,该模型就可以用于后续的采样中;
曲面重建和误差评定模块,将高精度高密度点云数据与采样停止标准进行比较,当满足采样停止标准时,结束采样并完成曲面重建,否则进行新的采样;
采样停止标准,是构建的理论设计模型,将生成的高精度高密度点云数据,通过与理论设计模型进行比较,获得峰谷值和均方根误差,为所有候选点的不确定度小于设定的第一阈值,并且连续多次的重建结果的峰谷值误差的标准差小于设定第二阈值,和/或采样点数达到点数上限值,根据采样停止标准不断进行候选点的选取,如此迭代进行直至满足采样停止标准。
本发明的实施例中,曲面重建和误差评定模块,将输出的高密度高精度点云数据,输入到高斯过程模型中,可以获得连续曲面,所生成的高精度高密度点云数据,通过与理论设计模型进行比较,获得峰谷值PV和均方根误差RMSE,用来评判上采样的点云质量是否满足要求,如果不满足要求,则需要进行新的采样;
其中表示来自高斯过程模型的误差,表示来自图像超分辨模型的误差,表示第w次迭代中的第j个候选点,和分别表示在候选点处的高
斯过程模型不确定度值和预测均值输出误差,和分别表示在候选点处的图像超分辨模型与真值比较的输出误差和通过预训练的神经网络计算得到的特征
图误差,,和表示权重系数。
选择误差最大的C个点作为同一批次的目标采样点,C根据曲面复杂程度确定,对于复杂度较高的情况,由于采样点数较多,选择一次性多采集若干点,对于较为简单的曲面,选择一次采集一个点。
本发明的实施例中,选择误差最大的4个点作为同一批次的目标采样点,采样停止准则为所有候选点的不确定度小于设定的阈值并且连续5次的重建结果的峰谷值误差的标准差小于设定阈值,或者采样点数达到点数上限值,根据采样的选取准则不断进行候选点的采样,如此迭代进行直至满足采样停止准则。
如图5所示,基于高斯过程大核注意力装置引导的曲面测量方法,包括如下步骤:
步骤S21,进行曲面初始点的采样;
步骤S22,通过高斯过程模型对采样点进行重建操作,将得到的规则干净的低密度点云数据,映射到二维空间;图像超分辨模型对映射到二维空间的低密度点云数据进行处理,得到目标规则化的高精度高密度点云数据;
步骤S23,将高精度高密度点云数据与采样停止标准进行比较,当满足采样停止标准时,结束采样并完成曲面重建,否则进行新的采样;
步骤S24,选择信息量大的采样点作为候选点,从而以总数较少的采样点完成目标的重建精度。
本发明的实施例中,通过计算机仿真生成基面(自由曲面、结构面等旋转面)+误差
面(分形布朗运动生成)4000组数据对,数据对的误差尺度来源于实际的一台高精度5轴铣
床加工铝合金,其峰谷值误差设置在15微米到25微米之间,测量噪声服从高斯分布(0,
0.0022),使用Adam对模型进行训练,β1 = 0.9,β2 = 0.999,,学习率设置为
0.0002,总共迭代80个epochs,每隔20个epochs将学习率乘以0.75,权重系数, , , ,和 分别设置为 5.5, 6.0, 5.5, 5.0, 1.5 和 1.2,使用反向传播策略更新网
络,如已收敛,则保存训练好的网络模型,用作后续的采样阶段。采样阶段,利用Hammersley
从中下采样3%的整数点数(向上取整)作为初始点,而后进行自适应采样操作,选择正弦特
征叠加二次曲面上作为目标复合曲面,高密度采样1600个点作为真值数据,采样的最高点
数设置为1200个点,不确定度阈值设定为3μm并且连续5次的重建结果的峰谷值误差的标准
差阈值设定为2μm,测试结果如表1所示,对比常用的自适应采样模型,包括Benchmarking
(真值)、B样条(B-spline)、克里金(Kriging)、复合核函数高斯过程(CGP),单一的Unet超分
辨网络,本发明利用最少的采样点完成了最接近真值数据的重建效果,如表1所示。
表1. 本发明与其他方法在实际工件上的测量结果比较表
与前述基于高斯过程大核注意力装置引导的曲面测量方法的实施例相对应,本发明还提供了基于高斯过程大核注意力装置引导的曲面测量设备的实施例。
参见图6,本发明实施例提供的基于高斯过程大核注意力装置引导的曲面测量设备,包括存储器和一个或多个处理器,存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现上述实施例中的基于高斯过程大核注意力装置引导的曲面测量方法。
本发明基于高斯过程大核注意力装置引导的曲面测量设备的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图6所示,为本发明基于高斯过程大核注意力装置引导的曲面测量设备所在任意具备数据处理能力的设备的一种硬件结构图,除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的基于高斯过程大核注意力装置引导的曲面测量方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (7)
1.一种基于高斯过程大核注意力装置引导的曲面测量装置,其特征在于,大核注意力装置包括高斯过程模型模块和图像超分辨率模型模块,所述图像超分辨模型模块用于将映射到二维空间的低密度点云数据,通过归一化层和卷积层,得到低分辨率特征,低分辨率特征经一组特征增强块处理后,与处理前的低分辨率特征相加,得到增强后的特征,增强后的特征经亚像素卷积层上采样和卷积层处理,得到增强后的高分辨率特征,将原始采样点通过高斯过程模型模块得到的目标分辨率数据,经归一化层和卷积层后,与增强后的高分辨率特征相加,再经解归一化后,得到目标规则化的高精度高密度点云数据;所述特征增强块,包括归一化层、高斯误差线性单元、大核注意力卷积层、深度卷积层,归一化层对特征增强块的输入进行归一化处理后,经高斯误差线性单元进行激活,所得的激活值通过大核注意力卷积层,实现特征间的自适应和具有长依赖相关性,再经归一化层进一步稳定输入特征分布后,通过全连接层得到全局组合特征,全局组合特征通过深度卷积层减少卷积计算后,再依次经高斯误差线性单元和全连接层,进行进一步的激活和特征组合;
曲面测量装置包括初始点采样模块、曲面上采样模块、曲面重建和误差评定模块、采样点选择模块,其特征在于:
所述初始点采样模块,用于指导传感器进行曲面初始点的采样;
所述曲面上采样模块,用于获取信息量最大的目标点,作为后续的采样点,包括高斯过程模型和图像超分辨模型,高斯过程模型对采样点进行重建操作,将得到的规则干净的低密度点云数据,映射到二维空间;图像超分辨模型对映射到二维空间的低密度点云数据进行处理,得到目标规则化的高精度高密度点云数据;
所述曲面重建和误差评定模块,将高精度高密度点云数据与采样停止标准进行比较,当满足采样停止标准时,结束采样并完成曲面重建,否则进行新的采样;
所述采样点选择模块,用于选择信息量大的采样点作为候选点,从而以信息量大的采样点完成目标的重建精度。
4.根据权利要求1所述的基于高斯过程大核注意力装置引导的曲面测量装置,其特征在于:所述采样停止标准,是构建的理论设计模型,将生成的高精度高密度点云数据,通过与理论设计模型进行比较,获得峰谷值和均方根误差,为所有候选点的不确定度小于设定的第一阈值,并且连续多次的重建结果的峰谷值误差的标准差小于设定第二阈值,和/或采样点数达到点数上限值,根据采样停止标准不断进行候选点的选取,如此迭代进行直至满足采样停止标准。
6.根据权利要求1所述的基于高斯过程大核注意力装置引导的曲面测量装置,其特征在于:选择误差最大的C个点作为同一批次的目标采样点,C根据曲面复杂程度确定,对于复杂度高的情况,由于采样点数多,选择一次性多采集若干点,对于复杂度低的曲面,选择一次采集一个点。
7.一种根据权利要求1所述的基于高斯过程大核注意力装置引导的曲面测量装置的训练和曲面测量方法,其特征在于,训练方法包括如下步骤:
步骤S11,获取曲面数据集,并在曲面上叠加分形布朗运动生成的特征作为加工误差,在生成的曲面上进行密集采样,生成均匀网格线数据,作为真值;
步骤S12,对真值数据进行下采样操作,对下采样的结果再叠加不同尺度的高斯噪声,模拟实际的测量噪声,从而建立低分辨率和高分辨率的数据对;
步骤S13,将低分辨率数据输入到高斯过程模型进行回归建模,所得的结果经图像超分
辨模型进行特征增强和上采样操作,获得高分辨率的数据,通过真值数据对生成的高分辨
率的数据进行监督训练;训练中的损失函数包括高斯过程模型的损失函数和图像超分
辨模型的损失函数组成,
其中β表示高斯过程模型的损失函数的权重系数,和分别是高斯过程模型输出
的均值和不确定度,是图像超分辨模型的输出值,是真值数据,N是采样点的数量,是
特征损失函数,表示预训练的神经网络的第n层输出结果中的第m个特征图,NN表示所涉
及的所有卷积层的数量,Mn是第n个卷积层后得到的特征图中所有的通道数,特征图的尺寸
为,,,和分别是高斯过程均方根误差、不确定度、图像超分辨模型均方
根误差以及图像特征图误差的权重系数,max(·)表示取最大值操作,||·||表示范数,|
|·||2表示欧几里得范数;
曲面测量方法包括如下步骤:
步骤S21,进行曲面初始点的采样;
步骤S22,通过高斯过程模型对采样点进行重建操作,将得到的规则干净的低密度点云数据,映射到二维空间;图像超分辨模型对映射到二维空间的低密度点云数据进行处理,得到目标规则化的高精度高密度点云数据;
步骤S23,将高精度高密度点云数据与采样停止标准进行比较,当满足采样停止标准时,结束采样并完成曲面重建,否则进行新的采样;
步骤S24,选择信息量大的采样点作为候选点,从而以信息量大的采样点完成目标的重建精度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210764209.XA CN114820329B (zh) | 2022-07-01 | 2022-07-01 | 基于高斯过程大核注意力装置引导的曲面测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210764209.XA CN114820329B (zh) | 2022-07-01 | 2022-07-01 | 基于高斯过程大核注意力装置引导的曲面测量方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820329A CN114820329A (zh) | 2022-07-29 |
CN114820329B true CN114820329B (zh) | 2022-11-25 |
Family
ID=82522745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210764209.XA Active CN114820329B (zh) | 2022-07-01 | 2022-07-01 | 基于高斯过程大核注意力装置引导的曲面测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820329B (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4080496B2 (ja) * | 2005-06-22 | 2008-04-23 | 京セラミタ株式会社 | 画像形成装置 |
JP4392507B2 (ja) * | 2006-11-08 | 2010-01-06 | 国立大学法人東京工業大学 | 3次元サーフェス生成方法 |
JP6238183B2 (ja) * | 2014-11-28 | 2017-11-29 | パナソニックIpマネジメント株式会社 | モデリング装置、3次元モデル生成装置、モデリング方法、プログラム |
CN106952229A (zh) * | 2017-03-15 | 2017-07-14 | 桂林电子科技大学 | 基于数据增强的改进型卷积网络的图像超分辨率重建方法 |
WO2020102442A1 (en) * | 2018-11-13 | 2020-05-22 | Enspectra Health, Inc. | Methods and systems for generating depth profiles |
US11195541B2 (en) * | 2019-05-08 | 2021-12-07 | Samsung Electronics Co., Ltd | Transformer with gaussian weighted self-attention for speech enhancement |
CN110020989B (zh) * | 2019-05-23 | 2022-06-28 | 西华大学 | 一种基于深度学习的深度图像超分辨率重建方法 |
CN112101366A (zh) * | 2020-09-11 | 2020-12-18 | 湖南大学 | 基于混合扩张网络的实时分割系统与方法 |
CN112433761B (zh) * | 2020-12-01 | 2022-06-10 | 上海携旅信息技术有限公司 | 高斯误差线性单元的优化方法、系统、设备及介质 |
CN112581626B (zh) * | 2021-02-23 | 2021-06-08 | 之江实验室 | 一种基于非参数化和多注意力机制的复杂曲面测量系统 |
CN113436237B (zh) * | 2021-08-26 | 2021-12-21 | 之江实验室 | 一种基于高斯过程迁移学习的复杂曲面高效测量系统 |
-
2022
- 2022-07-01 CN CN202210764209.XA patent/CN114820329B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114820329A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
RU2709437C1 (ru) | Способ обработки изображений, устройство обработки изображений и носитель данных | |
Sun et al. | Compressed sensing MRI using a recursive dilated network | |
CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
CN112927359B (zh) | 一种基于深度学习和体素的三维点云补全方法 | |
GB2547816A (en) | Actually-measured marine environment data assimilation method based on sequence recursive spare filtering three-dimensional variation | |
CN112381916B (zh) | 一种利用二维薄片图像的数字岩心三维结构重建方法 | |
CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
CN110187143A (zh) | 一种基于深度神经网络的层析piv重构方法和装置 | |
CN114331842B (zh) | 结合地形特征的dem超分辨率重建方法 | |
CN113436237B (zh) | 一种基于高斯过程迁移学习的复杂曲面高效测量系统 | |
CN114117886A (zh) | 一种用于多光谱遥感水深反演方法 | |
CN110889893A (zh) | 表达几何细节和复杂拓扑的三维模型表示方法和系统 | |
CN111580163B (zh) | 一种基于非单调搜索技术的全波形反演方法及系统 | |
CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
CN112581626B (zh) | 一种基于非参数化和多注意力机制的复杂曲面测量系统 | |
CN117974886A (zh) | 一种基于Transformer网络的三维流场超分辨率重建方法 | |
Cheng et al. | Efficient deep data assimilation with sparse observations and time-varying sensors | |
Wang et al. | CGNet: A Cascaded Generative Network for dense point cloud reconstruction from a single image | |
CN117094925A (zh) | 一种基于点代理增强和逐层上采样的猪体点云补全方法 | |
CN115859116A (zh) | 一种基于径向基函数回归插值法的海洋环境场重建方法 | |
CN114820329B (zh) | 基于高斯过程大核注意力装置引导的曲面测量方法及装置 | |
Liu et al. | Fine-grained MRI reconstruction using attentive selection generative adversarial networks | |
Wang et al. | MDISN: Learning multiscale deformed implicit fields from single images | |
CN117237663A (zh) | 一种大感受野的点云修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |