CN117557720A - 一种轻量级深度网络的微观三维形貌重建方法 - Google Patents

一种轻量级深度网络的微观三维形貌重建方法 Download PDF

Info

Publication number
CN117557720A
CN117557720A CN202311452085.2A CN202311452085A CN117557720A CN 117557720 A CN117557720 A CN 117557720A CN 202311452085 A CN202311452085 A CN 202311452085A CN 117557720 A CN117557720 A CN 117557720A
Authority
CN
China
Prior art keywords
feature set
focusing
depth
convolution
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311452085.2A
Other languages
English (en)
Inventor
闫涛
高浩轩
钱宇华
张江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202311452085.2A priority Critical patent/CN117557720A/zh
Publication of CN117557720A publication Critical patent/CN117557720A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉领域中微观三维形貌重建技术领域，具体涉及了一种轻量级深度网络的微观三维形貌重建方法。该方法首先对微观场景采集的不同焦面的图像序列进行等间隔抽取，然后利用多尺度感知器提取不同特征，之后输入分组并行卷积模块分别得到局部极值点以获得图像序列初始特征集，最后经过逐点卷积汇总各组聚焦信息，选择全域内聚焦最大值以获得微观场景高精度的三维形貌重建结果。本发明方法可同时减少网络模型的参数量与加速模型的推理时间，有效解决了微观场景的实时重建问题。

Description

一种轻量级深度网络的微观三维形貌重建方法
技术领域
本发明属于计算机视觉领域中微观三维形貌重建技术领域，具体涉及了一种轻量级深度网络的微观三维形貌重建方法。
背景技术
微观三维形貌重建作为计算机视觉领域重要的分支，它主要应用于精密加工行业(如晶圆)的缺陷建模与检测方面。相比于二维场景图，三维形貌图可以更全面、真实地还原微观场景中的结构属性。随着高效微观测量与快速智能建模方面的需求增多，现有的微观三维形貌重建方法已无法满足诸多场景的高时效性需求。
从焦点恢复深度是计算机视觉中经典问题之一，常规方法是通过最大清晰度焦点位置索引来恢复每个像素的深度。然而面对复杂场景特别是具有低纹理区域的场景，如何准确可靠的估计图像的清晰度水平面临较大挑战。现阶段基于深度学习的三维形貌重建主要有DDFF、AiFDepthNet、DFVNet三种方法。DDFF首次提出了从焦点位置恢复深度的端到端学习方法，相对于传统的深度估计方法，DDFF的优势在于其能够产生像素级别的输出。传统的深度估计方法通常依赖于强力的正则化技术以得到有意义的深度图，但这类处理方式往往会导致输出结果过于平滑。而DDFF通过深度学习的方法，结合了逐像素对焦的策略，能够更准确地估计每个像素的深度信息。除此之外，AiFDepthNet提出了一种方法，可以从一组焦点堆栈中估计深度图和全聚焦图像，并设计了一个共享架构利用深度和全聚焦估计之间的关系，进而实现从输入图像序列中同时估计深度和全聚焦图像。而DFVNet则提出深度差分聚焦体积网络，该方法使用二维卷积学习深度焦点和上下文表示，并将它们堆叠成四维焦点体积，计算帧维度的差异以构建深度差分焦点体积，随后由三维卷积处理进行最佳聚焦概率预测，最后通过概率回归得到最终的深度估计。但上述方法均是解决宏观场景的深度恢复，由于在宏观场景采集到的数据往往具有低分辨率和较少的焦点切片，无法适用于微观场景中的高分辨率和超多焦点切片特点。除此之外，DDFF方法仅适用于提出的DDFF数据集，在其他宏观场景数据集中无法有效恢复深度图；AiFDepthNet和DFVNet训练和测试只能在相同的焦点切片下进行运算，无法在训练完成的网络中输入不同数量的焦点切片恢复深度。
通过上述研究现状分析，我们认为现有多焦面图像三位形貌重建存在以下不足：现有深度网络方法主要侧重于宏观场景，且宏观场景数据与微观场景数据有较大数据鸿沟；除此之外，现有深度网络模型随着输入图像序列分辨率的增加会导致模型推理时间显著增加，无法满足微观场景中实时性要求。
综上所述，我们认为在基于深度网络的多焦面三维形貌重建中，平衡网络模型的重建精度、网络模型的参数量和网络的推理时间三者之间的关系是提出轻量级网络模型的关键所在。因此，本专利在网络模型的建立过程中减少了网络参数量和缩短推理时间的同时也保证了精确度，通过设计的一种轻量级的神经网络结构，可实现高时效性的多焦面三维形貌重建方法。
发明内容
为克服现有解决方案中的不足之处，本发明的目的是提供一种轻量级深度网络的微观三维形貌重建方法。
本发明采用的技术方案是，一种轻量级深度网络的微观三维形貌重建方法，包括以下步骤：
步骤1，通过在垂直方向上调整微观场景到相机感光成像面的距离产生不同区域的聚焦信息，进而得到微观场景的多焦面图像序列其中n表示多焦面图像序列数目，其取值范围维为1≤n≤N，N为图像序列总数；
步骤2，对步骤1中得到的多焦面图像序列按照采样间隔st根据式(1)进行抽样得到图像序列/>其中k为抽样后图像序列数，其取值范围为1≤k≤K,K＜N，K为抽样后图像序列总数，
Ik＝Samplest(In),1≤k≤K,K＜N (1)
其中Samplest()表示采样间隔为st的采样函数；
步骤3，根据式(2)使用尺寸为s的卷积核对步骤2得到的图像序列进行卷积和融合操作后得到图像序列特征集/>该特征集的高和宽分别为H和W，
I'k＝ΣConv3Ds(Ik),s∈(3,5,7,9) (2)
其中Conv3D()表示卷积操作，Σ表示相加融合；
步骤4，根据式(3)将步骤3中得到的图像序列特征集输入分组并行卷积模块分别得到其局部极值点以获得图像序列的初始聚焦特征集Ilow，
Ilow＝G4Conv3D(I'k) (3)
其中G4Conv3D()代表组数为4的分组并行卷积模块；
步骤5，对步骤4中得到的初始聚焦特征Ilow根据式(4)进行分组归一化和线性整流激活函数进行激活之后，通过1×1卷积层将每组卷积的聚焦信息结果进行合并，并选择全域内聚焦最大值以获得聚焦特征集
Fk＝PConv(GMax(ReLU(GroupNorm(Ilow)))) (4)
其中PConv()为1×1卷积操作，GMax()为分组取最大函数，GroupNorm()为分组归一化函数，ReLU()为线性整流激活函数；
步骤6，对步骤5中得到的聚焦特征集根据式(5)进行下采样操作得到聚焦特征集/>其高和宽分别为/>和/>
其中Downsample()为下采样操作；
步骤7，对步骤6得到的聚焦特征集递归重复步骤4至步骤6的操作，进一步得到高和宽分别为/>和/>的聚焦特征集/>对/>根据式(6)得到高宽分别为/>和/>的聚焦特征集/>
其中Circulat()为循环操作；
步骤8，对步骤7中得到的聚焦特征集根据式(7)得到高和宽分别为/>和/>特征集/>
其中ConvTranspose()表示转置卷积；
步骤9，将步骤8中得到的特征集与解码器路径中相对应大小的聚焦特征/>沿通道方向进行拼接融合，然后根据式(8)对拼接后的特征进行建模，
其中Decode()表示特征融合操作，[]表示拼接操作；
步骤10，对步骤9中得到的依次执行步骤8和步骤9得到高宽为/>和/>的特征集将得到的/>执行式(7)的操作得到Fde，然后根据式(9)得到最终的特征集Q，
Q＝Conv([Fde,I'k]) (9)
其中[]表示拼接操作，Conv()表示特征聚合函数；
步骤11，根据式(10)对步骤10中得到的特征Q进行softplus归一化获得深度注意力图Qdepth，然后根据式(11)将深度注意力图Qdepth与等间隔变化的焦点位置P进行点乘获得微观场景的深度图D，
其中ln()表示对数函数，exp()表示指数函数。
与现有技术相比，本发明具有以下优点：
(1)本发明提出的轻量级深度网络模型采用空间域的深度信息自注意力技术，可有效联合焦点堆栈之间的焦面变化关系，从有监督和序关联视角提升了微观场景的重建精度；
(2)本发明提出的轻量级多焦面图像三维形貌重建深度网络使用了分组卷积和结构重参数化等技术，可有效降低网络模型的参数量和运算量，实现了模型训练与推理时的解耦，便于在实际微观场景的快速应用。
附图说明
图1为一种轻量级深度网络的微观三维形貌重建方法的流程图；
图2为一种轻量级深度网络的微观三维形貌重建方法的网络结构图；
图3为本发明实施例1中步骤1中采集的100幅不同焦面的图像序列
图4为本发明实施例1中步骤2中经过抽样后的20幅图像序列
图5为本发明实施例1中步骤11计算得到的微观场景的深度图D。
具体实施方式
实施例1
如图1、图2所示，一种轻量级深度网络的微观三维形貌重建方法，包括以下步骤：
步骤1，通过在垂直方向上调整微观场景到相机感光成像面的相对距离产生不同区域的聚焦信息，进而得到微观场景的多焦面图像序列如图3所示；
步骤2，对步骤1中得到的多焦面图像序列按照采样间隔st＝5根据式(1)进行抽样得到图像序列/>如图4所示；
Ik＝Sample5(In),1≤k≤20 (1)
步骤3，根据式(2)使用尺寸为s的卷积核对步骤2得到的图像序列进行卷积和融合操作后得到图像序列特征集/>该特征集的高和宽分别为H＝512和W＝512，
I'k＝ΣConv3Ds(Ik),s∈(3,5,7,9) (2)
其中Conv3D()表示卷积操作，Σ表示相加融合；
步骤4，根据式(3)将步骤3中得到的图像序列特征集输入分组并行卷积模块分别得到其局部极值点以获得图像序列的初始聚焦特征集Ilow，
Ilow＝G4Conv3D(I'k) (3)
其中G4Conv3D()代表组数为4的分组并行卷积模块；
步骤5，对步骤4中得到的初始聚焦特征Ilow根据式(4)进行分组归一化和线性整流激活函数进行激活之后，通过1×1卷积层将每组卷积的聚焦信息结果进行合并，并选择全域内聚焦最大值以获得聚焦特征集
Fk＝PConv(GMax(ReLU(GroupNorm(Ilow)))) (4)
其中PConv()为1×1卷积操作，GMax()为分组取最大函数，GroupNorm()为分组归一化函数，ReLU()为线性整流激活函数；
步骤6，对步骤5中得到的聚焦特征集根据式(5)进行下采样操作得到聚焦特征集/>其高和宽分别为/>和/>
其中Downsample()为下采样操作；
步骤7，对步骤6得到的聚焦特征集递归重复步骤4至步骤6的操作，进一步得到高和宽分别为/>和/>的聚焦特征集/>对/>根据式(6)得到高宽分别为/>和/>的聚焦特征集/>
其中Circulat()为循环操作；
步骤8，对步骤7中得到的聚焦特征集根据式(7)得到高和宽分别为/>和/>特征集/>
其中ConvTranspose()表示转置卷积；
步骤9，将步骤8中得到的特征集与解码器路径中相对应大小的聚焦特征/>沿通道方向进行拼接融合，然后根据式(8)对拼接后的特征进行建模，
其中Decode()表示特征融合操作；
步骤10，对步骤9中得到的依次执行步骤8和步骤9得到高宽为/>和/>的特征集将得到的/>执行式(7)的操作得到Fde，然后根据式(9)得到最终的特征集Q，
Q＝Conv([Fde,I'k]) (9)
其中[]表示拼接操作，Conv()表示特征聚合函数；
步骤11，根据式(10)对步骤10中得到的特征Q进行softplus归一化获得深度注意力图Qdepth，然后根据式(11)将深度注意力图Qdepth与等间隔变化的焦点位置P进行点乘获得微观场景的深度图D，如图5所示，
其中ln()表示对数函数，exp()表示指数函数。

Claims (1)

1.一种轻量级深度网络的微观三维形貌重建方法，其特征在于，包括以下步骤：
步骤1，通过在垂直方向上调整微观场景到相机感光成像面的距离产生不同区域的聚焦信息，进而得到微观场景的多焦面图像序列其中n表示多焦面图像序列数目，其取值范围维为1≤n≤N，N为图像序列总数；
步骤2，对步骤1中得到的多焦面图像序列按照采样间隔st根据式(1)进行抽样得到图像序列/>其中k为抽样后图像序列数，其取值范围为1≤k≤K,K＜N，K为抽样后图像序列总数，
Ik＝Samplest(In),1≤k≤K,K＜N (1)
其中Samplest()表示采样间隔为st的采样函数；
步骤3，根据式(2)使用尺寸为s的卷积核对步骤2得到的图像序列进行卷积和融合操作后得到图像序列特征集/>该特征集的高和宽分别为H和W，
I'k＝∑Conv3Ds(Ik),s∈(3,5,7,9) (2)
其中Conv3D()表示卷积操作，Σ表示相加融合；
步骤4，根据式(3)将步骤3中得到的图像序列特征集输入分组并行卷积模块分别得到其局部极值点以获得图像序列的初始聚焦特征集Ilow，
Ilow＝G4Conv3D(I'k) (3)
其中G4Conv3D()代表组数为4的分组并行卷积模块；
步骤5，对步骤4中得到的初始聚焦特征Ilow根据式(4)进行分组归一化和线性整流激活函数进行激活之后，通过1×1卷积层将每组卷积的聚焦信息结果进行合并，并选择全域内聚焦最大值以获得聚焦特征集
Fk＝PConv(GMax(ReLU(GroupNorm(Ilow)))) (4)
其中PConv()为1×1卷积操作，GMax()为分组取最大函数，GroupNorm()为分组归一化函数，ReLU()为线性整流激活函数；
步骤6，对步骤5中得到的聚焦特征集根据式(5)进行下采样操作得到聚焦特征集其高和宽分别为/>和/>
其中Downsample()为下采样操作；
步骤7，对步骤6得到的聚焦特征集递归重复步骤4至步骤6的操作，进一步得到高和宽分别为/>和/>的聚焦特征集/>对/>根据式(6)得到高宽分别为/>和/>的聚焦特征集
其中Circulat()为循环操作；
步骤8，对步骤7中得到的聚焦特征集根据式(7)得到高和宽分别为/>和/>特征集
其中ConvTranspose()表示转置卷积；
步骤9，将步骤8中得到的特征集与解码器路径中相对应大小的聚焦特征/>沿通道方向进行拼接融合，然后根据式(8)对拼接后的特征进行建模，
其中Decode()表示特征融合操作，[]表示拼接操作；
步骤10，对步骤9中得到的依次执行步骤8和步骤9得到高宽为/>和/>的特征集/>将得到的/>执行式(7)的操作得到Fde，然后根据式(9)得到最终的特征集Q，
Q＝Conv([Fde,I'k]) (9)
其中[]表示拼接操作，Conv()表示特征聚合函数；
步骤11，根据式(10)对步骤10中得到的特征Q进行softplus归一化获得深度注意力图Qdepth，然后根据式(11)将深度注意力图Qdepth与等间隔变化的焦点位置P进行点乘获得微观场景的深度图D，
其中ln()表示对数函数，exp()表示指数函数。
CN202311452085.2A 2023-11-03 2023-11-03 一种轻量级深度网络的微观三维形貌重建方法 Pending CN117557720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311452085.2A CN117557720A (zh) 2023-11-03 2023-11-03 一种轻量级深度网络的微观三维形貌重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311452085.2A CN117557720A (zh) 2023-11-03 2023-11-03 一种轻量级深度网络的微观三维形貌重建方法

Publications (1)

Publication Number Publication Date
CN117557720A true CN117557720A (zh) 2024-02-13

Family

ID=89813810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311452085.2A Pending CN117557720A (zh) 2023-11-03 2023-11-03 一种轻量级深度网络的微观三维形貌重建方法

Country Status (1)

Country Link
CN (1) CN117557720A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135120A (zh) * 2024-05-06 2024-06-04 武汉大学 一种纳米样品表面形貌三维重建及显微操作系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135120A (zh) * 2024-05-06 2024-06-04 武汉大学 一种纳米样品表面形貌三维重建及显微操作系统

Similar Documents

Publication Publication Date Title
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN112529015B (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN112329780B (zh) 一种基于深度学习的深度图像语义分割方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN115830240A (zh) 一种基于图像融合视角的无监督深度学习三维重建方法
CN113989261A (zh) 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN117557720A (zh) 一种轻量级深度网络的微观三维形貌重建方法
CN113313176A (zh) 一种基于动态图卷积神经网络的点云分析方法
CN116630625A (zh) 一种基于双图推理的变电设备渗漏油分割方法
CN112669452B (zh) 一种基于卷积神经网络多分支结构的物体定位方法
CN112419352B (zh) 一种基于轮廓的小样本语义分割方法
CN117635628B (zh) 一种基于上下文注意力和边界感知引导的海陆分割方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN114332211B (zh) 一种基于边缘重建和密集融合网络的零件位姿计算方法
CN116453108A (zh) 基于非对称并行Transformer网络的三维点云理解处理方法
CN116342675A (zh) 一种实时单目深度估计方法、系统、电子设备及存储介质
CN113723468B (zh) 一种三维点云的物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination