CN113284112B - 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 - Google Patents

一种基于深度神经网络的熔滴图像轮廓提取方法及系统 Download PDF

Info

Publication number
CN113284112B
CN113284112B CN202110583032.9A CN202110583032A CN113284112B CN 113284112 B CN113284112 B CN 113284112B CN 202110583032 A CN202110583032 A CN 202110583032A CN 113284112 B CN113284112 B CN 113284112B
Authority
CN
China
Prior art keywords
image
resolution
droplet
contour
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110583032.9A
Other languages
English (en)
Other versions
CN113284112A (zh
Inventor
于强
刘晓珂
陆潇晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Space Science Center of CAS
Original Assignee
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Space Science Center of CAS filed Critical National Space Science Center of CAS
Priority to CN202110583032.9A priority Critical patent/CN113284112B/zh
Publication of CN113284112A publication Critical patent/CN113284112A/zh
Application granted granted Critical
Publication of CN113284112B publication Critical patent/CN113284112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的熔滴图像轮廓提取方法及系统，该方法包括：将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型，得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，特征提取模块，用于提取低分辨率熔滴图像的特征信息；形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。本发明的方法与现有方法相比，提高了热物性特征量计算的准确度，将两步式的计算过程简化为一步降低了计算复杂度。

Description

一种基于深度神经网络的熔滴图像轮廓提取方法及系统
技术领域
本发明涉及计算机领域和空间材料领域，具体地涉及一种基于深度神经网络的熔滴图像轮廓提取方法及系统。
背景技术
材料热物性是表征材料性质的重要特征量，典型的热物理性质包括熔体密度、热膨胀系数、表面张力、粘度系数和深过冷比热等，在航空航天、微电子技术、新材料研发等高新技术领域，以及石油化工，钢铁冶金等传统工业领域都具有明显的科学意义和重要的工程应用价值，是技术创新、材料开发和科学研究的基础。在空间材料实验中，材料热物性特征参数计算的精确度对材料开展进一步的研究尤为重要。熔滴材料密度和热膨胀系数的计算都与其体积有关，其表面张力以及粘度系数的计算又依赖于材料密度，可知材料热物性特征量计算的精确度取决于体积测量精度。
熔滴体积通过解析图像获得，因此熔滴体积测量的精确与否很大程度上取决于融滴图像质量以及所用的轮廓提取算法。受外部条件的限制，通常获取到的熔滴图像都是受噪音污染严重的低质量图像，导致热物性特征量计算困难且很不准确。由于深度神经网络的优越性，在计算机领域采用深度神经网络进行图像的轮廓提取越来越普遍，但是在实际应用中，深度神经网络提取图像的轮廓对图像的质量和分辨率有一定的要求，对于低分辨率的图像进行轮廓提取仍然存在准确性较差的问题。
发明内容
本发明的目的在于克服现有图像处理算法提取轮廓不准的问题，提出了一种基于深度神经网络的熔滴图像轮廓提取方法及系统。
为了实现上述目的，本发明提出了一种基于深度神经网络的熔滴图像轮廓提取方法，所述方法包括：
将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型，得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨率熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴轮廓图像。
作为上述方法的一种改进，所述特征提取模块Ffeature的输入为低分辨率熔滴图像LR，输出为特征信息Yfeature，满足下式：
Yfeature＝Ffeature(LR)
所述特征提取模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块和第三卷积层；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息，其中，第一卷积层卷积核尺寸大小为3*3，特征通道数量为3，步长为1；第二卷积层卷积核尺寸大小为5*5，特征通道数量为64，步长为2；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度爆炸，每个残差块均包括两个卷积层、两个标准化层和两个激活函数层；其中，卷积层的尺寸大小为3*3，特征通道数量64，步长为1，激活函数层的激活函数为PReLU；
所述第三卷积层，用于进一步提取细节特征信息，卷积核尺寸大小为5*5，特征通道数量为64，步长为1。
作为上述方法的一种改进，所述形状监督模块Fshpae的输入为低分辨率熔滴图像LR，输出为熔滴图像的轮廓Yshape，满足下式：
Yshape＝Fshape(LR)
所述形状监督模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块以及两个结构相同的沙漏结构；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息；结构分别与特征提取模块的第一卷积层和第二卷积层相同；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度爆炸；残差块与特征提取模块的残差块结构相同；
所述两个结构相同的沙漏结构，用于提取低分辨率熔滴图像轮廓关键点信息；每个沙漏结构包括残差块、最大池化层和上采样层；残差块与特征提取模块的残差块结构相同，最大池化层核尺寸大小为2*2，移动步长为1；上采样层的上采样尺寸因子为2。
作为上述方法的一种改进，所述重建模块Freconstruct的输入为特征信息Yfeature和熔滴轮廓图像Yshape，输出为重建的高分辨率的熔滴图像Yout，满足下式：
其中，表示进行融合处理；
所述重建模块包括依次连接的第一卷积层、反卷积层和第二卷积层；其中，
所述第一卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1；
所述反卷积层，卷积核尺寸大小为3*3，特征通道数量为64，步长为1；
所述第二卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
作为上述方法的一种改进，所述方法还包括熔滴图像轮廓提取模型的训练步骤，具体包括：
步骤1)建立训练集；所述训练集包括若干组训练数据，每组数据包括高分辨率熔滴图像、对应的低分辨率熔滴图像以及对应的高分辨率轮廓标注熔滴图像；
步骤2)将一组训练数据的低分辨率熔滴图像同时输入熔滴图像轮廓提取模型的特征提取模块和形状监督模块，特征提取模块输出特征信息，形状提取模块输出轮廓信息，该轮廓信息受到该组训练数据的高分辨率轮廓标注熔滴图像的监督，均方差损失函数LossMSE输出值Lossshape满足下式：
Lossshape＝LossMSE(Ypre-Yshape)
其中，Ypre为高分辨率轮廓标注熔滴图像，Yshape为熔滴轮廓图像；
步骤3)将轮廓信息和特征信息结合后输入重建模块，重建模块输出熔滴图像，该熔滴图像受高分辨率熔滴图像的分辨率监督，均方差损失函数LossMSE输出值Lossreconstruct满足下式：
Lossreconstruct＝LossMSE(YHR-Yout)
其中，YHR为高分辨率熔滴图像，Yout为熔滴图像；
步骤4)判断Lossshape未达到形状损失函数阈值或Lossreconstruct未达到重建损失函数阈值，则调整熔滴图像轮廓提取模型的参数，并转至步骤2)；当Lossshape或Lossreconstruct均满足对应的阈值时，转至步骤5)；
步骤5)输出训练好的熔滴图像轮廓提取模型。
作为上述方法的一种改进，所述建立训练集具体包括：
通过精密光学放大设备获得若干个高分辨率熔滴图像；
对每个高分辨率熔滴图像使用双三次线性插值方法进行下采样，将下采样得到的图像使用双三次线性插值方法上采样到目标图像尺寸，进而得到对应的低分辨率熔滴图像；
对每个高分辨率熔滴图像使用图像标注工具提取对应的高分辨率轮廓标注熔滴图像；
由一个高分辨熔滴图像以及对应的低分辨率熔滴图像和高分辨率轮廓标注熔滴图像组成一组训练数据，从而得到多组训练数据，构成训练集。
一种基于深度神经网络的熔滴图像轮廓提取系统，其特征在于，所述系统包括：熔滴图像轮廓提取模型、输入模块和提取输出模块；其中，
所述输入模块，用于将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型；
所述输出模块，用于得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
与现有技术相比，本发明的优势在于：
1、在提取熔滴图像轮廓时，即便是分辨率低、受噪音污染的低质量图像，与现有轮廓提取算法相比可以提取到最准确的轮廓；后续可根据轮廓信息，计算熔滴材料的热物性参数，为探究新的材料提供论证基础；
2、本发明提出利用形状监督超分辨卷积神经网络来提高图像质量，并利用其子网络直接精确提取液滴轮廓，该方法与现有方法相比，提高了热物性特征量计算的准确度，将两步式的计算过程简化为一步降低了计算复杂度。
附图说明
图1是本发明实施例1的基于深度神经网络的熔滴图像轮廓提取方法训练过程流程图；
图2是本发明实施例1的熔滴图像轮廓提取模型的网络结构图；
图3是本发明实施例1的熔滴图像轮廓提取模型的特征提取模块结构图；
图4是本发明实施例1的熔滴图像轮廓提取模型的形状监督模块结构图；
图5是本发明实施例1的熔滴图像轮廓提取模型的重建模块结构图；
图6是本发明实施例1的熔滴图像轮廓提取模型的形状监督模块的沙漏结构图；
图7是本发明实施例1的用于图像轮廓提取模型训练的低分辨率熔滴图像示例；
图8是本发明实施例1的用于图像轮廓提取模型训练的高分辨率熔滴图像示例；
图9是本发明实施例1的用于图像轮廓提取模型训练的高分辨率轮廓标注熔滴图像示例；
图10是本发明实施例1的图像轮廓提取模型训练输出的熔滴轮廓图像示例；
图11是本发明实施例1的实际使用流程图。
具体实施方式
在训练阶段，输入图像包括低分辨图像，高分辨图像，高分辨率轮廓标注图像三部分，其中低分辨图像用于重建并提取其重建后的轮廓以计算其热物性参数，高分辨率图像和高分辨率轮廓标注图像起到监督作用；特征提取模块由卷积层和残差块组成用于提取低分辨率熔滴图像的特征信息；形状监督模块由卷积层和残差块以及沙漏网络组成用于提取低分辨率熔滴图像的形状信息，并输出低分辨率图像重建后图像的轮廓；重建模块将特征提取模块与形状监督模块的输出融合后进行反卷积，输出的高分辨率图像反馈给输入。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
图1为熔滴图像轮廓提取方法一个实例的流程图，图2为基于深度神经网络的熔滴图像轮廓提取模型结构图。本实施例中该神经网络包括：图像输入模块101，特征提取模块102，形状监督模块103，重建模块104。
对于图像输入，在网络训练时由低分辨的熔滴图像、高分辨率的熔滴图像、高分辨率轮廓标注的熔滴图像三部分组成；网络训练完成后只需要输入低分辨率的熔滴图像。
熔滴图像轮廓提取模型包括并行连接的特征提取模块和形状监督模块以及再串联的重建模块。
1)特征提取模块，用于提取低分辨率熔滴图像的特征信息。特征提取模块102包括依次连接的第一卷积层、第二卷积层、两个残差块和第三卷积层，如图3所示。
其中，卷积层，用于提取低分辨率熔滴图像浅层的特征信息；第一卷积层卷积核尺寸大小为3*3，特征通道数量为3，步长为1，感受野较小用于提取低分辨熔滴图像的特征信息。
第二卷积层卷积核尺寸大小为5*5，特征通道数量为64，步长为2，扩大感受野同时增大特征通道的数量，以提取到更多的熔滴图像的特征信息。
第三卷积层，用于进一步提取细节特征信息，卷积核尺寸大小为5*5，特征通道数量为64，步长为1。
残差块，用于提取低分辨熔滴图像深层的特征信息并避免梯度消失与梯度爆炸发生。两个残差块结构相同，由第一卷积层、第一批标准化层、激活函数层、第二卷积层、第二批标准化层和第二激活函数层组成。目的是为了提取更深层次的特征信息，并且规避梯度消失与梯度爆炸问题。其中，
第一、第二批标准化层使大部分激活的值落入非线性函数的线性区域内，其对应的导数远离导数饱和区，这样来加速训练收敛过程。
两个激活函数采用PReLU。
特征提取模块具体实现过程为：
Yfeature＝Ffeature(LR)
特征提取模块输入为低分辨率熔滴图像LR，经过特征提取模块Ffeature，得到特征提取模块的输出Yfeature。
2)形状监督模块，用于提取低分辨熔滴图像的形状信息，还输出熔滴图像的轮廓。由位于开始位置的两个卷积层和中间的两个相同残差块以及最后的两个相同沙漏结构组成，用于提取低分辨熔滴图像的形状信息，并输出重建后图像的轮廓。如图4所示。
卷积层，用于提取低分辨率熔滴图像浅层的特征信息；
残差块，用于提取低分辨熔滴图像深层的特征信息并避免梯度消失与梯度爆炸发生；
沙漏结构，用于提取低分辨率熔滴图像轮廓关键点信息；如图6所示。
形状监督模块103包括第一卷积层、第二卷积层、两个残差块和两个沙漏结构。
形状监督模块的第一、第二卷积层，两个残差块与分别特征提取模块相同。
形状监督模块的两个沙漏结构相同如图6所示，所使用的沙漏结构是四阶的由残差块、最大池化层、上采样层组成。沙漏结构的残差块与特征提取模块残差块相同。最大池化层核尺寸大小为2*2，移动步长为1。上采样尺寸因子为2。
形状监督模块具体实现过程为：
Yshape＝Fshape(LR)
形状监督模块输入为低分辨率熔滴图像LR，经过形状监督模块Fshpae，形状监督模块输出重建后熔滴图像轮廓Yshape。
Lossshape＝LossMSE(Ypre-Yshape)
高分辨率轮廓标注熔滴图像Ypre通过均方差损失函数LossMSE实现形状监督。
3)重建模块，输入为特征提取模块输出与形状监督模块输出的合并，输出重建的高分辨率的熔滴图像，并将高分辨率图像反馈到输入模块。由位于开始与结尾的卷积层以及中间的反卷积层组成，将特征提取模块与形状监督模块的输出融合后进行反卷积，输出的高分辨率熔滴图像反馈给输入模块，如图5所示。
第一卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
反卷积层，卷积核尺寸大小为3*3，特征通道数量为64，步长为1，用于重建高分辨熔滴图像。
第二卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
重建模块具体实现过程为：
重建模块将特征提取模块输出Yfeature与形状监督模块Yshape的输出进行融合输出高分辨率的熔滴图像Yout。
Lossreconstruct＝LossMSE(YHR-Yout)
高分辨率熔滴图像YHR通过均方差损失函数Lossreconstruct实现形状监督。
训练过程：
输入的图像包括低分辨熔滴图像、高分辨率熔滴图像和高分辨轮廓标注熔滴图像；其中，
所述高分辨率熔滴图像，通过精密光学放大设备获得，在训练神经网络时，其与低分辨熔滴图像以及高分辨率轮廓标准熔滴图像成对输入到特征提取模块和形状监督模块。
所述低分辨熔滴图像，对高分辨率熔滴图像使用双三次线性插值方法下采样，将下采样得到图像使用双三次线性插值方法上采样到目标图像尺寸，得到低分辨率熔滴图像。在训练神经网络时，其与高分辨熔滴图像以及高分辨率轮廓标注熔滴图像成对输入到特征提取和形状监督模块。
所述高分辨率轮廓标注熔滴图像，使用图像标注工具提取高分辨率熔滴图像轮廓获得。在训练神经网络时，其与其与高分辨熔滴图像以及低分辨率熔滴图像成对输入到特征提取和形状监督模块。
所述高分辨轮廓标注熔滴滴图像，通过标注工具获得高分辨率轮廓标注熔融图像。采用双三次线性插值的方法将高分辨率熔融图像下采样，然后用双三次线性插值的方法将上一步获得的下采样图像扩大的高分辨熔滴图像的尺寸获得低分辨率熔滴图像。
例如选取一百对由低分辨率熔滴图像、高分辨熔滴图像、高分辨率轮廓标注熔滴图像组成的数据集训练基于深度神经网络的熔滴图像轮廓提取方法的模型，将待提取轮廓的熔滴图像输入模型，即可得到熔滴图像的轮廓。如图7所示是用于图像轮廓提取模型训练的低分辨率熔滴图像示例；图8是用于图像轮廓提取模型训练的高分辨率熔滴图像示例；图9是用于图像轮廓提取模型训练的高分辨率轮廓标注熔滴图像示例；图10是图像轮廓提取模型训练输出的熔滴轮廓图像示例。
使用过程：
如图11所示，对于已经建立和训练好的熔滴图像轮廓提取模型，将采集的低分辨熔滴图像输入熔滴图像轮廓提取模型，得到高分辨率的熔滴轮廓图像和熔滴图像。
实施例2
本发明的实施例2提出了一种基于深度神经网络的熔滴图像轮廓提取系统，该系统包括：熔滴图像轮廓提取模型、输入模块和提取输出模块；其中，
所述输入模块，用于将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型；
所述输出模块，用于得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于深度神经网络的熔滴图像轮廓提取方法，所述方法包括：
将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型，得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨率熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像；
所述特征提取模块Ffeature的输入为低分辨率熔滴图像LR，输出为特征信息Yfeature，满足下式：
Yfeature＝Ffeature(LR)
所述特征提取模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块和第三卷积层；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息，其中，第一卷积层卷积核尺寸大小为3*3，特征通道数量为3，步长为1；第二卷积层卷积核尺寸大小为5*5，特征通道数量为64，步长为2；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度爆炸，每个残差块均包括两个卷积层、两个标准化层和两个激活函数层；其中，卷积层的尺寸大小为3*3，特征通道数量64，步长为1，激活函数层的激活函数为PReLU；
所述第三卷积层，用于进一步提取细节特征信息，卷积核尺寸大小为5*5，特征通道数量为64，步长为1；
所述形状监督模块Fshpae的输入为低分辨率熔滴图像LR，输出为熔滴图像的轮廓Yshape，满足下式：
Yshape＝Fshape(LR)
所述形状监督模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块以及两个结构相同的沙漏结构；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息；结构分别与特征提取模块的第一卷积层和第二卷积层相同；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度爆炸；残差块与特征提取模块的残差块结构相同；
所述两个结构相同的沙漏结构，用于提取低分辨率熔滴图像轮廓关键点信息；每个沙漏结构包括残差块、最大池化层和上采样层；残差块与特征提取模块的残差块结构相同，最大池化层核尺寸大小为2*2，移动步长为1；上采样层的上采样尺寸因子为2；
所述重建模块Freconstruct的输入为特征信息Yfeature和熔滴轮廓图像Yshape，输出为重建的高分辨率的熔滴图像Yout，满足下式：
其中，表示进行融合处理；
所述重建模块包括依次连接的第一卷积层、反卷积层和第二卷积层；其中，
所述第一卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1；
所述反卷积层，卷积核尺寸大小为3*3，特征通道数量为64，步长为1；
所述第二卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
2.根据权利要求1所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述方法还包括熔滴图像轮廓提取模型的训练步骤，具体包括：
步骤1)建立训练集；所述训练集包括若干组训练数据，每组数据包括高分辨率熔滴图像、对应的低分辨率熔滴图像以及对应的高分辨率轮廓标注熔滴图像；
步骤2)将一组训练数据的低分辨率熔滴图像同时输入熔滴图像轮廓提取模型的特征提取模块和形状监督模块，特征提取模块输出特征信息，形状提取模块输出轮廓信息，该轮廓信息受到该组训练数据的高分辨率轮廓标注熔滴图像的监督，均方差损失函数LossMSE输出值Lossshape满足下式：
Lossshape＝LossMSE(Ypre-Yshape)
其中，Ypre为高分辨率轮廓标注熔滴图像，Yshape为熔滴轮廓图像；
步骤3)将轮廓信息和特征信息结合后输入重建模块，重建模块输出熔滴图像，该熔滴图像受高分辨率熔滴图像的分辨率监督，均方差损失函数LossMSE输出值Lossreconstruct满足下式：
Lossreconstruct＝LossMSE(YHR-Yout)
其中，YHR为高分辨率熔滴图像，Yout为熔滴图像；
步骤4)判断Lossshape未达到形状损失函数阈值或Lossreconstruct未达到重建损失函数阈值，则调整熔滴图像轮廓提取模型的参数，并转至步骤2)；当Lossshape或Lossreconstruct均满足对应的阈值时，转至步骤5)；
步骤5)输出训练好的熔滴图像轮廓提取模型。
3.根据权利要求2所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述建立训练集具体包括：
通过精密光学放大设备获得若干个高分辨率熔滴图像；
对每个高分辨率熔滴图像使用双三次线性插值方法进行下采样，将下采样得到的图像使用双三次线性插值方法上采样到目标图像尺寸，进而得到对应的低分辨率熔滴图像；
对每个高分辨率熔滴图像使用图像标注工具提取对应的高分辨率轮廓标注熔滴图像；
由一个高分辨熔滴图像以及对应的低分辨率熔滴图像和高分辨率轮廓标注熔滴图像组成一组训练数据，从而得到多组训练数据，构成训练集。
4.一种基于权利要求1的基于深度神经网络的熔滴图像轮廓提取方法的提取系统，其特征在于，所述系统包括：熔滴图像轮廓提取模型、输入模块和提取输出模块；其中，
所述输入模块，用于将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型；
所述输出模块，用于得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
CN202110583032.9A 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 Active CN113284112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110583032.9A CN113284112B (zh) 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110583032.9A CN113284112B (zh) 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及系统

Publications (2)

Publication Number Publication Date
CN113284112A CN113284112A (zh) 2021-08-20
CN113284112B true CN113284112B (zh) 2023-11-10

Family

ID=77281942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110583032.9A Active CN113284112B (zh) 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及系统

Country Status (1)

Country Link
CN (1) CN113284112B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468973B (zh) * 2023-06-09 2023-10-10 深圳比特微电子科技有限公司 用于低照度图像的目标检测模型的训练方法、装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109558880A (zh) * 2018-10-16 2019-04-02 杭州电子科技大学 一种基于视觉整体和局部特征融合的轮廓检测方法
CN109919954A (zh) * 2019-03-08 2019-06-21 广州视源电子科技股份有限公司 目标对象的识别方法和装置
CN110033410A (zh) * 2019-03-28 2019-07-19 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
WO2019143177A1 (ko) * 2018-01-18 2019-07-25 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN110880165A (zh) * 2019-10-15 2020-03-13 杭州电子科技大学 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN111985161A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种变电站三维模型重构方法
CN112183665A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的co2焊接熔池图像识别方法
CN112767252A (zh) * 2021-01-26 2021-05-07 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526993B2 (en) * 2019-05-30 2022-12-13 Springbok, Inc. System and method for automatic segmentation of muscles from high-resolution MRI using 3D deep convolutional neural network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
WO2019143177A1 (ko) * 2018-01-18 2019-07-25 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109558880A (zh) * 2018-10-16 2019-04-02 杭州电子科技大学 一种基于视觉整体和局部特征融合的轮廓检测方法
CN109919954A (zh) * 2019-03-08 2019-06-21 广州视源电子科技股份有限公司 目标对象的识别方法和装置
CN110033410A (zh) * 2019-03-28 2019-07-19 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110880165A (zh) * 2019-10-15 2020-03-13 杭州电子科技大学 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN111985161A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种变电站三维模型重构方法
CN112183665A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的co2焊接熔池图像识别方法
CN112767252A (zh) * 2021-01-26 2021-05-07 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"extract Low-dose dual energy CT image reconstruction using non-local deep image prior";Kuang Gong等;《2019 IEEE Nuclear Science Symposium and Medical Imaging Conference (NSS/MIC)》;全文 *
基于多尺度特征残差学习卷积神经网络的视频超分辨率方法;林琦;陈婧;曾焕强;朱建清;蔡灿辉;;信号处理(第01期);全文 *
视觉传感及图像处理技术在焊接中的应用;石永华, 钟继光, 刘桑, 王国荣;电焊机(第09期);全文 *

Also Published As

Publication number Publication date
CN113284112A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
Duru et al. A deep learning approach for the transonic flow field predictions around airfoils
CN106600553B (zh) 一种基于卷积神经网络的dem超分辨率方法
CN113052955B (zh) 一种点云补全方法、系统及应用
CN107729948A (zh) 图像处理方法及装置、计算机产品和存储介质
CN113139989B (zh) 一种基于深度学习的粒子图像测速方法与装置
CN113284112B (zh) 一种基于深度神经网络的熔滴图像轮廓提取方法及系统
Li et al. A two-channel convolutional neural network for image super-resolution
CN109785279B (zh) 一种基于深度学习的图像融合重建方法
Gunasekaran Ultra sharp: Study of single image super resolution using residual dense network
CN109859230A (zh) 一种用于多孔介质显微ct图像的分割方法
CN115510766B (zh) 一种基于高斯过程模型的3d打印质量预测方法及系统
CN115775316A (zh) 基于多尺度注意力机制的图像语义分割方法
CN104657554B (zh) 一种火箭三维模型设计信息快速提取系统
CN109146792A (zh) 基于深度学习的芯片图像超分辨率重建方法
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN117372777A (zh) 基于der增量学习的密集架通道异物检测方法
Zuo et al. Gradient-guided single image super-resolution based on joint trilateral feature filtering
Ahmad et al. Accelerating microstructure modeling via machine learning: A method combining autoencoder and convlstm
Liu et al. Multi-scale skip-connection network for image super-resolution
CN111724423B (zh) 基于流体散度损失的微分同胚的非刚体配准方法
CN111126451A (zh) 一种对偶式语义分割方法
CN111028236A (zh) 一种基于多尺度卷积U-Net的癌细胞图像分割方法
CN116152199A (zh) 基于分割图引导与正则约束的手部姿势与形状估计方法
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
Guo et al. Speedy and accurate image super‐resolution via deeply recursive CNN with skip connection and network in network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant