CN110599413B - 基于深度学习卷积神经网络的激光光斑图像去噪的方法 - Google Patents

基于深度学习卷积神经网络的激光光斑图像去噪的方法 Download PDF

Info

Publication number
CN110599413B
CN110599413B CN201910753847.XA CN201910753847A CN110599413B CN 110599413 B CN110599413 B CN 110599413B CN 201910753847 A CN201910753847 A CN 201910753847A CN 110599413 B CN110599413 B CN 110599413B
Authority
CN
China
Prior art keywords
image
noise
layer
original
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910753847.XA
Other languages
English (en)
Other versions
CN110599413A (zh
Inventor
张西良
宗圣康
李伯全
吴宇涛
尹经天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910753847.XA priority Critical patent/CN110599413B/zh
Publication of CN110599413A publication Critical patent/CN110599413A/zh
Application granted granted Critical
Publication of CN110599413B publication Critical patent/CN110599413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Nonlinear Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习卷积神经网络的激光光斑图像去噪的方法，包括以下步骤：步骤S1、图像采集：通过图像采集装置采集原始光斑灰度图像；步骤S2、光斑图像噪声分类处理：将原始光斑灰度图像输入分类器网络进行标签预测得到标签图像进行噪声分类，获得稀疏清晰图像；步骤S3、光斑图像去噪处理：将稀疏清晰图像与原始光斑灰度图像一起输入进回归网络，重建光斑图像，得到去噪后的光斑图像。使用回归网络对光斑图像进行噪声消除，将稀疏清晰图像与原始光斑图像一起馈送到回归网络以重建去噪图像，从而提高消除光斑图像随机噪声的精确度。

Description

基于深度学习卷积神经网络的激光光斑图像去噪的方法
技术领域
本发明属视觉测量研究领域，具体涉及一种基于深度学习卷积神经网络的激光光斑图像去噪的方法。
背景技术
机器视觉技术应用在很多精密光学测量系统中，目前常用识别激光光斑位置完成物理量测量。噪声干扰是图像处理中常见的问题。采集过程中相机故障、晃动、通信中的传输异常以及处理中的其他错误，图像容易受到脉冲噪声的干扰。脉冲噪声可以分为两种类型：盐和胡椒噪声以及随机值脉冲噪声，随机值脉冲噪声比盐和胡椒噪声更难以检测和消除。因此，改进光斑图像去噪方法，对随机值脉冲噪声进行精确检测与消除是提高光学测量系统精度的基本问题。
传统的光斑图像去噪方法是中值滤波器，它是一类有序统计非线性滤波器，可以有效抑制脉冲噪声，但是会使图像边缘和细节模糊，尤其在噪声干扰严重的情况下。目前基于神经网络的脉冲降噪器仅使用简单的神经网络来检测脉冲噪声，噪声消除通过传统方法来完成，图像噪声处理仅停留在检测这一步，难以满足工业测量的精度要求。
中国发明专利(2018107775589)公开了一种基于多尺度并行CNN的图像去噪方法，其使用跳跃链接和残差学习,可以有效地防止梯度消失和梯度爆炸的出现,在训练网络时,可以使网络更快的收敛,对恢复的图像质量也有所提高。中国发明专利(201811323811X)公开了一种基于并行特征提取的CNN去噪方法，使用了5个特征提取模块MPFE，分别使用不同的卷积核提取不同的特征，便于实现高质量去噪。
以上文献的图像去噪方法大多在噪声检测精度上有改进，目前基于神经网络的降噪器在噪声消除方面仍然存在精度低、信息错误等不足，仅适用于低强度随机脉冲噪声消除的场合。
发明内容
针对上述问题，本发明提供一种基于深度学习卷积神经网络的激光光斑图像去噪方法，使用回归网络对光斑图像进行噪声消除，将稀疏清晰图像与原始光斑图像一起馈送到回归网络以重建去噪图像，从而提高消除光斑图像随机噪声精确度。
本发明解决其技术问题所采用的技术方案是：一种基于深度学习卷积神经网络的激光光斑图像去噪的方法，包括以下步骤：
步骤S1、图像采集：通过图像采集装置采集原始光斑灰度图像；
步骤S2、光斑图像噪声分类处理：将原始光斑灰度图像输入分类器网络进行标签预测得到标签图像进行噪声分类，获得稀疏清晰图像；
步骤S3、光斑图像去噪处理：将稀疏清晰图像与原始光斑灰度图像一起输入进回归网络，重建光斑图像，得到去噪后的光斑图像。
上述方案中，所述步骤S2中的分类器网络包括四种依次排列的卷积层，卷积层数量为DC；
第1层是Conv+ReLU，从2到DC-2是Conv+BN+ReLU，DC-1是layer，最后一层是Softmax。
进一步的，所述DC-2到DC-1层之间，以及DC-1与DC之间均为双通道。
进一步的，所述分类器网络通过下面公式进行训练：
Figure BDA0002168116040000021
lC为标签图像的损失函数，W表示图像的宽度，H表示图像的高度，κ是训练样本的数量，DC为函数卷积层数量，n为样本通道数量，
Figure BDA0002168116040000022
表示第k个训练样本中位置(s,t)处像素的预测分类，
Figure BDA0002168116040000023
表示第k个训练样本中位置(s,t)处像素的概率，s和t分别代表原始光斑图像像素点的横坐标与纵坐标。
进一步的，所述步骤S2中标签预测通过以下公式进行：
Figure BDA0002168116040000024
Ls,t取值为0或1，0表示原始光斑图像位于(s,t)位置的像素无噪声，1表示原始光斑图像位于(s,t)位置的像素有噪声。
上述方案中，所述Conv+BN+ReLU中BN为批量标准化，批量标准化的公式如下：
Figure BDA0002168116040000025
Figure BDA0002168116040000026
Figure BDA0002168116040000027
其中，
Figure BDA0002168116040000028
表示在小批量的第m-th个输入图像上(s,t)位置的第l-th层的第c-th个通道的输出，
Figure BDA0002168116040000031
表示相应的归一化结果，
Figure BDA0002168116040000032
表示在总批量图像上(s,t)位置的第l-th层的第c-th个通道的输出的平均值，
Figure BDA0002168116040000033
表示在总批量图像上(s,t)位置的第l-th层的第c-th个通道的输出的方差，m是图像序号，l是卷积层大小，c是通道数量，s和t分别代表原始光斑图像像素点的横坐标与纵坐标，M是批量大小，γ表示为1和0的标度，β表示为1和0的偏移，ε是确保数值稳定性的常数。
上述方案中，所述Softmax计算输入的原始光斑灰度图像无噪声和有噪声的像素分布：
Figure BDA0002168116040000034
k＝1表示无噪声，k＝2表示有噪声，
Figure BDA0002168116040000035
表示输入图像中(s,t)位置处的像素属于无噪声或有噪声的概率。
上述方案中，所述步骤S3中回归网络的结构包括三种依次排列的卷积层，卷积层数量为DC-1；
第1层是Conv+ReLU，从2到DC-2是Conv+BN+ReLU，DC-1是layer。
进一步的，所述DC-2到DC-1为单通道。
上述方案中，所述回归网络的计算函数是：
Figure BDA0002168116040000036
X(n)表示第n对原始光斑图像，Z(n)表示第n对稀疏清晰图像，I(n)表示第n对无噪声图像，θ表示通过训练过程学习的参数集，R(X(n),Z(n)；θ)表示回归网络重建的图像，κ是训练样本数。
与现有技术相比，本发明的有益效果是：本发明以深度学习卷积神经网络为基础，利用构建的分类器网络可以对随机脉冲噪声污染严重的光斑图像的每一个像素点进行噪声判断，对整体光斑图像进行噪声分类获得标签图像，并搭建的回归网络，将原始光斑图像与稀疏清晰图像一同输入回归网络，进行图像重建，得到无噪声光斑图像，对光斑图像进行有效去噪。本发明在分类器网络和回归网络设计中，将向量卷积运算函数、线性整流函数和批量标准化函数三者结合作为其中一种卷积层嵌入到网络中，批量标准化函数嵌入网络可以显著提高去噪性能，此方法既提高了视觉图像处理抗干扰性，又提高了光斑图像消除随机噪声精度，从而可以更准确判断光斑图像噪声位置。本发明在回归网络中同时输入稀疏清晰图像和原始光斑图像可以对一些随机脉冲噪声污染比较严重的光斑图像进行高准确率去噪声，降低噪声消除的信息错误率，提高了视觉图像去噪处理方法的使用范围。从而解决对重度噪声污染的光斑图像难以识别与消除随机脉冲噪声的问题。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明基于深度学习卷积神经网络的激光光斑图像去噪流程图；
图2为本发明中分类器网络运行流程图；
图3为本发明中分类器网络运行结果对比图，其中图3(a)为分类器网络运行之前输入的原始光斑图像，图3(b)为分类器网络运行之后输出的光斑图像处理；
图4为本发明中回归网络运行流程图；
图5为本发明中回归网络运行结果对比图，其中图5(a)为回归网络运行之前输入的原始光斑图像，图5(b)为回归网络运行之前输入的稀疏清晰图像，图5(c)为回归网络运行之后重建后的去噪图像。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1所示为本发明所述基于深度学习卷积神经网络的激光光斑图像去噪方法的一种较佳实施方式，所述基于深度学习卷积神经网络的激光光斑图像去噪方法，包括以下步骤：
步骤S1、图像采集：通过图像采集装置采集原始光斑灰度图像；所述图像采集装置优选为CCD。
步骤S2、光斑图像噪声分类处理：包括对光斑图像进行噪声分类与像素值设置，将原始
光斑灰度图像输入分类器网络，通过分类器网络四种不同的卷积层对光斑图像进行预测标签处理，得到标签图像进行噪声分类，获得稀疏清晰图像。其中，使用人工噪声图像及其标签图像训练分类器网络，在标签图像中，有噪声像素值为0，无噪声像素值为1。
根据本实施例，优选的，所述步骤S2中的分类器网络基于卷积神经网络，包括四种依次排列的卷积层，卷积层数量为DC，优选的，本实施例中DC＝19。
第1层是Conv+ReLU，从2到DC-2是Conv+BN+ReLU，DC-1是layer，最后一层是Softmax，每层均包括NC通道。
根据本实施例，优选的，所述DC-2到DC-1层之间，以及DC-1与DC之间均为双通道。
根据本实施例，优选的，选择交叉熵函数作为标签图像的损失函数，所述分类器网络通过下面公式进行训练：
Figure BDA0002168116040000051
lC为标签图像的损失函数，W表示图像的宽度，H表示图像的高度，κ是训练样本的数量，DC为函数卷积层数量，n为样本通道数量，
Figure BDA0002168116040000052
表示第k个训练样本中位置(s,t)处像素的预测分类，
Figure BDA0002168116040000053
表示第k个训练样本中位置(s,t)处像素的概率，s和t分别代表原始光斑图像像素点的横坐标与纵坐标。
优选的，将分类器网络所有卷积核大小设置为3×3。通过增加卷积层数量，网络可以获得任何大小的感知域。在具有相同大小的感受域和不同大小的卷积核的网络模型中，仅具有3×3卷积内核的网络模型接收最少数量的网络参数，分类器网络不包含汇集层，结构进行简化，减少误差。整流线性单位(ReLU)用于网络中的非线性化。此外，为了确保卷积结果与输入图像保持相同的大小，将标量零矩阵填充到卷积层的输入并将填充大小设置为1。
第1层，向量卷积运算及线性整流(Conv+ReLU)，NC使用相同大小3×3卷积内核生成NC特征映射，然后每个特征映射由ReLU非线性化。
从第2层到第DC-2层，进行向量卷积运算、批量标准化及线性整流(Conv+BN+ReLU)，NC过滤器大小3×3×NC用于生成NC特征映射，表示每个层中的所有通道都完全连接到前一层。卷积层的输出从1到DC-2可表示如下：
Figure BDA0002168116040000054
Figure BDA0002168116040000055
代表输出c-th通道l-th层位置(s,t)，c表示通道数量，l表示卷积层数量，p表示过滤器数量，s和t分别代表原始光斑图像像素点的横坐标与纵坐标，
Figure BDA0002168116040000056
表示元素在第p-th过滤器的位置(i,j)处的第c-th个通道的值在第l-th层，C(l-1)表示(l-1)-th层的通道数量，其中值1表示l＝1，NC表示l≥2，b(l,c)表示第l-th的第c-th个通道的偏差。
根据本实施例，优选的，在每个Conv+BN+ReLU中，在卷积和ReLU之间添加批量标准化BN，加速训练过程，降低初始化的灵敏度，减少内部协变量偏移，并显著提高了去噪性能。批量标准化的公式如下：
Figure BDA0002168116040000061
Figure BDA0002168116040000062
Figure BDA0002168116040000063
其中，
Figure BDA0002168116040000064
表示在小批量的第m-th个输入图像上(s,t)位置的第l-th层的第c-th个通道的输出，
Figure BDA0002168116040000065
表示相应的归一化结果，
Figure BDA0002168116040000066
表示在总批量图像上(s,t)位置的第l-th层的第c-th个通道的输出的平均值，
Figure BDA0002168116040000067
表示在总批量图像上(s,t)位置的第l-th层的第c-th个通道的输出的方差，m是图像序号，l是卷积层大小，c是通道数量，s和t分别代表原始光斑图像像素点的横坐标与纵坐标，M是批量大小，γ表示为1和0的标度，β表示为1和0的偏移，ε是确保数值稳定性的常数。
DC-1是单个卷积层，进行双通道向量卷积运算。该层仅包括两个完全连接到Conv+BN+ReLU层的通道。两个矩阵由两个大小为3×3×NC的卷积滤波器生成，分别包括每个输入像素的无噪声和有噪声的测量值。
最后一层是归一化指数运算(softmax)，根据本实施例，优选的，所述Softmax计算输入的原始光斑灰度图像无噪声和有噪声的像素分布：
Figure BDA0002168116040000068
k＝1表示无噪声，k＝2表示有噪声，
Figure BDA0002168116040000069
表示输入图像中(s,t)位置处的像素属于无噪声或有噪声的概率。
最后，输入图像中所有像素的标签预测如下：
Figure BDA00021681160400000610
Ls,t取值为0或1，0表示原始光斑图像位于(s,t)位置的像素无噪声，1表示原始光斑图像位于(s,t)位置的像素有噪声。
如图2所示，分类器网络中每一层的具体函数处理特征是：
原始光斑图像通过第1层，进行向量卷积运算与线性整流函数的卷积处理，每个特征映射由线性整流函数进行非线性化处理。
原始光斑图像通过第2层到第DC-2层，在第1层基础上，在向量卷积运算与线性整流中间添加批量标准化的卷积处理，在这个函数卷积中，NC过滤器大小优选为3×3×NC，用于生成NC特征映射。在第2层到第DC-2层的每层中添加批量标准化，可以显著提高去噪效率。从1到DC-2层的输出可由公式二计算，批量标准化由公式三、四、五计算，从第2层到第DC-2层是把图像经过数次卷积后得到噪声判断条件，对于像素有无噪声进行初步的预测。
原始光斑图像到DC-1层进行双通道向量卷积运算处理，这一层是单个卷积层。该层有两个完全连接到前一层的通道，可以减少换算的时间，卷积结束后输出的两个矩阵由两个大小为3×3×NC的卷积滤波器生成，分别包括每个输入像素的无噪声和有噪声的概率。
原始光斑图像进入最后一层，经过归一化指数运算处理，通过公式六计算输入图像无噪声和有噪声的像素分布，得到稀疏清晰的图像。
基于由分类器网络预测的标签图像，通过在原始光斑图像中将噪声像素的值替换为0并且保持无噪声像素不变获得稀疏干净图像。原始光斑图像和标签图像表示为X和L，稀疏干净的图像是
Figure BDA0002168116040000071
Figure BDA0002168116040000072
表示点积的运算。
步骤S3、光斑图像去噪处理：将稀疏清晰图像与原始光斑灰度图像一起输入进回归网络，重建光斑图像，得到去噪后的光斑图像。其中，为了训练回归网络，对于每个人造噪声图像，通过在噪声图像中用0替换噪声像素的值并保持无噪声像素不变来计算临时图像。
回归网络体系结构与分类器网络类似，仅有三个不同之处。首先，回归网络的输入包括两个图像，稀疏干净图像和原始光斑图像。其次，回归网络不包括softmax层。最后，单卷积层(DC-1)仅包括一个通道，单个输出比双通道运算时间长，但是抗干扰能力强，输出重建的图像。
具体的，所述步骤S3中回归网络的结构包括三种依次排列的卷积层，卷积层数量为DC-1；
第1层是Conv+ReLU，从2到DC-2是Conv+BN+ReLU，DC-1是layer。
根据本实施例，优选的，所述DC-2到DC-1为单通道。
根据本实施例，优选的，所述回归网络的计算函数是：
Figure BDA0002168116040000073
X(n)表示第n对原始光斑图像，Z(n)表示第n对稀疏清晰图像，I(n)表示第n对无噪声图像，θ表示通过训练过程学习的参数集，R(X(n),Z(n)；θ)表示回归网络重建的图像，κ是训练样本数。
如图3所示，图3(a)为分类器网络运行之前输入的原始光斑图像，图3(b)为分类器网络运行之后输出的光斑图像处理。输入的原始光斑图像经过公式七的计算输出标签图像，对标签图像的像素值进行处理，输出稀疏清晰图像，如图3中(b)所示。
图4所示为回归网络具体结构组成，所述光斑图像噪声消除处理包括对光斑图像进行噪声图像重建，具体为：将稀疏清晰图像与原始光斑图像一起输入回归网络重建去噪图像。回归网络所有卷积核大小优选设置为3×3，参数设置完成，进行光斑图像噪声消除处理，每一层的具体函数处理特征是：
稀疏清晰图像与原始光斑图像通过第1层，进行向量卷积运算与线性整流函数的卷积处理，网络通过已获得的稀疏清晰图像进行训练建立学习集，根据学习集对原始光斑图像信息的特征映射进行非线性化；
稀疏清晰图像与原始光斑图像通过第2层到第DC-1层，进行在向量卷积运算与线性整流中间添加批量标准化的卷积处理。在执行每一次卷积计算时，在向量卷积运算和线性整流处理之间添加批量标准化，缩短去噪处理时间。这一层把原始光斑图像经过数次卷积后得到更加精确的噪声判断，对每一位置像素有无噪声进行判断。
稀疏清晰图像与原始光斑图像到最后一层进行单通道向量卷积处理，对噪声判断图像进行噪声消除处理，该层仅有一个完全连接到前一层的通道，输入的噪声判断图像经过公式八的计算后输出重建后的去噪图像。
如图5所示，图5(a)为回归网络运行之前输入的原始光斑图像，图5(b)为回归网络运行之前输入的稀疏清晰图像，图5(c)为回归网络运行之后重建后的去噪图像。
利用本发明所述光斑图像噪声消除处理过程如下：
本发明通过对光斑图像进行噪声分类处理，获得稀疏清晰图像，在回归网络中，将稀疏清晰图像与原光斑图像一起输入进回归网络，重建光斑图像，对原光斑图像进行噪声消除。抑制了在光斑图像采集过程中由于设备故障或人为抖动而造成的图像随机噪声污染，提高了随机噪声的检测精度，使图像噪声消除更细致，提升激光光斑图像质量与清晰度，使光斑图像整体更加清晰，从而提升激光光斑识别准确性。本发明可针对各种高强度随机噪声污染场合场合、各种形状光斑图像进行噪声识别与消除，具有普遍适用性。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，包括以下步骤：
步骤S1、图像采集：通过图像采集装置采集原始光斑灰度图像；
步骤S2、光斑图像噪声分类处理：将原始光斑灰度图像输入分类器网络进行标签预测得到标签图像进行噪声分类，获得稀疏清晰图像；分类器网络包括四种依次排列的卷积层，卷积层数量为DC；第1层是Conv+ReLU，从2到DC-2是Conv+BN+ReLU，DC-1是layer，最后一层是Softmax；
分类器网络通过下面公式进行训练：
Figure FDA0003973339230000011
lC为标签图像的损失函数，W表示图像的宽度，H表示图像的高度，κ是训练样本的数量，DC为函数卷积层数量，n为样本通道数量，
Figure FDA0003973339230000012
表示第k个训练样本中位置(s,t)处像素的预测分类，
Figure FDA0003973339230000013
表示第k个训练样本中位置(s,t)处像素的概率，s和t分别代表原始光斑图像像素点的横坐标与纵坐标；
所述Conv+BN+ReLU中BN为批量标准化，批量标准化的公式如下：
Figure FDA0003973339230000014
Figure FDA0003973339230000015
Figure FDA0003973339230000016
其中，
Figure FDA0003973339230000017
表示在小批量的第m-th个输入图像上(s,t)位置的第l-th层的第c-th个通道的输出，
Figure FDA0003973339230000018
表示相应的归一化结果，
Figure FDA0003973339230000019
表示在总批量图像上(s,t)位置的第l-th层的第c-th个通道的输出的平均值，
Figure FDA00039733392300000110
表示在总批量图像上(s,t)位置的第l-th层的第c-th个通道的输出的方差，m是图像序号，l是卷积层大小，c是通道数量，s和t分别代表原始光斑图像像素点的横坐标与纵坐标，M是批量大小，γ表示为1和0的标度，β表示为1和0的偏移，ε是确保数值稳定性的常数；
步骤S3、光斑图像去噪处理：将稀疏清晰图像与原始光斑灰度图像一起输入进回归网络，重建光斑图像，得到去噪后的光斑图像。
2.根据权利要求1所述的基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，所述DC-2到DC-1层之间，以及DC-1与DC之间均为双通道。
3.根据权利要求1所述基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，所述步骤S2中标签预测通过以下公式进行：
Figure FDA0003973339230000021
Ls,t取值为0或1，0表示原始光斑图像位于(s,t)位置的像素无噪声，1表示原始光斑图像位于(s,t)位置的像素有噪声。
4.根据权利要求1所述的基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，所述Softmax计算输入的原始光斑灰度图像无噪声和有噪声的像素分布：
Figure FDA0003973339230000022
k＝1表示无噪声，k＝2表示有噪声，
Figure FDA0003973339230000023
表示输入图像中(s,t)位置处的像素属于无噪声或有噪声的概率。
5.根据权利要求1所述的基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，所述步骤S3中回归网络的结构包括三种依次排列的卷积层，卷积层数量为DC-1；
第1层是Conv+ReLU，从2到DC-2是Conv+BN+ReLU，DC-1是layer。
6.根据权利要求5所述的基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，所述DC-2到DC-1为单通道。
7.根据权利要求1所述的基于深度学习卷积神经网络的激光光斑图像去噪的方法，其特征在于，所述回归网络的计算函数是：
Figure FDA0003973339230000024
X(n)表示第n对原始噪声图像，Z(n)表示第n对稀疏清晰图像，I(n)表示第n对无噪声图像，θ表示通过训练过程学习的参数集，R(X(n),Z(n)；θ)表示回归网络重建的图像，κ是训练样本数。
CN201910753847.XA 2019-08-15 2019-08-15 基于深度学习卷积神经网络的激光光斑图像去噪的方法 Active CN110599413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910753847.XA CN110599413B (zh) 2019-08-15 2019-08-15 基于深度学习卷积神经网络的激光光斑图像去噪的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910753847.XA CN110599413B (zh) 2019-08-15 2019-08-15 基于深度学习卷积神经网络的激光光斑图像去噪的方法

Publications (2)

Publication Number Publication Date
CN110599413A CN110599413A (zh) 2019-12-20
CN110599413B true CN110599413B (zh) 2023-05-09

Family

ID=68854347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910753847.XA Active CN110599413B (zh) 2019-08-15 2019-08-15 基于深度学习卷积神经网络的激光光斑图像去噪的方法

Country Status (1)

Country Link
CN (1) CN110599413B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738932A (zh) * 2020-05-13 2020-10-02 合肥师范学院 一种车载摄像头拍照图像自动去雨方法
CN111493836B (zh) * 2020-05-31 2022-06-03 天津大学 基于脑机接口和深度学习的术后急性疼痛预测系统及应用
CN111616681B (zh) * 2020-05-31 2022-06-03 天津大学 基于便携式脑电采集设备和深度学习的麻醉状态监测系统
CN111931212B (zh) * 2020-08-20 2021-09-10 合肥趣星文化传媒有限公司 一种基于区块链技术的电子商务平台
CN112488943B (zh) * 2020-12-02 2024-02-02 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN112435271B (zh) * 2020-12-02 2023-06-20 电子科技大学中山学院 一种应用于激光光斑质量测量的灼烧轮廓分割方法
CN112561898A (zh) * 2020-12-22 2021-03-26 电子科技大学中山学院 一种基于卷积神经网络的光纤传感器光斑分析方法
CN114152189B (zh) * 2021-11-09 2022-10-04 武汉大学 一种基于前馈神经网络的四象限探测器光斑定位方法
CN114418897B (zh) * 2022-03-10 2022-07-19 深圳市一心视觉科技有限公司 眼部光斑图像的修复方法、装置、终端设备及存储介质
CN115689910A (zh) * 2022-09-07 2023-02-03 江苏济远医疗科技有限公司 一种处理多尺度噪声的图像复原方法
CN116051429B (zh) * 2023-03-31 2023-07-18 深圳时识科技有限公司 数据增强方法、脉冲神经网络训练方法、存储介质和芯片
CN117496584B (zh) * 2024-01-02 2024-04-09 南昌虚拟现实研究院股份有限公司 一种基于深度学习眼球追踪光斑检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133627A (zh) * 2017-04-01 2017-09-05 深圳市欢创科技有限公司 红外光斑中心点提取方法及装置
CN108549892B (zh) * 2018-06-12 2022-02-11 东南大学 一种基于卷积神经网络的车牌图像清晰化方法
CN109785245B (zh) * 2018-12-06 2023-03-24 江苏大学 一种光斑图像修整方法

Also Published As

Publication number Publication date
CN110599413A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110599413B (zh) 基于深度学习卷积神经网络的激光光斑图像去噪的方法
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN105657402A (zh) 一种深度图恢复方法
CN110879982A (zh) 一种人群计数系统及方法
CN107590779A (zh) 一种基于图像块聚类字典训练的图像去噪去模糊方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
WO2018035794A1 (zh) 用于测量图像清晰度值的系统及其方法
CN108399620B (zh) 一种基于低秩稀疏矩阵分解的图像质量评价方法
CN112598711B (zh) 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN111145102A (zh) 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN114612345B (zh) 一种基于图像处理的光源检测方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111612759B (zh) 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN115272303A (zh) 基于高斯模糊的纺织物缺陷程度评估方法、装置及系统
CN111179212B (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN110009575B (zh) 基于稀疏表示的红外图像条带噪声抑制方法
CN116612032A (zh) 基于自适应维纳滤波和2d-vmd的声呐图像去噪方法及设备
CN111368856A (zh) 一种基于视觉的图书盘点系统的书脊提取方法及装置
CN108830802B (zh) 一种基于短曝图像梯度导向的图像模糊核估计方法
CN110992267A (zh) 一种基于DPSR与Lightweight CNN的磨粒识别方法
CN111161228A (zh) 一种基于迁移学习的纽扣表面缺陷检测方法
CN116203001A (zh) 黄曲霉毒素b1无损检测方法及装置
CN113269763B (zh) 基于深度图复原和亮度估计的水下图像清晰度恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant