CN110533607B - 一种基于深度学习的图像处理方法、装置及电子设备 - Google Patents
一种基于深度学习的图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110533607B CN110533607B CN201910697009.5A CN201910697009A CN110533607B CN 110533607 B CN110533607 B CN 110533607B CN 201910697009 A CN201910697009 A CN 201910697009A CN 110533607 B CN110533607 B CN 110533607B
- Authority
- CN
- China
- Prior art keywords
- image
- image data
- data
- frequency spectrum
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 55
- 238000011176 pooling Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 18
- 238000012937 correction Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的图像处理方法、装置及电子设备，所述图像处理方法包括：采集第一图像数据；根据所述第一图像数据，生成第二图像数据；使用所述第一图像数据和所述第二图像数据构建数据集；构建正‑逆卷积神经网络模型；使用所述数据集训练所述正‑逆卷积神经网络模型；使用训练后的所述正‑逆卷积神经网络模型进行图像处理。实现了波前编码图像使用传统方法解码时出现的各种误差的修正，最终得到去除离焦模糊的清晰图像，实现了超大景深成像，得到了高质量的图像，且速度更快、过程更简单，节省了人力屋里，有效降低了图像处理的成本。
Description
技术领域
本发明涉及图像处理领域，特别是指一种基于深度学习的图像处理方法、装置及电子设备。
背景技术
传统的图像处理技术采用维纳滤波解码，解码图像质量低，且在波前相位编码过程中，由于加工误差的存在，解码图像具有明显的畸变，处理这些畸变的成本较高。
发明内容
有鉴于此，本发明的目的在于提出一种高质量、低成本的图像处理方法、装置及电子设备。
基于上述目的，本发明提供了一种基于深度学习的图像处理方法，其特征在于，包括：
采集第一图像数据；根据所述第一图像数据，生成第二图像数据；
使用所述第一图像数据和所述第二图像数据构建数据集；
构建正-逆卷积神经网络模型；
使用所述数据集训练所述正-逆卷积神经网络模型；
使用训练后的所述正-逆卷积神经网络模型进行图像处理。
在一些实施方式中，所述第一图像数据为相机拍摄的原始图像数据，所述第二图像数据为使用波前解码技术对所述原始图象数据进行解码后得到的数据。
在一些实施方式中，所述数据集包括训练集和测试集，所述训练集和所述测试集的比例为4比1。
在一些实施方式中，所述正-逆卷积神经网络模型的结构包括：
三层卷积层、两层池化层和两层逆卷积层；
其中，所述卷积层分别采用5×5、3×3、1×1的卷积核，滑动步长为1；所述池化层采用2×2的选择核；所述逆卷积层分别采用3×3、5×5的卷积核；所述卷积层、所述池化层和所述逆卷积层的连接顺序为：5×5卷积核的卷积层，池化层，3×3卷积核的卷积层，池化层，1×1卷积核的卷积层，3×3卷积核的逆卷积层，5×5卷积核的逆卷积层。
在一些实施方式中，所述逆卷积层被配置为：
将卷积和池化后的所述数据集中图像的尺寸调整为初始值的两倍。
在一些实施方式中，所述逆卷积层被配置为：
输出所述第二图像数据和所述第一图像数据的差分图像状态，估计所述第二图像数据相对于所述第一图像数据的噪声。
在一些实施方式中，所述池化层被配置为，对所述数据集进行最大池化操作，所述最大池化化操作中的激活函数为非线性Relu函数。
在一些实施方式中，所述使用所述数据集训练所述正-逆卷积神经网络模型包括：
将损失函数定义为所述第一图像和所述第二图像的均方误差。
基于同一发明构思，本发明还提供了一种基于深度学习的图像处理装置，其特征在于，包括：
图像采集模块，被配置为采集第一图像数据；根据所述第一图像数据，生成第二图像数据；
数据集构件模块，被配置为使用所述第一图像数据和所述第二图像数据构建数据集；
模型搭建模块，被配置为构建正-逆卷积神经网络模型；
模型训练模块，被配置为使用所述数据集训练所述正-逆卷积神经网络模型；
图像处理模块，被配置为使用训练后的所述正-逆卷积神经网络模型进行图像处理。
基于同一发明构思，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
从上面所述可以看出，本发明提供的一种图像处理方法、装置及电子设备首次利用深度学习实现了波前编码图像使用传统方法解码时出现的各种误差的修正，最终得到去除离焦模糊的清晰图像，实现了超大景深成像，得到了高质量的图像，且速度更快、过程更简单，节省了人力屋里，有效降低了图像处理的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的一种基于深度学习的图像处理方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
波前编码相机是一种能够实现大景深的编码相机。该技术在细节上分为编码技术和解码技术，编码过程在镜头设计中实现，采用镜头磨压等技术以特定的函数形式对镜头内的掩模版厚度进行调制。调制后的镜头在以模糊为牺牲的前提下具备了更大的景深，和基本保持不变的点扩散函数(PSF)。利用可知的点扩散函数形式，对所得图像进行去离焦模糊运算，即可得到清晰图像，该过程称为解码过程。将编码过程和解码过程配合使用，即可得到具有超大景深的清晰成像的相机。由于波前编码的相位掩膜板加工难度很大，因此现阶段该技术一直停留在研究阶段。
传统的解码算法采用维纳滤波算法，对编码图像进行固定模糊核的逆卷积运算，实现离焦图像的恢复。对模糊核的测算则需要通过光学设计软件仿真出点扩散函数(PSF)，即单点经过直线传播后在平面屏上的扩散形状。通过测得的点扩散函数作为解码的模糊核，将之补齐为与图像尺寸一致之后与图像在频域上进行对应元素相乘，将得到的乘积做一些修正之后进行逆傅里叶变换，将频域运算结果转换到空域，从而实现解码。
但传统的维纳滤波算法由于傅里叶变换不可能完全近似线性函数，由于高频近似的缺失，更次级的波峰将能量泄露到了更远的外部区域，并令这些区域的像素值发生轻微扰动，从而形成了点状噪声。因此在对比度较大的区域会存在三角函数形状的波动，导致会出现吉布斯振铃伪像的现象，该相应称为振铃效应。致使解码图像质量下降；且在波前相位编码技术的实现过程中，包含编码信息的相位掩模版(自由曲面)加工常常出现误差，导致实际的PSF函数明显偏离仿真值形状，如果此时再用错误的模糊核去解码运算，则会出现非常明显的误差。该算法从光学设计过程中得到理论PSF矩阵值，利用该矩阵与图像所代表的矩阵在频域进行一定的操作，即能够在理论上使编码镜头采集图像恢复到理想状态。然而在实际操作过程中，由于镜头加工误差很大，因此其真实的PSF与理论仿真值具有非常大的差异，导致解码算法效果不理想，解码出的图像具有明显的畸变。如果要避免该类现象，提高解码效果，则必须大大提高傅里叶变换计算的级数，需要具有高效的计算能力的硬件设备和软件平台，加大了图像处理的成本。
随着深度学习技术的不断发展，一种由图到图的新型卷积神经网络不断应用到了各类图像处理领域。基于卷积神经网络的去噪、去模糊算法已经被大量应用在图像处理的各种方案中。由于初步解码过程输出图像中振铃伪像和点状噪声均可视为有效图像之外的噪声信号，对这些噪声进行去除，实现高质量解码效果，因此可以视作深度解码。
本发明提出一种基于实测PSF——深度学习算法技术的综合解码方案，实现对编码图像的精确解码。实测PSF方案的目的在于将加工镜头的实际PSF矩阵加以记录，构建合理精确的PSF矩阵；深度学习算法用来消除经过两次傅里叶变换之后所产生的吉布斯振铃伪像，实现图像的去噪去误。通过该两种方案搭配使用，最终得到去除离焦模糊的清晰图像，实现波前编码的解码过程，为波前编码相机实现了超大景深成像。
有鉴于此，本发明的目的在于提出一种高质量、低成本的图像处理方法、装置及电子设备。
下面结合图1为本发明一个实施例的一种基于深度学习的图像处理方法流程图对本发明做进一步说明。本发明提供了一种基于深度学习的图像处理方法，包括：
S1：采集第一图像数据；根据所述第一图像数据，生成第二图像数据；
由于波前编码相机的输出图像具有固定的分辨率，因此在样本采集时采集固定分辨率的图像，具体分辨率不限，本实施例中，为追求更清晰的效果，第一图像数据分辨率为1920×1080，第二图像数据与第一图像数据尺寸相同。
扩展光学系统景深的核心技术为波前编码技术，核心光学器件为经轮廓优化后的非旋转对称相位掩膜板。波前编码技术通过在光瞳处添加非旋转对称(奇对称)式的相位掩膜板，实现波前的调制，通过编码和解码达到扩展景深的性能。在波前编码系统中，通过在光瞳面上添加一块非旋转对称相位掩模板，实现对入射光波的波前调制，使系统的光学传递函数(OTF)和点扩散函数(PSF)在不同的离焦位置性质趋于一致，首先在不同的像面位置成一模糊的编码图像，再通过图像复原方法对编码图像进行恢复，得到较大离焦范围内清晰的图像，从而实现扩展景深的目的。
在本实施例中，进行以下步骤得到第一图像数据和第二图像数据：
S101：使用平行光管对编码镜头在成像距离的点扩散函数进行测量，所用仪器包括有平行光管、光源、遮光板、高分辨率高动态范围的采图相机模组，将编码镜头与采图相机模组进行组合，放置在平行光管的尾端，打开首端光源，采用点型孔遮光板进行遮光，对齐点光源后使用相机模组的截图功能，将所得图像保存下来，将保存的该图像数字化即可得到第一图像数据和编码镜头的实际点扩散函数。
S102：对波前编码相机读取视频流，将得到的图像由RGB格式转换为YUV格式，并在后续操作中只通过Y通道进行操作，后续操作方案为：图像频谱化——PSF图像补偿——PSF频谱化——频域矩阵点乘——调节噪信比——逆傅里叶变换——空域图像，保留U、V通道并在最后合并，即使用传统的维纳滤波算法对所得图像进行初步解码，利用先前所得到的实测PSF矩阵与其作卷积运算，实现人工离焦模糊，得到第二图像数据。
上述阶段的维纳滤波算法只能实现初步解码，解码后得到的第二图像数据还存在大量的振铃伪像、点状噪声，这些均是由于维纳滤波的固有缺陷引起的，根本原因是傅里叶变换的级数不够，导致正余弦函数对高对比度区域的近似出现了明显次级波峰从而形成振铃；由于高频近似的缺失，更次级的波峰将能量泄露到了更远的外部区域，并令这些区域的像素值发生轻微扰动，从而形成了点状噪声。
S2：使用所述第一图像数据和所述第二图像数据构建数据集；
本实施例中，通过以下步骤构建数据集：
S201：将第一图像数据标记为“origin”，第二图像数据标记为“noise”，两个标签的图像形成一一对应，处理标记好的第一图像数据和第二图像数据，常用的数据处理方法有：数据标准化，数据归一、数据正规化、数据二值化、数据缺值处理、数据离群点处理、数据类型转换等；
S202：使用处理好的第一图像数据和第二图像数据构建训练正逆卷积神经网络的数据集，优选的，数据集样本数目在10000以上，保证样本的丰富度，提高训练的准确度，数据集包括训练集和测试集，训练集和测试集的占比为4：1。
S3：构建正-逆卷积神经网络模型；
本申请选取结构更加轻巧的浅层卷积神经网络结构，浅层卷积神经网络结构可有效减少计算量，降低设备的处理负担，保证实时性。在数字图像处理中，卷积操作是指利用卷积核在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。在卷积运算中有Padding和Stride两个概念：Padding：对于给定输入图像的大小，需要得到制定大小的输出。此时通过给图像的边缘增加0像素值得方法获得，这个0像素值区域的大小称之为padding；Stride：卷积核每次滑动的步长称为stride，卷积过程中一般用步长为1进行卷积核在图像上的滑动，出于缩小输出图片尺寸的原因，可采用大于1的步长。
放大图像称为上采样(upsampling)或图像插值(interpolating)，主要目的是放大原图像从而使分辨率更高，正常卷积生成的特征图像尺寸减小，如果想生成尺寸变大，就可以对输入进行padding，此时的操作就是逆卷积，与正常卷积padding不同的是，逆卷积卷积运算的起点不一定在原特征图像上，而是从padding区域开始；正常卷积是一种多对一的关系，逆卷积是一种一对多的关系。
基于逆卷积的这些特性，本申请中采用的卷积神经网络结构添加了逆卷积层，在本申请中，使用逆卷积对图像完成上采样，经一次逆卷积将图像尺寸复原至原先2倍大小，多出的部分用估计值来插值到较小的图片缝隙；定义损失函数定义为第一图像数据和第二图像数据的均方误差，因此在多次训练之后输出值会逐渐趋向于令损失函数最小的状态，也即第二图像数据和第一图像数据的差分图像状态，该差分图像即可视为第二图像数据中的噪声部分，即可由此估计出第二图像数据的噪声。
本实施例中，构建的正-逆卷积神经网络模型的结构包括：三层卷积层、两层池化层和两层逆卷积层；其中，所述卷积层分别采用5×5、3×3、1×1的卷积核，滑动步长为1；所述池化层采用2×2的选择核；所述逆卷积层分别采用3×3、5×5的卷积核；所述卷积层、所述池化层和所述逆卷积层的连接顺序为：5×5卷积核的卷积层，池化层，3×3卷积核的卷积层，池化层，1×1卷积核的卷积层，3×3卷积核的逆卷积层，5×5卷积核的逆卷积层。
S4：使用所述数据集训练所述正-逆卷积神经网络模型；
相比于传统的神经网络激活函数，如逻辑函数(Logistic sigmoid)和tanh等双曲函数，Relu函数(线性整流函数)有以下几方面的优势：仿生物学原理：相关大脑方面的研究表明生物神经元的信息编码通常是比较分散及稀疏的，通常情况下，大脑中在同一时间大概只有1％-4％的神经元处于活跃状态，使用线性修正以及正则化(regularization)可以对机器神经网络中神经元的活跃度(即输出为正值)进行调试；更加有效率的梯度下降以及反向传播：避免了梯度爆炸和梯度消失问题；简化计算过程：没有了其他复杂激活函数中诸如指数函数的影响；同时活跃度的分散性使得神经网络整体计算成本下降，运算简单，网络学习速度快。
基于上述Relu函数的特性，本申请中最大值池化操作中的激活函数选取Relu函数(线性整流函数)，使用构建好的数据集基于随机梯度下降的策略对构建好的正-逆卷积神经网络模型网络进行训练；优选的，在本实施例中，为提高训练的速率采用GPU加速。
S5：使用训练后的所述正-逆卷积神经网络模型进行图像处理。
将训练好的正逆卷积神经网络存储为特定格式的文件，载入到嵌入式设备中，在本实施例中，使用C++调用python文件的混合编程形式，将算法移植在维纳滤波的算法后端，参照神经网络在基本图像去噪领域的实现过程对维纳滤波误差的修正实现对初步解码输出图像的高效、实时去噪；优选的，因为降低神经网络数据位数将会明显影响输出精度，因此不能剪枝操作，应在支持GPU设备的嵌入式系统中使用Float浮点运算来实现网络计算。
基于同一发明构思，本发明还提供了一种基于深度学习的图像处理装置，其特征在于，包括：
图像采集模块，被配置为采集第一图像数据；根据所述第一图像数据，生成第二图像数据。其中，采集第一图像数据具体包括：使用平行光管对编码镜头在成像距离的点扩散函数进行测量；将编码镜头与采图相机模组进行组合，放置在平行光管的尾端，打开首端光源，采用点型孔遮光板进行遮光，对齐点光源后使用相机模组的截图功能，将所得图像保存下来，将保存的该图像数字化即可得到第一图像数据和编码镜头的实际点扩散函数。根据所述第一图像数据，生成第二图像数据具体包括：对波前编码相机读取视频流，将得到的图像由RGB格式转换为YUV格式，并在后续操作中只通过Y通道进行操作，后续操作方案为：图像频谱化——PSF图像补偿——PSF频谱化——频域矩阵点乘——调节噪信比——逆傅里叶变换——空域图像，保留U、V通道并在最后合并，即使用传统的维纳滤波算法对所得图像进行初步解码，利用先前所得到的实测PSF矩阵与其作卷积运算，实现人工离焦模糊，得到第二图像数据。
例如，图像采集模块包括：图像采集设备、图像存储设备、图像处理设备。其中，图像采集设备包括如下的一种或多种：平行光管、光源、遮光板、高分辨率高动态范围的采图相机模组，优选的，高分辨率高动态范围的采图相机模组可以包括一个或多个镜头，可获取彩色或黑白图像，分辨率和图像尺寸可以进行调整。
例如，图像采集模块白天和夜间都能使用，可自动参照环境光线对摄像进行调整。
数据集构件模块，被配置为使用所述第一图像数据和所述第二图像数据构建数据集。其中，使用所述第一图像数据和所述第二图像数据构建数据集具体包括：将第一图像数据标记为“origin”，第二图像数据标记为“noise”，两个标签的图像形成一一对应，处理标记好的第一图像数据和第二图像数据，常用的数据处理方法有：数据标准化，数据归一、数据正规化、数据二值化、数据缺值处理、数据离群点处理、数据类型转换等；使用处理好的第一图像数据和第二图像数据构建训练正逆卷积神经网络的数据集，优选的，数据集样本数目在10000以上，保证样本的丰富度，提高训练的准确度，数据集包括训练集和测试集，训练集和测试集的占比为4：1。
例如，数据集构件模块包括数据处理软件，数据处理软件用以书写处理程序的各种程序设计语言及其编译程序，管理数据的文件系统和数据库系统，以及各种数据处理方法的应用软件包，保证数据安全的数据安全保密技术。
例如，数据集构件模块可在不改变图像类别的情况下，增加数据量，提高模型的泛化能力。
模型搭建模块，被配置为构建正-逆卷积神经网络模型，构建的正-逆卷积神经网络模型包括：三层卷积层、两层池化层和两层逆卷积层；其中，所述卷积层分别采用5×5、3×3、1×1的卷积核，滑动步长为1；所述池化层采用2×2的选择核；所述逆卷积层分别采用3×3、5×5的卷积核；所述卷积层、所述池化层和所述逆卷积层的连接顺序为：5×5卷积核的卷积层，池化层，3×3卷积核的卷积层，池化层，1×1卷积核的卷积层，3×3卷积核的逆卷积层，5×5卷积核的逆卷积层。
例如，模型搭建模块使用的深度学习的框架可以选择PaddlePaddle、Tensorflow、Caffe、Theano、MXNet、Torch、PyTorch等。
模型训练模块，被配置为使用所述数据集训练所述正-逆卷积神经网络模型。使用所述数据集训练所述正-逆卷积神经网络模型具体包括：最大值池化操作中的激活函数选取Relu函数(线性整流函数)，使用构建好的数据集基于随机梯度下降的策略对构建好的正-逆卷积神经网络模型网络进行训练。
例如，模型训练模块为提高训练的速率采用GPU加速。
图像处理模块，被配置为使用训练后的所述正-逆卷积神经网络模型进行图像处理，图像处理具体包括：将训练好的正逆卷积神经网络存储为特定格式的文件，载入到嵌入式设备中，在本实施例中，使用C++调用python文件的混合编程形式，将算法移植在维纳滤波的算法后端，参照神经网络在基本图像去噪领域的实现过程对维纳滤波误差的修正实现对初步解码输出图像的高效、实时去噪；优选的，因为降低神经网络数据位数将会明显影响输出精度，因此不能剪枝操作，应在支持GPU设备的嵌入式系统中使用Float浮点运算来实现网络计算。
例如，图像处理模块可选的嵌入式设备有树莓派等。
基于同一发明构思，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现如上任意一实施例所述的方法。
从上面所述可以看出，本发明提供的一种图像处理方法、装置及电子设备首次利用深度学习实现了波前编码图像使用传统方法解码时出现的各种误差的修正，最终得到去除离焦模糊的清晰图像，实现了超大景深成像，得到了高质量的图像，且速度更快、过程更简单，节省了人力屋里，有效降低了图像处理的成本。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习的图像处理方法，其特征在于，包括：
采集第一图像数据，根据所述第一图像数据，生成第二图像数据；所述第一图像数据为相机拍摄的原始图像数据，所述第二图像数据为使用波前解码技术对所述原始图像数据进行解码后得到的数据；
使用所述第一图像数据和所述第二图像数据构建数据集；
构建正-逆卷积神经网络模型；
使用所述数据集训练所述正-逆卷积神经网络模型；
使用训练后的所述正-逆卷积神经网络模型进行图像处理；
其中，所述采集第一图像数据，根据上述第一图像数据，生成第二图像数据，包括：
使用平行光管对波前编码相机镜头在成像距离的点扩散函数进行测量；
将所述波前编码相机镜头与采图相机模组进行组合，放置在所述平行光管的尾端；
打开首端光源，采用点型孔遮光板对所述首端光源进行遮光；
对齐点光源后，使用所述采图相机模组的截图功能，得到图像；
将所述图像保存后数字化，得到第一图像数据和编码镜头的实际点扩散函数；
读取所述波前编码相机的视频流，将所述图像由RGB格式转换为YUV格式；
在Y通道中，对所述图像频谱化，得到频谱化图像；
将所述点扩散函数进行图像补偿后，将其频谱化，得到频谱化点扩散函数；
将所述频谱化图像和所述频谱化点扩散函数进行频域矩阵点乘运算后，再对其进行逆傅里叶变换；
将U、V通道与Y通道合并，得到初步解码图像；
利用所述实际点扩散函数与所述初步解码图像作卷积运算，得到所述第二图像数据。
2.根据权利要求1所述的一种基于深度学习的图像处理方法，其特征在于，所述数据集包括训练集和测试集，所述训练集和所述测试集的比例为4比1。
3.根据权利要求1所述的一种基于深度学习的图像处理方法，其特征在于，所述正-逆卷积神经网络模型的结构包括：
三层卷积层、两层池化层和两层逆卷积层；
其中，所述卷积层分别采用5×5、3×3、1×1的卷积核，滑动步长为1；所述池化层采用2×2的选择核；所述逆卷积层分别采用3×3、5×5的卷积核；所述卷积层、所述池化层和所述逆卷积层的连接顺序为：5×5卷积核的卷积层，池化层，3×3卷积核的卷积层，池化层，1×1卷积核的卷积层，3×3卷积核的逆卷积层，5×5卷积核的逆卷积层。
4.根据权利要求3所述的一种基于深度学习的图像处理方法，其特征在于，所述逆卷积层被配置为：
将卷积和池化后的所述数据集中图像的尺寸调整为初始值的两倍。
5.根据权利要求4所述的一种基于深度学习的图像处理方法，其特征在于，所述逆卷积层被配置为：
输出所述第二图像数据和所述第一图像数据的差分图像状态，估计所述第二图像数据相对于所述第一图像数据的噪声。
6.根据权利要求4所述的一种基于深度学习的图像处理方法，其特征在于，所述池化层被配置为，对所述数据集进行最大池化操作，所述最大池化操作中的激活函数为ReLU函数。
7.根据权利要求1所述的一种基于深度学习的图像处理方法，其特征在于，所述使用所述数据集训练所述正-逆卷积神经网络模型包括：
将损失函数定义为所述第一图像和所述第二图像的均方误差。
8.一种基于深度学习的图像处理装置，其特征在于，包括：
图像采集模块，被配置为采集第一图像数据，根据所述第一图像数据，生成第二图像数据；所述第一图像数据为相机拍摄的原始图像数据，所述第二图像数据为使用波前解码技术对所述原始图像数据进行解码后得到的数据；
数据集构件模块，被配置为使用所述第一图像数据和所述第二图像数据构建数据集；
模型搭建模块，被配置为构建正-逆卷积神经网络模型；
模型训练模块，被配置为使用所述数据集训练所述正-逆卷积神经网络模型；
图像处理模块，被配置为使用训练后的所述正-逆卷积神经网络模型进行图像处理；
其中，图像采集模块还被配置为：
使用平行光管对波前编码相机镜头在成像距离的点扩散函数进行测量；
将所述波前编码相机镜头与采图相机模组进行组合，放置在所述平行光管的尾端；
打开首端光源，采用点型孔遮光板对所述首端光源进行遮光；
对齐点光源后，使用所述采图相机模组的截图功能，得到图像；
将所述图像保存后数字化，得到第一图像数据和编码镜头的实际点扩散函数；
读取所述波前编码相机的视频流，将所述图像由RGB格式转换为YUV格式；
在Y通道中，对所述图像频谱化，得到频谱化图像；
将所述点扩散函数进行图像补偿后，将其频谱化，得到频谱化点扩散函数；
将所述频谱化图像和所述频谱化点扩散函数进行频域矩阵点乘运算后，再对其进行逆傅里叶变换；
将U、V通道与Y通道合并，得到初步解码图像；
利用所述实际点扩散函数与所述初步解码图像作卷积运算，得到所述第二图像数据。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910697009.5A CN110533607B (zh) | 2019-07-30 | 2019-07-30 | 一种基于深度学习的图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910697009.5A CN110533607B (zh) | 2019-07-30 | 2019-07-30 | 一种基于深度学习的图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533607A CN110533607A (zh) | 2019-12-03 |
| CN110533607B true CN110533607B (zh) | 2022-04-26 |
Family
ID=68661119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910697009.5A Active CN110533607B (zh) | 2019-07-30 | 2019-07-30 | 一种基于深度学习的图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533607B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111272299B (zh) * | 2020-01-22 | 2021-01-26 | 浙江大学 | 一种基于深度学习的Shack-Hartmann波前探测器 |
| CN111507049B (zh) * | 2020-06-01 | 2024-01-30 | 中国计量大学 | 一种镜头像差仿真及优化方法 |
| CN111629147B (zh) * | 2020-06-04 | 2021-07-13 | 中国科学院长春光学精密机械与物理研究所 | 基于卷积神经网络的自动调焦方法及系统 |
| CN111932431B (zh) * | 2020-07-07 | 2023-07-18 | 华中科技大学 | 基于水印分解模型的可见水印去除方法和电子设备 |
| CN111968052B (zh) * | 2020-08-11 | 2024-04-30 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112437451B (zh) * | 2020-11-10 | 2022-08-02 | 南京大学 | 一种基于生成对抗网络的无线网络流量预测方法和设备 |
| CN114518654B (zh) * | 2022-02-11 | 2023-05-09 | 南京大学 | 一种高分辨大景深成像方法 |
| CN115359105B (zh) * | 2022-08-01 | 2023-08-11 | 荣耀终端有限公司 | 景深扩展图像生成方法、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN108550125A (zh) * | 2018-04-17 | 2018-09-18 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| CN109801230A (zh) * | 2018-12-21 | 2019-05-24 | 河海大学 | 一种基于新编码器结构的图像修复方法 |
| CN110018564A (zh) * | 2019-03-12 | 2019-07-16 | 北京威睛光学技术有限公司 | 一种波前编码空间大景深延拓的光学成像系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101871098B1 (ko) * | 2017-01-12 | 2018-06-25 | 포항공과대학교 산학협력단 | 이미지 처리 방법 및 장치 |
-
2019
- 2019-07-30 CN CN201910697009.5A patent/CN110533607B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN108550125A (zh) * | 2018-04-17 | 2018-09-18 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| CN109801230A (zh) * | 2018-12-21 | 2019-05-24 | 河海大学 | 一种基于新编码器结构的图像修复方法 |
| CN110018564A (zh) * | 2019-03-12 | 2019-07-16 | 北京威睛光学技术有限公司 | 一种波前编码空间大景深延拓的光学成像系统 |
Non-Patent Citations (1)
| Title |
|---|
| 波前编码技术中的图像复原研究;张欣;《中国博士学位论文全文数据库（电子期刊）信息科技辑》;20101015;参见第1.1.1节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533607A (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533607B (zh) | 一种基于深度学习的图像处理方法、装置及电子设备 | |
| Lan et al. | MADNet: A fast and lightweight network for single-image super resolution | |
| US10580120B2 (en) | Image filtering based on image gradients | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| US10410327B2 (en) | Shallow depth of field rendering | |
| Wei | Image super‐resolution reconstruction using the high‐order derivative interpolation associated with fractional filter functions | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN115456914B (zh) | 一种基于先验知识的散焦图像去模糊方法、装置及介质 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| Zhou et al. | W2S: microscopy data with joint denoising and super-resolution for widefield to SIM mapping | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| US20140092116A1 (en) | Wide dynamic range display | |
| Hai et al. | Advanced retinexnet: a fully convolutional network for low-light image enhancement | |
| Reeves | Image restoration: fundamentals of image restoration | |
| Li et al. | Efficient burst raw denoising with variance stabilization and multi-frequency denoising network | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| González et al. | Non-parametric PSF estimation from celestial transit solar images using blind deconvolution | |
| CN111754412A (zh) | 构建数据对的方法、装置及终端设备 | |
| CN113160082B (zh) | 一种基于参考图像的晕影校正方法、系统、装置及介质 | |
| Haq et al. | Block-based compressed sensing of MR images using multi-rate deep learning approach | |
| US20230394632A1 (en) | Method and image processing device for improving signal-to-noise ratio of image frame sequences | |
| CN115375540A (zh) | 一种基于深度学习算法的太赫兹图像超分辨方法 | |
| Su et al. | Atmospheric turbulence degraded image restoration using a modified dilated convolutional network | |
| CN114119377A (zh) | 一种图像处理方法及装置 | |
| CN111383187B (zh) | 一种图像处理方法、装置及智能终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |