CN112102185B - 基于深度学习的图像去模糊方法及装置、电子设备 - Google Patents

Abstract

本申请的实施例揭示了一种基于深度学习的图像去模糊方法及装置，该方法包括：确定待处理图像对应的模糊类型；基于所述待处理图像对应的模糊类型，确定与所述模糊类型相匹配的模糊处理网络，所述模糊处理网络是根据所述模糊类型对应的多个样本图像对进行训练得到的，所述多个样本图像对由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成；将所述待处理图像输入所述模糊处理网络中，以基于所述模糊处理网络在训练中学习到的所述模糊样本图像与所述清晰样本图像之间的特征映射关系，对所述待处理图像进行去模糊处理；获取所述模糊处理网络输出的去模糊图像。本申请实施例的技术方案能够对待处理进行全盲性的去模糊处理。

Description

基于深度学习的图像去模糊方法及装置、电子设备

技术领域

本申请涉及人工智能技术领域，具体涉及一种基于深度学习的图像去模糊方法及装置、电子设备以及计算机可读存储介质。

背景技术

病理显微镜可以快速地获取病理切片的数字病理图像，但是获取到的数字病理图像常常存在模糊情况，导致医生通过查看数字病理图像难以得到准确的病理信息，为病理诊断带来障碍。因此，如何去除数字病理图像中含有的模糊因素以得到清晰的数字病理图像，是现有技术中还有待解决的技术问题。

发明内容

为解决上述技术问题，本申请的实施例提供了一种基于深度学习的图像去模糊方法及装置，还提供了一种电子设备以及计算机可读存储介质，基于本申请的实施例对待处理图像进行去模糊处理，能够得到的清晰的去模糊图像。

其中，本申请所采用的技术方案为：

一种基于深度学习的图像去模糊方法，包括：确定待处理图像对应的模糊类型；基于所述待处理图像对应的模糊类型，确定与所述模糊类型相匹配的模糊处理网络，所述模糊处理网络是根据多个样本图像对进行训练得到的，所述多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成；将所述图像输入所述模糊处理网络中，以基于所述模糊处理网络在训练中学习到的所述模糊样本图像与所述清晰样本图像之间的特征映射关系，对所述图像进行去模糊处理；获取所述模糊处理网络输出的去模糊图像。

一种基于深度学习的图像去模糊装置，包括：模糊类型确定模块，用于确定待处理图像对应的模糊类型；模糊网络确定模块，用于基于所述待处理图像对应的模糊类型，确定与所述模糊类型相匹配的模糊处理网络，所述模糊处理网络是根据多个样本图像对进行训练得到的，所述多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成；图像模糊处理模块，用于将所述图像输入所述模糊处理网络中，以基于所述模糊处理网络在训练中学习到的所述模糊样本图像与所述清晰样本图像之间的特征映射关系，对所述图像进行去模糊处理；去模糊图像获取模块，用于获取所述模糊处理网络输出的去模糊图像。

一种电子设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的基于深度学习的图像去模糊方法。

一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的基于深度学习的图像去模糊方法。

在上述技术方案中，预先针对不同的模糊类型训练得到不同的模糊处理网络，其中，对模糊处理网络进行训练的训练数据包括相应模糊类型的多个样本图像对，并且多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成的，使得模糊处理网络在训练过程中能够不断地学习不同模糊程度的模糊样本图像与清晰样本图像之间的特征映射关系，使得模糊处理网络具有很高的模糊程度包容性，进而能够具有很好的去模糊效果。

在实际应用中，待处理图像可以是基于病理显微镜获取的病理切片的数字病理图像，基于所确定的待处理图像对应的模糊类型，选择该模糊类型相匹配的模糊处理网络对待处理图像进行去模糊处理，使得模糊处理网络基于训练过程中学习得到的特征映射关系，有针对性地去除待处理图像中含有的模糊因素，从而得到清晰的去模糊图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是一示例性实施例示出的一种去模糊处理模型的结构示意图；

图2是一示例性实施例示出的一种离焦模糊处理网络的结构示意图；

图3是本申请涉及的一种示例性应用场景的示意图；

图4是一示例性实施例示出的一种基于深度学习的图像去模糊方法的流程图；

图5是一示例性实施例示出的一种基于深度学习的图像去模糊装置的框图；

图6是根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本申请的描述中，除非另有说明，“多个”的含义是至少两个。

首先需要说明的是，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、信息抽取技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。

深度学习(Deep Learning，DL)是机器学习领域中一个的研究方向，它被引入机器学习使其更接近于最初的目标，是一个复杂的机器学习算法。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

本申请提出的图像去模糊方案具体涉及基于深度学习领域，以下将通过具体的实施例对本申请提出的图像去模糊方案进行详细说明。并且本申请提出的图像去模糊方案可以对任意图像进行去模糊处理，并不仅限于对通过病理显微镜获取的数字病理图像进行去模糊处理。

请参阅图1，图1是本申请的一示例性实施例示出的一种去模糊处理模型的结构示意图。该去模糊处理模型用于对输入其中的待处理图像进行去模糊处理，并输出清晰的去模糊图像。

如图1所示，去模糊处理模型20包括模糊分类网络21、离焦模糊处理网络22和运动模糊处理网络23。

模糊分类网络21用于识别输入其中的待处理图像10所对应的模糊类型。在一示例性实施例中，模糊分类网络21对待处理图像10对应的模糊类型的分类方式与病理显微镜的工作方式有关。例如在一方面，由于医务人员视力差异，医务人员对病理显微镜手动对焦后，病理显微镜获取到的数字病理图像也常常存在一定程度的离焦模糊情况；另一方面，医务人员在切换病理显微镜的视野的过程中，由于载物台在水平方向上的移动，或者由于观测物体本身存在运动情况，都会导致病理显微镜采集到的数字病理图像存在不同程度的运动模糊情况，因此将模糊分类网络21中含有的模糊类型包括离焦模糊类型和运动模糊类型。

此外，考虑到离焦模糊类型和运动模糊类型两种情况也可能会同时存在，导致数字病理图像存在混合模糊情况，因此模糊分类网络21含有的模糊类型还包括混合模糊类型。另外，考虑到病理显微镜也有可能获取到清晰的数字病理图像，模糊分类网络21含有的模糊类型还可以包括清晰类型。

模糊分类网络21可以是常见的分类网络，例如是VGG(Visual Geometry Group，超分辨率测试序列)16网络等常见的用于图像分类的卷积网络，本实施例不对此进行限制。

模糊分类网络21在训练过程中所采用的训练样本集也由清晰类型、离焦模糊类型、运动模糊类型和混合模糊类型这4种类型对应的样本图像构成，例如训练样本集可以包括400张清晰类型的样本图像、4000张离焦模糊类型的样本图像、3200张运动模糊类型的样本图像、以及3200张混合模糊类型的样本图像。模糊分类网络21可以采用交叉熵损失函数进行训练，初始学习率可以是0.0001，输入图像和输出图像的大小可以为1920像素×1920像素，训练的批(batch)数量可以为16。

离焦模糊处理网络32和运动模糊处理网络33均用于对输入图像进行去模糊处理，并输出清晰的去模糊图像。离焦模糊处理网络22和运动模糊处理网络23均可以采用编解码网络的网络结构，但考虑到针对不同的模糊类型进行去模糊处理的机制差异较大，离焦模糊处理网络22和运动模糊处理网络23需分别采用不同模糊类型的样本图像对编解码网络进行训练得到。

其中，离焦模糊处理网络32是基于离焦模糊类型的样本图像，对一深度学习网络进行训练得到的，其对于离焦模糊类型的图像具有更佳的去模糊效果。运动模糊处理网络33是基于运动模糊类型的样本图像，对另一深度学习网络进行训练得到的，其对于运动模糊类型的图像具有更佳的去模糊效果。深度学习网络可以是编解码网络。

对于离焦模糊处理网络22，其使用多个样本图像对进行训练得到，多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成。具体的，多张模糊样本图像可以是病理显微镜在同一图像采集视野下、基于不同的离焦距离采集得到的多张数字病理图像，清晰样本图像则是同一图像采集视野下的对焦图像。将多张模糊样本图像分别于清晰样本图像进行组合，并将清晰样本图像与自身进行组合，即可得到多个样本图像对。其中，基于清晰样本图像与自身进行组合对离焦模糊处理网络22进行训练，有利于离焦模糊处理网络22内参数的归一化，可以提升离焦模糊处理网络22的稳定性和鲁棒性。

例如，针对病理显微镜的每一个图像采集视野，可以采集焦距为-31.2至31.2微米、间隔为3.12微米的20张离焦图像作为模糊样本图像，并采集1张对焦图像作为清晰样本图像，并组成21对样本图像对(包括20对“离焦-对焦”图像对以及1对“对焦-对焦”图像对)对离焦模糊处理网络22进行训练。训练过程中可以使用RMS(RootMean Square，均方根)函数作为损失函数，学习率可以为0.0001，输入图像和输出图像的大小可以为1920像素×1920像素，训练的轮次(epoch)可以为4000，训练的批(batch)数量可以为16。

另外考虑到不同的病理分析方式可能对于病理切片的成像模糊程度产生影响，用于训练离焦模糊处理网络22的训练样本集可以包括对于采用不同的病理分析方式所得到的病理切片进行图像采集得到的样本图像。例如，可以采用200例基于HE(Hematoxylin-eosin Staining，伊红染色法，是一种病理切片染色方法)得到的病理切片、200例基于TCT(Thinprep Cytologic Test，新柏氏液基细胞学技术)得到的病理切片、以及200例IHC(Immuno Histo Chemistry，免疫组化)得到的病理切片构建用于训练离焦模糊处理网络22的训练样本集。

离焦模糊处理网络22在训练过程中，基于输入的多个样本图像对中含有的模糊样本图像和清晰样本图像，不断地学习不同模糊程度的模糊样本图像与清晰样本图像之间的特征映射关系，以在离焦模糊处理网络22的实际应用过程中，基于学习到的特征映射关系，将输入图像中含有的模糊特征更改为去模糊特征，从而去除输入图像中含有的离焦模糊因素，以实现输入图像的去模糊处理，得到清晰的去模糊图像。

对于运动模糊处理网络23，仍使用多个样本图像对进行训练得到，多个样本图像对是由不同运动模糊程度的多张模糊样本图像分别与清晰样本图像组成。

例如，将病理显微镜采集到的对焦图像作为清晰样本图像，然后基于多个大小不同的运动模糊核，并按照预设的模糊方向对清晰样本图像进行多次运动模糊处理，即可得到同一图像采集视野下具有不同运动模糊程度的模糊样本图像。示例性的，运动模糊核的大小为5至50个像素，间隔为5个像素，预设的模糊方向为水平或者垂直方向，即可得到16张模糊样本图像，与清晰样本图像组成17对样本图像对。

在使用上述多个样本图像对运动模糊处理网络23进行训练的过程中，仍可以使用RMS(Root Mean Square，均方根)函数作为损失函数，学习率仍可以设为0.0001，输入图像和输出图像的大小仍可以为1920像素×1920像素，训练的轮次(epoch)仍为4000，训练的批(batch)数量可以为16。

另外，仍考虑到不同的病理分析方式可能对于病理切片的成像模糊程度产生影响，本实施例用于训练运动模糊处理网络23的清晰样本图像，可以包括对于采用不同的病理分析方式所得到的病理切片进行图像采集得到的对焦图像。

运动模糊处理网络23在训练过程中，仍基于输入的多个样本图像对中含有的模糊样本图像和清晰样本图像，不断地学习不同模糊程度的模糊样本图像与清晰样本图像之间的特征映射关系，以在运动模糊处理网络23的实际应用过程中，基于学习到的特征映射关系，将输入图像中含有的模糊特征更改为去模糊特征，从而去除输入图像中含有的运动模糊因素，以实现输入图像的去模糊处理，得到清晰的去模糊图像。

对于本实施例提出的去模糊处理模型20，针对输入其中的任意待处理图像10，首先基于模糊分类网络21获取待处理图像10对应的模糊类型，若确定待处理图像10对应于离焦模糊类型，则将待处理图像10进一步输入至离焦模糊处理网络22中进行去模糊处理，从而去除待处理图像10中含有的离焦模糊因素，得到去模糊图像30并输出；若确定待处理图像10对应于运动模糊类型，则将待处理图像10进一步输入运动模糊处理网络23中进行去模糊处理，从而去除待处理图像10中含有的运动模糊因素，得到去模糊图像30并输出；若确定待处理图像10对应于混合模糊类型，则将离焦模糊处理网络22与运动模糊处理网络23进行收尾相连得到与混合模糊类型相对应的模糊处理网络，将待处理图像10进一步输入与混合模糊类型相对应的模糊处理网络进行去模糊处理，从而去除待处理图像10中含有的离焦模糊因素以及运动模糊因素，得到去模糊图像30并输出；若确定待处理图像10对应于清晰类型，则表示待处理图像10是清晰的图像，直接将待处理图像10作为去模糊图像30输出。

由此，基于本实施例提供的去模糊处理模型具有极强的有效性，对于输入的待处理图像，不论其是对应于何种模糊类型，也不论模糊程度是轻度还重度，都可以通过本实施例提供的去模糊处理模型进行全盲式的去模糊处理，以得到清晰的去模糊图像。

并且，对于本实施例提供的去模糊处理模型，即便是输入的清晰图像，也不会破坏图像的任何信息，而是直接将图像输出，使得基于本实施例提供的去模糊处理模型也具有极强的鲁棒性。

请参阅图2，图2是一示例性实施例示出的一种离焦模糊处理网络的结构示意图。该离焦模糊处理网络可以是图1所示的去模糊处理模型20中含有的离焦模糊处理网络22。

首先需要说明的是，图1所示的去模糊处理模型20中含有的离焦模糊处理网络23的结构可以与本实施例提出的离焦模糊处理网络的结构相同，二者之间的区别在于训练过程中所使用的训练样本集不同，其中离焦模糊处理网络是基于离焦模糊类型对应的多个样本图像对训练得到的，离焦模糊处理网络是基于运动模糊类型对应的多个样本图像对训练得到的。由此，本实施例不再对运动模糊处理网络的网络结构进行赘述。

如图2所示，离焦模糊处理网络具体为深度学习网络，其结构具体可以是编解码网络对应的结构，包括特征编码子网络以及特征解码子网络。例如图2所示的上半部分的网络结构用于表征特征编码子网络，下半部分的网络结构即用于表征特征解码子网络。

特征编码子网络用于对输入的模糊图像进行特征编码处理，得到模糊图像对应的编码图像特征。特征解码子网络用于对特征编码子网络输出的编码图像特征进行特征解码处理，得到去模糊图像对应的图像特征。基于对去模糊图像对应的图像特征进行图像还原，即可得到去模糊图像，也即得到清晰的图像。

如图2所示，特征编码子网络中含有依次排列的多个卷积网络层，基于多次排列的多个卷积网络层对输入的待处理图像10对应的图像特征进行卷积计算，即可将特征编码子网络中最后一个卷积网络层的输出信号作为待处理图像10对应的编码图像特征。

特征编码子网络中含有依次排列的多个卷积网络层，基于多次排列的多个卷积网络层对输入的待处理图像10对应的图像特征进行卷积计算，即可将特征编码子网络中最后一个卷积网络层的输出信号作为待处理图像10对应的编码图像特征。

特征编码子网络中包括第一指定卷积网络层和普通的卷积网络层。第一指定卷积网络层用于对输入其中的输入信号进行卷积计算得到卷积信号，并将卷积信号进行非线性处理得到非线性信号，再将输入信号与非线性信号堆叠得到第一指定卷积网络层输出信号。第一指定卷积网络层相比于普通的卷积网络层，可以加深网络的深度，从而加强网络的特征表达，提升离线模糊处理网络的性能。

仍如图2所示，特征解码子网络中也包括依次排列的多个卷积网络层，具体包括第一指定卷积网络层和普通的卷积网络层，还包括第二指定卷积网络层。第二指定卷积网络层的输入信号包括上层卷积网络的输出信号，以及特征编码子网络中的卷积网络层的输出信号，基于特征编码子网络中输出的信息，能够进一步提升离线模糊处理网络的性能。

离线模糊处理网络基于同一图像采集视野下采集的清晰样本图像和多张模糊样本图像组合得到的多个样本图像对进行训练。具体的，离线模糊处理网络获取各个样本图像对中对应的图像对特征，该图像对特征含有的模糊样本图像对应的图像特征以及清晰样本图像对应的图像特征，然后对模糊样本图像对应的图像特征进行去模糊处理，得到模糊样本图像对应的去模糊特征，并根据模糊样本对应的去模糊特征与清晰样本图像对应的图像特征之间的特征差别，对自身网络中含有的网络参数进行更新处理。

此过程即为离线模糊处理网络学习模糊样本图像与清晰样本图像之间的特征映射关系的过程，离线模糊处理网络中含有的网络参数的更新，即为离线模糊处理网络针对模糊样本图像与清晰样本图像之间的特征映射关系不断学习的过程。由此，离线模糊处理网络基于在训练中学习到的模糊样本图像与清晰样本图像之间的特征映射关系，可以对待处理图像10进行去模糊处理，得到去模糊图像30。

此外在离线模糊处理网络的训练过程中，还可以采用多尺度输入输出方式进行训练，以提升离线模糊处理网络的效果。具体的，对于模糊样本图像对应的图像特征进行模糊预处理，例如通过上、下采样方式对模糊样本图像进行模糊处理，得到模糊样本图像对应的模糊图像特征，然后将模糊图像特征输入离线模糊处理网络，并将离线模糊处理网络输出的特征信号与模糊样本图像对应的图像特征进行堆叠，得到堆叠特征，最后再将堆叠特征输入离线模糊处理网络，得到最终输出的去模糊图像对应的去模糊特征。

图3是本申请涉及的一种示例性应用场景的示意图。如图3所示，病理显微镜100用于对载物台上放置的病理切片进行图像采集，由于医务人员视力差异，医务人员对病理显微镜100手动对焦后，病理显微镜100获取到的数字病理图像中可能存在一定程度的离焦模糊情况，另一方面，医务人员在切换病理显微镜100的视野的过程中，由于载物台在水平方向上的移动，导致病理显微镜100采集到的数字病理图像还存在运动模糊情况。

终端200可以是计算机、笔记本电脑等终端设备，其中加载有图1以及图2所示的去模糊网络模型20，终端200在获取到病理显微进行采集到的模糊的数字病理图像后，基于自身加载的去模糊网络模型20对此数字病理图像进行去模糊处理，从而得到清晰的数字病理图像。医生通过在终端200中查看清晰的数字病理图像，即可以对病理状况作出较为准确的判断。

在一些实施例中，终端200可以与服务器(图3中未示出)建立通信连接，去模糊网络模型20具体加载于服务器上，当终端200获取到病理显微镜100采集的数字病理图像之后，通过调用服务器提供的软件接口，将数字病理图像输入服务器中，服务器接收到数字病理图像后，基于自身加载的去模糊网络模型20对该数字病理图像进行去模糊处理，并将得到的清晰的数字病理图像返回给终端200，终端200则可以对接收到的清晰的数字病理图像进行显示、打印、转发等操作。

并且，即使病理显微镜100采集的数字病理图像是清晰的，仍可以将该数字病理图像输入去模糊网络模型20中，去模糊网络模型20可以直接将此清晰的数字病理图像输出，不会破坏此数字病理图像中的任何信息，从而保证医生可以根据此数字病理图像对病理状况作出较为准确的判断。

图4是一示例性实施例示出的一种基于深度学习的图像去模糊方法的流程图。该方法可以应用于图1所示的去模糊处理模型20，用以对输入的待处理图像进行去模糊处理，得到清晰的去模糊图像。

如图4所示，在一示例性实施例中，该方法可以包括如下步骤：

步骤110，确定待处理图像对应的模糊类型。

首先需要说明的是，待处理图像是待进行去模糊处理的图像，待处理图像对应的模糊类型可以是基于待处理图像的模糊生成原因进行分类得到的，例如待处理图像对应的模糊类型可以包括离焦模糊类型、运动模糊类型、混合模糊类型以及清晰类型。

其中，离焦模糊类型是指待处理图像是在图像采集镜头处于离焦的情况下采集得到的；运动模糊类型则是由于观测物体本身是运动的，或者放置观测物体的观测台式运动的，导致采集到的图像是模糊的；混合模糊类型是基于多种单一模糊类型的混合，例如待处理图像中既存在离焦模糊因素，又存在运动模糊因素；清晰类型则表示待处理图像是清晰的图像。

在本实施例中，可以将待处理图像输入至模糊分类网络中，以得到模糊分类网络输出的待处理图像对应的模糊类型；或者待处理图像自身可以携带相应的模糊类型标识，例如模糊类型标识是人为添加至待处理图像中对应的图像信息中的，当获取到待处理图像时，即能够相应得到待处理图像对应的模糊类型，本实施例不对此进行限制。

步骤130，基于待处理图像对应的模糊类型，确定与模糊类型相匹配的模糊处理网络，模糊处理网络是根据模糊类型对应的多个样本图像对进行训练得到的，多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成。

在本实施例中，与待处理图像对应的模糊类型相匹配的模糊处理网络是根据待处理图像对应的模糊类型下的多个样本图像对进行训练得到。

若步骤110中确定待处理图像对应于离焦模糊类型，与离焦模糊类型相匹配的模糊处理网络可以称为离焦模糊处理网络，例如图1所示的离焦模糊处理网络22，具体是基于离焦模糊类型下具有不同模糊程度的多张模糊样本图像分别于清晰样本图像组成的多个样本图像对进行训练得到。

例如，可以获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，多张模糊样本图像具体时基于不同的焦距距离采集得到的，因此不同的模糊样本图像具有不同的离焦模糊程度。将多张模糊样本图像分别与清晰样本图像进行组合，以及将清晰样本图像与自身进行组合，即得到多个样本图像对。将得到的多个样本图像对输入第一深度学习网络中，以基于多个样本图像对训练第一深度学习网络，即可将训练好的第一深度学习网络作为与离焦模糊类型相匹配的模糊处理网络。

对第一深度学习网络进行训练可以包括如下过程：获取样本图像对所对应的图像对特征，图像对特征中含有模糊样本图像对应的图像特征和清晰样本图像对应的图像特征；基于第一深度学习网络，对模糊样本图像对应的图像特征进行去模糊处理，得到模糊样本图像对应的去模糊特征；根据模糊样本对应的去模糊特征与清晰样本图像对应的图像特征之间的特征差别，对第一深度学习网络中含有的网络参数进行更新处理。

本实施例对第一深度学习网络中含有的网络参数的更新，即是第一深度学习网络基于更新的网络参数对输入其中的图像进行去模糊处理后，可以输出更加接近于清晰样本图像的去模糊图像，因此，基于此训练过程，第一深度学习网络即可以学习到不同离焦模糊程度的模糊样本图像与清晰样本图像之间的特征映射关系，进而使得与离焦模糊类型相匹配的模糊处理网络对于离焦模糊类型对应的待处理图像具有更佳的去模糊效果。

若步骤110中确定待处理图像对应于运动模糊类型，与运动模糊类型相匹配的模糊处理网络可以称为运动模糊处理网络，例如图1所示的运动模糊处理网络23，具体是基于运动模糊类型下具有不同模糊程度的多张模糊样本图像分别与清晰样本图像组成的多个样本图像对进行训练得到。

例如，可以获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，例如在获取到某个图像采集视野下采集到的清晰样本图像之后，基于多个大小不同的运动模糊核以及预设的模糊方向对清晰样本图像进行多次运动模糊处理，从而得到多张具有不同运动模糊程度的模糊样本图像。由于每张模糊样本图像是基于不同的运动模糊核对清晰样本图像进行运动模糊处理得到的，因此不同的模糊样本图像具有不同的运动模糊程度。

此后，将多张模糊样本图像分别与清晰样本图像进行组合，以及将清晰样本图像与自身进行组合，即得到多个样本图像对。最后，将得到的多个样本图像对输入第二深度学习网络中，以基于多个样本图像对训练第二深度学习网络，即可将训练好的第二深度学习网络作为与运动模糊类型相匹配的模糊处理网络。

需要说明的是，本实施例对第二深度学习网络进行训练的过程与第一深度学习网络的训练过程相同，本处不再对第二深度学习网络进行训练的过程进行赘述。并且，本实施例中的第一深度学习网络和第二深度学习网络可以具有相同的网络结构，例如可以具有图2所示的网络结构，本处也不对具体的网络结构进行赘述。

还需要说明的是，在一示例性实施例中，对第一深度学习网络以的训练还可以包括如下过程：对模糊样本图像对应的图像特征进行模糊预处理，得到模糊样本图像对应的模糊图像特征；基于第一深度学习网络习，对所述模糊图像特征进行去模糊处理；将第一深度学习网络输出的特征信号与模糊样本图像对应的图像特征进行堆叠，得到堆叠特征；将堆叠特征输入第一深度学习网络中进行去模糊处理，以得到第一深度学习网络输出的去模糊特征，由此提升模型的训练效果。对第二深度学习网络的训练同理，本处也不对此进行赘述。

若步骤110中确定待处理图像对应于混合模糊类型，由于混合模糊类型是基于多种单一模糊类型的混合，则将与各种单一模糊类型相匹配的模糊处理网络进行收尾相连，得到与混合模糊类型相匹配的模糊处理网络。

示例性的，混合模糊类型若是离焦模糊类型与运动模糊类型的混合，则可以将离焦模糊处理网络与运动模糊处理网络进行首尾相连，得到与混合模糊类型相匹配的模糊处理网络。需要说明的是，离焦模糊处理网络与运动模糊处理网络中的任一个均可以作为头部网络与另一网络相连接，本处不对此进行限制。与混合模糊类型相匹配的模糊处理网络基于其中含有的各个卷积网络层，对待处理图像对应的图像特征进行卷积处理，以去除待处理图像中含有的混合模糊特征。

若步骤110中确定待处理图像对应于清晰类型，则确定待处理图像为对焦图像，待处理图像中并不存在模糊情况，因此则直接输出待处理图像。

步骤150，将待处理图像输入模糊处理网络中，以基于模糊处理网络在训练中学习到的模糊样本图像与清晰样本图像之间的特征映射关系，对图像进行去模糊处理。

在本实施例中，与单一模糊类型相匹配的模糊处理网络基于在训练过程中学习到的模糊样本图像与清晰样本图像之间的特征映射关系，对待处理图像进行去模糊处理的过程相同，下面将以与离焦模糊类型相匹配的模糊处理网络的去模糊过程进行详细描述，与其它模糊类型相匹配的模糊处理网络的去模糊过程同理，本处不进行赘述。

如图2所示，离焦模糊处理网络包括特征编码子网络和特征解码子网络，在训练过程中，特征编码子网络学习模糊样本图像与清晰样本图像之间的编码特征映射关系，特征解码子网络学习模糊样本图像与清晰样本图像之间的解码特征映射关系。

基于学习到的编码特征映射关系，对输入的待处理图像进行特征编码处理，得到待处理图像对应的编码图像特征，编码图像特征中含有待处理图像相对于去模糊图像的差异特征，然后对编码图像特征进行特征解码处理，以基于学习到的解码特征映射关系，将差异特征更改为去模糊特征，由此得到去模糊图像对应的图像特征。其中，编码特征映射关系以及解码特征映射关系的学习，基于特征编码子网络以及特征解码子网络中的网络参数在训练过程中的更新进行体现。

具体的，对输入的待处理图像进行特征编码处理，是根据特征编码子网络中依次排列的多个卷积网络层，对待处理图像对应的图像特征进行卷积计算，并将特征编码子网络中最后一个卷积网络层的输出信号作为待处理图像对应的编码图像特征。多个卷积网络层中含有第一指定卷积网络层，第一指定卷积网络层用于对第一指定卷积网络层的输入信号进行卷积计算得到卷积信号，并将卷积信号进行非线性处理得到非线性信号，再将输入信号与非线性信号堆叠得到所述第一指定卷积网络层的输出信号，由此加深网络的深度，提升网络的效果。

基于学习到的解码特征映射关系，对特征解码子网络输出的编码图像特征进行特征解码处理，是根据特征解码子网络中依次排列的多个卷积网络层，对图像编码特征进行卷积计算，并将特征解码子网络中最后一个卷积网络层的输出信号作为去模糊图像对应的图像特征的过程。多个卷积网络层中含有第二指定卷积网络层，第二指定卷积网络层的输入信号包括上层卷积网络的输出信号，以及特征编码子网络中的卷积网络层的输出信号，使得特征解码过程中考虑了特征编码过程中的信息，由此提升特征解码效果，进而提升整体模糊处理网络的去模糊效果。

需要说明的是，特征编码子网络以及特征解码子网络的结构可以具体参见图2所示的网络结构，本处不再详细介绍。

步骤170，获取模糊处理网络输出的去模糊图像。

由此，在本实施例提供的基于深度学习的图像去模糊方法中，基于所确定的待处理图像对应的模糊类型，选择该模糊类型相匹配的模糊处理网络对待处理图像进行去模糊处理，使得模糊处理网络基于训练过程中学习得到的特征映射关系，有针对性地去除待处理图像中含有的模糊因素，从而得到清晰的去模糊图像。

对于待处理图像，不论其是对应于何种模糊类型，也不论模糊程度是轻度还重度，都可以通过本实施例提供的方法进行全盲式的去模糊处理，得到清晰的去模糊图像。并且，即便是输入的清晰图像，也不会破坏图像的任何信息，而是直接将图像输出，因此本实施例提供的方法针对待处理图像的去模糊处理具有极强的鲁棒性和有效性。

图5是一示例性实施例示出的一种基于深度学习的图像去模糊装置的框图。如图5所示，该装置包括模糊类型确定模块210、模糊网络确定模块230、图像模糊处理模块250和去模糊图像获取模块270。

其中，模糊类型确定模块210用于确定待处理图像对应的模糊类型。模糊网络确定模块230用于基于待处理图像对应的模糊类型，确定与模糊类型相匹配的模糊处理网络，模糊处理网络是根据多个样本图像对进行训练得到的，多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成。图像模糊处理模块250用于将图像输入模糊处理网络中，以基于模糊处理网络在训练中学习到的模糊样本图像与清晰样本图像之间的特征映射关系，对图像进行去模糊处理。去模糊图像获取模块270用于获取模糊处理网络输出的去模糊图像。

在另一示例性实施例中，图像模糊处理模块250包括特征编码处理单元和特征解码处理单元。特征编码处理单元用于基于模糊处理网络学习到的编码特征映射关系，对输入的待处理图像进行特征编码处理，得到待处理图像对应的编码图像特征，编码图像特征中含有待处理图像相对于去模糊图像的差异特征。特征解码处理单元用于对编码图像特征进行特征解码处理，以基于解码特征映射关系，将差异特征更改为去模糊特征，得到去模糊图像对应的图像特征。

在另一示例性实施例中，特征编码处理单元包括第一网络层计算子单元和第一信号输出单元。网络层计算子单元用于根据特征编码子网络中依次排列的多个卷积网络层，对待处理图像对应的图像特征进行卷积计算，多个卷积网络层中的第一指定卷积网络层用于对第一指定卷积网络层的输入信号进行卷积计算得到卷积信号，并将卷积信号进行非线性处理得到非线性信号，再将输入信号与非线性信号堆叠得到第一指定卷积网络层的输出信号。信号输出单元用于将特征编码子网络中最后一个卷积网络层的输出信号作为编码图像特征。

在另一示例性实施例中，特征解码处理单元包括第二网络层计算子单元和第二信号输出单元。第二网络层计算子单元用于根据特征解码子网络中依次排列的多个卷积网络层，对图像编码特征进行卷积计算，多个卷积网络层中含有第二指定卷积网络层，第二指定卷积网络层的输入信号包括上层卷积网络的输出信号，以及特征编码子网络中的卷积网络层的输出信号。第一信号输出单元用于将特征解码子网络中最后一个卷积网络层的输出信号作为去模糊图像对应的图像特征。

在另一示例性实施例中，该装置还包括第一样本图像获取模块、第一样本图像组合模块和第一模型训练模块。第一样本图像获取模块用于获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，多张模糊样本图像是基于不同的离焦距离采集得到的。第一样本图像组合模块用于将多张模糊样本图像分别与清晰样本图像进行组合，以及将清晰样本图像与自身进行组合，得到多个样本图像对。第一模型训练模块用于将多个样本图像对输入第一深度学习网络中，以基于多个样本图像对训练第一深度学习网络，将训练好的第一深度学习网络作为与离焦模糊类型相匹配的模糊处理网络。

在另一示例性实施例中，第一模型训练模块包括图像对特征获取单元、去特征去模糊处理单元和网络参数更新单元。图像对特征获取单元用于获取样本图像对所对应的图像对特征，图像对特征中含有模糊样本图像对应的图像特征和清晰样本图像对应的图像特征。去特征去模糊处理单元用于基于第一深度学习网络，对模糊样本图像对应的图像特征进行去模糊处理，得到模糊样本图像对应的去模糊特征。网络参数更新单元用于根据模糊样本对应的去模糊特征与清晰样本图像对应的图像特征之间的特征差别，对第一深度学习网络中含有的网络参数进行更新处理。

在另一示例性实施例中，去特征去模糊处理单元包括模糊预处理子单元、预处理去模糊子单元、特征堆叠子单元和堆叠特征处理子单元。模糊预处理子单元用于对模糊样本图像对应的图像特征进行模糊预处理，得到模糊样本图像对应的模糊图像特征。预处理去模糊子单元用于基于第一深度学习网络，对模糊图像特征进行去模糊处理。特征堆叠子单元用于将第一深度学习网络输出的特征信号与模糊样本图像对应的图像特征进行堆叠，得到堆叠特征。堆叠特征处理子单元用于将堆叠特征输入第一深度学习网络中进行去模糊处理，以得到第一深度学习网络输出的去模糊特征。

在另一示例性实施例中，该装置还包括第二样本图像获取模块、第二样本图像组合模块和第二模型训练模块。第二样本图像获取模块用于获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，多张模糊样本图之间具有不同的运动模糊程度。第二样本图像组合模块用于将多张模糊样本图像分别与清晰样本图像进行组合，以及将清晰样本图像与自身进行组合，得到多个样本图像对。第二模型训练模块用于将多个样本图像对输入第二深度学习模型中，以基于多个样本图像对训练第二深度学习网络，将训练好的第二深度学习模型作为与运动模糊类型相匹配的模糊处理网络。

在另一示例性实施例中，第二样本图像获取模块包括清晰样本图像获取单元和模糊核处理单元。清晰样本图像获取单元用于获取在图像采集视野下采集到的清晰样本图像。模糊核处理单元用于基于多个大小不同的运动模糊核，以及预设的模糊方向对清晰样本图像进行多次运动模糊处理，得到多张具有不同运动模糊程度的模糊样本图像。

在另一示例性实施例中，图像模糊处理模块250包括混合网络确定单元和混合模糊处理单元。混合网络确定单元用于将与各种单一模糊类型相匹配的模糊处理网络进行收尾相连，得到与混合模糊类型相匹配的模糊处理网络。混合模糊处理单元用于基于与混合模糊类型相匹配的模糊处理网络含有的各个卷积网络层，对图像对应的图像特征进行卷积处理，以去除待处理图像中含有的混合模糊特征。

在另一示例性实施例中，模糊类型确定模块210用于将待处理图像输入至模糊分类网络中，以得到模糊分类网络输出的待处理图像对应的模糊类型。

在另一示例性实施例中，该装置还包括对焦图像处理模块，用于基于模糊分类网络输出的待处理图像对应的模糊类型，确定待处理图像为对焦图像，则直接输出待处理图像。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

本申请的实施例还提供了一种电子设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前所述的多视点视频的播放控制方法或者多视点视频的视频处理方法。

图6是根据一示例性实施例示出的一种电子设备的结构示意图。

需要说明的是，该电子设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图6中示出的示例性的电子设备中的一个或者多个组件。

如图6所示，在一示例性实施例中，电子设备包括处理组件801、存储器802、电源组件803、多媒体组件804、音频组件805、传感器组件807和通信组件808。其中，上述组件并不全是必须的，电子设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件801通常控制电子设备的整体操作，诸如与显示、数据通信以及日志数据处理相关联的操作等。处理组件801可以包括一个或多个处理器809来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件801可以包括一个或多个模块，便于处理组件801和其他组件之间的交互。例如，处理组件801可以包括多媒体模块，以方便多媒体组件804和处理组件801之间的交互。

存储器802被配置为存储各种类型的数据以支持在电子设备的操作，这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器802中存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器809执行，以完成上述实施例中所描述的基于深度学习的图像去模糊方法中的全部或者部分步骤。

电源组件803为电子设备的各种组件提供电力。电源组件803可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

多媒体组件804包括在电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括TP(Touch Panel，触摸面板)和LCD(Liquid Crystal Display，液晶显示器)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件805被配置为输出和/或输入音频信号。例如，音频组件805包括一个麦克风，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件805还包括一个扬声器，用于输出音频信号。

传感器组件807包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件807可以检测到电子设备的打开/关闭状态，还可以检测电子设备的温度变化。

通信组件808被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，例如Wi-Fi(Wireless-Fidelity，无线网络)。

可以理解，图6所示的结构仅为示意，电子设备该可以包括比图6中所示更多或更少的组件，或者具有与图6所示不同的组件。图6中所示的各组件均可以采用硬件、软件或者其组合来实现。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的基于深度学习的图像去模糊方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的基于深度学习的图像去模糊方法。

上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (24)

1.一种基于深度学习的图像去模糊方法，其特征在于，包括：

确定待处理图像对应的模糊类型；

基于所述待处理图像对应的模糊类型，确定与所述模糊类型相匹配的模糊处理网络，所述模糊处理网络是根据所述模糊类型对应的多个样本图像对进行训练得到的，所述多个样本图像对由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成；

将所述待处理图像输入所述模糊处理网络中，以基于所述模糊处理网络在训练中学习到的所述模糊样本图像与所述清晰样本图像之间的特征映射关系，对所述待处理图像进行去模糊处理；

获取所述模糊处理网络输出的去模糊图像；

其中，所述特征映射关系包括编码特征映射关系和解码特征映射关系，所述模糊处理网络包括特征编码子网络，所述特征编码子网络中的网络参数是基于所述编码特征映射关系更新得到的；

所述对所述待处理图像进行去模糊处理，包括：

根据所述特征编码子网络中依次排列的多个卷积网络层，对所述待处理图像对应的图像特征进行卷积计算，所述多个卷积网络层中的第一指定卷积网络层用于对所述第一指定卷积网络层的输入信号进行卷积计算得到卷积信号，并将所述卷积信号进行非线性处理得到非线性信号，再将所述输入信号与所述非线性信号堆叠得到所述第一指定卷积网络层的输出信号；

将所述特征编码子网络中最后一个卷积网络层的输出信号作为编码图像特征；

基于所述编码图像特征和所述解码特征映射关系，对所述待处理图像进行去模糊处理。

2.根据权利要求1所述的方法，其特征在于，所述编码图像特征中含有所述待处理图像相对于所述去模糊图像的差异特征；基于所述编码图像特征和所述解码特征映射关系，对所述待处理图像进行去模糊处理，包括：

对所述编码图像特征进行特征解码处理，以基于所述解码特征映射关系，将所述差异特征更改为去模糊特征，得到所述去模糊图像对应的图像特征。

3.根据权利要求2所述的方法，其特征在于，所述模糊处理网络还包括特征解码子网络，所述特征解码子网络中的网络参数是基于所述解码特征映射关系更新得到的；对所述编码图像特征进行特征解码处理，包括：

根据所述特征解码子网络中依次排列的多个卷积网络层，对所述编码图像特征进行卷积计算，所述多个卷积网络层中含有第二指定卷积网络层，所述第二指定卷积网络层的输入信号包括上层卷积网络的输出信号，以及所述特征编码子网络中的卷积网络层的输出信号；

将所述特征解码子网络中最后一个卷积网络层的输出信号作为所述去模糊图像对应的图像特征。

4.根据权利要求1所述的方法，其特征在于，所述模糊类型包括离焦模糊类型；所述方法还包括：

获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，所述多张模糊样本图像是基于不同的离焦距离采集得到的；

将所述多张模糊样本图像分别与所述清晰样本图像进行组合，以及将所述清晰样本图像与自身进行组合，得到多个样本图像对；

将所述多个样本图像对输入第一深度学习网络中，以基于所述多个样本图像对训练所述第一深度学习网络，将训练好的第一深度学习网络作为与所述离焦模糊类型相匹配的模糊处理网络。

5.根据权利要求4所述的方法，其特征在于，基于所述多个样本图像对训练所述第一深度学习网络，包括：

获取所述样本图像对所对应的图像对特征，所述图像对特征中含有所述模糊样本图像对应的图像特征和所述清晰样本图像对应的图像特征；

基于所述第一深度学习网络，对所述模糊样本图像对应的图像特征进行去模糊处理，得到所述模糊样本图像对应的去模糊特征；

根据所述模糊样本对应的去模糊特征与所述清晰样本图像对应的图像特征之间的特征差别，对第一深度学习网络中含有的网络参数进行更新处理。

6.根据权利要求5所述的方法，其特征在于，基于所述第一深度学习网络，对所述模糊样本图像对应的图像特征进行去模糊处理，得到所述模糊样本图像对应的去模糊特征，包括：

对所述模糊样本图像对应的图像特征进行模糊预处理，得到所述模糊样本图像对应的模糊图像特征；

基于所述第一深度学习网络，对所述模糊图像特征进行去模糊处理；

将所述第一深度学习网络输出的特征信号与所述模糊样本图像对应的图像特征进行堆叠，得到堆叠特征；

将所述堆叠特征输入所述第一深度学习网络中进行去模糊处理，以得到所述第一深度学习网络输出的所述去模糊特征。

7.根据权利要求1所述的方法，其特征在于，所述模糊类型包括运动模糊类型；所述方法还包括：

获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，所述多张模糊样本图之间具有不同的运动模糊程度；

将所述多张模糊样本图像分别与所述清晰样本图像进行组合，以及将所述清晰样本图像与自身进行组合，得到多个样本图像对；

将所述多个样本图像对输入第二深度学习模型中，以基于所述多个样本图像对训练所述第二深度学习模型，将训练好的第二深度学习模型作为与所述运动模糊类型相匹配的模糊处理网络。

8.根据权利要求7所述的方法，其特征在于，获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，包括：

获取在图像采集视野下采集到的清晰样本图像；

基于多个大小不同的运动模糊核，以及预设的模糊方向对所述清晰样本图像进行多次运动模糊处理，得到多张具有不同运动模糊程度的模糊样本图像。

9.根据权利要求1所述的方法，其特征在于，所述模糊类型包括混合模糊类型，所述混合模糊类型是基于多种单一模糊类型的混合；对所述待处理图像进行去模糊处理，包括：

将与各种单一模糊类型相匹配的模糊处理网络进行收尾相连，得到与所述混合模糊类型相匹配的模糊处理网络；

基于与所述混合模糊类型相匹配的模糊处理网络含有的各个卷积网络层，对所述图像对应的图像特征进行卷积处理，以去除所述待处理图像中含有的混合模糊特征。

10.根据权利要求1所述的方法，其特征在于，确定待处理图像对应的模糊类型，包括：

将所述待处理图像输入至模糊分类网络中，以得到所述模糊分类网络输出的所述待处理图像对应的模糊类型。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若基于模糊分类网络输出的所述待处理图像对应的模糊类型，确定所述待处理图像为对焦图像，则直接输出所述待处理图像。

12.一种基于深度学习的图像去模糊装置，其特征在于，包括：

模糊类型确定模块，用于确定待处理图像对应的模糊类型；

模糊网络确定模块，用于基于所述待处理图像对应的模糊类型，确定与所述模糊类型相匹配的模糊处理网络，所述模糊处理网络是根据多个样本图像对进行训练得到的，所述多个样本图像对是由不同模糊程度的多张模糊样本图像分别与清晰样本图像组成；

图像模糊处理模块，用于将所述图像输入所述模糊处理网络中，以基于所述模糊处理网络在训练中学习到的所述模糊样本图像与所述清晰样本图像之间的特征映射关系，对所述图像进行去模糊处理；

去模糊图像获取模块，用于获取所述模糊处理网络输出的去模糊图像；

其中，所述特征映射关系包括编码特征映射关系和解码特征映射关系，所述模糊处理网络包括特征编码子网络，所述特征编码子网络中的网络参数是基于所述编码特征映射关系更新得到的；

所述对所述待处理图像进行去模糊处理，包括：

根据所述特征编码子网络中依次排列的多个卷积网络层，对所述待处理图像对应的图像特征进行卷积计算，所述多个卷积网络层中的第一指定卷积网络层用于对所述第一指定卷积网络层的输入信号进行卷积计算得到卷积信号，并将所述卷积信号进行非线性处理得到非线性信号，再将所述输入信号与所述非线性信号堆叠得到所述第一指定卷积网络层的输出信号；

将所述特征编码子网络中最后一个卷积网络层的输出信号作为编码图像特征；

基于所述编码图像特征和所述解码特征映射关系，对所述待处理图像进行去模糊处理。

13.根据权利要求12所述的装置，其特征在于，图像模糊处理模块包括特征解码处理单元；

特征编码处理单元，用于对所述编码图像特征进行特征解码处理，以基于所述解码特征映射关系，将差异特征更改为去模糊特征，得到所述去模糊图像对应的图像特征。

14.根据权利要求13所述的装置，其特征在于，所述模糊处理网络还包括特征解码子网络，所述特征解码子网络中的网络参数是基于所述解码特征映射关系更新得到的；

特征解码处理单元包括第二网络层计算子单元和第二信号输出单元；

第二网络层计算子单元，用于根据所述特征解码子网络中依次排列的多个卷积网络层，对所述编码图像特征进行卷积计算，所述多个卷积网络层中含有第二指定卷积网络层，所述第二指定卷积网络层的输入信号包括上层卷积网络的输出信号，以及所述特征编码子网络中的卷积网络层的输出信号；

第一信号输出单元，用于将所述特征解码子网络中最后一个卷积网络层的输出信号作为所述去模糊图像对应的图像特征。

15.根据权利要求12所述的装置，其特征在于，所述模糊类型包括离焦模糊类型；所述装置还包括：

第一样本图像获取模块，用于获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，所述多张模糊样本图像是基于不同的离焦距离采集得到的；

第一样本图像组合模块，用于将所述多张模糊样本图像分别与所述清晰样本图像进行组合，以及将所述清晰样本图像与自身进行组合，得到多个样本图像对；

第一模型训练模块，用于将所述多个样本图像对输入第一深度学习网络中，以基于所述多个样本图像对训练所述第一深度学习网络，将训练好的第一深度学习网络作为与所述离焦模糊类型相匹配的模糊处理网络。

16.根据权利要求15所述的装置，其特征在于，第一模型训练模块包括图像对特征获取单元、去特征去模糊处理单元和网络参数更新单元；

图像对特征获取单元，用于获取所述样本图像对所对应的图像对特征，所述图像对特征中含有所述模糊样本图像对应的图像特征和所述清晰样本图像对应的图像特征；

去特征去模糊处理单元，用于基于所述第一深度学习网络，对所述模糊样本图像对应的图像特征进行去模糊处理，得到所述模糊样本图像对应的去模糊特征；

网络参数更新单元，用于根据所述模糊样本对应的去模糊特征与所述清晰样本图像对应的图像特征之间的特征差别，对第一深度学习网络中含有的网络参数进行更新处理。

17.根据权利要求16所述的装置，其特征在于，去特征去模糊处理单元包括模糊预处理子单元、预处理去模糊子单元、特征堆叠子单元和堆叠特征处理子单元；

模糊预处理子单元，用于对所述模糊样本图像对应的图像特征进行模糊预处理，得到所述模糊样本图像对应的模糊图像特征；

预处理去模糊子单元，用于基于所述第一深度学习网络，对所述模糊图像特征进行去模糊处理；

特征堆叠子单元，用于将所述第一深度学习网络输出的特征信号与所述模糊样本图像对应的图像特征进行堆叠，得到堆叠特征；

堆叠特征处理子单元，用于将所述堆叠特征输入所述第一深度学习网络中进行去模糊处理，以得到所述第一深度学习网络输出的所述去模糊特征。

18.根据权利要求12所述的装置，其特征在于，所述模糊类型包括运动模糊类型；所述装置还包括：

第二样本图像获取模块，用于获取在同一图像采集视野下采集的清晰样本图像和多张模糊样本图像，所述多张模糊样本图之间具有不同的运动模糊程度；

第二样本图像组合模块，用于将所述多张模糊样本图像分别与所述清晰样本图像进行组合，以及将所述清晰样本图像与自身进行组合，得到多个样本图像对；

第二模型训练模块，用于将所述多个样本图像对输入第二深度学习模型中，以基于所述多个样本图像对训练所述第二深度学习模型，将训练好的第二深度学习模型作为与所述运动模糊类型相匹配的模糊处理网络。

19.根据权利要求18所述的装置，其特征在于，第二样本图像获取模块包括清晰样本图像获取单元和模糊核处理单元；

清晰样本图像获取单元，用于获取在图像采集视野下采集到的清晰样本图像；

模糊核处理单元，用于基于多个大小不同的运动模糊核，以及预设的模糊方向对所述清晰样本图像进行多次运动模糊处理，得到多张具有不同运动模糊程度的模糊样本图像。

20.根据权利要求12所述的装置，其特征在于，所述模糊类型包括混合模糊类型，所述混合模糊类型是基于多种单一模糊类型的混合；

图像模糊处理模块包括混合网络确定单元和混合模糊处理单元；

混合网络确定单元，用于将与各种单一模糊类型相匹配的模糊处理网络进行收尾相连，得到与所述混合模糊类型相匹配的模糊处理网络；

混合模糊处理单元，用于基于与所述混合模糊类型相匹配的模糊处理网络含有的各个卷积网络层，对所述图像对应的图像特征进行卷积处理，以去除所述待处理图像中含有的混合模糊特征。

21.根据权利要求12所述的装置，其特征在于，模糊类型确定模块，用于将待处理图像输入至模糊分类网络中，以得到模糊分类网络输出的待处理图像对应的模糊类型。

22.根据权利要求12所述的装置，其特征在于，所述装置还包括：

对焦图像处理模块，用于若基于模糊分类网络输出的所述待处理图像对应的模糊类型，确定所述待处理图像为对焦图像，则直接输出所述待处理图像。

23.一种电子设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-11中的任一项所述的方法。

24.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-11中的任一项所述的方法。

Images