CN106530256A - 一种基于改进深度学习的智能相机图像盲超分辨率系统 - Google Patents

Abstract

本发明公开了一种基于改进深度学习的智能相机图像盲超分辨率系统，包括：步骤一：统计测试出拍照中常见的模糊核；步骤二：建立训练数据库，然后对该数据库进行相应模糊降质，进行典型的几类下采样，构建清晰降质图像对；步骤三：将模糊核与低分辨率图像块一起作为输入，而将高分辨率块作为输出，对网络进行训练。步骤四：将神经网络模型网络导入智能相机拍照系统中，作为事先已知的模型数据；步骤五：用户拍照前以及拍照后，开启图像盲超分辨率功能后，会对拍摄得到的照片，利用上述的恢复模型进行自动恢复。通过本发明的方法，可以在不增加硬件成本的条件下，很好地提升智能相机拍摄照片的分辨率。

Description

一种基于改进深度学习的智能相机图像盲超分辨率系统

技术领域

本发明涉及智能相机图像处理领域，具体涉及一种基于改进深度学习的智能相机图像盲超分辨率系统，属于智能相机技术领域。

背景技术

近年来，随着社会的发展，智能相机(Smart Camera)已经得到了极大的普及。与传统相机不同，它并不是一台简单的相机，而是一种高度集成化的微小型机器视觉系统。它将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。同时，由于应用了最新的DSP、FPGA及大容量存储技术，其智能化程度不断提高，可满足多种机器视觉的应用需求。简单来说，智能相机就是一部具有极强拍照功能的“掌上电脑”。目前，虽然智能相机硬件水平已经比几年前有了极大的提高，但是并不能完全解决实际应用中的问题。即使采用了很好的硬件防抖以及自动对焦处理，在特殊情况之下，仍然会得到模糊的照片。另外，由于人们对照片质量的要求也越来越高，人们也希望当图像放大之后，仍然能够使图像保持清晰，这就对相机的图像处理系统提出了更高的要求。为此，我们可以采用基于改进深度学习的图像盲超分辨率的办法来获得更高分辨率图像。

发明内容

本发明克服了现有智能相机拍照技术的不足，提出了一种基于改进深度学习的智能相机图像盲超分辨率系统。其基本思路是事先利用训练得到的改进深度学习网络模型导入智能相机拍照系统，当得到拍摄图像后，用户可以根据需求选择是否开启自动盲超分辨率功能。涉及到的盲超分辨率算法，其优越性在于可以通过一次训练得到能够适用于多种模糊核的情况，与主流的单个模糊核对应单个训练网络的“一对一”模式有着显著的差别。大大提升算法在实际智能相机拍照应用中的表现性能。

考虑到现有技术的不足，根据本发明公开的一个方面，本发明采用以下技术方案：

一种基于改进深度学习的智能相机图像盲超分辨率系统，所述的方法包括以下步骤：

步骤一：统计测试出拍照中常见的模糊核。可选取常见的模糊照片，进行模糊核估计，最终选取出最可能出现的K(如100)类模糊核；

步骤二：建立训练数据库。为了建立一个合适的数据库，内容需要包含人物、植物、动物、建筑等不同类型的照片，数据容量要大(如大于10000幅)。然后对该数据库按照前述的K类模糊核进行相应模糊降质，接着进行典型的几类下采样(如2倍、3倍)，构建清晰降质图像对；进行典型的几类下采样(如2倍、3倍)指的是按照几类典型的下采样倍数(如2倍、3倍)对模糊降质后的训练图进行下采样。因为需要将原本数据库中的所有测试图均按照图像降质模型进行构建，得到高低分辨率图像对。进而利用这些图像对学习得到高低分辨率之间的映射关系。这里下采样倍数指的是尺度缩小的倍数。

步骤三：为了使得在构建“深度网络”的时候，能够引入不同的模糊核约束，以便能处理不同模糊降质，一种理想的方案是将模糊核与低分辨率图像块一起作为输入，而将高分辨率块作为输出，对网络进行训练。但是由于卷积神经网络模型的特殊结构，这样并不易实现。传统的SRCNN主要公式如下：

F₁(l)＝ReLU(W₁*↑_b l+B₁)

F₂(l)＝ReLU(W₂*F₁(l)+B₂)

其中，l为低分辨率图像，为输出高分辨率图像，W_i,i＝1,2,3为卷积权重，B_i,i＝1,2,3为偏移权重，F_i,i＝1,2为高维特征映射，ReLU为激活函数，定义为ReLU(x)＝max(0,x)，*表示卷积操作，↑_b表示双三次插值操作。

在改进的深度学习中，将第一个原始卷积层用一个参数化的卷积代替。原本的常数卷积权重W₁被替换为一个非线性的函数W₁(k，θ)。这使得滤波权重依靠一个附加的模糊核输入，进而能够处理不同模糊。这个非线性函数自身通过额外的、全连接的神经网络实现。因此，第一个映射表示为：

F₁(l)＝ReLU(W₁(κ，θ)*↑_b l+B₁)，

步骤四：将步骤三得到的神经网络模型网络导入智能相机拍照系统中，作为事先已知的模型数据；

步骤五：用户拍照前以及拍照后，均可以选择是否开启图像盲超分辨率功能，并且选择相应的放大倍数。开启后，会对拍摄得到的照片，利用上述的恢复模型进行自动恢复。

根据本发明的一个实施方案，更进一步的技术方案：增加一个用户反馈功能，用户将恢复不满意的照片反馈给相机厂商，厂商收集大量用户反馈数据后，对神经网络进行重新训练，并将上述得到的恢复的模型在官网上进行发布，提供相应下载功能，使得用户能够随时更新手机中的拍照恢复模型，得到更好的恢复效果。

本发明最终网络模型是由前述的三类卷积层构成，训练本质上就是求解一系列的神经网络参数{W₁,W₂,W₃,B₁,B₂,B₃}等。通过本发明的方法，可以在不增加硬件成本的条件下，很好地提升智能相机拍摄照片的分辨率，并且由于事先训练好网络模型，在恢复时并不会需要很大的时间开销，增加算法可行性。另外由于采用改进深度学习的方法进行训练与恢复，使得训练模型可以一次训练，适应于诸多模糊情况，与传统的超分辨率方法，需要对不同的模糊进行估计并重新训练的方法明显不同，且更偏于实用。

附图说明

图1是一种基于改进深度学习的智能相机图像盲超分辨率系统的工作流程示意图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明做进一步详细描述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

一种基于改进深度学习的智能相机图像盲超分辨率系统，参见图1所示。根据本发明的一个实施例，所述的方法包括以下步骤：

步骤一：统计测试出拍照中常见的模糊核。可选取常见的模糊照片，进行模糊核估计，最终选取出最可能出现的K(如100)类模糊核；

步骤二：建立训练数据库。为了建立一个合适的数据库，内容需要包含人物、植物、动物、建筑等不同类型的照片，数据容量要大(如大于10000幅)。然后对该数据库按照前述的K类模糊核进行相应模糊降质，接着进行典型的几类下采样(如2倍、3倍)，构建清晰降质图像对；

步骤三：为了使得在构建“深度网络”的时候，能够引入不同的模糊核约束，以便能处理不同模糊降质，一种理想的方案是将模糊核与低分辨率图像块一起作为输入，而将高分辨率块作为输出，对网络进行训练。但是由于卷积神经网络模型的特殊结构，这样并不易实现。传统的SRCNN主要公式如下：

F₁(l)＝ReLU(W₁*↑_b l+B₁)

F₂(l)＝ReLU(W₂*F₁(l)+B₂)

其中，l为低分辨率图像，为输出高分辨率图像，W_i,i＝1,2,3为卷积权重，B_i,i＝1,2,3为偏移权重，F_i,i＝1,2为高维特征映射，ReLU为激活函数，定义为ReLU(x)＝max(0,x)，*表示卷积操作，↑_b表示双三次插值操作。

在改进的深度学习中，将第一个原始卷积层用一个参数化的卷积代替。原本的常数卷积权重W₁被替换为一个非线性的函数W₁(k，θ)。这使得滤波权重依靠一个附加的模糊核输入，进而能够处理不同模糊。这个非线性函数自身通过额外的、全连接的神经网络实现。因此，第一个映射表示为：

F₁(l)＝ReLU(W₁(κ，θ)*↑_b l+B₁)，

步骤四：将步骤三得到的神经网络模型网络导入智能相机拍照系统中，作为事先已知的模型数据；

步骤五：用户拍照前以及拍照后，均可以选择是否开启图像盲超分辨率功能，并且选择相应的放大倍数。开启后，会对拍摄得到的照片，利用上述的恢复模型进行自动恢复。

根据本发明的一个实施方案，更进一步的技术方案：增加一个用户反馈功能，用户将恢复不满意的照片反馈给相机厂商，厂商收集大量用户反馈数据后，对神经网络进行重新训练，并将上述得到的恢复的模型在官网上进行发布，提供相应下载功能，使得用户能够随时更新手机中的拍照恢复模型，得到更好的恢复效果。

为了更好地实现本发明，进一步的技术方案是：

根据本发明的一个实施方案，步骤一中模糊核的类别不一定必须是100，根据实际情况选出最有可能的类别数量；

更进一步的技术方案：步骤二中训练数据库必须包含常见的不同类型的图片；

更进一步的技术方案：步骤五中参数的设定，以及是否开启图像盲超分辨率功能，都可以由用户自行设定；

更进一步的技术方案：增加用户的反馈功能，根据反馈的数据能够对神经网络进行重新训练，定期的进行修正，使用户可以更新手机拍照恢复模型，得到更好的效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分相互参见即可。

除上述以外，还需要说明的是，在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (4)

1.一种基于改进深度学习的智能相机图像盲超分辨率系统，其特征在于包括以下步骤：

步骤一：统计测试出拍照中常见的模糊核；

步骤二：建立训练数据库，然后对该数据库进行相应模糊降质，进行典型的几类下采样，构建清晰降质图像对；

步骤三：将模糊核与低分辨率图像块一起作为输入，而将高分辨率块作为输出，对网络进行训练；但是由于卷积神经网络模型的特殊结构，这样并不易实现；传统的SRCNN主要公式如下：

F₁(l)＝ReLU(W₁*↑_b l+B₁)

F₂(l)＝ReLU(W₂*F₁(l)+B₂)

$\hat{h}=W_3*F_2\left(l\right)+B_3$

其中，l为低分辨率图像，为输出高分辨率图像，W_i,i＝1,2,3为卷积权重，B_i,i＝1,2,3为偏移权重，F_i,i＝1,2为高维特征映射，ReLU为激活函数，定义为ReLU(x)＝max(0,x)，*表示卷积操作，↑_b表示双三次插值操作；

在改进的深度学习中，将第一个原始卷积层用一个参数化的卷积代替；原本的常数卷积权重W₁被替换为一个非线性的函数W₁(k，θ)；这使得滤波权重依靠一个附加的模糊核输入，进而能够处理不同模糊；这个非线性函数自身通过额外的、全连接的神经网络实现；因此，第一个映射表示为：

F₁(l)＝ReLU(W₁(κ，θ)*↑_b l+B₁)

步骤四：将步骤三得到的神经网络模型网络导入智能相机拍照系统中，作为事先已知的模型数据；

步骤五：用户拍照前以及拍照后，均可以选择是否开启图像盲超分辨率功能，并且选择相应的放大倍数；开启后，会对拍摄得到的照片，利用上述的恢复模型进行自动恢复。

2.根据权利要求1所述基于改进深度学习的智能相机图像盲超分辨率系统，其特征在于：所述常见的模糊核，是通过选取常见的模糊照片，进行模糊核估计，最终选取出最可能出现的模糊核。

3.根据权利要求1所述基于改进深度学习的智能相机图像盲超分辨率系统，其特征在于：建立的数据库，内容包含不同类型的照片，数据容量大于10000幅，然后对该数据库按照前述的K类模糊核进行相应模糊降质，接着进行典型的几类下采样，构建清晰降质图像对。

4.根据权利要求2或3所述基于改进深度学习的智能相机图像盲超分辨率系统，其特征在于：

还包括用户的反馈功能，根据反馈的数据能够对神经网络进行重新训练，定期的进行修正，使用户可以更新手机拍照恢复模型，得到更好的效果。