CN114612330B - 一种多相机的图像增强方法 - Google Patents

Abstract

本发明公开了一种多相机的图像增强方法，包括使用多路相机进行图像采集，每一路相机使用一个移动开发板进行数据采集、模拟图像转换为数字图像、图像预处理、卷积神经网络的图像增强和输出高清图像，使用PC机进行图像增强神经网络训练、网络裁剪和网络量化的网络优化和部署操作，使用显示器用于图像的高清显示。本发明针对目前经纬仪、光电吊舱等多相机的结构图像增强复杂的问题提出一种多相机的图像增强技术，提高复杂环境下的应用能力，为后续的目标识别、跟踪等技术提供高清图像的基础。

Description

一种多相机的图像增强方法

技术领域

本发明属于高清成像技术领域，尤其涉及一种多相机的图像增强方法。

背景技术

图像高清成像包括图像增强技术、图像复原技术等，其中图像增强技术包括图像纹理信息增强、图像颜色校正、图像对比度提高等技术，图像复原技术是利用退化过程的先验知识，去恢复已被退化图像的本来面目，包括大气影响的图像去雾、去雨滴等技术。

传统的算法Retinex不同于直方图均衡化，Retinex专注于局部增强，这在一定程度上解决了全局增强算法对图像局部区域亮度增强不足的问题，可以在动态范围压缩、边缘增强和颜色恒常3个方面达到平衡，因此能对不同类型的图像进行自适应增强。传统的算法还包括直方图均衡化、对比度拉伸、伽马校正等方法。

随着深度学习的发展，图像增强技术也得到广泛的应用，WANG W提出了一个全局照明感知和细节保持网络(GLADNet)，通过将输入的低光照图像与估计出的光照图连接后输入到三层网络里重建，但该方法在低照度图像增强中容易出现颜色和背景等失真问题。WEI C提出Retinex-Net网络，将图像先分解成光照分量和反射分量，而后对得到的光照图进行增强处理，最后将增强后的光照图与分解出来的反射图进行相乘操作得到增强图像。Andrey Ignatov等提出一种DSLR-quality网络采用多任务卷积神经网络，实现iPhone 3GS图像到佳能相机图像的转换，通过调节网络中颜色或者纹理信息的阈值，达到最优的成像效果。Jagruti Patel提出了PyNet的多层卷积神经网络，以实现普通相机的单反相机成像效果。Luc Van Gool采用手机的RAW数据以实现手机图片到单反高清图像的转换。

目前国内外的图像高清成像的研究主要集中在大而深的深度卷积神经网络中，目前经纬仪、光电吊舱等多相机的结构图像增强复杂的问题，如何研究快速、准确的图像高清成像是研究的重点和关键解决的问题。

发明内容

有鉴于此，本发明公布了一种多相机的图像增强技术，包括以下部分：多相机端、移动开发板端、PC端以及显示器端。多相机端为可见光相机、红外相机、微光相机等，移动开发板端包括数据采集、数字转换为图像、图像预处理、卷积神经网络的图像增强、输出高清图像，PC机端为图像增强神经网络的训练、网络裁剪和网络量化等网络优化操作以及网络部署，显示器端用于图像的高清显示。每一路相机都采用一个移动开发板，通过改变移动开发板端中的数据采集方式和网络训练参数以适合不同的相机的需求。本发明主要针对目前经纬仪、光电吊舱等多相机的结构图像增强复杂的问题提出一种多相机的图像增强技术，提高复杂环境下的应用能力，为后续的目标识别、跟踪等技术提供高清图像的基础。

本发明公开的多相机的图像增强方法，使用多路相机进行图像采集，多路相机至少包括可见光相机、红外相机、微光相机之一，每一路相机使用一个移动开发板进行数据采集、模拟图像转换为数字图像、图像预处理、卷积神经网络的图像增强和输出高清图像，使用PC机进行图像增强神经网络训练、网络裁剪和网络量化的网络优化和部署操作，使用显示器用于图像的高清显示。

进一步的，所述卷积神经网络采用基于多层卷积神经网络的图像增强技术，包括2层卷积神经网络加一层图像增强算法，其具体网络结构为：

(1)第一层卷积网络和第二层卷积网络的结构分别由卷积层、Res Block层、卷积网络层组成，所述第一层卷积网络和第二层卷积网络之间采样1×1的卷积网络连接；

(2)所述第一层卷积网络的输出为所述第二层卷积网络的输入，第一层卷积网络最后输出的特征图经过卷积后融合到第二层卷积网络中，以实现第一层卷积网络和第二层卷积网络的融合；

(3)损失函数采用：

其中

X_s为经过第一层卷积网络和第二层卷积网络后输出的图像，△X_s为输出图像X_s的梯度，△Y_s为参考图像Y_s的梯度，△Y_s＝[Y_s(i+1,j-1)-Y_s(i,j-1)]-[Y_s(i+1,j)-Y_s(i,j)]，S为图像的RGB通道；

(4)第三层为改进的Guided Filter图像增强算法，分别输入原始图像和引导图像，所述的原始图像为经过卷积神经网络输出的图像，然后输出图像增强后的图像，由于将真实图像作为参考图像，因此可根据参考图像获取Guided Filter中的参数。

进一步的，Res Block层的网络结构为：3×3卷积后加入激活层，再经过3×3卷积网络和激活层，最后利用输入特征图的1×1的卷积后与激活层融合。

进一步的，第三层为改进的Guided Filter图像增强算法，具体步骤为：

输入图像为p，输出图像为q，引导图为I，q与I在以像素k为中心的窗口中存在局部线性关系：

其中a_k和b_k为待确定的线性系数，引导图I为图像增强的引导图，I＝(I-I_min)/(I_max-I_min)，I_max为图像像素最大值，I_min为图像像素的最小值；

为确定以上公式中的线性系数a_k和b_k，并满足输出图像q与真实图像J使得的差别最小，转化为以下的最优化求解问题：

利用引导图像I和真实图像J，利用最小二乘法使得E(a_k,b_k)最小，获取a_k和b_k参数值。

进一步的，采用卷积网络剪枝和量化的方式提高模型运行速度和降低模型存储大小。

进一步的，所述卷积网络剪枝的方式为基于损失函数灵敏度的网络通道剪枝方法，所述剪枝方法通过对损失函数使用泰勒展开技术来识别出重要性程度较低的网络通道。

进一步的，所述基于损失函数灵敏度的网络通道剪枝方法包括：

剪枝对象是针对不同数据集和网络的训练模型；

通过将损失函数灵敏度作为剪枝标准来评估每个网络通道的重要性程度；

通过定义的全局阈值剪枝一定比例的网络通道；

通过参数微调获得紧凑的网络结构，同时补偿因直接通道剪枝而带来性能下降；

所述将损失函数灵敏度作为剪枝标准包括：

以为损失函数，裁剪每一个网络通道的时候对应的损失函数变化为ΔL，当ΔL小于阈值T时候认为可以裁剪该通道。

进一步的，所述基于损失函数灵敏度的网络通道剪枝方法可重复操作多次，称为迭代通道剪枝，从而使得网络结构更紧凑。

进一步的，所述移动开发板的部署步骤为：

将卷积神经网络模型、输入图片、输入控制信号发送给所述移动开发板；

在所述移动开发板中将所述卷积神经网络模型按照一层一层的分开，在GPU模块中分别输入每层的特征图和每层的参数，并对每层的参数按照CUDA核数的方式再次分开每层的参数，以达到最优化的利用CUDA的核数；

将卷积神经网络模型的第三层和损失函数的计算放入到所述移动开发板中的ARM模块中计算，利用ARM模块中自带的四路并行计算提高计算效率，与此同时将新输入的图片输入到CUDA核中，以提高GPU的使用效率。

进一步的，所述所述移动开发板采用带GPU的嵌入式开发板Jetson TX2/NX/AGV。

本发明主要针对目前经纬仪、光电吊舱等多相机的结构图像增强复杂的问题提出一种多相机的图像增强技术，提高复杂环境下的应用能力，为后续的目标识别、跟踪等技术提供高清图像的基础。

附图说明

图1本发明的总体流程图；

图2本发明的卷积神经网络结构图；

图3本发明的Res Block结构图；

图4本发明的网络裁剪示意图；

图5本发明的嵌入式移动GPU平台的图像高清成像算法移植流程；

图6原始低质量图片；

图7为经过本发明图像增强后的图片；

图8为真实的高清图片。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

图1为本发明的总体流程图，包括以下部分：多相机端、移动开发板端、PC端以及显示器端。多相机端为可见光相机、红外相机、微光相机等，移动开发板端包括数据采集、数字转换为图像、图像预处理、卷积神经网络的图像增强、输出高清图像，PC机端为图像增强神经网络的训练、网络裁剪和网络量化等网络优化操作以及网络部署，显示器端用于图像的高清显示。每一路相机都采用一个开发板，通过改变移动开发板端中的数据采集方式和网络训练参数以适合不同的相机的需求。本发明主要针对目前经纬仪、光电吊舱等多相机的结构图像增强复杂的问题提出一种多相机的图像增强技术，提高复杂环境下的应用能力，为后续的目标识别、跟踪等技术提供高清图像的基础。图1中分别使用可见光相机、红外相机、激光相机等，通过数据采集、数字转换为图像、图像预处理、卷积神经网络处理后输出高清可见光图像、高清红外图像和高清微光图像，最后合成高清显示图像。

图2为本发明的网络结构图，卷积神经网络采用基于多层卷积神经网络的图像增强技术研究，分为2层卷积神经网络和一层传统图像增强算法，其具体网络结构为：

(1)第一层卷积网络和第二层卷积网络的主体结构图为卷积层、Res Block层、卷积网络层组成，两个卷积层之间采样1×1的卷积网络。

(2)第一层卷积网络的输出为第二层卷积网络的输入，第一层卷积网络的特征图经过卷积后融合到第二层中，第一层卷积网络最后输出的特征图引入到第二层卷积网络中，以实现第一层卷积网络和第二层卷积网络的融合。

(3)损失函数采用：

其中

X_s为经过第一层卷积网络和第二层卷积网络后输出的图像，△X_s为输出图像X_s的梯度，△Y_s为参考图像Y_s的梯度，△Y_s＝[Y_s(i+1,j-1)-Y_s(i,j-1)]-[Y_s(i+1,j)-Y_s(i,j)]，S为图像的RGB通道。

(4)第三层为传统的图像处理算法，结构与Guided Filter结构类似，分别输入原始图像和引导图像，然后输出图像增强后的图像，由于存在参考图像，因此与GuidedFilter不同的在于可以根据参考图像获取Guided Filter中的参数。第三层为传统的图像处理算法，其中具体步骤为：

(1)输入图像为p，输出图像为q，引导图为I，q与I在以像素k为中心的窗口中存在局部线性关系：

(2)引导图I为图像增强的引导图，I＝(I-I_min)/(I_max-I_min)，I_max为图像像素最大值，I_min为图像像素的最小值，关键是求出a_k与b_k；

(3)确定以上公式中的线性系数，并满足输出图像q与真实图像J使得的差别最小，转化为最优化求解问题：引入两项是为了和卷积神经网络的损失函数统一：

利用引导图像I和真实图像J，利用最小二乘法使得E(a_k,b_k)最小，获取参数值a_k与b_k。

图3为Res Block结构图，3×3卷积后加入激活，然后再经过3×3卷积网络和激活层，最后利用输入特征图的1×1的卷积后与激活层的融合。

图4为基于损失函数灵敏度的网络通道剪枝方法流程图，该方法通过对损失函数使用泰勒展开技术来识别出重要性程度较低的网络通道。将损失函数灵敏度作为剪枝标准包括：

以为损失函数，裁剪每一个网络通道的时候对应的损失函数变化为ΔL，当ΔL小于阈值T时候认为可以裁剪该通道。

首先，我们的剪枝对象是针对不同数据集和网络的训练模型。接下来，我们通过将损失函数灵敏度作为剪枝标准来评估每个网络通道的重要性程度。然后通过定义的全局阈值剪枝一定比例的网络通道，即移除不重要的通道。最后，通过参数微调获得紧凑的网络结构，这样做同时也可以补偿因直接通道剪枝而带来性能下降。此外，可以将上述过程重复操作几次，称为迭代通道剪枝，从而使得网络结构更为紧凑。在多个标准数据集和不同网络结构上进行的实验表明，经过所提方法我们获得的CNN模型具有高达数倍尺寸大小的压缩率和计算量压缩率，同时实现了相同甚至更高的精度。

图5为嵌入式移动GPU平台的图像高清成像算法移植流程，以Jetson TX2为例说明，把卷积神经网络模型、输入图片、输入控制信号发送给Jetson TX2开发板，然后在开发板中把卷积网络按照一层一层的分开，在GPU(graphics processing unit，图形处理器)模块中分别输入每层的特征图和每层的参数并对每层的参数按照CUDA256整数核数的方式再次分开每层的参数，以达到最优化的利用CUDA(Compute Unified Device Architecture，是显卡厂商NVIDIA推出的运算平台)的核数，最后把损失函数和卷积网络中的第三层的计算放入到开发板中的ARM模块中计算，与此同时新来的图片输入到CUDA核中，主要是由于ARM模块中自带有四路并行计算，以提高整体的计算效率。

基于多层卷积神经网络的图像增强技术的成像效果如图6-图8所示，其中图6为原始低质量图片，图7为卷积神经网络的图像增强的图片，图8为真实的高清图片。从图像中可以看出，卷积神经网络的图像增强图片有明显的增强效果。

本发明主要针对目前经纬仪、光电吊舱等多相机的结构图像增强复杂的问题提出一种多相机的图像增强技术，提高复杂环境下的应用能力，为后续的目标识别、跟踪等技术提供高清图像的基础。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种多相机的图像增强方法，其特征在于，使用多路相机进行图像采集，多路相机至少包括可见光相机、红外相机、微光相机之一，每一路相机使用一个移动开发板进行数据采集、模拟图像转换为数字图像、图像预处理、卷积神经网络的图像增强和输出高清图像，使用PC机进行图像增强神经网络训练、网络裁剪和网络量化的网络优化和部署操作，使用显示器用于图像的高清显示；

所述卷积神经网络采用基于多层卷积神经网络的图像增强技术，包括2层卷积神经网络加一层图像增强算法，其具体网络结构为：

（1）第一层卷积网络和第二层卷积网络的结构分别由卷积层、残差网络层、卷积网络层组成，所述第一层卷积网络和第二层卷积网络之间采用1×1的卷积网络连接；

（2）所述第一层卷积网络的输出为所述第二层卷积网络的输入，第一层卷积网络最后输出的特征图经过卷积后融合到第二层卷积网络中，以实现第一层卷积网络和第二层卷积网络的融合；

（3）损失函数采用：

，

其中，/>，

X_s为经过第一层卷积网络和第二层卷积网络后输出的图像，△X_s为输出图像X_s的梯度，△Y_s为参考图像Y_s的梯度，△Y_s=[Y_s(i+1,j-1)-Y_s (i,j-1)] - [Y_s (i+1,j)-Y_s (i,j)]，S为图像的RGB通道；

（4）第三层为改进的Guided Filter图像增强算法，分别输入原始图像和引导图像，所述的原始图像为经过卷积神经网络输出的图像，然后输出图像增强后的图像，由于将真实图像作为参考图像，因此可根据参考图像获取Guided Filter中的参数；

残差网络层的网络结构为：3×3卷积后加入激活层，再经过3×3卷积网络和激活层，最后利用输入特征图的1×1的卷积后与激活层融合；

第三层为改进的Guided Filter图像增强算法，具体步骤为：

输入图像为p，输出图像为q，引导图为I，q与I在以像素k为中心的窗口中存在局部线性关系：

；

其中a _k 和b _k 为待确定的线性系数，引导图I为图像增强的引导图，I=(I-I _min)/(I _max-I _min)，I_max为图像像素最大值，I_min为图像像素的最小值；

为确定以上公式中的线性系数a _k 和b _k ，并满足输出图像q与真实图像J的差别最小，转化为以下的最优化求解问题：

；

利用引导图像I和真实图像J，利用最小二乘法使得最小，获取a _k 和b _k 参数值。

2.根据权利要求1所述的多相机的图像增强方法，其特征在于，采用卷积网络剪枝和量化的方式提高模型运行速度和降低模型存储大小。

3.根据权利要求2所述的多相机的图像增强方法，其特征在于，所述卷积网络剪枝的方式为基于损失函数灵敏度的网络通道剪枝方法，所述剪枝方法通过对损失函数使用泰勒展开技术来识别出重要性程度较低的网络通道。

4.根据权利要求3所述的多相机的图像增强方法，其特征在于，所述基于损失函数灵敏度的网络通道剪枝方法包括：

剪枝对象是针对不同数据集和网络的训练模型；

通过将损失函数灵敏度作为剪枝标准来评估每个网络通道的重要性程度；

通过定义的全局阈值剪枝一定比例的网络通道；

通过参数微调获得紧凑的网络结构，同时补偿因直接通道剪枝而带来性能下降；

所述将损失函数灵敏度作为剪枝标准包括：

以为损失函数，裁剪每一个网络通道的时候对应的损失函数变化为/>，当/>小于阈值T时，裁剪该通道。

5.根据权利要求4所述的多相机的图像增强方法，其特征在于，所述基于损失函数灵敏度的网络通道剪枝方法可重复操作多次，称为迭代通道剪枝，从而使得网络结构更紧凑。

6.根据权利要求1所述的多相机的图像增强方法，其特征在于，所述移动开发板的部署步骤为：

将卷积神经网络模型、输入图片、输入控制信号发送给所述移动开发板；

在所述移动开发板中将所述卷积神经网络模型按照一层一层的分开，在GPU模块中分别输入每层的特征图和每层的参数，并对每层的参数按照CUDA核数的方式再次分开每层的参数，以达到最优化的利用CUDA 的核数；

将卷积神经网络模型的第三层和损失函数的计算放入到所述移动开发板中的ARM模块中计算，利用ARM模块中自带的四路并行计算提高计算效率，与此同时将新输入的图片输入到CUDA核中，以提高GPU的使用效率。

7. 根据权利要求1所述的多相机的图像增强方法，其特征在于，所述移动开发板采用带GPU的嵌入式开发板Jetson TX2/NX/AGV。