CN113222828A - 一种基于零参考的工业物联网监控平台图像增强方法 - Google Patents

Abstract

本发明公开了一种基于零参考的工业物联网监控平台图像增强方法；包括以下步骤：S1、对于工业物联网监控平台采集到的视频或图像数据进行预处理操作；S2、设计了一条特定函数曲线，用来迭代拟合像素值；S3、设计不同条件下的损失函数；S4、设计一个基于零参考的卷积神经网络模型；S5、通过多轮重复训练和实验验证，得到不同损失函数下的不同增强结果，最终得到一个最优结果。本方法专注于工业物联网监控平台下的图像增强算法的设计，结合设计的像素拟合曲线，搭配不同情景的损失函数，以及基于零参考的卷积神经网络设计，最终实现在低光照、强噪声等复杂场景下的图像增强的效果，为工业物联网在特殊场景下的监控和监管提供高质量的算法基础保障，有效提高人脸检测、物体检测等任务的准确度。

Description

一种基于零参考的工业物联网监控平台图像增强方法

技术领域

本发明涉及深度学习和智能制造领域，具体是一种基于零参考的工业物联网 监控平台图像增强方法。

背景技术

在互联网时代数据“大爆炸”背景下，如何高效的构造企业从运营决策到生 产调度再到设备自动化管理的闭环链路就显得尤为重要。搭建一个全平台的工业 物联网系统是解决上述问题的重要途径。而如何实现有效监管，是工业物联网平 台的重要功能之一，因此，设计实现基于图像视频的自动化监管方式，可以大大 减少人力物力成本。所以，针对各种低光照、高噪声等特殊场景下，本文设计一 个基于零参考的工业物联网监管平台图像增强算法，是实现自主、准确、高效监 管的关键。

零参考(ZeroRefernece)方法，相较于数据驱动的方法(DataDriven)的 优势在于，前者对于数据的依赖不紧密，可以独立于数据获得较优的算法结果。 而目前基于数据驱动的方法主要有两个分支：基于卷积神经网络和基于生成对抗 网络。大部分基于卷积神经网络的方法依赖图像对，进行有监督学习，因此，数 据的质量对于卷积神经网络方法的准确至关重要。而基于生成对抗网络的方法， 虽然基于无监督学习，避免了图像对的限制，但是设计高效使用的判别器是该方 法获得准确结果的关键；此外，针对不同场景设计不同的判别器并不是一种高效 的方法。因此，基于零参考的方法，设计拟合像素值的曲线函数，是解决该问题 的关键，并且适用多种场景，具有较好的泛化性。

图像增强(ImageEnhancement)，是多种任务(例如：人靓检测、目标识别、 语义分割等)高效完成的基础。在真实场景下，很多图像或视频是在光照缺乏、 曝光不足、对比度不足等条件下完成拍摄；因此，这样的真实场景数据，对于后 续监管监控、检测追踪等任务带来了极大的困难。所以，实现一个鲁棒性高、准 确性高、性能完善的图像增强算法，是各种任务获得准确结果的关键，进一步也 是工业物联网监控平台高效监管运营的重要基础。

发明内容

为了解决智能制造环境下，工业物联网数据平台海量数据下的监管监控问题， 本发明提供一种基于零参考的工业物联网监控平台图像增强方法，从而为工业物 联网监管平台的高效运行和自主监管提供关键技术支撑，进一步提高工业监管的 效率。

本发明的目的可以通过以下技术方案实现：一种基于零参考的工业物联网 监控平台图像增强方法，具体步骤如下：

S1、对于工业物联网监控平台采集到的视频或图像数据进行预处理操作；

S2、设计一条特定曲线函数，用来迭代拟合像素值，实现将微弱的图像自动 映射到增强版本；

S3、设计不同条件下的损失函数；

S4、设计一个基于零参考的卷积神经网络模型；

S5、通过多轮重复训练和实验验证，得到不同损失函数下的不同增强结果， 最终得到一个最优结果。

进一步，步骤S1具体如下：

S11、对于视频数据和图像序列数据，采用抽帧方法，获取每一帧图像；

S12、根据时间信息，对一帧图像进行简单的标记；

S13、对标记后的图像帧，进行简单的筛选，采用信噪比(SNR)指标，提出 质量较差的图像帧，并选出参考帧。

进一步，步骤S2中曲线函数公式：

LE(I(x),α)＝I(x)+αI(x)(1-I(x))，其中x表示为像素坐标，LE(I(x),α)是 对于给定输入的图像像素值I(x)增强之后的版本，而α的范围是[-1,1]，作为可 训练曲线函数的梯度，同时控制曝光级别。

进一步，所述的步骤S3包含以下基本操作：

S31、为了间接约束图像映射的质量，本发明设计了5种可微损失函数，前 四种的约束条件分别对应：空间一致性、曝光控制、颜色一致性和光照平滑，最 后一个损失函数是前四种的加权组合；

S32、空间一致性损失函数目的是保持原始图像和增强后图像的局部像素一 致性；

S33、曝光控制损失函数通过衡量局部区域光亮强度和标准曝光之间的差异， 达到避免过曝或欠曝的目的；

S34、颜色一致损失函数基于不同颜色通道的均值等同于灰度值的假设，所 设计的增强后图像不同颜色通道数值之间的差异关系；

S35、光照平滑损失函数为了保持邻接像素之间的单调关系，给图像像素拟 合曲线参数所计算的光照平滑损失；

S36、最后的总损失函数是基于特定的权重对上述四种损失函数进行的有权 相加。

进一步，空间一致性损失函数：

其中K表示这像素局部临近区域，Y,I分别表示增强后和原始图像的局部像素的 平均数值强度。其中，i表示中心像素，j遍历周围像素。

进一步，曝光控制损失函数：

其中M表示局部区域非 重叠像素值的个数，这里我们选用公认的完全曝光参数E，通过计算局部像素强 度Y_k与E的差值作为损失函数。

进一步，颜色一致损失函数：

其中J^p表示增强后的p通道平均强度，而(R,G)表示一对通道。

进一步，光照平滑损失函数：

其中A表示每个像素的曲线参数图，N代表迭代次数，

和

分别表示水平和 垂直梯度操作。

进一步，步骤S4具体如下：

S41、本发明设计了包含7个卷积块的卷积神经网络结构，实现输入图像到 曲线函数参数之间的卷积映射。

S42、每一个卷积层由卷积、池化和激活三种基本操作的结合，并且可选择 使用不同尺度的卷积核和不同类型的激活函数。

进一步，步骤S5具体如下：

S51、首先，针对不同的损失函数，验证它们不同的烛烧结果对比图，获得 感性的实验对比结果；

S52、进一步实验验证不同参数设置对于图像增强结果的影像，定量的计算 不同参数设置的影响因子；

S53、此外，选用不同场景类型的数据(包括：过曝光数据、欠曝光数据)， 实验验证不同损失函数和参数设定所带来的影响。

本发明有益效果：本方法专注于工业物联网监控平台下的图像增强算法的设 计，结合设计的像素拟合曲线，搭配不同情景的损失函数，以及基于零参考的卷 积神经网络设计，最终实现在低光照、强噪声等复杂场景下的图像增强的效果， 为工业物联网在特殊场景下的监控和监管提供高质量的算法基础保障，有效提高 人脸检测、物体检测等任务的准确度。

附图说明

下面结合附图对本发明作进一步说明。

图1为基于零参考的工业物联网监控平台图像增强算法模型图。

图2具体实施流程图。

图3卷积神经网络示意图。

具体实施方式

为使本发明实施案例的目的、技术方案和优势更加明确，下面将结合本发明 实例中的附图，对本发明实例中的技术方案进行详细、清晰且完整地阐述。显而 易见，所述实例仅是本发明中的一部分实例，并不代表全部。基于本发明中的实 例，本领域其他人员没有做出创新型工作前提下所得到的所有其他实例，都属于 本发明保护范围。

如图1-3所示，一种基于零参考的工业物联网监控平台图像增强方法，包括 如下步骤：

步骤1：本发明的首要前提是，对监管平台采集到的视频或图像序列进行简 单的预处理操作。采用抽帧技术，对视频和图像序列进行抽帧，对每帧图像标记 上时间信息；将标记好的图像按照信噪比(SNR)进行简单的筛选，我们选用两 种阈值参数，将图像序列划分为欠曝光、过曝光和正常图像集合。并进一步剔除 掉质量过差的图像，与此同时，选出特定场景具有参考价值的参考帧。

经过上述一系列图片预处理操作之后，将获得到泛化能力较强、尺度一致、 数量充足的车间产品图片数据，接着我们将这些图片数据输入到下一个步骤中进 行训练。

经过该步骤的预处理操作后，我们没有过于修改图像质量，而实尽可能保持 图像的原始拍摄效果，这样有助于提高算法的泛化能力，也更加真实的反映实际 场景下的图像增强效果。接着，我们将标记好的图像帧输入到下一个步骤。

步骤2：受到图像编辑软件的启发，本发明设计一种曲线函数，实现将一帧 低光照图像自动映射到增强后的版本，其中曲线函数的参数仅仅依赖于输入图像 的信息。进一步而言，这样的曲线函数具有以下三个目标：1.将每个像素值映射 到[0,1]的区间中，避免截断数值导致过多的信息丢失；2.曲线需要具备单调性， 从而保持邻接像素的差异；3.曲线函数具备可微性，方便在卷积神经网络中方向 传播进行学习更新。

基于上述目标，本发明设计曲线函数公式为： LE(I(x),α)＝I(x)+αI(x)(1-I(x))，其中x表示为像素坐标，LE(I(x),α)是对于 给定输入的图像像素值I(x)增强之后的版本，而α的范围是[-1,1]，作为可训练 曲线函数的梯度，同时控制曝光级别。

通过上述公式，可实现将每个像素映射到区间[0,1]之间。进一步，我们可 以在每个颜色通道实施此函数操作，可以保存每个颜色通道的内在差异，进而减 少过饱和的风险。

基于上述的曲线函数公式，可以进一步扩展成迭代计算的形式，从而更加灵 活的运用来应对具有挑战的低光照条件，迭代曲线公式为： LE_n(x)＝LE_n-1(x)+α_nLE_n-1(x)I(x)(1-LE_n-1(x))，其中n为迭代次数。

步骤3：经过步骤2之后，得到了图像像素拟合函数，因此，我们下一步需 要设置损失函数来约束学习的过程。所以，我们设计了5种损失函数。

空间一致性损失函数：

其中K表 示这像素局部临近区域，Y,I分别表示增强后和原始图像的局部像素的平均数值 强度。其中，i表示中心像素，j遍历周围像素。

曝光控制损失函数：

其中M表示局部区域非重叠像素 值的个数，这里我们选用公认的完全曝光参数E，通过计算局部像素强度Y_k与E 的差值作为损失函数。

颜色一致损失函数：

其中J^p表示增强后的p通道平均强度，而(R,G)表示一对通道。

光照平滑损失函数：

其中A 表示每个像素的曲线参数图，N代表迭代次数，

和

分别表示水平和垂直梯 度操作。

总损失函数表示为：L_total＝L_spa+L_exp+W_colL_col+W_tvAL_tvA，其中W_col和W_tvA作 为损失函数的权重。

步骤4：基于上述步骤2和步骤3定义的像素曲线和损失函数，本发明进一 步设计了简单的卷积神经网络对图像像素对应的曲线参数进行学习训练。这里， 本发明设计了包含7层卷积层的神经网络，其中，每个卷积层由一个卷积操作， 一个激活组成，卷积操作所选用的卷积核尺度是3*3，卷积核个数选用32个， 步长选用为1；之后的激活函数选用ReLU激活。需要说明，最后一层的激活选 用Tanh激活函数，从而产生24个参数图。

步骤5：最后的训练和实验步骤，我们将欠曝光数据和过曝光数据混合训练， 这样有助于模拟真实的场景。进一步，我们针对不同的损失函数进行烛烧实验， 总结出不同损失函数对于增强效果的影响。

本发明的有益结果在于：开发了一种基于零参考的工业物联网监控平台图像 增强方法，相对于传统的图像增强算法，本发明的增强是基于客观的图像质量指 标来计算，并非依靠人为设计的增强方法，这样使得增强算法具备泛化能力，可 适用于不同的场景条件下，减少重复设计增强算法的步骤。

上述发明实例为本发明较佳的实施方案，但本发明的实施方案并不受上述实 例的限制，其他的任何未背离本发明原理思路和精神本质下所作的改变、替换、 修饰、重组、简化，均视为等效的置换方式，都包含在本发明的保护范围内。

Claims (10)

1.一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：包括下列步骤：

S1、对于工业物联网监控平台采集到的视频或图像数据进行预处理操作；

S2、设计一条特定曲线函数，用来迭代拟合像素值，实现将微弱的图像自动映射到增强版本；

S3、设计不同条件下的损失函数；

S4、设计一个基于零参考的卷积神经网络模型；

S5、通过多轮重复训练和实验验证，得到不同损失函数下的不同增强结果，最终得到一个最优结果。

2.根据权利要求1所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：步骤S1具体如下：

S11、对于视频数据和图像序列数据，采用抽帧方法，获取每一帧图像；

S12、根据时间信息，对一帧图像进行简单的标记；

S13、对标记后的图像帧，进行简单的筛选，采用信噪比指标，提出质量较差的图像帧，并选出参考帧。

3.根据权利要求1所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：步骤S2中曲线函数公式：

LE(I(x),α)＝I(x)+αI(x)(1-I(x))，其中x表示为像素坐标，LE(I(x),α)是对于给定输入的图像像素值I(x)增强之后的版本，而α的范围是[-1,1]，作为可训练曲线函数的梯度，同时控制曝光级别。

4.根据权利要求1所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：步骤S3如下：

S31、设计了5种可微损失函数，前四种的约束条件分别对应：空间一致性、曝光控制、颜色一致性和光照平滑，最后一个损失函数是前四种的加权组合；

S32、空间一致性损失函数保持原始图像和增强后图像的局部像素一致性；

S33、曝光控制损失函数通过衡量局部区域光亮强度和标准曝光之间的差异，达到避免过曝或欠曝的目的；

S34、颜色一致损失函数基于不同颜色通道的均值等同于灰度值的假设，所设计的增强后图像不同颜色通道数值之间的差异关系；

S35、光照平滑损失函数保持邻接像素之间的单调关系，给图像像素拟合曲线参数所计算的光照平滑损失；

S36、最后的总损失函数是基于特定的权重对上述四种损失函数进行的有权相加。

5.根据权利要求4所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：空间一致性损失函数：

其中K表示这像素局部临近区域，Y,I分别表示增强后和原始图像的局部像素的平均数值强度。其中，i表示中心像素，j遍历周围像素。

6.根据权利要求4所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：曝光控制损失函数：

其中M表示局部区域非重叠像素值的个数，这里我们选用公认的完全曝光参数E，通过计算局部像素强度Y_k与E的差值作为损失函数。

7.根据权利要求4所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：颜色一致损失函数：

ε＝{(R,G),(R,B),(G,B)}，其中J^p表示增强后的p通道平均强度，而(R,G)表示一对通道。

8.根据权利要求4所述的一种基于零参考的工业物联网监控平台图像增强方法，其特征在于：光照平滑损失函数：

ξ＝{R,G,B}，其中A表示每个像素的曲线参数图，N代表迭代次数，

和

分别表示水平和垂直梯度操作。

9.根据权利要求1所述的一个基于零参考的工业物联网监控平台图像增强算法，其特征在于：步骤S4具体如下：

S41、包含7个卷积块的卷积神经网络结构，实现输入图像到曲线函数参数之间的卷积映射，

S42、每一个卷积层由卷积、池化和激活三种基本操作的结合，并且可选择使用不同尺度的卷积核和不同类型的激活函数。

10.根据权利要求1所述的一种基于零参考的工业物联网监控平台的图像增强算法，其特征在于：步骤S5具体如下：

S51、首先，针对不同的损失函数，验证它们不同的烛烧结果对比图，获得感性的实验对比结果；

S52、进一步实验验证不同参数设置对于图像增强结果的影像，定量的计算不同参数设置的影响因子；

S53、此外，选用不同场景类型的数据，实验验证不同损失函数和参数设定所带来的影响。

Images