CN117218043B - 基于监控图像质量的摄像头调控方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及基于监控图像质量的摄像头调控方法，包括以下步骤：获得低照度监控灰度图像；对低照度监控灰度图像的各像素块以及邻域像素块的灰度分布进行分析，获取初始截断参数；对各像素块中的灰度特征结合边缘像素的分布构建细节承载量；将初始阶段参数与细节承载量进行结合获取修正截断参数；获取增强图像；训练无监督低照度图像增强模型获取生成器增强图像；训练卷积神经网络模型实现对摄像头的精准调控，有效提升低照度环境下监控图像的质量。

Description

基于监控图像质量的摄像头调控方法

技术领域

本申请涉及图像处理技术领域，具体涉及基于监控图像质量的摄像头调控方法。

背景技术

对于暗光条件下的监控图像通常会出现对比度较低的情况，导致图像不清晰，影响监控图像的可用性。常规的算法一般是采用对比度增强的算法进行图像增强，以增加图像的可辨识度。例如，直方图均衡化、自适应直方图均衡化以及限制对比度自适应直方图均衡化（CLAHE）等。这几种方法核心均是采用直方图均衡化对图像进行对比度增强，以达到增强夜间图像的清晰度的目的。但是，在进行对比度增强方法时，过度增强会导致引入更多的噪声，而增强不足则会使图像达不到目标效果。

发明内容

为了解决上述技术问题，本发明提供基于监控图像质量的摄像头调控方法，以解决现有的问题。

本发明的基于监控图像质量的摄像头调控方法采用如下技术方案：

本发明一个实施例提供了基于监控图像质量的摄像头调控方法，该方法包括以下步骤：

获得低照度监控灰度图像；

将低照度灰度图像平均分得到像素块；根据各像素块中的灰度分布获取各像素块的亮度差异系数；根据各像素块与邻域像素块的亮度差异系数之间的差异获取初始截断参数；根据各像素块的灰度特征获取各像素块的有效灰度值；根据各像素块的有效灰度值分布获取有效细节指数；根据各像素块的边缘信息结合有效细节指数获取各像素块的细节承载量；将各像素块的细节承载量对各像素块的初始阶段参数进行修正获取各像素块的修正截断参数；根据修正截断参数获取增强图像；

根据低照度监控灰度图像以及增强图像获取生成器增强图像；根据生成器增强图像与低照度监控灰度图像的差异完成对摄像头的调控。

优选的，所述根据各像素块中的灰度分布获取各像素块的亮度差异系数，具体为：

分别计算各像素块的灰度平均值、灰度极值；计算像素块中各像素的灰度值与所述灰度平均值的差值绝对值的均值；将所述均值与所述灰度极值的乘积作为各像素块的亮度差异系数。

优选的，所述根据各像素块与邻域像素块的亮度差异系数之间的差异获取初始截断参数，具体为：

计算各像素块的所有邻域像素块亮度差异系数的均值；计算各像素块的亮度差异系数与所述均值的差值的倒数；将所述倒数进行归一化操作获取校正因子；所述校正因子的绝对值小于等于各像素块的亮度差异系数倒数的一半；将各像素块的亮度差异系数倒数与所述校正因子的和值作为各像素块的初始截断参数。

优选的，所述根据各像素块的灰度特征获取各像素块的有效灰度值，具体方法为：

统计像素块中各像素的灰度值分布频率；将灰度值分布频率从大到小进行排列；取灰度值分布频率前t的灰度值作为像素块的有效灰度值，其中t为预设值。

优选的，所述根据各像素块的有效灰度值分布获取有效细节指数，具体为：

分别计算各像素块有效灰度值的有效极值、有效均值以及有效方差；计算所述有效极值与所述有效方差的乘积；将所述乘积与所述有效均值倒数的和值记为各像素块的有效细节指数。

优选的，所述根据各像素块的边缘信息结合有效细节指数获取各像素块的细节承载量，具体表达式为：

式中，表示第i个像素块的细节承载量；/>表示有效灰度细节指数；N表示该像素块的像素总数；/>表示该像素块中边缘点的个数；C表示第i个像素块中第j个元素的八邻域中属于边缘点的像素个数；E表示第i个像素块中第j个像素的八邻域中非边缘点的像素个数；/>表示第i个像素块第j个像素的八邻域中第k个非边缘点的灰度值；/>表示第i个像素块第j个元素的灰度值。

优选的，所述修正截断参数具体为各像素块的细节承载量与各像素块的初始阶段参数乘积的归一化值。

优选的，所述根据修正截断参数获取增强图像，具体步骤包括：

将低照度监控灰度图像作为限制对比度自适应直方图均衡化算法的输入，参数为修正截断参数，将增强图像作为限制对比度自适应直方图均衡化算法的输出。

优选的，所述根据低照度监控灰度图像以及增强图像获取生成器增强图像，具体为：

将低照度监控灰度图像和增强图像作为无监督低照度图像增强模型的输入，将生成器增强图像作为无监督低照度图像增强模型的输出。

优选的，所述根据生成器增强图像与低照度监控灰度图像的差异完成对摄像头的调控，具体步骤包括：

获取生成器增强图像与低照度监控灰度图像的差异图像；将所述差异图像作为卷积神经网络模型的输入，将摄像头HDR开关参数作为卷积神经网络的输出；所述摄像头HDR开关参数包括打开和关闭。

本发明至少具有如下有益效果：

本发明通过对低照度监控图像进行增强，以达到改善监控图像质量的目的。具体而言，本发明采用限制对比度自适应直方图均衡化技术对原始图像进行对比度增强，同时根据图像的细节承载量特性和灰度值分布关系，自适应选择直方图均衡化过程中的截断参数，使用自适应的截断参数可以减少增强过程中产生的噪声。

同时，将原始图像和经过对比度增强的图像一起用于训练无监督低照度图像增强模型，以生成更加清晰的增强图像。通过对比度增强可以提高低照度监控图像的可视性和信息量。此外，采用无监督的方式训练图像增强模型，不需要人为标注增强图像，从而降低了训练成本和复杂度。最后利用卷积神经网络对摄像头获取图像进行判断并对摄像头实现精准调控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的基于监控图像质量的摄像头调控方法的流程图；

图2为截断参数的示意图；

图3为修正截断参数的获取过程图；

图4为摄像头调控神经网络流程示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于监控图像质量的摄像头调控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于监控图像质量的摄像头调控方法的具体方案。

本发明一个实施例提供的基于监控图像质量的摄像头调控方法。

具体的，提供了如下的基于监控图像质量的摄像头调控方法，请参阅图1，该方法包括以下步骤：

步骤S001：获取低照度监控图像，并进行预处理。

为了对监控数据图像进行图像增强，首先需要获取相应的图像数据。本实施例针对照度较低的地下车库或夜间的摄像头图像进行分析。根据需要监控的区域和环境特点安装满足要求的监控摄像头，将不同摄像头获取的监控画面分别保存，并通过对不同摄像头拍摄画面进行截取获取相应的图像数据。

在进行下一步之前需要先对图像进行预处理，为了方便后续处理，故将所有图像数据都转化为灰度图像进行计算。

至此，获得低照度监控灰度图像。

步骤S002：划分像素块，对像素块中的灰度分布以及灰度特征进行分析，获取修正截断参数，基于修正截断参数对低照度监控灰度图像进行自适应增强。

当处于照度较低的地下车库以及夜间时，由于光照强度不够，因此需要对监控图像进行处理才能达到应有的视觉效果。对于光照强度不够导致的图像质量较低的场景，通常是对比度较低引起的，即灰度图像中大部分灰度值都分布在比较集中的区域，因此需要进行对比对增强的方式对图像进行增强。而在进行对比度增强时，如果增强的程度太大又会引入新的噪声对图像进行干扰，所以需要根据场景需要进行自适应的增强。

具体的，将低照度监控灰度图像平均分成同等大小的小块，本实施例中将图像分为64*64块，实施者可自行调整。每个小块都会被单独处理。对每个小块计算其灰度直方图。确定每个小块的截断参数，通过截断参数对直方图进行截断。其中截断参数示意图如图2所示。根据截断后的直方图计算映射关系。考虑到图像中不同区域所表现的信息不同，因此也应该采用不同的截断参数对图像进行增强：对每个小块直方图进行截断时，当截断参数越大时，表示对细节增强越明显，但同时对于变化不大的背景图则会引入不必要的噪声，反之则不会引入过多的噪声，但对细节的增强效果也相对不明显。

将上述步骤所划分的小块记为像素块，需要根据图像的亮度分布程度为每个像素块计算初始截断参数，为每个小块中的像素自适应采取不同的截断参数进行直方图均衡化。

首先，计算每个像素块的整体亮度差异系数，具体如下：

其中，表示第i个像素块的整体亮度差异系数；N表示该像素块中的像素总数；表示第i个像素块中第j个像素的灰度值；/>表示第i个像素块的像素灰度平均值；表示第i个像素块的像素灰度最大值；/>表示第i个像素块的像素灰度最小值。

当像素块中各像素的灰度值与灰度平均值差异越大时，表明该像素块中的像素值分布越离散，亮度差异系数也越大，反之，则亮度差异系数/>也就越小；同样的，当个像素块的灰度极值越大时，表示该像素块内的像素灰度值分布范围越广，亮度差异系数/>也将越大，反之亮度差异系数/>则将越小。

然后，根据各像素块周围八邻域的像素块亮度差异计算像素块之间的差异性以确定初始截断参数，具体表达式为：

其中，表示第i个像素块的初始截断参数；/>表示第i个像素块的亮度差异系数；表示第i个像素块所有邻域像素块的亮度差异系数均值，/>表示归一化函数，/>为不为零的正数。需要说明的是，邻域为八邻域，当处于边界的像素块的邻域数量不足八个时，则以实际邻域数量进行计算；此处的归一化函数是将自变量值归一化到/>中。将/>作为校正因子。

当第i个像素块本身的亮度差异系数越大时，则表明其对比度越强，应该设置较小的初始截断参数，以减少对比度增强程度，减少不必要的噪声，反之应该增大截断参数以增加图像对细节的描述；当第i个像素块的亮度差异系数与邻域像素块的差异系数均值的差异为正数时，表明该像素块的亮度差异系数在邻域中过大，会导致初始截断参数过小，故利用校正因子进行校正处理。

至此，可根据各像素块的初始截断参数得到整个图像对于每个像素块的初始截断序列。

考虑到在同一个像素块中，即使亮度分布相同，但是包含的细节信息也会有所差别，为了能够更合理的区别不同像素块，接下来通过对计算各像素块的细节承载量，对各像素块的初始截断序列进行修正。

具体的，通过分析不同像素块中灰度值的紧密程度计算其有效灰度细节指数，具体计算步骤如下：

A）统计每个像素的灰度值分布频率，将灰度值频率从大到小进行排序。

B）取灰度值频率排名前t的灰度值作为该像素块的有效灰度值，其中t的值实施者各根据实际情况自行选取，本实施例中取值为80%。

C）分别计算每个像素块有效灰度值的有效均值和有效方差，将第i个像素块的有效均值和有效方差分别记作μ_i和σ_i。

D）通过第i个像素块的有效均值和有效方差计算该像素块的有效灰度细节指数，表达式如下所示：

其中，表示有效灰度细节指数；/>、/>分别表示第i个像素块的有效方差、有效均值；/>、/>分别表示第i个像素块的最大有效灰度值、最小有效灰度值。

当像素块的有效方差越大时，表明该像素块的有效像素分布越离散，则包含的细节信息越多，反之有效像素分布越集中，则包含的细节信息越少；像素块的最大有效值与最小有效值的差异表示该像素块分布的有效像素宽度，宽度值大则包含的细节信息越多，反之包含的细节信息越少；当第i个像素块的有效均值越大时，表明其亮度越大包含的细节信息越少，反之其包含的细节信息则越多。

然后，通过Canny算子对原始图像进行边缘检测，并通过二值图的形式将边缘信息进行存储。接着根据每个像素块包含的边缘信息占比以及其周围像素点灰度值分布计算细节承载量，具体如下：

其中，表示第i个像素块的细节承载量；/>表示有效灰度细节指数；N表示该像素块的像素总数；/>表示该像素块中边缘点的个数；C表示第i个像素块中第j个元素的八邻域中属于边缘点的像素个数；E表示第i个像素块中第j个像素的八邻域中非边缘点的像素个数；/>表示第i个像素块第j个像素的八邻域中第k个非边缘点的灰度值；/>表示第i个像素块第j个元素的灰度值。

当有效灰度细节指数越大时，则相应的该像素块的细节承载量也越大，反之细节承载量则越小；当该像素块中的边缘像素占总体像素比重越大时，则表明其中包含的细节信息越多，反之则表明其中包含细节信息越少；当该像素块中每个像素与邻域非边缘点的像素灰度差异越大时，则表明该像素块中包含的细节越多，反之，其包含的细节信息则越少。

最后，考虑到第i个数据块的初始截断序列仅仅由像素块中灰度值的亮度差异决定不全面，故在进行对比度增强时还要考虑局部位置的细节包含程度来确定增强的强度。因此，通过计算第i个数据块细节承载量来初始截断序列进行修正，以保证其细节保存的灵敏性。通过每个像素块的细节承载量修正初始截断序列，具体如下：

其中，表示第i个像素块的修正截断参数；/>表示将数据进行归一化处理；/>表示第i个像素块的初始截断参数；/>表示第i个像素块的细节承载量。其中，修正截断参数的获取如图3所示。

当第i个像素块修正截断序列越大时，则表明该数据块的细节包含程度越多，则应该使用更大的截断参数，以便更清晰的呈现出细节信息；反之，表明该数据块的细节包含程度越小，则应该使用较小的截断参数，以免引入不必要的噪声。

将低照度监控灰度图像作为限制对比度自适应直方图均衡化方法的输入图像，将修正截断参数序列作为参数，输出增强图像。需要说明的是限制对比度自适应直方图均衡化方法为现有公知技术，本实施例中不再赘述。

至此，获得增强图像。

步骤S003：采用无监督低照度图像增强模型EnlightenGAN进一步对图像进行增强，并对摄像头HDR开关进行自动调控。

通过上述步骤，我们将低照度监控灰度图像和与之对应的增强图像一起用于训练无监督低照度图像增强模型，以便对图像进行进一步的增强。最终将训练好的模型接入摄像头的图像处理系统，并训练摄像头HDR调控模型对摄像头HDR开关进行自动调控。

具体的，其中EnlightenGAN模型是基于生成对抗网络的模型，将低照度监控灰度图像以及增强图像作为输入，通过训练一个生成器网络和一个判别器网络来输出生成器增强图像。其中，生成器网络接受低照度监控灰度图像作为输入，生成亮度增强图像。将低照度监控灰度图像和亮度增强图像作为判别器网络的负样本，将低照度监控灰度图像和增强图像作为判别器网络的正样本，联合训练生成器和判别器网络。在训练过程中，生成器网络通过最小化生成亮度增强图像与低照度监控灰度图像之间的差异来学习生成高质量的亮度增强图像。判别器网络则根据图像的真实性来评估生成亮度增强图像的质量，并提供反馈给生成器网络，帮助它逐渐改进生成能力，最终输出生成器增强图像。

接下来，设计一个摄像头HDR调控模型，将生成器增强图像与低照度监控灰度图像的差异作为训练依据，最终使模型预测和控制HDR功能是打开还是关闭。其中，模型采用卷积神经网络CNN，优化器依然采用Adam，损失函数采用交叉熵损失函数。在训练阶段，采用增强图像与生成器增强图像的差异图像作为摄像头调控模型的正样本，采用低照度监控灰度图像与生成器增强图像的差异图像作为摄像头调控模型的负样本。在预测阶段，摄像头HDR调控模型的输入为低照度监控灰度图像与生成器增强图像之间差异，输出为摄像头HDR开关参数，包括打开和关闭两种状态。

需要说明的是，EnlightenGAN模型、卷积神经网络CNN为现有公知技术，本实施例中不再具体赘述。其中，摄像头调控神经网络流程示意图如图4所示。

综上所述，本发明实施例通过对低照度监控图像进行增强，以达到改善监控图像质量的目的。具体而言，本发明采用限制对比度自适应直方图均衡化技术对原始图像进行对比度增强，同时根据图像的细节承载量特性和灰度值分布关系，自适应选择直方图均衡化过程中的截断参数，使用自适应的截断参数可以减少增强过程中产生的噪声。

同时，将原始图像和经过对比度增强的图像一起用于训练无监督低照度图像增强模型，以生成更加清晰的增强图像。通过对比度增强可以提高低照度监控图像的可视性和信息量。此外，采用无监督的方式训练图像增强模型，不需要人为标注增强图像，从而降低了训练成本和复杂度。最后利用卷积神经网络对摄像头获取图像进行判断并对摄像头实现精准调控。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (5)

1.基于监控图像质量的摄像头调控方法，其特征在于，该方法包括以下步骤：

获得低照度监控灰度图像；

将低照度灰度图像平均分得到像素块；根据各像素块中的灰度分布获取各像素块的亮度差异系数；根据各像素块与邻域像素块的亮度差异系数之间的差异获取初始截断参数；根据各像素块的灰度特征获取各像素块的有效灰度值；根据各像素块的有效灰度值分布获取有效细节指数；根据各像素块的边缘信息结合有效细节指数获取各像素块的细节承载量；将各像素块的细节承载量对各像素块的初始阶段参数进行修正获取各像素块的修正截断参数；根据修正截断参数获取增强图像；

根据低照度监控灰度图像以及增强图像获取生成器增强图像；根据生成器增强图像与低照度监控灰度图像的差异完成对摄像头的调控；

所述根据各像素块与邻域像素块的亮度差异系数之间的差异获取初始截断参数，具体为：

计算各像素块的所有邻域像素块亮度差异系数的均值；计算各像素块的亮度差异系数与所述均值的差值的倒数；将所述倒数进行归一化操作获取校正因子；所述校正因子的绝对值小于等于各像素块的亮度差异系数倒数的一半；将各像素块的亮度差异系数倒数与所述校正因子的和值作为各像素块的初始截断参数；

所述根据各像素块的灰度特征获取各像素块的有效灰度值，具体方法为：

统计像素块中各像素的灰度值分布频率；将灰度值分布频率从大到小进行排列；取灰度值分布频率前t的灰度值作为像素块的有效灰度值，其中t为预设值；

所述根据各像素块的有效灰度值分布获取有效细节指数，具体为：

分别计算各像素块有效灰度值的有效极值、有效均值以及有效方差；计算所述有效极值与所述有效方差的乘积；将所述乘积与所述有效均值倒数的和值记为各像素块的有效细节指数；

所述根据各像素块的边缘信息结合有效细节指数获取各像素块的细节承载量，具体表达式为：

式中，表示第i个像素块的细节承载量；/>表示有效灰度细节指数；N表示该像素块的像素总数；/>表示该像素块中边缘点的个数；C表示第i个像素块中第j个元素的八邻域中属于边缘点的像素个数；E表示第i个像素块中第j个像素的八邻域中非边缘点的像素个数；/>表示第i个像素块第j个像素的八邻域中第k个非边缘点的灰度值；/>表示第i个像素块第j个元素的灰度值；

所述修正截断参数具体为各像素块的细节承载量与各像素块的初始阶段参数乘积的归一化值。

2.如权利要求1所述的基于监控图像质量的摄像头调控方法，其特征在于，所述根据各像素块中的灰度分布获取各像素块的亮度差异系数，具体为：

分别计算各像素块的灰度平均值、灰度极值；计算像素块中各像素的灰度值与所述灰度平均值的差值绝对值的均值；将所述均值与所述灰度极值的乘积作为各像素块的亮度差异系数。

3.如权利要求1所述的基于监控图像质量的摄像头调控方法，其特征在于，所述根据修正截断参数获取增强图像，具体步骤包括：

将低照度监控灰度图像作为限制对比度自适应直方图均衡化算法的输入，参数为修正截断参数，将增强图像作为限制对比度自适应直方图均衡化算法的输出。

4.如权利要求1所述的基于监控图像质量的摄像头调控方法，其特征在于，所述根据低照度监控灰度图像以及增强图像获取生成器增强图像，具体为：

将低照度监控灰度图像和增强图像作为无监督低照度图像增强模型的输入，将生成器增强图像作为无监督低照度图像增强模型的输出。

5.如权利要求1所述的基于监控图像质量的摄像头调控方法，其特征在于，所述根据生成器增强图像与低照度监控灰度图像的差异完成对摄像头的调控，具体步骤包括：

获取生成器增强图像与低照度监控灰度图像的差异图像；将所述差异图像作为卷积神经网络模型的输入，将摄像头HDR开关参数作为卷积神经网络的输出；所述摄像头HDR开关参数包括打开和关闭。