CN116309191B - 基于图像增强的瓦斯巡检智能显示方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于图像增强的瓦斯巡检智能显示方法，包括，对每个目标像素点和每个光源中心对应的局部区域的灰度值序列和亮度值序列进行分析，获得各灰度值分布相似度、各亮度值分布相似度、每个目标像素点和每个光源中心之间的距离，进而获得强光覆盖程度；根据强光覆盖程度和长游程不均匀指标，确定每个目标像素点的权重；利用每个目标像素点的权重，对自动色彩均衡算法进行改进处理，最终获得图像增强处理后的灰度图像。本发明通过构建权重模板替代自动色彩均衡算法中的平均值模板，获得对比度更高的灰度图像，提升了图像增强效果，为机器人的矿井内瓦斯巡检工作提供了极大的便利。

Description

基于图像增强的瓦斯巡检智能显示方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于图像增强的瓦斯巡检智能显示方法。

背景技术

煤矿井下的地质构造较为复杂，为了实时了解煤矿井的环境情况，引入基于机器视觉的机器人代替瓦斯检查员进行瓦斯浓度巡检，机器人实现瓦斯巡检对于提升安全性、降低劳动强度以及提高效率具有重要意义。在机器人进行煤矿井瓦斯巡检的过程中，机器人的监控设备将采集到多帧视频图像，技术操作人员将根据视频图像操控机器人。大多数地区的煤矿井下只能依赖曝光度较大的矿灯实现照明，但是受矿灯照明、矿井潮湿环境以及空气中大量悬浮颗粒的影响，机器人的监控设备所采集的视频图像的清晰度较差，难以辨认矿井下的具体环境情况，模糊不清的视频图像对机器人的巡检工作造成了较大的干扰。

为了提高视频图像的清晰度，现有选取自动色彩均衡（Automatic ColorEnhancement，ACE）算法对视频图像进行图像增强处理。但是矿灯的不均匀照射和多个矿灯的叠加照射，导致视频图像中受强光照射覆盖的像素点的灰度值偏高，受弱光照射覆盖的像素点的灰度值偏低，也就是视频图像的亮度均匀性较差，此时使用平均值模板的ACE算法处理后的视频图像的对比度不高，无法凸显矿道内设施的细节信息，图像增强效果较差，图像增强处理后的视频图像仍然会对机器人的巡检工作造成较大干扰。

发明内容

为了解决上述现有机器人瓦斯巡检工作过程中，监控设备采集的视频图像的图像增强效果较差的技术问题，本发明的目的在于提供一种基于图像增强的瓦斯巡检智能显示方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于图像增强的瓦斯巡检智能显示方法，该方法包括以下步骤：

获取待巡检矿井通道的灰度图像和亮度图像，并确定每个光源中心在灰度图像和亮度图像中的位置；

根据灰度图像和亮度图像中每个像素点的像素值，获得每个目标像素点和每个光源中心对应的局部区域的像素值序列；所述目标像素点为灰度图像或亮度图像中光源中心对应的像素点以外的像素点；

根据每个目标像素点和每个光源中心对应的局部区域的像素值序列，确定每个目标像素点和每个光源中心之间的各灰度值分布相似度和各亮度值分布相似度；

根据每个目标像素点和每个光源中心之间的距离、各灰度值分布相似度以及各亮度值分布相似度，确定每个目标像素点的强光覆盖程度；

确定灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标，根据每个目标像素点的强光覆盖程度和所述长游程不均匀指标，确定每个目标像素点的权重；

根据每个目标像素点的权重，对自动色彩均衡算法进行改进处理，利用改进处理后的自动色彩均衡算法对灰度图像进行图像增强处理，获得图像增强处理后的灰度图像。

进一步地，根据每个目标像素点和每个光源中心对应的局部区域的像素值序列，确定每个目标像素点和每个光源中心之间的各灰度值分布相似度和各亮度值分布相似度，包括：

对于任意一个目标像素点和任意一个光源中心，将目标像素点对应的局部区域中每个像素点的像素值与光源中心对应的局部区域中对应位置处的像素点的像素值之间的差值的平方，确定为目标像素点对应的局部区域中对应像素点的第一相似因子；所述像素值序列为灰度值序列或亮度值序列；

将目标像素点对应的局部区域中每个像素点的第一相似因子的累加和的平均值，确定为目标像素点的第二相似因子；对所述第二相似因子进行负相关映射，将负相关映射后的第二相似因子确定为目标像素点的像素值分布相似度；

将像素值序列为灰度值序列时对应的像素值分布相似度确定为灰度值分布相似度，将像素值序列为亮度值序列时对应的像素值分布相似度确定为亮度值分布相似度。

进一步地，根据每个目标像素点和每个光源中心之间的距离、各灰度值分布相似度以及各亮度值分布相似度，确定每个目标像素点的强光覆盖程度，包括：

对于任意一个目标像素点和任意一个光源中心，对目标像素点和光源中心之间的距离进行负相关映射，并将负相关映射后的距离确定为对应目标像素点的第一强光覆盖因子；

对目标像素点的灰度值分布相似度和亮度值分布相似度进行相加处理，将相加处理后的数值确定为对应目标像素点的第二强光覆盖因子；

计算目标像素点的第一强光覆盖因子和第二强光覆盖因子的乘积，将乘积确定为对应目标像素点的第三强光覆盖因子，从而获得目标像素点的各个第三强光覆盖因子；

将目标像素点的各个第三强光覆盖因子的累加和确定为对应目标像素点的强光覆盖程度。

进一步地，根据每个目标像素点的强光覆盖程度和所述长游程不均匀指标，确定每个目标像素点的权重，包括：

对于任意一个目标像素点，将目标像素点的强光覆盖程度和所述长游程不均匀指标的乘积进行反比例的归一化处理，将反比例的归一化处理后的数值确定为对应目标像素点的权重。

进一步地，根据每个目标像素点的权重，对自动色彩均衡算法进行改进处理，包括：

根据每个目标像素点的权重构建权重模板；在改进的自动色彩均衡算法中，利用权重模板，对灰度图像中每个像素点对应的局部区域中的所有灰度值进行卷积运算，将卷积运算后的数值作为对应像素点在低频部分中的灰度值。

进一步地，确定每个光源中心在灰度图像和亮度图像中的位置，包括：

利用目标检测算法，对待巡检矿井通道的灰度图像进行图像处理，获得灰度图像中光源的个数；基于所述灰度图像中光源的个数，利用混合高斯模型，对亮度图像中每个像素点的亮度值进行聚类处理，获得各个聚类区域；将亮度图像中聚类区域的中心点的位置确定为光源中心在灰度图像和亮度图像中的位置。

进一步地，确定灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标，包括：

对亮度图像进行二值化处理，获得二值化图像，所述二值化图像的前景为强光区域，背景为弱光区域；

对亮度图像中每个像素点对应的局部区域中的强光区域、弱光区域的亮度值进行HOG提取，获得每个像素点的强光HOG特征向量和弱光HOG特征向量；

对所述强光HOG特征向量和所述弱光HOG特征向量进行JS散度分析，将所述JS散度确定为对应像素点的强光分布均匀性指标，将每个像素点的强光分布均匀性指标作为图像的像素值，构建强光分布均匀性图像；

对于强光分布均匀性图像中每个像素点对应的局部区域，利用灰度游程矩阵，计算每个像素点对应的局部区域的长游程不均匀指标；

将强光分布均匀性图像中每个像素点对应的局部区域的长游程不均匀指标映射到灰度图像中，从而获得灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标。

本发明具有如下有益效果：

本发明提供了一种基于图像增强的瓦斯巡检智能显示方法，该方法通过图像数据处理和分析，获得灰度图像中每个目标像素点的权重，进而利用每个目标像素点的权重，对自动色彩均衡算法进行改进处理，从而获得图像增强处理后的灰度图像，所获得的灰度图像的对比度和清晰度更高，本发明有效提升了监控设备采集的视频图像的图像增强效果，可以应用于矿井通道图像的图像增强处理领域。获取待巡检矿井通道的灰度图像和亮度图像，确定每个光源中心在灰度图像和亮度图像中的位置，便于后续比对光源中心与目标像素点在灰度图像和亮度图像中的矿灯光照情况；将像素点置于局部区域进行图像特征分析，有利于减少计算量，同时，便于从局部区域中其他相邻像素点的角度分析对应中心像素点的图像特征，增强后续获得的各个光照强度指标的参考价值；从灰度、亮度以及距离，三个角度分析目标像素点受各个光源中心光照的影响情况，确定每个目标像素点的强光覆盖程度，有助于增强确定的强光覆盖程度的精准度；基于强光覆盖程度和强弱光分布均匀程度，即强光覆盖程度和长游程不均匀指标，确定的目标像素点的权重的准确度更高，使自动色彩均衡算法的改进处理更加可靠和准确；相比平均值模板的自动色彩均衡算法，利用改进后的自动色彩均衡算法处理后的待巡检矿井通道的灰度图像的对比度更高，监控设备采集的视频图像的图像增强效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于图像增强的瓦斯巡检智能显示方法的流程图；

图2为本发明实施例中的像素点对应的局部区域内各像素点的分布示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

现有图像增强算法ACE算法，对复杂环境下采集的矿井通道图像进行图像增强处理时的处理效果差，清晰度较差的矿井通道图像对机器人的瓦斯巡检工作造成较大干扰，为了提高矿井通道图像的图像增强效果，本实施例提供了一种基于图像增强的瓦斯巡检智能显示方法，如图1所示，包括以下步骤：

S1，获取待巡检矿井通道的灰度图像和亮度图像，并确定每个光源中心在灰度图像和亮度图像中的位置，其步骤可以包括：

第一步，获取待巡检矿井通道的灰度图像和亮度图像，其步骤可以包括：

第一子步骤，获得待巡检矿井通道的视频图像。

在本实施例中，通过机器人的摄像机云台，可以采集待巡检矿井通道的各帧视频图像，以各帧视频图像的其中一帧视频图像为例，对视频图像的图像增强处理过程进行展开描述。矿井通道的视频图像为红绿蓝三原色（Red Green Blue，RGB）色彩空间的图像。其中，视频图像中包含轨道、矿车以及管道等矿内设施，采集视频图像是为了便于机器人巡检工作的进行。

第二子步骤，根据视频图像获得待巡检矿井通道的灰度图像。

为了便于后续实现图像处理，将RGB空间图像中每个像素点的三个通道值进行加权平均处理，获得灰度图像，即利用加权平均法，对矿井通道的视频图像进行灰度化处理，获得矿井通道视频图像的灰度图像。灰度化处理的实现方法包括但不限于：分量法、最大值法、最小值法以及平均值法，灰度化处理的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第三子步骤，根据视频图像获得待巡检矿井通道的亮度图像。

为了便于后续分析矿灯曝光亮度对采集的视频图像的影响，需要获取待巡检矿井通道的亮度图像。例如，将RGB空间图像转为色调、饱和度和亮度（Hue IntensitySaturation，HIS）空间图像，并只取HIS空间图像中每个像素点的亮度值，将亮度值构成的图像作为待巡检矿井通道的亮度图像，亮度图像中每个像素点的像素值为亮度值。又如，根据RGB空间图像中每个像素点的三个通道值，利用标准的亮度公式，可以确定RGB空间图像中每个像素点的亮度值，进而获得待巡检矿井通道的亮度图像。待巡检矿井通道的亮度图像的获取方式为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第二步，确定每个光源中心在灰度图像和亮度图像中的位置。

利用目标检测算法，对待巡检矿井通道的灰度图像进行图像处理，获得灰度图像中光源的个数；基于灰度图像中光源的个数，利用混合高斯模型，对亮度图像中每个像素点的亮度值进行聚类处理，获得各个聚类区域；将亮度图像中聚类区域的中心点的位置确定为光源中心在灰度图像和亮度图像中的位置。

首先，获得灰度图像中光源的个数。对待巡检矿井通道的灰度图像进行目标检测时，目标检测的对象为可以灰度图像中的矿灯，目标检测的结果可以为各个光源区域，光源即为由矿灯散发的光源。目标检测算法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

然后，确定每个光源所在的聚类区域。距离光源越近的像素点的亮度值越高，光源附近的像素点的亮度值分布近似呈现为高斯分布，但光源的反光区域是由多个矿灯的叠加照射形成的，其使反光区域的像素点的亮度值分布不符合高斯分布。因此，以灰度图像中的光源个数作为高斯混合模型（Gaussian Mixed Model，GMM）中的K值，利用高斯混合模型对亮度图像进行聚类，可以获得每个光源所在的聚类区域，聚类区域可以为椭圆形区域。

需要说明的是，高斯混合模型聚类处理后的区域形状可以为椭圆形区域，高斯混合模型聚类处理的实现过程为现有技术，此处不再进行详细阐述。另外，值得说明的是，为了矿井通道的照明需求，相邻矿灯之间距离较远，也就是高斯混合模型聚类处理后的单个聚类区域内均存在一个矿灯光源。

最后，确定每个光源中心在灰度图像和亮度图像中的位置。获取亮度图像中的每个椭圆形区域的圆心，即亮度图像中聚类区域的中心点，将亮度图像中聚类区域的中心点确定为光源中心，进而将亮度图像中聚类区域的中心点映射到灰度图像中，可以获得亮度图像和灰度图像中的各个光源中心。对亮度图像和灰度图像构建坐标系，并对亮度图像和灰度图像中的每个光源中心对应的像素点进行标记处理，从而获得每个光源中心在灰度图像和亮度图像中的位置。

需要说明的是，灰度图像和亮度图像均是由矿井通道的视频图像进行图像处理获得的，故灰度图像和亮度图像中对应像素点的位置可以是保持一致的，也就是任意一个光源中心在灰度图像和亮度图像中的位置是一致的。

至此，本实施例获得了每个光源中心在灰度图像和亮度图像中的位置。

S2，根据灰度图像和亮度图像中每个像素点的像素值，获得每个目标像素点和每个光源中心对应的局部区域的像素值序列，其步骤可以包括：

第一步，确定灰度图像和亮度图像中每个像素点对应的局部区域。

在本实施例中，灰度图像中的A可以为像素点/>的灰度值，亮度图像中的B可以为像素点/>的亮度值，像素点/>可以为图像中的第x行第y列位置处的像素点。局部区域可以为以像素点/>为中心、窗口尺寸大小为/>的区域，n取经验值可以为2，故局部区域的窗口尺寸大小可以为/>。灰度图像和亮度图像中每个像素点均有其对应的局部区域，确定局部区域是为了便于后续对灰度图像和亮度图像进行局部分析，其有助于提高图像增强处理的效率和准确度。

需要说明的是，对于局部区域尺寸不足的像素点，将该像素点的初始局部区域与该像素点所在图像的重合区域确定为该像素点的局部区域，这里的初始局部区域是指窗口尺寸为/>的局部区域。例如，像素点/>对应的局部区域内各像素点的分布示意图如图2所示，此时的像素点/>为中心像素点。当像素点对应的局部区域中像素值为a ₁的像素点为图像的顶点像素点时，顶点像素点的局部区域的窗口尺寸不足/>，此时将像素值为a ₁、a ₂、a ₃、a ₆、a ₇、a ₈、a ₁₁、a ₁₂以及a ₁₃的像素点构成的区域确定为像素值为a ₁的像素点对应的局部区域，后续该像素点与光源中心进行亮度比对分析时，应使光源中心的局部区域与该像素点的局部区域保持一致，即两个局部区域内对应像素点的位置为一一对照关系。

第二步，确定每个目标像素点和每个光源中心对应的局部区域的像素值序列。

在获得灰度图像和亮度图像中每个像素点对应的局部区域后，按照从左到右的顺序，或从右到左的顺序，将每个像素点对应的局部区域内各像素点的像素值组成序列。在图2中，按照从左到右的顺序获取，像素点对应的局部区域的像素值序列可以为{a ₁、a ₂、a ₃、a ₄、a ₅、a ₆...}，像素点/>为中心像素点，像素点/>的像素值为a ₁₃。其中，灰度图像中每个像素点对应的局部区域均有其对应的灰度值序列，灰度值序列记为灰度分布；亮度图像中每个像素点对应的局部区域均有其对应的亮度值序列，亮度值序列记为亮度分布。为了分析待巡检矿井通道的视频图像中每个像素点受到的矿灯强光覆盖程度，以光源中心对应的像素点对应的局部区域的灰度分布和亮度分布为基准，与各个目标像素点对应的局部区域的灰度分布和亮度分布进行比对分析，目标像素点可以表征为灰度图像或亮度图像中光源中心对应的像素点以外的像素点。因此，本实施例需要获得每个目标像素点和每个光源中心对应的局部区域的像素值序列，这里的像素值序列可以为灰度值序列或亮度值序列。

至此，本实施例获得了每个目标像素点和每个光源中心对应的局部区域的像素值序列。

S3，根据每个目标像素点和每个光源中心对应的局部区域的像素值序列，确定每个目标像素点和每个光源中心之间的各灰度值分布相似度和各亮度值分布相似度。

首先，需要说明的是，矿道中不同区域的受到矿灯照射分布不同，导致待巡检矿井通道的视频图像模糊不清，视频图像模糊不清的原因在于：视频图像中的距离矿灯光源较近的部分区域的曝光强度较大，过于亮；视频图像中距离矿灯光源较远的部分区域的亮度较小，过于暗。因此，为了对灰度图像进行图像增强处理，获得更清晰的灰度图像，需要分析灰度图像中每个目标像素点的强光覆盖程度，强光覆盖程度是指像素点位置处受到矿灯照射的照明程度。

第一步，根据每个目标像素点和每个光源中心对应的局部区域的灰度值序列，确定每个目标像素点的各灰度值分布相似度。

作为示例，其步骤可以包括：

对于任意一个目标像素点和任意一个光源中心，将目标像素点对应的局部区域中每个像素点的灰度值与光源中心对应的局部区域中对应位置处的像素点的灰度值之间的差值的平方，确定为目标像素点对应的局部区域中对应像素点的第一相似因子；将目标像素点对应的局部区域中每个像素点的第一相似因子的累加和的平均值，确定为目标像素点的第二相似因子；对第二相似因子进行负相关映射，将负相关映射后的第二相似因子确定为目标像素点的灰度值分布相似度。

例如，每个目标像素点的各灰度值分布相似度的计算公式可以为：

其中，为第w个目标像素点的第v个灰度值分布相似度，k为第w个目标像素点对应的局部区域内像素点的序号，/>为第w个目标像素点对应的局部区域内像素点的个数，/>为超参数，/>取经验值可以为2，/>为第w个目标像素点对应的局部区域内第k个像素点的灰度值，/>为第w个目标像素点的第v个光源中心对应的局部区域内第k个像素点的灰度值，/>为第w个目标像素点对应的局部区域内第k个像素点的第一相似因子，/>为第w个目标像素点的第二相似因子，为对第w个目标像素点的第二相似因子进行负相关映射。

在灰度值分布相似度的计算公式中，目标像素点的灰度值分布相似度个数与光源中心个数保持一致，故可以用相同字母v表征灰度值分布相似度和光源中心的序号；第一相似因子可以表征目标像素点对应的局部区域内的像素点与光源中心对应的局部区域内对应位置处的像素点之间的灰度差异情况，灰度差异越大，说明目标像素点对应的局部区域内该像素点受到该光源照射的影响越小，灰度越不相似；第一相似因子与灰度值分布相似度/>为负相关关系，第一相似因子越大，灰度值分布相似度/>越小；第二相似因子可以表征目标像素点的局部区域的灰度分布与光源中心的局部区域的灰度分布的差异情况。

需要说明的是，目标像素点不为光源中心对应的像素点，故第二相似因子不可能为0。又如，每个目标像素点的各灰度值分布相似度的计算公式还可以为：/>，其中，e为自然常数。当然，对第二相似因子进行负相关映射的算法还有很多，本实施例不对其进行具体限定。另外，值得说明的是，目标像素点对应的局部区域内像素点个数与光源中心的局部区域内像素个数保持一致，也就是目标像素点对应的局部区域内每个像素点的位置与光源中心对应的局部区域内每个像素点的位置呈现一一对应关系。

第二步，根据每个目标像素点和每个光源中心对应的局部区域的亮度值序列，确定每个目标像素点的各亮度值分布相似度。

作为示例，其步骤可以包括：

对于任意一个目标像素点和任意一个光源中心，将目标像素点对应的局部区域中每个像素点的亮度值与光源中心对应的局部区域中对应位置处的像素点的亮度值之间的差值的平方，确定为目标像素点对应的局部区域中对应像素点的第三相似因子；将目标像素点对应的局部区域中每个像素点的第三相似因子的累加和的平均值，确定为目标像素点的第四相似因子；对第四相似因子进行负相关映射，将负相关映射后的第四相似因子确定为目标像素点的亮度值分布相似度。

例如，每个目标像素点的各亮度值分布相似度的计算公式可以为：

其中，为第w个目标像素点的第v个亮度值分布相似度，k为第w个目标像素点对应的局部区域内像素点的序号，/>为第w个目标像素点对应的局部区域内像素点的个数，/>为超参数，/>取经验值可以为2，/>为第w个目标像素点对应的局部区域内第k个像素点的亮度值，/>为第w个目标像素点的第v个光源中心对应的局部区域内第k个像素点的亮度值，/>为第w个目标像素点对应的局部区域内第k个像素点的第三相似因子，/>为第w个目标像素点对应的局部区域内第k个像素点的第四相似因子。

在亮度值分布相似度的计算公式中，目标像素点的亮度值分布相似度个数与光源中心个数、灰度值分布相似度个数保持一致，故可以用相同字母v表征亮度值分布相似度和光源中心的序号；第三相似因子可以表征目标像素点对应的局部区域内像素点与光源中心对应的局部区域内对应位置处的像素点之间的亮度差异情况，亮度差异越大，说明目标像素点对应的局部区域内该像素点受到该光源照射的影响越小，亮度越不相似；/>第三相似因子与亮度值分布相似度/>为负相关关系，越小，说明亮度值分布相似度/>越大；/>第四相似因子可以表征目标像素点的局部区域的亮度分布与光源中心的局部区域的亮度分布的差异情况。

需要说明的是，目标像素点不为光源中心对应的像素点，故不可能为0。当然，对/>进行负相关映射的算法还有很多，本实施例不对其进行具体限定。另外，值得说明的是，相比利用动态时间规整（Dynamic Time Warping，DTW）算法或皮尔逊相似度计算方法计算两个序列之间的相似程度，本实施例的亮度分布相似度的计算公式的计算量少，运行速度较快。至此，本实施例获得了每个目标像素点的各灰度值分布相似度和各亮度值分布相似度。

又如，每个目标像素点的各亮度值分布相似度的计算公式还可以为：

其中，为第w个目标像素点的第v个亮度值分布相似度，k为第w个目标像素点对应的局部区域内像素点的序号，/>为第w个目标像素点对应的局部区域内像素点的个数，/>为超参数，/>取经验值可以为2，/>为第w个目标像素点对应的局部区域内第k个像素点的亮度值，/>为第w个目标像素点的第v个光源中心对应的局部区域内第k个像素点的亮度值，/>为第w个目标像素点对应的局部区域内第k个像素点的第三相似因子，/>为第w个目标像素点对应的局部区域内第k个像素点的第四相似因子，e为自然常数，/>为以自然常数为底的次幂。

S4，根据每个目标像素点和每个光源中心之间的距离、各灰度值分布相似度以及各亮度值分布相似度，确定每个目标像素点的强光覆盖程度。

作为示例，其步骤可以包括：

对于任意一个目标像素点和任意一个光源中心，对目标像素点和光源中心之间的距离进行负相关映射，并将负相关映射后的距离确定为对应目标像素点的第一强光覆盖因子；对目标像素点的灰度值分布相似度和亮度值分布相似度进行相加处理，将相加处理后的数值确定为对应目标像素点的第二强光覆盖因子；计算目标像素点的第一强光覆盖因子和第二强光覆盖因子的乘积，将乘积确定为对应目标像素点的第三强光覆盖因子，从而获得目标像素点的各个第三强光覆盖因子；将目标像素点的各个第三强光覆盖因子的累加和确定为对应目标像素点的强光覆盖程度。

在本实施例中，目标像素点距离光源中心越近，目标像素点受到的光照强度越大，因此，可以将目标像素点与光源中心的距离作为衡量目标像素点的强光覆盖程度的重要指标之一。通过每个目标像素点与各个光源中心之间的距离、每个目标像素点的各灰度值分布相似度以及各亮度值分布相似度，利用现有数学建模的相关知识，可以构建强光覆盖程度的计算公式。

例如，每个目标像素点的强光覆盖程度的计算公式可以为：

其中，为第w个目标像素点的强光覆盖程度，/>为光源中心个数，/>为第w个目标像素点的第v个灰度值分布相似度，/>为第w个目标像素点的第v个亮度值分布相似度，/>为第w个目标像素点的第v个第二强光覆盖因子，/>为第w个目标像素点的第v个第一强光覆盖因子，e为自然常数，/>为第w个目标像素点与第v个光源中心之间的距离，/>为第w个目标像素点的第v个第三强光覆盖因子。

在强光覆盖程度的计算公式中，第二强光覆盖因子可以被用于表征目标像素点的局部区域的照射分布情况与光源中心的局部区域的照射分布情况之间的相似程度；/>第二强光覆盖因子与强光覆盖程度/>为正相关，/>第二强光覆盖因子越大，说明该目标像素点的局部区域与光源中心的局部区域的相似度越大；/>可以表征为目标像素点靠近光源中心的程度，距离光源越近光照越强；/>与强光覆盖程度/>为负相关，/>越大，说明目标像素点距离光源中心越远，强光覆盖程度/>越小，故需要对/>进行负相关映射，即第一强光覆盖因子/>；/>可以表征为综合所有光源中心对第w个目标像素点进行光源照射时的强光覆盖程度，即第w个目标像素点的强光覆盖程度，每个目标像素点均有其对应的强光覆盖程度。

需要说明的是，第w个目标像素点与第v个光源中心之间的距离可以通过欧氏距离算法获得，两个像素点之间的欧氏距离的计算过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

又如，每个目标像素点的强光覆盖程度的计算公式可以为：

其中，为第w个目标像素点的强光覆盖程度，/>为光源中心个数，/>为第w个目标像素点的第v个灰度值分布相似度，/>为第w个目标像素点的第v个亮度值分布相似度，/>为第w个目标像素点的第v个第二强光覆盖因子，/>为第w个目标像素点的第v个第一强光覆盖因子，/>为超参数，/>取经验值为0.01，其用于防止分母为0的特殊情况，/>为第w个目标像素点与第v个光源中心之间的距离，/>为第w个目标像素点的第v个第三强光覆盖因子。

至此，本实施例获得了灰度图像中每个目标像素点的强光覆盖程度。

S5，确定灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标，根据每个目标像素点的强光覆盖程度和长游程不均匀指标，确定每个目标像素点的权重，其步骤可以包括：

第一步，确定灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标。

为了分析灰度图像中每个目标像素点的图像细节特征，需要确定每个目标像素点对应的局部区域的长游程不均匀指标。作为示例，其步骤可以包括：

对亮度图像进行二值化处理，获得二值化图像，二值化图像的前景为强光区域，背景为弱光区域；对二值图像中每个像素点对应的局部区域中的强光区域、弱光区域的亮度值进行HOG提取，获得每个像素点的强光HOG特征向量和弱光HOG特征向量；计算强光HOG特征向量和弱光HOG特征向量之间的JS散度，将JS散度确定为对应像素点的强光分布均匀性指标，将每个像素点的强光分布均匀性指标作为图像的像素值，构建强光分布均匀性图像；对于强光分布均匀性图像中每个像素点对应的局部区域，利用灰度游程矩阵，计算每个像素点对应的局部区域的长游程不均匀指标；将强光分布均匀性图像中每个像素点对应的局部区域的长游程不均匀指标映射到灰度图像中，从而获得灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标。

在本实施例中，首先，对待巡检矿井通道的亮度图像进行OTSU（最大类间方差阈值分割算法或大津算法）阈值分割，具体为：设定亮度阈值，将亮度图像中亮度值大于亮度阈值的像素点作为强光区域中的强光点，将亮度值小于或等于亮度阈值的像素点作为弱光区域中的弱光点，从而获得亮度图像对应的二值化图像。OTSU阈值分割的实现过程为现有公知技术，不再赘述。

然后，通过方向梯度直方图算子（Histogram of Oriented Gradients，HOG），实现对亮度图像中每个像素点对应的局部区域中强光区域、弱光区域的亮度值的HOG提取，获得亮度图像中每个像素点对应的强光HOG特征向量和弱光HOG特征向量，HOG算子的计算过程为现有公知技术，不再赘述。值得说明的是，对于局部区域中全部为强光点或弱光点的像素点，不参与后续的JS散度分析，直接将该像素点的强光分布均匀性指标赋值为1。

其次，对于亮度图像中每个像素点的强光HOG特征向量和弱光HOG特征向量，进行JS（Jensen-Shannon）散度分析，获得强光分布均匀性图像。获得强光分布均匀性图像中每个像素点的像素值可以衡量强光HOG特征向量和弱光HOG特征向量之间的差异程度，JS散度的取值介于0和1之间。当JS散度越趋于0时，说明该像素点的衡量强光HOG特征向量和弱光HOG特征向量越一致，即该像素点对应的局部区域内强光分布与弱光分布越一致；当JS散度越趋近1时，说明该像素点对应的局部区域内强光分布与弱光分布越不相同。JS散度的计算过程为现有公知技术，不再赘述。

最后，通过灰度游程矩阵，可以计算强光分布均匀性图像中每个像素点对应的局部区域内JS散度的长游程不均匀指标，其中，长游程不均匀指标也就是长游程不均匀性（Run Length Non-uniformity，RLN），是与游程矩阵相关的纹理统计特征之一，灰度游程矩阵的实现过程为现有公知技术，不再赘述。将强光分布均匀性图像中每个像素点对应的局部区域的长游程不均匀指标映射到灰度图像中，从而获得灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标。

值得说明的是，长游程不均匀指标越大，说明对应像素点对应的局部区域的JS散度分布越不均匀，即对应像素点所在局部区域的强光分布和弱光分布越不均匀，强弱光分布越不均匀，对应像素点所在局部区域的图像细节越明显。

第二步，根据每个目标像素点的强光覆盖程度和长游程不均匀指标，确定每个目标像素点的权重，其步骤可以包括：

对于任意一个目标像素点，将目标像素点的强光覆盖程度和长游程不均匀指标的乘积进行反比例的归一化处理，将反比例的归一化处理后的数值确定为对应目标像素点的权重。

在本实施例中，目标像素点的强光覆盖程度越大，表示该目标像素点受到矿灯光照的影响越大，为了得到较为准确的获取灰度图像的低频部分，应该限制该目标像素点的灰度值，即赋予该目标像素点的权重越小；目标像素点的长游程不均匀指标越大，表示该目标像素点的局部区域的强弱光分布越不均匀，局部区域的图像细节越明显，为了获得更为准确的高频部分，应该限制该目标像素点的灰度值，即赋予该目标像素点的权重越小。因此，强光覆盖程度和长游程不均匀指标均与权重为反比例关系。

例如，每个目标像素点的初始权重的计算公式可以为：

其中，为第w个目标像素点的初始权重，/>为第w个目标像素点的强光覆盖程度，为第w个目标像素点对应的局部区域的长游程不均匀指标，w为目标像素点的序号，为对/>进行反比例处理。

又如，每个目标像素点的初始权重的计算公式可以为：

其中，为第w个目标像素点的初始权重，/>为第w个目标像素点的强光覆盖程度，为第w个目标像素点对应的局部区域的长游程不均匀指标，w为目标像素点的序号，e为自然常数，/>为对/>进行反比例处理，/>也为以自然常数为底的/>次幂。

在初始权重的计算公式的计算公式中，基于强光覆盖程度和长游程不均匀指标的计算过程可知，强光覆盖程度和长游程不均匀指标均不存在为0的特殊情况；强光覆盖程度、长游程不均匀指标与权重为负相关关系；确定灰度图像中每个目标像素点的权重是为了便于后续确定灰度图像对应的权重模板。

为了使灰度图像中每个目标像素点的权重在0到1之间的分布更均匀，对灰度图像中每个像素点的初始权重进行归一化处理，将归一化处理后的初始权重确定为对应目标像素点的权重。对每个像素点的初始权重进行归一化处理的实现方法有很多，包括但不限于最大最小归一化、标准差归一化以及小数定标归一化等，本实施例不对归一化处理的实现方法做具体限定。

例如，每个目标像素点的权重的计算公式可以为：

其中，为灰度图像中每个目标像素点的权重，/>为灰度图像中每个目标像素点对应的局部区域内第k个像素点的初始权重，/>为灰度图像中每个目标像素点的初始权重，K为局部区域内像素点的个数。

S6，根据每个目标像素点的权重，对自动色彩均衡算法进行改进处理，利用改进处理后的自动色彩均衡算法对灰度图像进行图像增强处理，获得图像增强处理后的灰度图像。

首先，需要说明的是，对于在潮湿且空气中存在大量悬浮颗粒的矿井环境下拍摄的视频图像，通常选用ACE算法对视频图像进行图像增强处理。但是矿井通道中矿灯的不均匀照射和多个矿灯的叠加照射，导致强光覆盖程度大的像素点的灰度值偏高，强光覆盖程度小的像素点的灰度值偏低，此时采用平均值模板的ACE算法的处理后的灰度图像的对比度较低，无法凸显矿道内设施的细节信息。为了克服ACE算法的平均值模板存在的缺陷，对自动色彩均衡算法进行改进处理，其步骤包括：

根据每个目标像素点的权重构建权重模板；在改进的自动色彩均衡算法中，利用权重模板，对灰度图像中每个像素点对应的局部区域中的所有灰度值进行卷积运算，将卷积运算后的数值作为对应像素点在低频部分中的灰度值。对于任意一个像素点，卷积运算可以为：将像素点对应的局部区域中每个像素点的权重和灰度值的乘积确定为对应像素点的第一乘积；计算像素点对应的局部区域的各个第一乘积的累加和，将各个第一乘积的累加和确定为对应像素点在低频部分中的灰度值。卷积运算的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

需要说明的是，在构建权重模板时，对于光源中心对应的像素点的权重，光源中心与其本身的亮度分布和灰度分布的相似度为1，与其他光源中心的相似度也近似于1，使得光源中心对应的像素点的权重是最大的，在对光源中心的权重进行归一化后，最大的权重为1。因此，权重模板中每个光源中心对应的像素点的权重可以直接设定为1，并且光源中心对应的像素点的个数较少，不影响最终图像增强的效果。每帧视频图像对应的灰度图像均有其对应的权重模板，权重模板是指由灰度图像中每个像素点的权重构成的模板。

在本实施例中，改进前的ACE算法并不适用对矿井通道的视频图像进行图像处理，具体表现为：改进前的ACE算法中的平均值模板得到的低频部分的灰度值偏高，进而由低频部分得到的高频部分的灰度值偏低，使得最后得到的增强图像的对比度降低，凸显不了视频图像中感兴趣部分的细节信息。值得说明的是，矿灯附近以及被矿灯照射的高曝光区域的亮度值较大，其导致高曝光区域在灰度图像中的灰度值较大。对高曝光区域采用平均值模板来得到低频部分，会使低频部分的灰度值会偏高，不能较好的代表灰度图像的低频部分。

因此，本实施例根据像素点所在区域的强光覆盖程度和强弱光分布情况，来对像素点赋予不同的权重，构建权重模板，此时利用加权平均法得到的权重模板代替ACE算法的平均值模板，实现对自动色彩均衡算法的改进，进而利用改进处理后的自动色彩均衡算法对灰度图像进行图像增强处理，获得图像增强处理后的灰度图像。

其中，对于改进前的ACE算法，第一部分是将原始图像进行平滑处理，得到低频部分；第二部分将原始图像和低频部分的图像的差值图像作为高频部分，进而对第二部分得到的图像中每个像素点的灰度值进行线性增强；最后，将第一部分和第二部分得到的图像进行重新组合，得到ACE算法的输出结果图。低频部分采用求局部平均值的方法，即计算模板中所有像素点的灰度值的平均值以及模板的平均方差。ACE算法的具体实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

至此，本实施例获得了待巡检矿井通道对应的图像增强处理后的灰度图像，对于待巡检矿井通道的每帧视频图像，均可以按照上述方法进行图像增强处理。

本发明提供了一种基于图像增强的瓦斯巡检智能显示方法，该方法基于矿灯对不同区域的不同强光覆盖度以及强弱光分布特点，利用加权平均法得到的权重模板代替ACE算法的平均值模板，进一步提升了灰度图像的对比度，凸显出灰度图像中感兴趣部分的细节信息，提升了图像增强效果，为后续机器人的井内巡检工作提供了极大的便利。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像增强的瓦斯巡检智能显示方法，其特征在于，包括以下步骤：

获取待巡检矿井通道的灰度图像和亮度图像，并确定每个光源中心在灰度图像和亮度图像中的位置；

根据灰度图像和亮度图像中每个像素点的像素值，获得每个目标像素点和每个光源中心对应的局部区域的像素值序列；所述目标像素点为灰度图像或亮度图像中光源中心对应的像素点以外的像素点；

根据每个目标像素点和每个光源中心对应的局部区域的像素值序列，确定每个目标像素点和每个光源中心之间的各灰度值分布相似度和各亮度值分布相似度；

根据每个目标像素点和每个光源中心之间的距离、各灰度值分布相似度以及各亮度值分布相似度，确定每个目标像素点的强光覆盖程度；

确定灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标，根据每个目标像素点的强光覆盖程度和所述长游程不均匀指标，确定每个目标像素点的权重；

根据每个目标像素点的权重，对自动色彩均衡算法进行改进处理，利用改进处理后的自动色彩均衡算法对灰度图像进行图像增强处理，获得图像增强处理后的灰度图像；

根据每个目标像素点的权重，对自动色彩均衡算法进行改进处理，包括：

根据每个目标像素点的权重构建权重模板；在改进的自动色彩均衡算法中，利用权重模板，对灰度图像中每个像素点对应的局部区域中的所有灰度值进行卷积运算，将卷积运算后的数值作为对应像素点在低频部分中的灰度值。

2.根据权利要求1所述的一种基于图像增强的瓦斯巡检智能显示方法，其特征在于，根据每个目标像素点和每个光源中心对应的局部区域的像素值序列，确定每个目标像素点和每个光源中心之间的各灰度值分布相似度和各亮度值分布相似度，包括：

对于任意一个目标像素点和任意一个光源中心，将目标像素点对应的局部区域中每个像素点的像素值与光源中心对应的局部区域中对应位置处的像素点的像素值之间的差值的平方，确定为目标像素点对应的局部区域中对应像素点的第一相似因子；所述像素值序列为灰度值序列或亮度值序列；

将目标像素点对应的局部区域中每个像素点的第一相似因子的累加和的平均值，确定为目标像素点的第二相似因子；对所述第二相似因子进行负相关映射，将负相关映射后的第二相似因子确定为目标像素点的像素值分布相似度；

将像素值序列为灰度值序列时对应的像素值分布相似度确定为灰度值分布相似度，将像素值序列为亮度值序列时对应的像素值分布相似度确定为亮度值分布相似度。

3.根据权利要求1所述的一种基于图像增强的瓦斯巡检智能显示方法，其特征在于，根据每个目标像素点和每个光源中心之间的距离、各灰度值分布相似度以及各亮度值分布相似度，确定每个目标像素点的强光覆盖程度，包括：

对于任意一个目标像素点和任意一个光源中心，对目标像素点和光源中心之间的距离进行负相关映射，并将负相关映射后的距离确定为对应目标像素点的第一强光覆盖因子；

对目标像素点的灰度值分布相似度和亮度值分布相似度进行相加处理，将相加处理后的数值确定为对应目标像素点的第二强光覆盖因子；

计算目标像素点的第一强光覆盖因子和第二强光覆盖因子的乘积，将乘积确定为对应目标像素点的第三强光覆盖因子，从而获得目标像素点的各个第三强光覆盖因子；

将目标像素点的各个第三强光覆盖因子的累加和确定为对应目标像素点的强光覆盖程度。

4.根据权利要求1所述的一种基于图像增强的瓦斯巡检智能显示方法，其特征在于，根据每个目标像素点的强光覆盖程度和所述长游程不均匀指标，确定每个目标像素点的权重，包括：

对于任意一个目标像素点，将目标像素点的强光覆盖程度和所述长游程不均匀指标的乘积进行反比例的归一化处理，将反比例的归一化处理后的数值确定为对应目标像素点的权重。

5.根据权利要求1所述的一种基于图像增强的瓦斯巡检智能显示方法，其特征在于，确定每个光源中心在灰度图像和亮度图像中的位置，包括：

利用目标检测算法，对待巡检矿井通道的灰度图像进行图像处理，获得灰度图像中光源的个数；基于所述灰度图像中光源的个数，利用混合高斯模型，对亮度图像中每个像素点的亮度值进行聚类处理，获得各个聚类区域；将亮度图像中聚类区域的中心点的位置确定为光源中心在灰度图像和亮度图像中的位置。

6.根据权利要求1所述的一种基于图像增强的瓦斯巡检智能显示方法，其特征在于，确定灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标，包括：

对亮度图像进行二值化处理，获得二值化图像，所述二值化图像的前景为强光区域，背景为弱光区域；

对亮度图像中每个像素点对应的局部区域中的强光区域、弱光区域的亮度值进行HOG提取，获得每个像素点的强光HOG特征向量和弱光HOG特征向量；

对所述强光HOG特征向量和所述弱光HOG特征向量进行JS散度分析，将所述JS散度确定为对应像素点的强光分布均匀性指标，将每个像素点的强光分布均匀性指标作为图像的像素值，构建强光分布均匀性图像；

对于强光分布均匀性图像中每个像素点对应的局部区域，利用灰度游程矩阵，计算每个像素点对应的局部区域的长游程不均匀指标；

将强光分布均匀性图像中每个像素点对应的局部区域的长游程不均匀指标映射到灰度图像中，从而获得灰度图像中每个目标像素点对应的局部区域的长游程不均匀指标。