CN115775381B - 一种光照不均匀下的矿井电机车路况识别方法 - Google Patents

Abstract

本发明公开了一种光照不均匀下的矿井电机车路况识别方法，包括：对采集的矿井路况的视频图像数据集进行伽马增强预处理；基于YOLOv3模型改进搭建，并得到改进后的YOLO模型；将所述矿井路况样本视频图像数据集输入所述改进后的YOLO模型进行训练，并得到一次训练后的YOLO模型；采用伽马增强技术对所述矿井路况样本视频图像数据集进行图像增强操作，并得到再增强后的路况样本数据集；对所述一次训练后的YOLO模型再次进行二次训练，并得到YOLO检测模型；将需要检测的实际矿井路况图像输入所述YOLO检测模型，并得到最终的路况检测结果。本发明大大提高了对路况识别的正确度，同时可以满足大规模推广。

Description

一种光照不均匀下的矿井电机车路况识别方法

技术领域

本发明涉及目标检测技术领域，尤其涉及一种光照不均匀下的矿井电机车路况识别方法。

背景技术

科学技术的进步推动我国工业进入井喷式发展阶段，生产中的各个行业对矿产资源的需求量呈指数增长。为满足这一工业需求，在遵循可持续循环利用的前提下大量增加矿井数量，以提高井下矿产资源的开采量，井下运输工作量随之增加。矿井电机车是井下运输金属矿、物料的主要运输工具，在井下运输中承担着重要的任务。在矿产资源需求日益增加的大环境下，矿井挖掘深度随着时间累积渐渐加深，运输的工作量不断增加。

在井下电机车数量有限的前提下，要达到提高开采量这一目标则需要增加每一辆矿井机车的工作时间，提高工作效率，这样导致潜在危险的滋长。为保障路况安全，驾驶员长时间操作矿井电机车和精神高度集中造成的驾驶疲劳两大威胁无形中增加了矿井电机车操作人员出现操作失误的几率。再加上井下巷道交错复杂、狭窄、阴暗、潮湿，光照不均匀，在上下坡、岔道交汇处和转弯时，极易发生机车撞车、掉轨等事故。一旦机车发生上述事故后，轻者延误井下工作进度，造成不必要的时间和经济损失。严重时，更会对机车驾驶人员、巷道维护人员甚至整个井下工作人员造成生命威胁。目前，基于人工判别是常用的路况识别方法，但是这种方式存在劳动强度大、自动化程度不高、工作环境差，效率低等问题。

由此可见，现有技术的缺陷主要有以下几点：第一、人工驾驶效率低、劳动强度大；第二、井下粉尘对操作人员身体造成的长期危害；第三、传统的路况图像识别方法依赖于固定的特征，且易受图像质量的影响。

发明内容

针对以上问题，本发明提出一种光照不均匀下的矿井电机车路况识别方法。

为实现本发明的目的，提供一种光照不均匀下的矿井电机车路况识别方法，包括如下步骤：

S1：对采集的矿井路况的视频图像数据集，基于预设的伽马值进行伽马增强预处理，并得到矿井路况样本视频图像数据集；

S2：基于YOLOv3模型改进搭建，并得到改进后的YOLO模型；

S3：以所述矿井路况样本视频图像数据集为输入，以标识有异常坐标的矿井路况样本视频图像数据集为输出，针对所述改进后的YOLO模型进行训练，并得到一次训练后的YOLO模型；

S4：采用伽马增强技术对所述矿井路况样本视频图像数据集，基于动态的伽马值进行图像增强操作，并得到再增强后的路况样本数据集；

S5：将所述再增强后的路况样本数据集输入所述一次训练后的YOLO模型进行二次训练，并得到二次训练后的YOLO模型，即YOLO检测模型；

S6：将需要检测的实际矿井路况图像输入所述YOLO检测模型，并输出标识有异常坐标的实际矿井路况图像，即为最终的路况检测结果。

进一步地，所述步骤S2中，所述YOLO模型的改进过程包括如下：

将YOLOv3模型中，原始的26×26尺寸特征层C2下采样后分配权重β，并满足β大于1且小于1.5；同时为13×13尺寸特征层进行全局压缩形成的特征层C1的自适应权重α；预测层y3所用的特征C6是由原始的52×52尺寸特征层C4下采样与特征层C5得到的52×52尺寸的特征层C3进行融合得到的；为原始的56×56尺寸特征层C4分配权重μ，并满足μ大于1且小于1.5；同时为52×52尺寸的特征层C3进行全局压缩形成自适应权重λ；

原始的特征融合方式如式(8)所示：

同理特征层C6由特征层C3和特征层C4先级联再卷积得到；

改进后的融合方式如式(9)所示：

其中，表示先级联再卷积。

进一步地，所述步骤S4中，所述伽马增强技术的具体过程包括：

首先对所述矿井路况样本视频图像数据集中的视频流按帧读取、并得到RGB格式的逐帧图片，然后将所述RGB格式的逐帧图片分别输入预设深度模型的颜色模型转换器和尺寸计算器中，所述颜色模型转换器将所述RGB格式的逐帧图片转换为HIS颜色模型，并输出为饱和度矩阵i(x)和亮度矩阵o(x)，且大小为n*m；再分别求亮度矩阵o(x)与学习式伽马增强s(x)的差值、饱和度矩阵i(x)与学习式伽马增强s(x)的总和，将两个结果相比，令其为d₂(x):

s(x)＝s(x)+σds(x-1)(2)

其中，x表示逐帧图片中像素位置，x-1表示逐帧图片中前一个像素位置，学习式伽马增强s(x)的初始值设为0.1；

接着通过所述尺寸计算器得到输入图像矩阵的行数n和列数m，进一步用于计算亮度提升因子d₁(x)：

计算深度模型的随机误差ε(x)，表示具有零均值和方差δ²的随机图像，即ε(x)～N(0,δ²)，令其为d₃(x)：

d₃(x)＝με(x)(4)

计算亮度提升因子d₁(x)、强度与饱和度的差与总比d₂(x)和深度模型的随机误差d₃(x)后，再计算所有的总和并估计深度图d(x)，如下式：

d(x)＝d₁(x)+d₂(x)+d₃(x)(5)

将通过深度模型处理得到的深度图d(x)代回到透射率公式(6)，结合透射率t_r(x)和全局大气光A，得到增强图像I_f(x)：

I_f(x)＝R_d(x)t_r(x)+A(1-t_r(x))(7)

其中，t_r(x)＝e^-βd(x)，表示透射率；R_d(x)表示恢复图像的场景辐射度；A表示全局大气光；β表示散射系数。

跟现有技术相比，本发明具有以下有益的技术效果：

本发明提出的一种光照不均匀下的矿井电机车路况识别方法能提高矿井电机车识别路况的智能化水平，同时大大减少工作人员的劳动量，在真实矿井环境中具有较强的鲁棒性，可以提高对路况识别的正确度，同时可以满足大规模推广。

本发明采用基于卷积神经网络的深度识别算法来进行识别。一方面，可减轻驾驶人员因井下粉尘导致的判别难度；另一方面，可以利用图像多层次的特征，避免了依赖固定特征会导致识别失效的情况，同时能提高路况识别的效率且大大降低人工的劳动量。

附图说明

图1是一个实施例的一种光照不均匀下的矿井电机车路况识别方法的流程示意图；

图2是一个实施例的矿井电车运行示意图；

图3是一个实施例的伽马增强技术的流程示意图；

图4是一个实施例的改进前的YOLOv3模型框架示意图；

图5为一个实施例的改进后的YOLO模型的特征融合部分框架示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

首先针对光照不均匀情况下，由于井下工矿条件复杂，照明环境较差，且粉尘及水雾同时存在的情况时有发生，致使煤矿井下的相机获取到的图像通常较为模糊。因此需要对工业相机采集的视频图像数据集做初步的增强处理，以便后续步骤中使改进后的YOLO模型适应真实的矿井环境，减少粉尘等干扰因素对图像识别率的影响。接着，利用增强后的图像视频数据集对改进的YOLO模型进行训练，使模型在清晰的数据集图像上充分学习到路况的知识。然后，再使用图像再增强对伽马增强进行学习，达到微调识别模型的目的。最后，用经过再增强的视频图像数据集二次训练模型，并得到最终的检测模型，用于实际的路况识别。检测模型在已经学到识别所需知识的基础上适应真实的矿井路况环境，从而使检测模型在实际检测识别的过程中具备较强的鲁棒性。

参考图1所示，图1为一个实施例的一种光照不均匀下的矿井电机车路况识别方法的流程示意图，包括如下步骤：

S1：对采集的矿井路况的视频图像数据集，基于预设的伽马值进行伽马增强预处理，并得到矿井路况样本视频图像数据集；

S2：基于YOLOv3模型改进搭建，并得到改进后的YOLO模型；

S3：以所述矿井路况样本视频图像数据集为输入，以标识有异常坐标的矿井路况样本视频图像数据集为输出，针对所述改进后的YOLO模型进行训练，并得到一次训练后的YOLO模型；

S4：采用伽马增强技术对所述矿井路况样本视频图像数据集，基于动态的伽马值进行图像增强操作，并得到再增强后的路况样本数据集；

S5：将所述再增强后的路况样本数据集输入所述一次训练后的YOLO模型进行二次训练，并得到二次训练后的YOLO模型，即YOLO检测模型；

S6：将需要检测的实际矿井路况图像输入所述YOLO检测模型，并输出标识有异常坐标的实际矿井路况图像，即为最终的路况检测结果。

本发明的主要目的是提高煤矸石识别的自动化水平和识别率，同时对粉尘等干扰因素保持鲁棒性，如图2所示，在一个实施例中，矿井电机车上的工业相机实时采集矿井路况视频图像数据，然后将采集到的矿井路况视频图像数据经过光钎送入高性能计算机中，然后计算机利用深度识别算法对视频帧进行识别，最后输出检测识别结果。

具体来说，首先通过伽马增强技术来抵抗光照不均匀带来的识别难度，接着对增强后的图像，利用本方案提出的改进的YOLO模型来对视频帧进行识别，改进的YOLO算法具有很高的实时性，因此本方案选用YOLOv3模型作为基础识别模型并对其进行改进。

图3是一个实施例的伽马增强技术的流程示意图，首先对视频流按帧读取，将RGB格式的逐帧图片输入深度模型，图片分别输入颜色模型转换器和尺寸计算器中，颜色模型转换器将输入图片转换为HIS颜色模型，输出为饱和度、亮度的两个矩阵，且大小为n*m，分别求亮度o(x)和饱和度矩阵i(x)与学习式伽马增强s(x)的差值与总和，将两个结果相比，令其为d₂(x):

s(x)＝s(x)+σds(x-1)(2)

其中，x表示逐帧图片中像素位置，x-1表示逐帧图片中前一个像素位置；

接着通过尺寸计算器得到输入图像矩阵的行数(n)和列数(m)，进一步用于计算亮度提升因子d₁(x)

计算深度模型的随机误差ε(x)，表示具有零均值和方差δ²的随机图像(即ε(x)～N(0,δ²)),令其为d₃(x)

d₃(x)＝με(x)(4)

计算亮度提升因子d₁(x)、强度与饱和度的差与总比d₂(x)、随机误差d₃(x)后，计算所有的总和并估计深度图d(x)，如下式：

d(x)＝d₁(x)+d₂(x)+d₃(x)(5)

将通过深度模型处理得到的深度图d(x)代回到透射率公式(6)结合透射率t_r(x)和全局大气光A，得到增强图像I_f(x)

I_f(x)＝R_d(x)t_r(x)+A(1-t_r(x))(7)

其中t_r(x)＝e^-βd(x)，表示投射率，x是像素位置；R_d(x)是恢复图像的场景辐射度；A是全局大气光；β表示散射系数。

图4是一个实施例的改进前的YOLOv3模型框架示意图，本发明采用的基础算法为YOLO，该算法采用Darknet-53网络作为骨干网络来提取图像的特征。在图4中，y1，y2，y3分别表示尺度为13×13×255，26×26×255，52×52×255的深度语义特征图。每个语义特征图分别提供三个预测先验框，这样特征图上的每个网格都会有3个先验框来进行识别，特征图中的先验框负责预测物体，物体落在哪个网格里，哪个网格就负责识别此物体，最后以张量的形式输出物体的类别和位置。

由于YOLOv3模型所提供的9个先验框是在公开数据集上获得的，并不符合矿井图像的实际情况，因此，本方案所提方法对先验框的大小进行调整，在真实的矿井数据集图像上利用k-means聚类算法获得符合实际矿井图像的先验框。

同时，为了更好的利用深度识别模型提取出来的特征，本方案对YOLOv3模型的特征融合部分进行改进，使特征中的语义信息和物理信息得到充分利用。在YOLOv3中，由原始的26×26尺寸特征层C2与经13×13尺寸特征层上采样后形成的特征层C1进行融合得到最终用于y2预测的26×26尺寸特征层C5，采用的是直接沿通道维度进行拼接的方式，本方案对此进行改进，为待融合的两个特征层C1和C2分别赋予不同的权重后再进行融合。其中，为原始的26×26尺寸特征层C2下采样后分配一个大于1且小于1.5的权重β，同时为13×13尺寸特征层进行全局压缩形成的特征层C1的自适应权重α，以使原始的26×26尺寸的特征层C2能主导预测层y2的预测过程；预测层y3所用的特征C6是由原始的52×52尺寸特征层C4下采样与特征层C5得到的52×52尺寸的特征层C3进行融合得到的，本方案为原始的56×56尺寸特征层C4分配一个大于1且小于1.5的权重μ，同时为52×52尺寸的特征层C3进行全局压缩形成自适应权重λ，以使原始的52×52尺寸的特征C4能主导预测层y3的预测过程，也就是在识别小尺度目标时，使低层物理信息发挥更大的作用。

原始的特征融合方式如式(8)所示：

其中表示先级联再卷积，可见特征层C5由特征层C1和特征层C2先级联再卷积得到，同理特征层C6由特征层C3和特征层C4先级联再卷积得到，本专利改进后的融合方式如式(9)所示：

由式(9)可看出，与直接级联的融合方式不同，本专利采用的方法先为待融合的两个特征分配权重因子，以使它们在预测过程中发挥不同程度的作用，改进后的特征融合部分如图5所示。

训练改进后的YOLO模型首先需要收集好相应的数据集，也就是路况样本，标注出其中的类别信息和位置信息并制作标签文件，之后利用图像和相应的标签来对深度识别模型进行训练。训练完成后，高性能计算机获取到工业相机采集到的实时视频煤流视频后，会采用本方案中的YOLO检测模型对实时视频进行识别，识别出其中的煤矸石并用矩形框标出其具体位置，之后将识别结果输出给后续设备。

区别于其他去雾方法，本发明提出的改进后的YOLO模型基于视频单帧图片获取深度信息，不依赖于数据集对参数的训练，同时将伽马增强转变为可学习状态，经过图像再增强处理后的图片，对比度和以及亮度都有较好的效果，且运算时间较短。

本发明对采用的目标识别模型进行了针对性改进，改进了多尺度特征的融合方式，以任务需求为导向，在进行特征融合时对待融合的特征层分配不同的权重进行融合，使融合后的特征对具体任务更有针对性。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (2)

1.一种光照不均匀下的矿井电机车路况识别方法，其特征在于，包括如下步骤：

S1：对采集的矿井路况的视频图像数据集，基于预设的伽马值进行伽马增强预处理，并得到矿井路况样本视频图像数据集；

S2：基于YOLOv3模型改进搭建，并得到改进后的YOLO模型；

S3：以所述矿井路况样本视频图像数据集为输入，以标识有异常坐标的矿井路况样本视频图像数据集为输出，针对所述改进后的YOLO模型进行训练，并得到一次训练后的YOLO模型；

S4：采用伽马增强技术对所述矿井路况样本视频图像数据集，基于动态的伽马值进行图像增强操作，并得到再增强后的路况样本数据集；

S5：将所述再增强后的路况样本数据集输入所述一次训练后的YOLO模型进行二次训练，并得到二次训练后的YOLO模型，即YOLO检测模型；

S6：将需要检测的实际矿井路况图像输入所述YOLO检测模型，并输出标识有异常坐标的实际矿井路况图像，即为最终的路况检测结果；

所述步骤S2中，所述YOLO模型的改进过程包括如下：

将YOLOv3模型中，原始的26×26尺寸特征层C2下采样后分配权重β，并满足β大于1且小于1.5；同时为13×13尺寸特征层进行全局压缩形成的特征层C1的自适应权重α；预测层y3所用的特征C6是由原始的52×52尺寸特征层C4下采样与特征层C5得到的52×52尺寸的特征层C3进行融合得到的；为原始的56×56尺寸特征层C4分配权重μ，并满足μ大于1且小于1.5；同时为52×52尺寸的特征层C3进行全局压缩形成自适应权重λ；

原始的特征融合方式如式(8)所示：

同理特征层C6由特征层C3和特征层C4先级联再卷积得到；

改进后的融合方式如式(9)所示：

其中，表示先级联再卷积。

2.根据权利要求1所述的一种光照不均匀下的矿井电机车路况识别方法，其特征在于，所述步骤S4中，所述伽马增强技术的具体过程包括：

首先对所述矿井路况样本视频图像数据集中的视频流按帧读取、并得到RGB格式的逐帧图片，然后将所述RGB格式的逐帧图片分别输入预设深度模型的颜色模型转换器和尺寸计算器中，所述颜色模型转换器将所述RGB格式的逐帧图片转换为HIS颜色模型，并输出为饱和度矩阵i(x)和亮度矩阵o(x)，且大小为n*m；再分别求亮度矩阵o(x)与学习式伽马增强s(x)的差值、饱和度矩阵i(x)与学习式伽马增强s(x)的总和，将两个结果相比，令其为d₂(x)：

s(x)＝s(x)+σds(x-1) (2)

其中，x表示逐帧图片中像素位置，x-1表示逐帧图片中前一个像素位置，学习式伽马增强s(x)的初始值设为0.1；

接着通过所述尺寸计算器得到输入图像矩阵的行数n和列数m，进一步用于计算亮度提升因子d₁(z)：

计算深度模型的随机误差ε(x)，表示具有零均值和方差δ²的随机图像，即ε(x)～N(0,δ²)，令其为d₃(x)：

d₃(x)＝με(x) (4)

计算亮度提升因子d₁(x)、强度与饱和度的差与总比d₂(x)和深度模型的随机误差d₃(x)后，再计算所有的总和并估计深度图d(x)，如下式：

d(x)＝d₁(x)+d₂(x)+d₃(x) (5)

将通过深度模型处理得到的深度图d(x)代回到透射率公式(6)，结合透射率t_r(x)和全局大气光A，得到增强图像I_f(x)：

I_f(x)＝R_d(x)t_r(x)+A(1-t_r(x)) (7)

其中，t_r(x)＝e^-βd(x)，表示透射率；R_d(x)表示恢复图像的场景辐射度；A表示全局大气光；β表示散射系数。