CN116109813A - 一种钻锚孔识别方法、系统、电子设备及介质 - Google Patents

一种钻锚孔识别方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN116109813A
CN116109813A CN202211519958.2A CN202211519958A CN116109813A CN 116109813 A CN116109813 A CN 116109813A CN 202211519958 A CN202211519958 A CN 202211519958A CN 116109813 A CN116109813 A CN 116109813A
Authority
CN
China
Prior art keywords
pixel point
image
anchor hole
fully
coal mining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211519958.2A
Other languages
English (en)
Inventor
张旭辉
吴雨佳
雷孟宇
韩磊
万继成
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weinan Shaanxi Coal Qichen Technology Co ltd
Xian University of Science and Technology
Original Assignee
Weinan Shaanxi Coal Qichen Technology Co ltd
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weinan Shaanxi Coal Qichen Technology Co ltd, Xian University of Science and Technology filed Critical Weinan Shaanxi Coal Qichen Technology Co ltd
Priority to CN202211519958.2A priority Critical patent/CN116109813A/zh
Publication of CN116109813A publication Critical patent/CN116109813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Earth Drilling (AREA)

Abstract

本发明提供一种钻锚孔识别方法、系统、电子设备及介质，属于图像识别领域，钻锚孔识别方法包括：采集综掘工作面图像；根据综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率；根据各像素点的最优透射率，基于大气散射模型，对综掘工作面图像进行去雾处理，得到无雾图像；基于非线性变换对无雾图像进行增强处理，得到增强图像；基于钻锚孔识别模型(预先采用训练样本集对YOLOv5s进行训练得到)对增强图像中的钻锚孔边界框进行识别，以确定增强图像中的钻锚孔；通过计算最优透射率，提高了去雾效果，再结合YOLOv5s识别图像中的钻锚孔边界框，提高了钻锚孔的识别效率及精度。

Description

一种钻锚孔识别方法、系统、电子设备及介质
技术领域
本发明涉及图像识别领域，特别是涉及一种基于YOLOv5s的钻锚孔智能识别方法、系统、电子设备及介质。
背景技术
目前，煤矿以井下开采为主，在巷道掘进中为保证井下安全作业需要对新掘出的巷道进行支护，以加强煤巷围岩的稳定性及安全性。提高支护的智能化程度，提升支护速度与效率，是破解采掘失衡的关键，而钻孔的智能识别是实现钻锚一体化、自动化、智能化的基础技术。基于传统目标检测的视觉识别方法的实现分为提取特征及目标识别两部分。基于传统目标识别需人工提取特征，但是有些场景提取特征难，尤其是煤矿井下环境复杂、干扰多、提取特征更加困难、算法复杂度高、实时性差，导致传统目标识别难以在煤矿井下应用。
基于上述问题，亟需一种新的钻锚孔识别方法以提高识别效率及识别精度。
发明内容
本发明的目的是提供一种钻锚孔识别方法、系统、电子设备及介质，可提高钻锚孔的识别效率及识别精度。
为实现上述目的，本发明提供了如下方案：
一种钻锚孔识别方法，包括：
采集综掘工作面图像；
根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率；
根据各像素点的最优透射率，基于大气散射模型，对所述综掘工作面图像进行去雾处理，得到无雾图像；
基于非线性变换，对所述无雾图像进行增强处理，得到增强图像；
基于钻锚孔识别模型，对所述增强图像中的钻锚孔边界框进行识别，以确定所述增强图像中的钻锚孔；所述钻锚孔识别模型为预先采用训练样本集对YOLOv5s进行训练得到的；所述训练样本集中包括多张样本增强图像及各样本增强图像中的钻锚孔边界框标记。
可选地，所述根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率，具体包括：
针对所述综掘工作面图像中的任一像素点，根据所述像素点的场景深度，确定所述像素点的初始透射率；
根据所述像素点的灰度值，基于边界约束方法确定所述像素点的粗略透射率；
基于上下文正则化方法，根据所述像素点的初始透射率及粗略透射率，确定场景透射率的目标函数；
采用交替最小化算法对所述目标函数进行优化求解，直至目标函数收敛时，得到所述像素点的最优透射率。
可选地，采用以下公式，确定像素点x的初始透射率：
t(x)＝e-βd(x)；
其中，t(x)为像素点x的初始透射率，β为介质消光系数，d(x)为像素点x的场景深度。
可选地，采用以下公式，计算像素点x的粗略透射率：
Figure BDA0003971107700000021
其中，
Figure BDA0003971107700000022
为像素点x的粗略透射率，ωx为综掘工作面图像中以像素点x为中心的局部块，ωy为综掘工作面图像中以像素点y为中心的局部块，tb(z)为综掘工作面图像中像素点z的灰度值。
可选地，所述目标函数为：
Figure BDA0003971107700000031
其中，t(x)为像素点x的初始透射率，λ为正则化参数，
Figure BDA0003971107700000032
为像素点x的粗略透射率，ω为综掘工作面图像中像素点的索引集，Wj为权重矩阵，uj为辅助变量，γ为权重，Dj为差分算子，
Figure BDA0003971107700000033
为卷积运算符，||*||1为*的1-范数，*||2为*的2-范数。
可选地，采用以下公式，确定像素点x的最优透射率：
Figure BDA0003971107700000034
其中，t*(x)为像素点x的最优透射率，λ为正则化参数，γ为权重，
Figure BDA0003971107700000035
为像素点x的粗略透射率，ω为综掘工作面图像中像素点的索引集，Dj为差分算子，uj为辅助变量，FFT为傅里叶变换，FFT-1为傅里叶逆变换，
Figure BDA0003971107700000036
为FFT(Dj)的复共轭，·为矩阵点乘。
可选地，采用以下公式，对所述综掘工作面图像进行去雾处理：
Figure BDA0003971107700000037
其中，J(x)为无雾图像中像素点x的强度值，I(x)为综掘工作面图像中像素点x的强度值，t*(x)为像素点x的最优透射率，A为大气光值，ε为常数，δ为介质消光系数。
为实现上述目的，本发明还提供了如下方案：
一种钻锚孔识别系统，包括：
图像采集单元，用于采集综掘工作面图像；
透射率确定单元，与所述图像采集单元连接，用于根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率；
去雾单元，与所述透射率确定单元连接，用于根据各像素点的最优透射率，基于大气散射模型，对所述综掘工作面图像进行去雾处理，得到无雾图像；
增强单元，与所述去雾单元连接，用于基于非线性变换，对所述无雾图像进行增强处理，得到增强图像；
识别单元，与所述增强单元连接，用于基于钻锚孔识别模型，对所述增强图像中的钻锚孔边界框进行识别，以确定所述增强图像中的钻锚孔；所述钻锚孔识别模型为预先采用训练样本集对YOLOv5s进行训练得到的；所述训练样本集中包括多张样本增强图像及各样本增强图像中的钻锚孔边界框标记。
为实现上述目的，本发明还提供了如下方案：
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的钻锚孔识别方法。
为实现上述目的，本发明还提供了如下方案：
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的钻锚孔识别方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：根据综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率，根据各像素点的最优透射率，基于大气散射模型，对综掘工作面图像进行去雾处理，得到无雾图像，再基于非线性变换，对无雾图像进行增强处理，通过计算最优透射率，提高了去雾效果，并对无雾图像进行增强处理，能够在煤矿井下综掘工作面低照度和光照不均匀环境下实现图像的清晰化显示，最后基于YOLOv5s训练的钻锚孔识别模型对增强图像中的钻锚孔边界框进行识别，以确定增强图像中的钻锚孔，采用深度学习的方式自动识别图像中的钻锚孔，提高了识别效率及识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明钻锚孔识别方法的流程图；
图2为YOLOv5s的结构示意图；
图3为Focus层的结构示意图；
图4为CSP1_X层的结构示意图；
图5为Resunit层的结构示意图；
图6为CSP2层的结构示意图；
图7为空间金字塔池化层的结构示意图；
图8为CBL层的结构示意图；
图9为本发明钻锚孔识别系统的示意图。
符号说明：
图像采集单元-1，透射率确定单元-2，去雾单元-3，增强单元-4，识别单元-5。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种钻锚孔识别方法、系统、电子设备及介质，通过计算最优透射率，提高去雾效果，并对无雾图像进行增强处理，在煤矿井下综掘工作面低照度和光照不均匀环境下实现图像的清晰化显示，再结合YOLOv5s识别图像中的钻锚孔边界框，提高钻锚孔的识别效率及精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供的钻锚孔识别方法包括：
S1：采集综掘工作面图像。具体地，通过视觉传感器采集综掘工作面图像。
S2：根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率。
由于综掘工作面工作环境恶劣复杂，生产过程中产生大量的粉尘，对图像的质量产生极大的干扰，难以实现设备和工作面异常状态的准确识别，因此，本发明通过对综掘工作面图像进行去雾处理，提高图像的清晰度。
进一步地，步骤S2包括：
(1)针对所述综掘工作面图像中的任一像素点，根据所述像素点的场景深度，确定所述像素点的初始透射率。
具体地，根据雾尘图像形成原理，建立雾尘图像模型，获得雾尘图像透射率函数的表达式。
光线在传播过程中，由于受到空气中固体颗粒和液滴等介质的散射作用，导致光线方向发生偏离，引起光照强度的增强或者减弱。在综掘工作面的工作环境下，粉尘和光雾对图像的影响比日常环境下更严重，但原理相同，可用大气雾尘图像的模型来分析。大气散射模型是描述有雾图像的主要物理模型，其数学表达式如下:
I(x)＝t(x)J(x)+(1-t(x))A；
其中，I(x)是有雾图像(在本实施例中为综掘工作面图像)中像素点x的灰度值，J(x)是无雾图像中像素点x的灰度值，A是全局大气光，一般认为A为常量，t(x)是像素点x的初始透射率。
式中，t(x)J(x)被称为直接衰减项，表示物体表面的反射光在介质中传播时由于散射作用而衰减的部分，(1-t(x))A被称为环境光或大气光幕，表示环境光在介质传播过程中由于散射作用而增强的部分。
设雾是同质的，则像素点x的初始透射率的计算公式为：
t(x)＝e-βd(x)；
其中，β为介质消光系数，d(x)为像素点x的场景深度。
(2)根据所述像素点的灰度值，基于边界约束方法确定所述像素点的粗略透射率。
在煤矿井下，因为各种光源的影响，图像中灰度值最大的点比理想的大气环境下灰度值要大，因此传统的大气散射模型不能很好处理这种情况，本发明采用一种更加合理的基于块的透射率。即采用以下公式，计算像素点x的粗略透射率：
Figure BDA0003971107700000071
其中，
Figure BDA0003971107700000072
为像素点x的粗略透射率，ωx为综掘工作面图像中以像素点x为中心的局部块，ωy为综掘工作面图像中以像素点y为中心的局部块，tb(z)为综掘工作面图像中像素点z的灰度值。
上式描述了以像素点x为中心做局部最小值滤波，得到局部最小值像素点y，再以像素点y为中心做局部最大值滤波，得到局部最大值像素点z，则像素点z的灰度值就作为像素点x的粗略透射率
Figure BDA0003971107700000073
(3)基于上下文正则化方法，根据所述像素点的初始透射率及粗略透射率，确定场景透射率的目标函数。
综掘工作面雾尘图像的恢复原理同大气有雾图像恢复相同，上下文正则化对有雾图像的恢复效果显著，但其核心在于构建加权函数，以求得最优解，实现图像去雾。此外，综掘工作面下雾尘严重，且光照强度不足，因此构造合理的加权函数至关重要。
本发明采用以下公式建立目标函数：
Figure BDA0003971107700000074
其中，λ是为了平衡数据保真项和正则化项的正则化参数，ω表示综掘工作面图像中像素点的索引集，Wj是权重矩阵，Dj是引入的差分算子，
Figure BDA0003971107700000081
表示卷积运算符，||*||1为*的1-范数，||*||2为*的2-范数。
公式中的第一部分
Figure BDA0003971107700000082
是数据保真项，该项用来测量初始透射率t(x)与基于边界约束得到的粗略透射率
Figure BDA0003971107700000083
之间的保真度；第二部分
Figure BDA0003971107700000084
是初始透射率t(x)的上下文约束，即目标函数的正则化项，用来约束复原问题的病态性。
上述优化问题的目标函数中含有两个未知量，难以直接求得最优解，因此，本发明利用一个惩罚函数将有约束的优化问题转变为无约束的优化问题，引入辅助变量uj，替换正则项中的原始变量，然后增加惩罚项，去耦合的同时，简化计算。最终的目标函数为：
Figure BDA0003971107700000085
其中，γ为权重。
(4)采用交替最小化算法对所述目标函数进行优化求解，直至目标函数收敛时，得到所述像素点的最优透射率。
对于固定的γ，通过交替优化uj和t(x)来求解目标函数。此处直接给出优化结果：
Figure BDA0003971107700000086
Figure BDA0003971107700000087
其中，u*是uj的优化函数，作用是优化uj，α为控制两个相邻像素点的亮度差敏感度，t*(x)为像素点x的最优透射率，λ为正则化参数，γ为权重，
Figure BDA0003971107700000088
为像素点x的粗略透射率，ω为综掘工作面图像中像素点的索引集，Dj为差分算子，uj为辅助变量，FFT为傅里叶变换，FFT-1为傅里叶逆变换，
Figure BDA0003971107700000089
为FFT(Dj)的复共轭，·为矩阵点乘。
S3：根据各像素点的最优透射率，基于大气散射模型，对所述综掘工作面图像进行去雾处理，得到无雾图像。
具体地，采用以下公式，对所述综掘工作面图像进行去雾处理：
Figure BDA0003971107700000091
其中，J(x)为无雾图像中像素点x的强度值，I(x)为综掘工作面图像中像素点x的强度值，t*(x)为像素点x的最优透射率，A为大气光值，ε为常数，ε通常取0.0001，用于避免分母出现0，δ为介质消光系数，用于微调去雾效果。
综上，本发明针对综掘工作面雾尘图像成像质量差、亮度低的问题，提出了雾尘图像清晰化的方法，主要包括：雾尘图像模型的建立、透射率函数的粗估计、透射率函数的细估计，最后根据透射率函数获得无雾图像。
本发明的去雾增强效果较好，且效率较高，能够在煤矿井下综掘工作面低照度和光照不均匀环境下实现图像的清晰化显示。
S4：基于非线性变换，对所述无雾图像进行增强处理，得到增强图像。
由于综掘工作面不同于普通大气环境，工况恶劣，获得的图像光照强度低，往往无法满足准确识别的要求，因此还需要对无雾图像进行亮度增强，在本实施例中，对无雾图像进行对数变换，以得到增强图像。
对数变换的表达式如下：
B(x)＝n*logv(c(x)+1)；
其中，B(x)为增强图像中像素点x的灰度值，n为变换倍数，v为底数，t为输出灰度值，c(x)为无雾图像中像素点x的灰度值。
S5：基于钻锚孔识别模型，对所述增强图像中的钻锚孔边界框进行识别，以确定所述增强图像中的钻锚孔。所述钻锚孔识别模型为预先采用训练样本集对YOLOv5s进行训练得到的。所述训练样本集中包括多张样本增强图像及各样本增强图像中的钻锚孔边界框标记。
具体地，在对YOLOv5s进行训练时，首先收集3500张不同背景钻孔图像，用于制作训练样本集。训练样本集包括大小为512×512的裂缝图像824张和大小为256×256的裂缝图像2676张，并以4∶1的比例将数据集分为训练集和验证集。训练样本集利用LabelImg图像标注软件注释上述全部图像所包含的钻锚孔边界框。
本发明采用检测速度最快、识别精度较高、参数量最小的YOLOv5s，部署到嵌入式设备中，进行钻锚孔的识别，满足煤矿工业需求。
本发明使用的YOLOv5s包含输入端、主干网络、瓶颈层及输出层，其网络结构如图2所示。
输入端包括：Mosaic数据增强、自动计算锚框和图片缩放。首先通过Mosaic数据增强对增强图像进行缩放、裁剪、排布，增加数据，丰富小目标，得到初始锚框，提高对煤矿小目标的检测能力。然后根据初始锚框输出预测框，然后与真实框相比，根据差值反向传播更新参数。最后对输入图像进行缩放和填充，使图像的尺寸大小统一为608×608×3。
特征提取网络包括：Focus层、CSP层、CBL层和SPP(Spatial Pyramid Pooling，空间金字塔池化)层。其中，Focus层是通过切片操作，先将输入图像复制四份，每一份像素进行隔像素取值，最后将图像进行融合，减少模型计算量，减少层数，提高推理速度，Focus层的结构如图3所示。CSP层是CSPNet将底层的特征图按通道拆分为两部分，一部分通过密集块(由多个全连接层组成)和过渡层(通常是卷积核，大小为1×1的卷积层)，另一部分与传输的特征图相结合，不仅减少计算量，而且也提高了推理的速度和准确性，CSP1_X的结构如图4所示，其中的Resunit(重组合)层的结构如图5所示，CSP2的结构如图6所示。SPP使用三个不同池化核进行池化操作，进行下采样，然后拼接和融合，能够增大特征图的感受野，SPP的结构如图7所示。CBL层首先进行卷积，再进行批规范化，最后通过Leaky Relu激活函数激活，结构如图8所示。
本发明采用YOLOv5s网络，训练并构建了钻孔识别模型，无需人工提取特征，且识别准确率、召回率及F1分数分别达到了91.55％、95.15％和93.32％，结果表明，本发明提供的钻锚孔识别方法可对图像中的钻孔进行快速精确的识别，可为综掘工作面装备少人化、无人化高效掘进奠定坚实的理论基础，具有重要理论价值和现实意义。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种钻锚孔识别系统。
如图9所示，本实施例提供的钻锚孔识别系统包括：图像采集单元1、透射率确定单元2、去雾单元3、增强单元4及识别单元5。
其中，图像采集单元1用于采集综掘工作面图像。
透射率确定单元2与所述图像采集单元1连接，透射率确定单元2用于根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率。
去雾单元3与所述透射率确定单元2连接，去雾单元3用于根据各像素点的最优透射率，基于大气散射模型，对所述综掘工作面图像进行去雾处理，得到无雾图像。
增强单元4与所述去雾单元3连接，增强单元4用于基于非线性变换，对所述无雾图像进行增强处理，得到增强图像。
识别单元5与所述增强单元4连接，识别单元5用于基于钻锚孔识别模型，对所述增强图像中的钻锚孔边界框进行识别，以确定所述增强图像中的钻锚孔；所述钻锚孔识别模型为预先采用训练样本集对YOLOv5s进行训练得到的；所述训练样本集中包括多张样本增强图像及各样本增强图像中的钻锚孔边界框标记。
实施例三
本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的钻锚孔识别方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的钻锚孔识别方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种钻锚孔识别方法，其特征在于，所述钻锚孔识别方法包括：
采集综掘工作面图像；
根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率；
根据各像素点的最优透射率，基于大气散射模型，对所述综掘工作面图像进行去雾处理，得到无雾图像；
基于非线性变换，对所述无雾图像进行增强处理，得到增强图像；
基于钻锚孔识别模型，对所述增强图像中的钻锚孔边界框进行识别，以确定所述增强图像中的钻锚孔；所述钻锚孔识别模型为预先采用训练样本集对YOLOv5s进行训练得到的；所述训练样本集中包括多张样本增强图像及各样本增强图像中的钻锚孔边界框标记。
2.根据权利要求1所述的钻锚孔识别方法，其特征在于，所述根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率，具体包括：
针对所述综掘工作面图像中的任一像素点，根据所述像素点的场景深度，确定所述像素点的初始透射率；
根据所述像素点的灰度值，基于边界约束方法确定所述像素点的粗略透射率；
基于上下文正则化方法，根据所述像素点的初始透射率及粗略透射率，确定场景透射率的目标函数；
采用交替最小化算法对所述目标函数进行优化求解，直至目标函数收敛时，得到所述像素点的最优透射率。
3.根据权利要求2所述的钻锚孔识别方法，其特征在于，采用以下公式，确定像素点x的初始透射率：
t(x)＝e-βd(x)；
其中，t(x)为像素点x的初始透射率，β为介质消光系数，d(x)为像素点x的场景深度。
4.根据权利要求2所述的钻锚孔识别方法，其特征在于，采用以下公式，计算像素点x的粗略透射率：
Figure FDA0003971107690000021
其中，
Figure FDA0003971107690000022
为像素点x的粗略透射率，ωx为综掘工作面图像中以像素点x为中心的局部块，ωy为综掘工作面图像中以像素点y为中心的局部块，tb(z)为综掘工作面图像中像素点z的灰度值。
5.根据权利要求2所述的钻锚孔识别方法，其特征在于，所述目标函数为：
Figure FDA0003971107690000023
其中，t(x)为像素点x的初始透射率，λ为正则化参数，
Figure FDA0003971107690000024
为像素点x的粗略透射率，ω为综掘工作面图像中像素点的索引集，Wj为权重矩阵，uj为辅助变量，γ为权重，Dj为差分算子，
Figure FDA0003971107690000025
为卷积运算符，||*||1为*的1-范数，||*||2为*的2-范数。
6.根据权利要求2所述的钻锚孔识别方法，其特征在于，采用以下公式，确定像素点x的最优透射率：
Figure FDA0003971107690000026
其中，t*(x)为像素点x的最优透射率，λ为正则化参数，γ为权重，
Figure FDA0003971107690000027
为像素点x的粗略透射率，ω为综掘工作面图像中像素点的索引集，Dj为差分算子，uj为辅助变量，FFT为傅里叶变换，FFT-1为傅里叶逆变换，
Figure FDA0003971107690000028
为FFT(Dj)的复共轭，·为矩阵点乘。
7.根据权利要求1所述的钻锚孔识别方法，其特征在于，采用以下公式，对所述综掘工作面图像进行去雾处理：
Figure FDA0003971107690000029
其中，J(x)为无雾图像中像素点x的强度值，I(x)为综掘工作面图像中像素点x的强度值，t*(x)为像素点x的最优透射率，A为大气光值，ε为常数，δ为介质消光系数。
8.一种钻锚孔识别系统，其特征在于，所述钻锚孔识别系统包括：
图像采集单元，用于采集综掘工作面图像；
透射率确定单元，与所述图像采集单元连接，用于根据所述综掘工作面图像中各像素点的场景深度及灰度值，基于边界约束及上下文正则化方法，计算各像素点的最优透射率；
去雾单元，与所述透射率确定单元连接，用于根据各像素点的最优透射率，基于大气散射模型，对所述综掘工作面图像进行去雾处理，得到无雾图像；
增强单元，与所述去雾单元连接，用于基于非线性变换，对所述无雾图像进行增强处理，得到增强图像；
识别单元，与所述增强单元连接，用于基于钻锚孔识别模型，对所述增强图像中的钻锚孔边界框进行识别，以确定所述增强图像中的钻锚孔；所述钻锚孔识别模型为预先采用训练样本集对YOLOv5s进行训练得到的；所述训练样本集中包括多张样本增强图像及各样本增强图像中的钻锚孔边界框标记。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至7中任一项所述的钻锚孔识别方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的钻锚孔识别方法。
CN202211519958.2A 2022-11-30 2022-11-30 一种钻锚孔识别方法、系统、电子设备及介质 Pending CN116109813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211519958.2A CN116109813A (zh) 2022-11-30 2022-11-30 一种钻锚孔识别方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211519958.2A CN116109813A (zh) 2022-11-30 2022-11-30 一种钻锚孔识别方法、系统、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116109813A true CN116109813A (zh) 2023-05-12

Family

ID=86260563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211519958.2A Pending CN116109813A (zh) 2022-11-30 2022-11-30 一种钻锚孔识别方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116109813A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237939A (zh) * 2023-11-16 2023-12-15 沈阳东方和利厨业有限公司 一种基于图像数据的煲仔炉食品成熟度检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237939A (zh) * 2023-11-16 2023-12-15 沈阳东方和利厨业有限公司 一种基于图像数据的煲仔炉食品成熟度检测方法及装置
CN117237939B (zh) * 2023-11-16 2024-01-30 沈阳东方和利厨业有限公司 一种基于图像数据的煲仔炉食品成熟度检测方法及装置

Similar Documents

Publication Publication Date Title
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN110210608A (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN114972384A (zh) 一种基于深度学习的隧道岩体智能快速区域分级方法
CN114066821B (zh) 一种基于人工智能的油田污水检测方法及设备
CN111563408B (zh) 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN111223087B (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN113703045A (zh) 一种基于轻量级网络的地震相识别方法
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN106709903A (zh) 基于图像质量的pm2.5浓度预测方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN112465057A (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN115424145A (zh) 一种基于深度学习的行星遥感影像地表地形变化检测方法
CN116109813A (zh) 一种钻锚孔识别方法、系统、电子设备及介质
CN114119361A (zh) 基于tesrgan网络的超分辨率重构井下图像方法、系统、设备、介质
CN112488043A (zh) 一种基于边缘智能的无人机车辆目标检测方法
CN115937138A (zh) 一种基于无人机的桥梁裂缝识别检测系统及方法
Moghimi et al. A joint adaptive evolutionary model towards optical image contrast enhancement and geometrical reconstruction approach in underwater remote sensing
Yang et al. Superpixel image segmentation-based particle size distribution analysis of fragmented rock
CN118675031A (zh) 一种隧道围岩风化程度的智能评估方法
CN110889834A (zh) 一种基于云计算的公路隧道围岩分级方法
CN112818818B (zh) 一种基于affpn的新型超高清遥感图像变化检测方法
CN113781388A (zh) 基于图像增强的输电线路通道隐患图像识别方法及装置
CN115690597A (zh) 一种基于深度背景差分的遥感影像城市地物变化检测方法
CN115375925A (zh) 一种基于相位信息和深度学习的水下声呐图像匹配算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination