CN116524017A - 一种用于矿山井下检测识别定位系统 - Google Patents
一种用于矿山井下检测识别定位系统 Download PDFInfo
- Publication number
- CN116524017A CN116524017A CN202310235978.5A CN202310235978A CN116524017A CN 116524017 A CN116524017 A CN 116524017A CN 202310235978 A CN202310235978 A CN 202310235978A CN 116524017 A CN116524017 A CN 116524017A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- target pixel
- identification
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 230000008014 freezing Effects 0.000 claims description 9
- 238000007710 freezing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 238000005065 mining Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000005641 tunneling Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002550 fecal effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种检测识别定位系统，属于检测识别定位技术领域，具体涉及一种用于矿山井下检测识别定位系统，本发明包括：图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；图像处理模块，用于对所述图像数据信息进行图像预处理；目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位，本发明通过图像采集，并进行图像的快速处理和检测识别，并根据采集信息和图像信息结合，从而可以快速定位当前位置，从而保证于矿山井下作业的安全性。
Description
技术领域
本发明公开了一种检测识别定位系统，属于检测识别定位技术领域，具体涉及一种用于矿山井下检测识别定位系统。
背景技术
井下巷道纵横交错，作业人员、车辆、设备分布面广且复杂，流动性大，地面与井下人员的实时信息交互比较困难，目前绝大数的矿山井下定位系统都只停留在区域定位的层面上，存在很大误差，无法实现精准管控及智能化应用；且一旦出现事故，很难精准确定位置，为事故救援带来很大难度。
随着视觉识别技术的发展，对于矿山井下危险识别开始逐步采用实时图象识别技术，具体包括，利用图象识别技术检测采掘面中的设备、人员等要素，利用图象识别技术检测采掘面中的异常区域，识别出裂缝、坍塌等危险因素，现有技术中公开了相关技术：
现有技术1（CN110264532A）公开了一种基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法；具体公开了将无线摄像机置于采煤机斜后方墙壁上，通过无线摄像机实时采集前方工作视频，服务器通过软件算法对无线摄像机采集的支护区域图像进行自我学习，找到空顶区域的危险边界。
现有技术2（CN101739716B）公开了一种工程岩体三维空间结构建模与关键块识别方法；具体公开了本发明中同时实现了三种块体搜索与显示的方法，即：确定性关键块体搜索与显示、非确定性结构面和随机块体的空间模拟、确定性和非确定性结构面模型显示与分析，同时，通过对现场数据的对比以及现场观测数据的反馈，可以进一步预测工程岩体破裂与失稳的状态。
现有技术3（CN102609986B）公开了一种数字矿山中矿体建模系统及其建模和检测方法；具体公开了首先获取多源矿体数据，并对获取的多源矿体数据进行耦合处理；然后根据经过耦合处理的多源矿体数据建立适用于矿山规划和建设的多种矿体模型；同时对多源矿体数据的耦合处理结果及多种矿体模型的建立过程和结果进行可视化显示和检测；之后根据所建立的多种矿体模型实现多维空间数据的分析与应用。
但是，现有技术中依然存在以下技术问题：
1、以现有技术1为例，现有技术中的矿山识别需要依赖井下无线传输技术，由于井下巷道狭窄，且转角较多，传输效率较低且容易出现信号丢失，造成控制精度不足；
2、以现有技术1为例，现有技术中的矿山识别需要将原始图像序列的每一帧图像与背景图像作差，需要原始背景图像，若原始背景图像中已经存在人员、装备、裂缝、坍塌区等要素，则会影响后续识别，现有技术无法以来实时图像进行前景和背景划分以及图像要素识别，并且，现有技术无法对图像进行分区识别，对于井下作业面来说，不同的工作攻角会涉及不同的地层信息因此需要考虑图像的最大梯度方向和各方向的图像特征，现有技术中缺乏相关记载；
3、以现有技术2、3为例，对井下、矿山作业面的三维建模，需要耗费大量的算力，且随着开采的推进，建模区域是实时变化的，建模的时间有效性较低，难以做到实时监测；并且，三维建模是以激光摄像机、掘进机摄像头等设备为建模基准的，当设备移动时，建模基准原点会随之移动，无法将图像要素在世界坐标上表达，造成管理监控人员无法从后台准确地获知图像要素的精准坐标，一旦发生事故，对于救援的定位，会造成极大的困难。
发明内容
发明目的：提供一种用于矿山井下检测识别定位系统，解决上述提到的问题。
技术方案：
一种用于矿山井下检测识别定位系统，包括：
图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；
图像处理模块，用于对所述图像数据信息进行图像预处理；
目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；
目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位；
对所述图像数据信息进行图像预处理具体包括以下步骤：
采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像；计算图像每个目标像素点的RGB梯度强度和方向；
消除边缘检测过程中所伴随的散杂响应，确定实际存在和被隐藏起来的边缘；
所述计算图像每个目标像素点的RGB梯度强度和方向具体包括：求取目标像素点水平方向的RGB均值和垂直方向的RGB均值，按照下述公式计算得到目标像素点的最大梯度方向和目标像素点的梯度强度：
式中，代表梯度强度；代表方向的梯度幅值；代表方向梯度的幅值，代表目标像素点的最大梯度方向。
进一步的，通过所述消除边缘检测所伴随的散杂响应，将局部最大值外所有的梯度值抑制到零，所述确定实际存在和被隐藏起来的边缘具体包括：
计算沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度，以像素点的梯度方向为零度轴，顺时针方向为正角度，将图像画面划分为8个扇区，扇区编号分别为N、NE、E、SE、S、SW、W、NW；每个扇区覆盖45°，对各扇区赋予特征值P x ，x为扇区编号；
其中，为N扇区，特征值P N =1；为NE扇区，特征值P NE =2；为E扇区，特征值P E =3；为SE扇区，特征值P SE =4；为NW扇区，特征值P NW =-1；为W扇区，特征值P W =-2；为SW扇区，特征值P SW =-3；为S扇区，特征值P S =-4；
计算两个插值点像素P1和P2的插值梯度强度：
其中，表示两个插值点像素P1和P2的插值梯度强度；和分别表示两个插值点像素P1和P2自身的梯度强度；P x|p1 和P x|p2 分别表示两个插值点像素P1和P2的扇区特征值；表示两个插值点像素P1和P2连线与目标像素点的最大梯度方向之间的夹角；
将目标像素的梯度强度，与沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度进行对比；
若目标像素的梯度强度大于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点为边缘点；
若目标像素的梯度强度小于等于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点不是边缘点。
进一步的，所述目标检测识别模块将处理后的图像通过基端模块和顶端模块进行图像的特征提取和识别分类；
所述基端模块用于提取不同层次的纹理图像特征，由卷积层、池化层和激活层组成，其中卷积层包含 13 个深度可分离卷积模块，将图像输入在数据集上预先训练好的模型，然后去掉最后所有的FC 层和输出层，只保留卷积模块用于提取纹理图像特征；所述顶端模块用于对基端模块提取的特征进行降维，并通过FC 层和输出层预测样本类别。
进一步的，所述基端模块和顶端模块的具体步骤如下：
将输入图像的红色、绿色、蓝色通道的数据分别减去数据集对应3个通道的均值，同时将输入图像的分辨率调整为统一；
对训练样本进行数据增强，对每个原始样本在多个尺度和角度进行随机缩放和旋转，利用生成的样本扩充训练样本数量；
设置模型的超参数值，载入本文设计的模型，并设置该模型的优化器、代价函数、批尺寸、初始学习率和最大迭代次数作为超参数值；
对顶端模块进行初步训练，使顶端模块获得初步训练的参数值；
对整个模型进行微调训练，初步指定模型的冻结层数，然后对整个模型进行训练，调节可训练层的参数值，当代价函数值不再发生明显变化时，将学习率降为原来的一半继续进行下一轮训练，最后保存代价函数值最小的模型，将其作为当前冻结层数下的优选模型；对当前冻结层数下的优选模型进行测试，在测试数据集上运行保存的当前优选模型，获得在测试数据集上的识别精度；获得最佳的模型逐步调节模型中的冻结层数。
进一步的，所述目标测距定位模块确定图像的当前坐标，并根据图像坐标进行确定图像内容的定位；按照下述公式分割图像的前景和背景：
其中，为分割前的图像函数，为分割后的图像函数，为像素点坐标，T为所有图像的RGB均值。
进一步的，分割图像的前景和背景后，利用内部参数识别方法对杂色进行消除处理，对四个方向的四个角度进行定位，将不同角度进行连接处理，连接后的中心位置为目标位置，将世界坐标系的点投影到图像平面，得到目标像素点的世界坐标q：
式中，q为目标像素点的世界坐标，为相机点的世界坐标，为目标像素点在相机坐标系内的坐标矩阵，fx和fy分别为目标像素点在相机坐标系的x轴坐标值和y轴坐标值，cx和cy分别为目标像素点的修正坐标值。
有益效果：
本发明公开了一种检测识别定位系统，属于检测识别定位技术领域，具体涉及一种用于矿山井下检测识别定位系统，本发明包括：图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；图像处理模块，用于对所述图像数据信息进行图像预处理；目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位，本发明通过图像采集，并进行图像的快速处理和检测识别，并根据采集信息和图像信息结合，从而可以快速定位当前位置，从而保证于矿山井下作业的安全性。
具体来说：
1、本发明采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像，并计算图像每个目标像素点的RGB梯度强度和方向，然后消除散杂相应。这一技术手段特别适用于光线阴暗、灰尘较多的井下环境，因为灰尘的光散射会在图像设备上造成极大的散杂相应，本发明通过技术梯度强度和最大梯度方向角，可以准确地判断出图像要素的真实像素点趋势，对于图像要素边缘的确定，具有良好的效果。
2、本发明对图像进行了分区，对各粪污赋予自有的特征值，并设置沿最大梯度方向的插值像素点，利用特征值对两个插值像素点进行联合计算，得到像素梯度的参考值，如果目标像素的梯度强度大于该参考值，可以确定为边缘要素的像素点，具体来说，井下设备、人员通常具有与作业面色差较大的警示色，边缘像素点两侧通常具有极大的像素梯度强度，例如黄色警示背心和黑色采矿作业面的跳色，本发明利用对比算法，高效准确地确定边缘像素点，对于确定井下的图像要素，具有明显优势。
3、本发明利用RGB均值来定位前景，如果像素点的RGB小于均值，可以确定其颜色低于黑灰色的采掘作业面，将其赋值为1，而其他图像则赋值为0，可以高效地提取前景图像，完成要素识别。
4、本发明通过坐标算法，将图像要素在摄像设备中的坐标，转换为在世界坐标系中的坐标，可以快速知晓图像要素的准确位置，特别是对于非一线工作的监控、管理人员，可以随时知晓包括人员、装备、采掘面裂缝、坍塌区的世界坐标，一旦发生坍塌、冒井等事故，可以快速进行定位救援，相对于现有技术中的先将救援井大概打到人员附近再进行横向搜寻的技术，本发明在知晓人员实时世界坐标的情况下，可以从地面直接进行精准掘进，将救援井直接打到被困人员身边，快速完成救援。
附图说明
图1是本发明的系统示意图。
图2是本发明的像素梯度图。
图3是本发明的工作流程图。
图4是本发明的图像识别示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于矿山井下检测识别定位系统，包括：
图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；
图像处理模块，用于对所述图像数据信息进行图像预处理；
目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；
目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位；
对所述图像数据信息进行图像预处理具体包括以下步骤：
采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像；计算图像每个目标像素点的RGB梯度强度和方向；
消除边缘检测过程中所伴随的散杂响应，确定实际存在和被隐藏起来的边缘；
所述计算图像每个目标像素点的RGB梯度强度和方向具体包括：求取目标像素点水平方向的RGB均值和垂直方向的RGB均值，按照下述公式计算得到目标像素点的最大梯度方向和目标像素点的梯度强度：
式中，代表梯度强度；代表方向的梯度幅值；代表方向梯度的幅值，代表目标像素点的最大梯度方向。
进一步的，通过所述消除边缘检测所伴随的散杂响应，将局部最大值外所有的梯度值抑制到零，所述确定实际存在和被隐藏起来的边缘具体包括：
计算沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度，以像素点的梯度方向为零度轴，顺时针方向为正角度，将图像画面划分为8个扇区，扇区编号分别为N、NE、E、SE、S、SW、W、NW；每个扇区覆盖45°，对各扇区赋予特征值P x ，x为扇区编号；
其中，为N扇区，特征值P N =1；为NE扇区，特征值P NE =2；为E扇区，特征值P E =3；为SE扇区，特征值P SE =4；为NW扇区，特征值P NW =-1；为W扇区，特征值P W =-2；为SW扇区，特征值P SW =-3；为S扇区，特征值P S =-4；
计算两个插值点像素P1和P2的插值梯度强度：
其中，表示两个插值点像素P1和P2的插值梯度强度；和分别表示两个插值点像素P1和P2自身的梯度强度；P x|p1 和P x|p2 分别表示两个插值点像素P1和P2的扇区特征值；表示两个插值点像素P1和P2连线与目标像素点的最大梯度方向之间的夹角；
将目标像素的梯度强度，与沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度进行对比；
若目标像素的梯度强度大于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点为边缘点；
若目标像素的梯度强度小于等于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点不是边缘点。
进一步的，所述目标检测识别模块将处理后的图像通过基端模块和顶端模块进行图像的特征提取和识别分类；
所述基端模块用于提取不同层次的纹理图像特征，由卷积层、池化层和激活层组成，其中卷积层包含 13 个深度可分离卷积模块，将图像输入在数据集上预先训练好的模型，然后去掉最后所有的FC 层和输出层，只保留卷积模块用于提取纹理图像特征；所述顶端模块用于对基端模块提取的特征进行降维，并通过FC 层和输出层预测样本类别。
进一步的，所述基端模块和顶端模块的具体步骤如下：
将输入图像的红色、绿色、蓝色通道的数据分别减去数据集对应3个通道的均值，同时将输入图像的分辨率调整为统一；
对训练样本进行数据增强，对每个原始样本在多个尺度和角度进行随机缩放和旋转，利用生成的样本扩充训练样本数量；
设置模型的超参数值，载入本文设计的模型，并设置该模型的优化器、代价函数、批尺寸、初始学习率和最大迭代次数作为超参数值；
对顶端模块进行初步训练，使顶端模块获得初步训练的参数值；
对整个模型进行微调训练，初步指定模型的冻结层数，然后对整个模型进行训练，调节可训练层的参数值，当代价函数值不再发生明显变化时，将学习率降为原来的一半继续进行下一轮训练，最后保存代价函数值最小的模型，将其作为当前冻结层数下的优选模型；对当前冻结层数下的优选模型进行测试，在测试数据集上运行保存的当前优选模型，获得在测试数据集上的识别精度；获得最佳的模型逐步调节模型中的冻结层数。
进一步的，所述目标测距定位模块确定图像的当前坐标，并根据图像坐标进行确定图像内容的定位；按照下述公式分割图像的前景和背景：
其中，为分割前的图像函数，为分割后的图像函数，为像素点坐标，T为所有图像的RGB均值。
进一步的，分割图像的前景和背景后，利用内部参数识别方法对杂色进行消除处理，对四个方向的四个角度进行定位，将不同角度进行连接处理，连接后的中心位置为目标位置，将世界坐标系的点投影到图像平面，得到目标像素点的世界坐标q：
式中，q为目标像素点的世界坐标，为相机点的世界坐标，为目标像素点在相机坐标系内的坐标矩阵，fx和fy分别为目标像素点在相机坐标系的x轴坐标值和y轴坐标值，cx和cy分别为目标像素点的修正坐标值。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (6)
1.一种用于矿山井下检测识别定位系统，其特征在于，包括：
图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；
图像处理模块，用于对所述图像数据信息进行图像预处理；
目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；
目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位；
对所述图像数据信息进行图像预处理具体包括以下步骤：
采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像；计算图像每个目标像素点的RGB梯度强度和方向；
消除边缘检测过程中所伴随的散杂响应，确定实际存在和被隐藏起来的边缘；
所述计算图像每个目标像素点的RGB梯度强度和方向具体包括：求取目标像素点水平方向的RGB均值和垂直方向的RGB均值，按照下述公式计算得到目标像素点的最大梯度方向和目标像素点的梯度强度：
式中，代表梯度强度；代表方向的梯度幅值；代表方向梯度的幅值，代表目标像素点的最大梯度方向。
2.根据权利要求1所述的一种用于矿山井下检测识别定位系统，其特征在于，通过所述消除边缘检测所伴随的散杂响应，将局部最大值外所有的梯度值抑制到零；所述确定实际存在和被隐藏起来的边缘具体包括：
计算沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度，以像素点的梯度方向为零度轴，顺时针方向为正角度，将图像画面划分为8个扇区，扇区编号分别为N、NE、E、SE、S、SW、W、NW；每个扇区覆盖45°，对各扇区赋予特征值P x ，x为扇区编号；
其中，为N扇区，特征值P N =1；为NE扇区，特征值P NE =2；为E扇区，特征值P E =3；为SE扇区，特征值P SE =4；为NW扇区，特征值P NW =-1；为W扇区，特征值P W =-2；为SW扇区，特征值P SW =-3；为S扇区，特征值P S =-4；
计算两个插值点像素P1和P2的插值梯度强度：
其中，表示两个插值点像素P1和P2的插值梯度强度；和分别表示两个插值点像素P1和P2自身的梯度强度；P x|p1 和P x|p2 分别表示两个插值点像素P1和P2的扇区特征值；表示两个插值点像素P1和P2连线与目标像素点的最大梯度方向之间的夹角；
将目标像素的梯度强度，与沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度进行对比；
若目标像素的梯度强度大于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点为边缘点；
若目标像素的梯度强度小于等于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点不是边缘点。
3.根据权利要求1或2所述的一种用于矿山井下检测识别定位系统，其特征在于，所述目标检测识别模块将处理后的图像通过基端模块和顶端模块进行图像的特征提取和识别分类；
所述基端模块用于提取不同层次的纹理图像特征，由卷积层、池化层和激活层组成，其中卷积层包含 13 个深度可分离卷积模块，将图像输入在数据集上预先训练好的模型，然后去掉最后所有的FC 层和输出层，只保留卷积模块用于提取纹理图像特征；所述顶端模块用于对基端模块提取的特征进行降维，并通过FC 层和输出层预测样本类别。
4.根据权利要求3所述的一种用于矿山井下检测识别定位系统，其特征在于，所述基端模块和顶端模块的具体步骤如下：
将输入图像的红色、绿色、蓝色通道的数据分别减去数据集对应3个通道的均值，同时将输入图像的分辨率调整为统一；
对训练样本进行数据增强，对每个原始样本在多个尺度和角度进行随机缩放和旋转，利用生成的样本扩充训练样本数量；
设置模型的超参数值，载入本文设计的模型，并设置该模型的优化器、代价函数、批尺寸、初始学习率和最大迭代次数作为超参数值；
对顶端模块进行初步训练，使顶端模块获得初步训练的参数值；
对整个模型进行微调训练，初步指定模型的冻结层数，然后对整个模型进行训练，调节可训练层的参数值，当代价函数值不再发生明显变化时，将学习率降为原来的一半继续进行下一轮训练，最后保存代价函数值最小的模型，将其作为当前冻结层数下的优选模型；对当前冻结层数下的优选模型进行测试，在测试数据集上运行保存的当前优选模型，获得在测试数据集上的识别精度；获得最佳的模型逐步调节模型中的冻结层数。
5.根据权利要求4所述的一种用于矿山井下检测识别定位系统，其特征在于，所述目标测距定位模块确定图像的当前坐标，并根据图像坐标进行确定图像内容的定位；按照下述公式分割图像的前景和背景：
其中，为分割前的图像函数，为分割后的图像函数，为像素点坐标，T为所有图像的RGB均值。
6.根据权利要求5所述的一种用于矿山井下检测识别定位系统，其特征在于，分割图像的前景和背景后，利用内部参数识别方法对杂色进行消除处理，对四个方向的四个角度进行定位，将不同角度进行连接处理，连接后的中心位置为目标位置，将世界坐标系的点投影到图像平面，得到目标像素点的世界坐标q：
式中，q为目标像素点的世界坐标，为相机点的世界坐标，为目标像素点在相机坐标系内的坐标矩阵，fx和fy分别为目标像素点在相机坐标系的x轴坐标值和y轴坐标值，cx和cy分别为目标像素点的修正坐标值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310235978.5A CN116524017B (zh) | 2023-03-13 | 2023-03-13 | 一种用于矿山井下检测识别定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310235978.5A CN116524017B (zh) | 2023-03-13 | 2023-03-13 | 一种用于矿山井下检测识别定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524017A true CN116524017A (zh) | 2023-08-01 |
| CN116524017B CN116524017B (zh) | 2023-09-19 |
Family
ID=87389312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310235978.5A Active CN116524017B (zh) | 2023-03-13 | 2023-03-13 | 一种用于矿山井下检测识别定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524017B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117097988A (zh) * | 2023-10-18 | 2023-11-21 | 煤炭科学研究总院有限公司 | 煤矿综采工作面复杂环境图像采集系统及方法 |
| CN118122658A (zh) * | 2024-05-10 | 2024-06-04 | 保定市佳宇软件科技有限公司 | 一种基于数据深度学习的智能干选系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6621924B1 (en) * | 1999-02-26 | 2003-09-16 | Sony Corporation | Contour extraction apparatus, a method thereof, and a program recording medium |
| EP2414990A1 (de) * | 2009-03-30 | 2012-02-08 | Conti Temic Microelectronic GmbH | Verfahren und vorrichtung zur fahrspurerkennung |
| CN103673872A (zh) * | 2012-09-10 | 2014-03-26 | 中国科学院空间科学与应用研究中心 | 液滴体积的测量方法和测量系统 |
| US20180089858A1 (en) * | 2015-03-27 | 2018-03-29 | Mas Innovation (Pvt) Limited | Image processing method and device |
| CN109191480A (zh) * | 2018-09-12 | 2019-01-11 | 国网江苏省电力有限公司泰州供电分公司 | 一种在线监测配电图像结构边缘检测方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| US20200074216A1 (en) * | 2018-09-04 | 2020-03-05 | Alibaba Group Holding Limited | Information detection method, apparatus, and device |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111473767A (zh) * | 2020-04-16 | 2020-07-31 | 福建汇川物联网技术科技股份有限公司 | 一种远程测距方法及装置 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| CN113192126A (zh) * | 2021-04-19 | 2021-07-30 | 中国矿业大学(北京) | 一种基于图像圆形物体识别的测距定位方法 |
| CN113326811A (zh) * | 2021-07-01 | 2021-08-31 | 南京兆通智能科技有限公司 | 一种基于目标检测算法的边缘端在位监测系统 |
| WO2022241874A1 (zh) * | 2021-05-18 | 2022-11-24 | 烟台艾睿光电科技有限公司 | 一种红外热成像单目视觉测距方法及相关组件 |
| CN115588040A (zh) * | 2022-09-09 | 2023-01-10 | 四川省寰宇众恒科技有限公司 | 一种基于全视图成像点坐标统计定位系统及方法 |
| CN115620177A (zh) * | 2022-10-12 | 2023-01-17 | 中航西安飞机工业集团股份有限公司 | 一种基于深度学习的飞机识别与检测系统 |
-
2023
- 2023-03-13 CN CN202310235978.5A patent/CN116524017B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6621924B1 (en) * | 1999-02-26 | 2003-09-16 | Sony Corporation | Contour extraction apparatus, a method thereof, and a program recording medium |
| EP2414990A1 (de) * | 2009-03-30 | 2012-02-08 | Conti Temic Microelectronic GmbH | Verfahren und vorrichtung zur fahrspurerkennung |
| CN103673872A (zh) * | 2012-09-10 | 2014-03-26 | 中国科学院空间科学与应用研究中心 | 液滴体积的测量方法和测量系统 |
| US20180089858A1 (en) * | 2015-03-27 | 2018-03-29 | Mas Innovation (Pvt) Limited | Image processing method and device |
| US20200074216A1 (en) * | 2018-09-04 | 2020-03-05 | Alibaba Group Holding Limited | Information detection method, apparatus, and device |
| CN109191480A (zh) * | 2018-09-12 | 2019-01-11 | 国网江苏省电力有限公司泰州供电分公司 | 一种在线监测配电图像结构边缘检测方法 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| CN111473767A (zh) * | 2020-04-16 | 2020-07-31 | 福建汇川物联网技术科技股份有限公司 | 一种远程测距方法及装置 |
| CN113192126A (zh) * | 2021-04-19 | 2021-07-30 | 中国矿业大学(北京) | 一种基于图像圆形物体识别的测距定位方法 |
| WO2022241874A1 (zh) * | 2021-05-18 | 2022-11-24 | 烟台艾睿光电科技有限公司 | 一种红外热成像单目视觉测距方法及相关组件 |
| CN113326811A (zh) * | 2021-07-01 | 2021-08-31 | 南京兆通智能科技有限公司 | 一种基于目标检测算法的边缘端在位监测系统 |
| CN115588040A (zh) * | 2022-09-09 | 2023-01-10 | 四川省寰宇众恒科技有限公司 | 一种基于全视图成像点坐标统计定位系统及方法 |
| CN115620177A (zh) * | 2022-10-12 | 2023-01-17 | 中航西安飞机工业集团股份有限公司 | 一种基于深度学习的飞机识别与检测系统 |
Non-Patent Citations (4)
| Title |
|---|
| RANJITHA RAJAN 等: "Gauss Gradient Algorithm for Edge Detection in Retinal Optical Coherence Tomography Images", 《PROCEDIA COMPUTER SCIENCE》, vol. 218, pages 1014 - 1026, XP087257286, DOI: 10.1016/j.procs.2023.01.081 * |
| 刘肖肖;孔德友;刘广宇;刘伯强;: "基于融合算法的尿沉渣显微图像有形成分外边缘检测方法研究", 中国医学装备, no. 11, pages 35 - 38 * |
| 张立亚;: "基于动目标特征提取的矿井目标监测", 煤炭学报, no. 2, pages 314 - 321 * |
| 蔺玉珂 等: "基于MATLAB的Canny图像边缘检测优化与实现", 《现代信息科技》, vol. 6, no. 17, pages 81 - 84 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117097988A (zh) * | 2023-10-18 | 2023-11-21 | 煤炭科学研究总院有限公司 | 煤矿综采工作面复杂环境图像采集系统及方法 |
| CN117097988B (zh) * | 2023-10-18 | 2024-01-19 | 煤炭科学研究总院有限公司 | 煤矿综采工作面复杂环境图像采集系统及方法 |
| CN118122658A (zh) * | 2024-05-10 | 2024-06-04 | 保定市佳宇软件科技有限公司 | 一种基于数据深度学习的智能干选系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524017B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116524017B (zh) | 一种用于矿山井下检测识别定位系统 | |
| WO2018214195A1 (zh) | 一种基于卷积神经网络的遥感图像桥梁检测方法 | |
| Akagic et al. | Pothole detection: An efficient vision based method using rgb color space image segmentation | |
| CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
| CN113379712B (zh) | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 | |
| CN113538503B (zh) | 一种基于红外图像的太阳能板缺陷检测方法 | |
| CN103927553B (zh) | 基于多尺度微纹理和对比度联合分布的煤岩识别方法 | |
| US20220315243A1 (en) | Method for identification and recognition of aircraft take-off and landing runway based on pspnet network | |
| CN116739183B (zh) | 一种矿山安全风险预警预测系统 | |
| Yang et al. | Superpixel image segmentation-based particle size distribution analysis of fragmented rock | |
| CN113569943B (zh) | 一种基于深度神经网络的渣片大块预警方法、系统及装置 | |
| CN112561989B (zh) | 一种建造场景下吊装对象的识别方法 | |
| CN116934832B (zh) | 基于现场参照物的三维点云的实时标定方法 | |
| CN114022415B (zh) | 一种基于单像素特征聚类建立集群的液晶屏缺陷检测方法 | |
| CN115909099A (zh) | 基于无人机巡检的边坡危岩识别与监测方法 | |
| CN116148880A (zh) | 基于无人机激光雷达点云数据自动检测输电线路和危险物体的方法 | |
| CN114936392A (zh) | 一种非煤矿山开采坡面角预裂孔控制方法 | |
| CN115272382A (zh) | 基于图像对比技术的边坡滑动监测预警方法及预警模型 | |
| CN114332006A (zh) | 一种城垛缺失自动定量评估方法 | |
| Li et al. | CrackTinyNet: A novel deep learning model specifically designed for superior performance in tiny road surface crack detection | |
| CN116823737B (zh) | 一种低纹理环境下隧道壁异常检测方法及系统 | |
| Jin et al. | Image segmentation method of mine pass soil and ore based on the fusion of the confidence edge detection algorithm and mean shift algorithm | |
| Zuo et al. | Ground Segmentation of 3D LiDAR Point Cloud with Adaptive Threshold | |
| KR102693999B1 (ko) | 암반 시설물 관리 시스템 | |
| CN117953016B (zh) | 一种泄洪建筑物出口区边坡危岩监测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |