CN117405039A - 一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法 - Google Patents

一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法 Download PDF

Info

Publication number
CN117405039A
CN117405039A CN202311262251.2A CN202311262251A CN117405039A CN 117405039 A CN117405039 A CN 117405039A CN 202311262251 A CN202311262251 A CN 202311262251A CN 117405039 A CN117405039 A CN 117405039A
Authority
CN
China
Prior art keywords
image
self
belt conveyor
pose
moving tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311262251.2A
Other languages
English (en)
Inventor
刘皓挺
张静静
李擎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202311262251.2A priority Critical patent/CN117405039A/zh
Publication of CN117405039A publication Critical patent/CN117405039A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明公开了一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法，该装置包括双目相机、LED投射光源、反射标靶和数据处理系统；双目相机固定安装在自移机尾上，LED投射光源安装在双目相机的后方，安装方向均朝向顺槽皮带机；反射标靶安插在顺槽皮带机侧方；LED投射光源用于向标靶投射自然光，双目相机用于采集标靶图像并输送至数据处理系统；数据处理系统用于基于标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息以及相比前一状态的位姿变化情况。本发明通过图像预处理、特征点检测、双目立体匹配技术实现对自移机尾与皮带机位姿的测量，具有实施简单、成本较低、稳定性好的优点，可满足低照度场景下对大型设备的位姿测量任务需求。

Description

一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法
技术领域
本发明涉及图像检测技术领域，特别涉及一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法。
背景技术
在现代综采煤矿设备中，自移机尾与顺槽皮带机连成一体与中间架一起构成综采工作面的运输系统。自移机尾将破碎机运输来的煤炭传输到皮带机上面，这一整套运行过程使得煤矿开采过程更加连贯和顺畅。因此自移机尾与顺槽皮带机位姿测量是采煤工作面不断推进的基础。目前煤矿井下作业环境位姿测量方法主要包括：基于全站仪、基于激光测量原理、基于超带宽技术、基于惯导原理和基于多传感器融合等方法。自移机尾起到转载和落煤的作用，这些方法的应用可靠性低且测量装置复杂，会造成位姿误检测，无法较好地应用于自移机尾位姿测量。目前自移机尾主要采用机身的倾角传感器获取位姿信息，这种方法无法获取自移机尾与顺槽皮带机的位姿关系，不利于自移机尾的向前推进。
机器视觉技术具有信息量大、测量精度高的优点，随着人工智能技术的发展，机器视觉技术成为组合式位姿检测方法中的研究热点之一。相关技术提出针对复杂场景，构建预测语义关键点集合的深度神经网络，通过输入图像求解相机坐标系下位置和姿态，以恢复目标位姿信息。然而对于矿井复杂场景训练数据集构建和初始坐标信息获取比较困难。
另有文献提出基于双目视觉自移机尾位姿检测方法，但在矿井复杂场景下安置多个红外信标较为复杂。同时受光照不足和煤粉尘干扰影响，红外信标特征提取困难进而降低位姿测量精度。因此克服矿井下光照不足和水雾、粉尘干扰的环境影响，对自移机尾与皮带机位姿实现精准测量是亟需攻关的技术难题。
发明内容
本发明提供了一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法，以解决现有自移机尾与顺槽皮带机位姿测量技术测量精度低，实现复杂的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种矿井下自移机尾与顺槽皮带机位姿测量装置，所述装置包括：双目相机、LED投射光源、反射标靶以及数据处理系统；其中，
所述双目相机固定安装在自移机尾上，所述LED投射光源安装在所述双目相机的后方，所述双目相机和所述LED投射光源的安装方向均朝向顺槽皮带机；所述反射标靶安插在顺槽皮带机侧方；所述LED投射光源用于向反射标靶投射自然光，所述双目相机用于采集获取标靶图像，并输送至所述数据处理系统；
所述数据处理系统用于基于所述双目相机采集的标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息，以及相比前一状态的位姿变化情况。
进一步地，反射标靶通过高度可调节的伸缩支架与顺槽皮带机可拆卸连接。
进一步地，所述反射标靶由有机放射发光材料制成，当向所述反射标靶投射自然光光源时，所述反射标靶会根据自身颜色显示不同颜色；
所述反射标靶整体为正方形并在其中包含五个具备预设颜色和形状特征的圆形，圆形中心点为待识别的视觉特征点；其中，五个圆形的位置约束关系为：其中四个圆形分别位于反射标靶四个角上，剩余一个圆形位于反射标靶的中心。
进一步地，所述数据处理系统包括图像预处理模块、特征获取模块和位姿求解模块；
所述图像预处理模块用于对标靶图像进行预处理；
所述特征获取模块用于对预处理后的标靶图像进行特征提取，识别图像中的反射标靶区域以及获取视觉特征点的图像坐标；
所述位姿求解模块用于基于双目立体匹配技术获取视差图像，并结合视觉特征点的图像坐标和预先标定出的双目相机内参，求得视觉特征点在相机坐标系下的相机坐标；然后基于视觉特征点的相机坐标和视觉特征点在世界坐标系下的世界坐标，求得自移机尾与皮带机位姿信息以及位姿变化情况。
进一步地，所述相机坐标系是以相机光心为原点，垂直于图像平面的光轴为Z轴，X轴和Y轴平行于图像平面的坐标系；
所述世界坐标系是物体点的三维世界坐标；其构建方式为：以每节顺槽皮带机上固定一点为原点，依据右手坐标系原则建立世界坐标系，其Z轴指向自移机尾反方向；其中，相机坐标系和世界坐标系分别随着自移机尾和顺槽皮带机移动而发生变化；且相机坐标系与自移机尾位姿关系不发生变化，世界坐标系与顺槽皮带机位姿关系不发生变化，因此某一状态下相机坐标系与世界坐标系的旋转平移关系即代表该状态下自移机尾与顺槽皮带机的位姿关系。
进一步地，所述图像预处理模块具体用于：
对标靶图像进行亮度检测，判断是否需要进行图像亮度增强处理；
当需要进行图像亮度增强处理时，首先对标靶图像进行亮度增强处理，然后对完成亮度增强处理的图像进行自适应直方图均衡化和自适应中值滤波；
当不需要进行图像亮度增强处理时，直接对标靶图像进行自适应直方图均衡化，以增强图像对比度，然后对图像进行自适应中值滤波，以提升图像质量。
进一步地，所述对标靶图像进行亮度增强处理，包括：
采用基于照度图优化的亮度增强方法对标靶图像进行亮度增强处理；其中，在采用基于照度图优化的亮度增强方法时，通过优化最小二乘损失和一个约束条件来获取一个优化后照度图：
式中：为初始照度图；w为惩罚项；/>和||·||1分别表示Frobenius范数和L1范数；W为图像关于像素点的权重矩阵，由标准差为二维高斯核计算得到；/>为Hadamard积；▽T为一阶导数滤波器；T为优化后照度图；
增广朗格朗日公式将约束条件转化为目标函数中的乘子项，以通过优化目标函数的方式求解问题；将上式作为岭回归问题构建增广朗格朗日函数如下：
式中：T为优化后照度图；G＝▽T作为约束条件；Z为拉格朗日乘子；<,>为内积运算；μ为惩罚因子；接着使用交替方向乘法的方法将问题分解为T,G,Z优化的子问题，并通过迭代优化计算出最优函数解，从而获取优化后照度图。
进一步地，所述特征获取模块具体用于：
对MobileNetv3网络结构进行改进，去除其中通道注意力模块缩放通道，采用全局平均池化得到和特征图通道数相同的通道注意向量，然后通过一维卷积完成跨通道间的信息交互，得到无降维MobileNetv3模块；然后在YOLOv5网络的主干网络引入所述无降维MobileNetv3模块，得到改进后的YOLOv5网络；
对改进后的YOLOv5网络进行训练；
利用训练后的YOLOv5网络对预处理后的标靶图像进行特征提取，识别图像中的反射标靶区域；取检测框中心点作为视觉特征点，获取其图像坐标。
进一步地，所述位姿求解模块具体用于：
利用反射标靶上外围四个圆形内部视觉特征点的世界坐标、对应的图像坐标和相机内参矩阵，求解反射标靶平面和图像平面之间的平面单应性估计；
利用单应性矩阵和世界坐标点求解视觉特征点的图像坐标点，并通过视觉特征点位置约束关系对图像坐标点进行优化，获取更加精确的图像坐标；
基于双目立体匹配技术获取视差图像，并结合视觉特征点的图像坐标以及预先标定出的双目相机内参，求得视觉特征点在相机坐标系下的三维相机坐标；
将位姿测量问题转换为利用两组3D点求解相机坐标系和世界坐标系的刚体变换关系，并利用迭代最近点算法解算相机坐标系和世界坐标系的刚体变换关系，得到自移机尾与皮带机位姿信息，以及相比前一状态的位姿变化情况。
另一方面，本发明还提供了一种利用上述的矿井下自移机尾与顺槽皮带机位姿测量装置实现的矿井下自移机尾与顺槽皮带机位姿测量方法，其包括：
对双目相机进行标定，并确定反射标靶中的视觉特征点的世界坐标；
利用LED投射光源向反射标靶投射自然光，然后利用双目相机对反射标靶进行拍摄，获取标靶图像，并将标靶图像输送至数据处理系统；
利用所述数据处理系统基于所述双目相机采集的标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息，以及相比前一状态的位姿变化情况。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
本发明所设计的位姿测量装置简单、智能化水平高，综合图像处理方法、深度学习模型和位姿求解技术，可实现在复杂环境下自移机尾与顺槽皮带机位姿的精确测量，具有测量装置简单、计算精度高、方法鲁棒性好的优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的矿井下自移机尾与顺槽皮带机位姿测量装置的硬件组成及硬件安装位置示意图；
图2是本发明实施例提供的反射标靶设计方案图；
图3是本发明实施例提供的图像预处理流程图；
图4是本发明实施例提供的改进的轻量化YOLOv5网络模型图；
图5是本发明实施例提供的自移机尾和顺槽皮带机位姿测量流程图；
图6是本发明实施例提供的数据处理系统的结构框图；
图7是本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种矿井下自移机尾与顺槽皮带机位姿测量装置，如图1所示，该矿井下自移机尾与顺槽皮带机位姿测量装置包括：双目相机、LED投射光源、反射标靶以及数据处理系统(本实施例中为计算机)；其中，
所述双目相机固定安装在自移机尾上，所述LED投射光源安装在所述双目相机的后方，所述双目相机和所述LED投射光源的安装方向均朝向顺槽皮带机；所述反射标靶安插在顺槽皮带机侧方；所述LED投射光源用于向反射标靶投射自然光，所述双目相机用于采集获取标靶图像，并输送至所述数据处理系统；
所述数据处理系统用于基于所述双目相机采集的标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息，以及相比前一状态的位姿变化情况。
其中，需要说明的是，煤矿井下低照度、高粉尘和机电设备众多的环境容易造成图像特征不明显或特征缺失，因此本实施例设计反射标靶，提供视觉测量特征。反射标靶通过两个高度可调节的伸缩支架与顺槽皮带机可拆卸连接，通过高度调整保证双目相机采集到完整且清晰的标靶图像。其中，本实施例中的反射标靶具备两种不同调节高度，以使得双目相机可以采集到完整且清晰的标靶图像。具体地，在本实施例中，反射标靶由有机放射发光材料制成，当向反射标靶投射自然光光源时，反射标靶会根据自身颜色显示不同颜色。如图2所示，反射标靶整体为边长15cm的正方形，标靶整体为荧光黄绿色，并在其中包含五个具备明显颜色和形状特征的边长为5cm的圆形，圆形中心点为待识别的视觉特征点；其中，五个圆形的位置约束关系为：其中四个圆形分别位于反射标靶四个角上，剩余一个圆形位于反射标靶的中心；每个圆形上下左右对齐，圆形为白色，标靶上的线条为红色；五个圆形中心点是本装置的视觉特征点。
进一步地，如图6所示，所述数据处理系统包括图像预处理模块、特征获取模块以及位姿求解模块；其中，各模块所实现的功能如下：
图像预处理模块用于对标靶图像进行预处理；
其中，需要说明的是，考虑到煤矿井下光照不足且粉尘、水雾干扰严重的现象，需要对采集到的图像进行图像增强与滤波去噪处理等预处理操作，以提升图像特征识别准确度。具体地，本实施例中的图像预处理流程如图3所示。首先对输入图像进行亮度检测，判断是否需要进行亮度增强处理，当需要进行图像亮度增强处理时，首先对标靶图像进行亮度增强处理，然后对完成亮度增强处理的图像进行自适应直方图均衡化和自适应中值滤波自适应直方图均衡化将图像分成小区域，并根据每个局部区域的特征进行直方图均衡化，从而提高图像的对比度和细节。该方法能够有效处理具有不同亮度和对比度的局部区域，无需调整整体亮度，更好地保留了图像的细节信息。接下来，自适应中值滤波方法通过根据局部邻域的灰度值特征对噪声像素进行检测和修正，能够有效去除图像噪声，使图像更加清晰。当不需要进行图像亮度增强处理时，直接对标靶图像进行自适应直方图均衡化，以增强图像对比度，然后对图像进行自适应中值滤波，以提升图像质量。具体实现过程如下：
本实施例通过对采集的图像进行亮度检测，以确定是否对图像进行增强。计算输入图像亮度通道统计值，表示为：
式中：常数Tt是正常自然图像的预期全局平均亮度，分析标准图像数据库实验统计数据，对于8位图像取128。综合考虑低照度图像增强质量和适用性，经实验验证取低照度图像阈值τ1＝0.3，如果t＜-τ1，判断输入图像较暗需进行增强。
具体地，本实施例基于照度图估计方法增强图像亮度。照度图估计理论认为颜色是光与物质相互作用的结果，其理论图像模型为：
L(x,y)＝R(x,y)·T(x,y)
式中：L(x,y)为观测图像，R(x,y)为反射分量，T(x,y)为光照分量，即光照图。基于照度图估计的图像增强方法认为反射分量决定物质本身信息，消除光照分量影响，获得物体本质反射分量影响，即可实现图像增强。因此准确提取出图像的光照分量非常重要。T(x,y)的基础估计光照图可表示为：
式中：max为3个颜色通道取最大值操作，ε作为一个小正数，确保
为了对光照图进行细化，既保留整体结构又平滑纹理变化，需要通过优化最小二乘损失和一个约束条件来获取一个优化后照度图：
式中：为初始照度图；w为惩罚项；/>和||·||1分别表示Frobenius范数和L1范数；W为图像关于像素点的权重矩阵，由标准差为二维高斯核计算得到；/>为Hadamard积；为一阶导数滤波器；T为优化后照度图。
增广朗格朗日公式将约束条件转化为目标函数中的乘子项，以通过优化目标函数的方式求解问题。将上式作为岭回归问题构建增广朗格朗日函数如下：
式中：T为优化后照度图；G＝▽T作为约束条件；Z为拉格朗日乘子；<,>为内积运算；μ为惩罚因子。接着使用交替方向乘法的方法将问题分解为T,G,Z优化的子问题，并可通过迭代优化计算出最优函数解，从而获取优化后照度图。
本实施例基于照度图优化的图像亮度增强方法能够获取亮度和清晰度提升的图像，有利于后续反射标靶特征提取与分析。
进一步地，本实施例采用自适应直方图均衡化方法增强图像对比度。其中，需要说明的是，直方图均衡化通过扩展图像中像素点集中分布的灰度区域，增加像素的分布范围。然而当图像中存在过亮或过暗的区域，该方法对这部分区域对比度得不到有效增强。自适应直方图均衡化通过计算图像的局部直方图，重新分布亮度来来改变图像对比度。采用自适应直方图均衡化方法能够避免不均匀光照影响，较好地改进图像对比度并获得更多的图像细节。
进一步地，本实施例采用自适应中值滤波对图像进行滤波去噪。自适应中值滤波先对噪声进行检测，将待处理像素点的灰度值与当前滤波窗口内的灰度极值进行对比，若待处理像素点的灰度值不是极值，则认为待处理像素点为信号像素点，否则为噪声点。对于噪声点的处理，则是选取当前滤波窗口内像素点的灰度中间值作为待处理像素点的灰度值，但是也有存在中间值是极值的情况，所以自适应中值滤波采取扩大滤波窗口的方式再次选取中间值。采用自适应中值滤波方法既可以剔除图像中的噪声也能保留图像的细节信息。
特征获取模块用于对预处理后的标靶图像进行特征提取，识别图像中的反射标靶区域以及获取视觉特征点的图像坐标；
其中，需要说明的是，本实施例中的图像特征提取在于准确地获取图像中反射标靶上五个圆形的中心点图像坐标。不同以往基于图像处理的方式获取特征点，本实施例利用YOLOv5目标检测模型识别出反射标靶中五个圆形区域，其中标注框为长方形，本实施例取框选区域中心点图像坐标作为圆形中心点，即视觉特征点。本实施例中的视觉中心点检测方法能够克服复杂环境下图像特征不明显的缺点，抗干扰能力更强且获取图像坐标精确度更高。其中，需要说明的是，YOLOv5作为单阶段目标检测算法，凭借其优良的检测性能，受到了广泛的应用。YOLOv5根据网络深度和宽度可以分为依次递增的4个版本，分别为YOLOv5s、YOLOv5m、YOLOv5l以及YOLOv5x。考虑到复杂网络模型部署到设备中将面临占用空间大和检测速度慢的问题，本实施例设计改进轻量化YOLOv5网络模型，使用改进MobileNetv3网络结构代替YOLOv5主干网络。
本实施例改进的轻量化YOLOv5网络模型如图4所示。轻量化YOLOv5网络结构分为输入端(Input)、主干网络(Backbone)、颈部网络(Neck)和检测网络(Head)这4个部分。YOLOv5在输入端引入Mosaic数据增强，将四张图片通过裁剪、缩放、排布操作进行拼接，大大丰富了训练数据集，使网络的鲁棒性更好。YOLOv5的Backbone基于具有空间金字塔池层(Spatial Pyramid Pooling,SPP)的跨阶段局部网络(Cross Stage Partial Network,CSPNet)构成，而SPPF在SPP基础上减少了网络层，去除冗余运算，以更快速度进行特征融合。YOLOv5借鉴CSPNet的设计思路，设计了包含标准卷积层以及多个Res unit的CSP模块，其中，Neck层的CSP2_1模块即为不含残差连接的CSP模块，CSP模块主要是对残差特征进行学习，同时在准确性不变或者提高的基础上可以减少网络参数量。Neck层上YOLOv5采用特征金字塔(Feature Pyramid Network，FPN)+路径聚合网络(Perceptual AdversarialNetwork，PAN)结合的方式进行特征融合，其中，FPN以自顶向下的方式，通过上采样将高层特征和低层特征做融合获得不同尺度进行预测的特征图。PAN则是在FPN层的后面添加了一个自底向上的特征金字塔。这样结合操作，FPN层自顶向下传达强语义特征，而PAN则自底向上传达强定位特征，两两联手，在不同的主干层对不同的检测层进行参数聚合。最后在Head层对small、medium、large三种尺寸目标做出预测。
改进的YOLOv5网络在主干网络引入MobileNetv3网络结构，在图4中表示为Mov3。MobileNetv3是一种广泛使用且高效的轻量级网络，它引入倒残差结构，先用逐点卷积进行升维,接着在一个更高维空间中使用深度卷积来提取特征,最后再用PW(Point Wise)卷积进行降维。该网络包括基于挤压和激励的轻量级注意结构(Squeeze and Excitation,SE)，它通过两次全连接层缩放所有特征图的通道维度。虽然MobileNetv3模块中的SE注意力机制在缩放特征通道数量时大大减小了计算量，但是降维导致特征通道与其权重之间的对应是间接的，这降低了通道注意力的学习能力。因此本实施例设计无降维MobileNetv3模块，去除SE模块缩放通道，采用全局平均池化得到和特征图通道数相同的通道注意向量，然后通过一维卷积完成跨通道间的信息交互，改进后的注意力模块只用少数参数就能达到很好的效果。本实施例将改进后MobileNetv3模块应用到YOLOv5主干网络作为图像特征提取结构，达到网络轻量化的目的。
应用过程中，利用双目相机在复杂环境条件下，多位姿、多距离采集图像数据集，训练轻量化YOLOv5目标检测模型，利用训练后的YOLOv5目标检测模型对预处理后的标靶图像进行特征提取，以识别图像中的反射标靶区域；然后取检测框中心点作为视觉特征点，并获取其图像坐标及相机坐标。
位姿求解模块用于基于双目立体匹配技术获取视差图像，并结合视觉特征点的图像坐标和预先标定出的双目相机内参，求得视觉特征点在相机坐标系下的相机坐标；然后基于视觉特征点的相机坐标和视觉特征点在世界坐标系下的世界坐标，求得自移机尾与皮带机位姿信息以及位姿变化情况。
其中，在本实施例中，位姿求解模块基于3D-3D的位姿测量方法，求解自移机尾与顺槽皮带机姿态角及其变化情况。首先基于YOLOv5目标检测模型获取图像坐标点，并通过反射标靶中心点应分别位于两组对角线上的视觉特征点位置约束关系获得更加精确的图像坐标点。在本实施例中，实际情况下反射标靶中心点应分别位于两组对角线上视觉特征点的中点，即每三个图像点连成一条直线，但通过YOLOv5模型求得的图像坐标点不能完全满足位于同一直线。因此利用最小二乘法能够获得经过优化后的实际点坐标，使其尽可能接近理想状态下的直线。首先基于4对2D-3D共面点求解单应性矩阵，并通过视觉特征点位置约束关系获取更加精确的图像坐标。接着基于双目立体匹配技术获取视觉特征点在相机坐标系下的三维坐标。将位姿测量问题转换为利用两组3D点求解相机坐标系和世界坐标系的刚体变换关系并利用迭代最近点算法解算。具体地，该算法的实现原理如下：
双目相机成像模型为线性模型，根据相似三角形原理可得，左相机坐标系下特征点三维坐标为：
式中：(xl,yl)和(xr,yr)分别为特征点在左、右相机平面的图像坐标。(cx,cy)为相机主点坐标，f为相机焦距，B为双目相机基线距离，均可由相机标定获取。xl-xr是双目相机视差值，可由双目立体匹配获取。
本实施例开展位姿测量的第一步工作是利用张正友标定方法获得双目相机各自的内参数。然后利用YOLOv5模型获取的特征点图像坐标并结合双目相机经图像立体匹配获取的视差图像就可求得特征点在相机坐标系下的三维坐标。
煤炭输送过程应保持自移机尾中轴线与顺槽皮带机中心线平行，自移机尾机身底部与巷道底板平行。为满足煤炭输送要求，自移机尾前进一个行程后，自移机尾中心轴线与顺槽皮带机的中心线应该依旧保持一致。煤矿井下每一节顺槽皮带机长度、形状相同且排布在同一条直线上。在自移机尾行进过程，顺槽皮带机也随之移走一节。本实施例要测量自移机尾与顺槽皮带机均移动时二者位姿变化关系，因此设计一种合适的坐标系建立方案。本实施例双目相机固定安装在自移机尾上，即二者之间位置关系固定且相机坐标系随自移机尾移动而移动。因此求解相机与顺槽皮带机位姿关系即为获取自移机尾与顺槽皮带机位姿关系。相机坐标系(OC-XC,YC,ZC)是以相机光心为原点，垂直于图像平面的光轴为Z轴，X轴和Y轴平行于图像平面的坐标系。本实施例坐标Z轴指向顺槽皮带机。世界坐标系(OW-XW,YW,ZW)是物体点PW的三维世界坐标。本实施例认为反射标靶在每一节顺槽皮带机的安装位置是固定的，以每节顺槽皮带机上固定一点为原点建立世界坐标系。依据右手坐标系原则建立世界坐标系，Z轴指向自移机尾反方向。因此对于每一节顺槽皮带机都可确定反射标靶特征点在世界坐标系下的坐标。本实施例建立相机坐标系和世界坐标系分别随着自移机尾和顺槽皮带机移动而发生变化。且相机坐标系与自移机尾位姿关系不发生变化，世界坐标系与顺槽皮带机位姿关系不发生变化，故某一状态下相机坐标系与世界坐标系的旋转平移关系即可代表该状态下自移机尾与顺槽皮带机的位姿关系。
本实施例的反射标靶上五个特征点的世界坐标是确定已知的，表示为P1 w,P2 w,P3 w,P4 w和P5 w，且五个点具有共面的特征。本实施例采用双目相机获取反射标靶图像，利用目标检测模型和双目立体匹配技术获取反射标靶中五个视觉特征点的左图像坐标p1，p2，p3，p4和p5及以左相机坐标系为世界坐标系的相机坐标P1 c,P3 c,/>和P5 c。因此本实施例提出一种基于3D-3D的位姿测量算法对自移机尾与顺槽皮带机的位姿关系进行求解。首先基于YOLOv5目标检测模型获取图像坐标点，并通过反射标靶中心点应分别位于两组对角线上的视觉特征点位置约束关系获得更加精确的图像坐标点。接着基于双目相机的图像立体匹配获取视觉特征点的相机坐标点。本质上将位姿测量问题转换为利用两组3D点求解相机坐标系和世界坐标系的刚体变换。本实施例利用迭代最近点(Iterative Closest Point,ICP)算法求解出两个坐标系的最优刚体变换关系，使得两组相应的三维点在空间上对应起来。假设在世界坐标系与相机坐标系的刚体变换关系中旋转矩阵为R，平移向量为T，则满足：
式中：Pi w为世界坐标系的点坐标，Pi c为相机坐标系点坐标。通过构建最小二乘问题，求解R和T使得误差平方和最小。
采用奇异值分解(Singular Value Decomposition,SVD)方法求解该问题，计算步骤为：
1)计算两组点的质心位置然后计算每个点的去质心坐标：
2)根据以下优化问题计算旋转矩阵R：
3)根据前面计算结果R，求得T:定义矩阵可以发现W是一个3×3的矩阵，对其进行SVD分解得到：
W＝U∑VT
当W满秩时，R＝UVT，解得R后，根据一对点的对应关系就能求出T。
本实施例用欧拉角表示顺槽皮带机和自移机尾的位姿关系，设定旋转坐标系与世界坐标系保持一致，旋转顺序为X-Y-Z。俯仰角α为绕X轴旋转角度，偏航角β为绕Y轴旋转角度,横滚角γ为绕Z轴旋转角度。假设求解出的旋转矩阵用R表示，则对应的姿态角α、β和γ的计算公式如下：
位姿测量需得出自移机尾行进一个行程后自移机尾与顺槽皮带机的姿态角和纵向偏距等位姿参数。本实施例利用初始状态姿态角和状态变化后姿态角，确定顺槽皮带机相对于自移机尾的位姿变化情况。
基于上述，本实施例的自移机尾和顺槽皮带机位姿测量流程图如图5所示。启动位姿测量装置采集初始状态图像并对图像进行预处理操作。接着利用目标检测模型获取特征点图像坐标并基于立体匹配技术获取特征点在相机坐标系下的三维坐标。然后求解相机坐标系与世界坐标系的旋转、平移矩阵，并获取俯仰角α0，偏航角β0和横滚角γ0作为初始姿态角。同时可利用全站仪设备获取特征点的真实视觉坐标以校正装置初始姿态误差。随着自移机尾或顺槽皮带机的移动二者位姿发生改变，本装置采集状态变化后图像进行图像处理并求解相机坐标系和世界坐标系刚体变换关系，获取状态变化后姿态角α1、β1和γ1。初始姿态角和状态变换后姿态角的差值Δα、Δβ和Δγ即为自移机尾与顺槽皮带机姿态角变化情况。由于图像模糊和噪声会使得视觉特征点定位存在误差，进而导致位姿解算误差。而本实施例基于3D-3D的位姿测量算法利用特征点空间分布特点提升视觉特征点图像坐标检测精度，并通过迭代抑制异常数据和图像噪声对位姿解算的影响，极大提升了自移机尾与顺槽皮带机位姿测量位姿测量精度。
综上，本实施例提供了一种矿井下自移机尾与顺槽皮带机位姿测量装置，在安装好LED投射灯和反射标靶后，利用双目相机获取反射标靶图像并确定视觉特征点世界坐标。利用数据处理系统对反射标靶图像进行亮度检测与基于照度图优化的图像亮度增强，接着进行自适应对比度增强以突出图像颜色和形状特征，最后还要对图像进行滤波去噪处理。然后基于改进的轻量化YOLOv5目标检测模型识别图像中圆形并将检测框中心点作为圆形中点获取视觉特征点图像坐标。同时基于双目立体匹配技术进一步获取视觉特征点在相机坐标系下的三维坐标。然后基于3D-3D的位姿测量算法求得相机坐标系和世界坐标系的旋转平移矩阵，并转换为该状态下自移机尾与顺槽皮带机的俯仰角、偏航角和横滚角。同时记录初始状态自移机尾与顺槽皮带机的姿态角，以求得该状态下自移机尾与顺槽皮带机的俯仰角、偏航角和横滚角的变化情况。
本实施例设计的位姿测量装置简单、智能化水平高，综合图像处理方法、深度学习模型和位姿求解技术，可实现在复杂环境下自移机尾与顺槽皮带机位姿的精确测量，具有测量装置简单、计算精度高、方法鲁棒性好的优点。
第二实施例
本实施例提供了一种利用上述的矿井下自移机尾与顺槽皮带机位姿测量装置实现的矿井下自移机尾与顺槽皮带机位姿测量方法，该方法包括：
对双目相机进行标定，并确定反射标靶中的视觉特征点的世界坐标；
利用LED投射光源向反射标靶投射自然光，然后利用双目相机对反射标靶进行拍摄，获取标靶图像，并将标靶图像输送至数据处理系统；
利用所述数据处理系统基于所述双目相机采集的标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息，以及相比前一状态的位姿变化情况。
本实施例的矿井下自移机尾与顺槽皮带机位姿测量方法与上述的矿井下自移机尾与顺槽皮带机位姿测量装置相对应；其中，本实施例的矿井下自移机尾与顺槽皮带机位姿测量方法中的各流程步骤与上述的矿井下自移机尾与顺槽皮带机位姿测量装置中的各功能模块所实现的功能一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，如图7所示。该电子设备以通用计算设备形式表现。其包括但不限于：一个或多个处理器，存储器，网络适配器，I/O接口和连接不同系统组件的组线。总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器和/或高速缓存存储器。
处理器通过运行存储在存储器中的程序，从而执行各种功能应用以及自移机尾姿态检测，例如实现图像预处理以及自移机尾姿态检测方法。计算机设备也可以与一个或多个外部设备(例如键盘、显示器、双目相机等)通信，还可与一个或者多个使得用户能与该计算机设备交互的设备通信。这种通信可以通过输入/输出(I/O)接口进行。并且，计算机设备还可以通过网络适配器与一个或者多个网络(例如局域网、广域网和/或公共网络，例如因特网)通信。如图7所示，网络适配器通过总线与设备的其它模块通信。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述装置包括：双目相机、LED投射光源、反射标靶以及数据处理系统；其中，
所述双目相机固定安装在自移机尾上，所述LED投射光源安装在所述双目相机的后方，所述双目相机和所述LED投射光源的安装方向均朝向顺槽皮带机；所述反射标靶安插在顺槽皮带机侧方；所述LED投射光源用于向反射标靶投射自然光，所述双目相机用于采集获取标靶图像，并输送至所述数据处理系统；
所述数据处理系统用于基于所述双目相机采集的标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息，以及相比前一状态的位姿变化情况。
2.如权利要求1所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述反射标靶通过高度可调节的伸缩支架与顺槽皮带机可拆卸连接。
3.如权利要求1所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述反射标靶由有机放射发光材料制成，当向所述反射标靶投射自然光光源时，所述反射标靶会根据自身颜色显示不同颜色；
所述反射标靶整体为正方形并在其中包含五个具备预设颜色和形状特征的圆形，圆形中心点为待识别的视觉特征点；其中，五个圆形的位置约束关系为：其中四个圆形分别位于反射标靶四个角上，剩余一个圆形位于反射标靶的中心。
4.如权利要求3所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述数据处理系统包括图像预处理模块、特征获取模块和位姿求解模块；
所述图像预处理模块用于对标靶图像进行预处理；
所述特征获取模块用于对预处理后的标靶图像进行特征提取，识别图像中的反射标靶区域以及获取视觉特征点的图像坐标；
所述位姿求解模块用于基于双目立体匹配技术获取视差图像，并结合视觉特征点的图像坐标和预先标定出的双目相机内参，求得视觉特征点在相机坐标系下的相机坐标；然后基于视觉特征点的相机坐标和视觉特征点在世界坐标系下的世界坐标，求得自移机尾与皮带机位姿信息以及位姿变化情况。
5.如权利要求4所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述相机坐标系是以相机光心为原点，垂直于图像平面的光轴为Z轴，X轴和Y轴平行于图像平面的坐标系；
所述世界坐标系是物体点的三维世界坐标；其构建方式为：以每节顺槽皮带机上固定一点为原点，依据右手坐标系原则建立世界坐标系，其Z轴指向自移机尾反方向；其中，相机坐标系和世界坐标系分别随着自移机尾和顺槽皮带机移动而发生变化；且相机坐标系与自移机尾位姿关系不发生变化，世界坐标系与顺槽皮带机位姿关系不发生变化，因此某一状态下相机坐标系与世界坐标系的旋转平移关系即代表该状态下自移机尾与顺槽皮带机的位姿关系。
6.如权利要求4所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述图像预处理模块具体用于：
对标靶图像进行亮度检测，判断是否需要进行图像亮度增强处理；
当需要进行图像亮度增强处理时，首先对标靶图像进行亮度增强处理，然后对完成亮度增强处理的图像进行自适应直方图均衡化和自适应中值滤波；
当不需要进行图像亮度增强处理时，直接对标靶图像进行自适应直方图均衡化，以增强图像对比度，然后对图像进行自适应中值滤波，以提升图像质量。
7.如权利要求6所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述对标靶图像进行亮度增强处理，包括：
采用基于照度图优化的亮度增强方法对标靶图像进行亮度增强处理；其中，在采用基于照度图优化的亮度增强方法时，通过优化最小二乘损失和一个约束条件来获取一个优化后照度图：
式中：为初始照度图；w为惩罚项；/>和||·||1分别表示Frobenius范数和L1范数；W为图像关于像素点的权重矩阵，由标准差为二维高斯核计算得到；/>为Hadamard积；/>为一阶导数滤波器；T为优化后照度图；
增广朗格朗日公式将约束条件转化为目标函数中的乘子项，以通过优化目标函数的方式求解问题；将上式作为岭回归问题构建增广朗格朗日函数如下：
式中：T为优化后照度图；作为约束条件；Z为拉格朗日乘子；<,>为内积运算；μ为惩罚因子；接着使用交替方向乘法的方法将问题分解为T,G,Z优化的子问题，并通过迭代优化计算出最优函数解，从而获取优化后照度图。
8.如权利要求4所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述特征获取模块具体用于：
对MobileNetv3网络结构进行改进，去除其中通道注意力模块缩放通道，采用全局平均池化得到和特征图通道数相同的通道注意向量，然后通过一维卷积完成跨通道间的信息交互，得到无降维MobileNetv3模块；然后在YOLOv5网络的主干网络引入所述无降维MobileNetv3模块，得到改进后的YOLOv5网络；
对改进后的YOLOv5网络进行训练；
利用训练后的YOLOv5网络对预处理后的标靶图像进行特征提取，识别图像中的反射标靶区域；取检测框中心点作为视觉特征点，获取其图像坐标。
9.如权利要求5所述的矿井下自移机尾与顺槽皮带机位姿测量装置，其特征在于，所述位姿求解模块具体用于：
利用反射标靶上外围四个圆形内部视觉特征点的世界坐标、对应的图像坐标和相机内参矩阵，求解反射标靶平面和图像平面之间的平面单应性估计；
利用单应性矩阵和世界坐标点求解视觉特征点的图像坐标点，并通过视觉特征点位置约束关系对图像坐标点进行优化，获取更加精确的图像坐标；
基于双目立体匹配技术获取视差图像，并结合视觉特征点的图像坐标以及预先标定出的双目相机内参，求得视觉特征点在相机坐标系下的三维相机坐标；
将位姿测量问题转换为利用两组3D点求解相机坐标系和世界坐标系的刚体变换关系，并利用迭代最近点算法解算相机坐标系和世界坐标系的刚体变换关系，得到自移机尾与皮带机位姿信息，以及相比前一状态的位姿变化情况。
10.一种利用如权利要求1～9任一项所述的矿井下自移机尾与顺槽皮带机位姿测量装置实现的矿井下自移机尾与顺槽皮带机位姿测量方法，其特征在于，所述矿井下自移机尾与顺槽皮带机位姿测量方法包括：
对双目相机进行标定，并确定反射标靶中的视觉特征点的世界坐标；
利用LED投射光源向反射标靶投射自然光，然后利用双目相机对反射标靶进行拍摄，获取标靶图像，并将标靶图像输送至数据处理系统；
利用所述数据处理系统基于所述双目相机采集的标靶图像，求解出自移机尾与顺槽皮带机的当前位姿信息，以及相比前一状态的位姿变化情况。
CN202311262251.2A 2023-09-27 2023-09-27 一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法 Pending CN117405039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311262251.2A CN117405039A (zh) 2023-09-27 2023-09-27 一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311262251.2A CN117405039A (zh) 2023-09-27 2023-09-27 一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法

Publications (1)

Publication Number Publication Date
CN117405039A true CN117405039A (zh) 2024-01-16

Family

ID=89489934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311262251.2A Pending CN117405039A (zh) 2023-09-27 2023-09-27 一种矿井下自移机尾与顺槽皮带机位姿测量装置及方法

Country Status (1)

Country Link
CN (1) CN117405039A (zh)

Similar Documents

Publication Publication Date Title
US11615709B2 (en) Image generating apparatus, image generating method, and recording medium
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
CN110799991B (zh) 用于使用卷积图像变换执行同时定位和映射的方法和系统
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
US8831337B2 (en) Method, system and computer program product for identifying locations of detected objects
CN105279372B (zh) 一种确定建筑物高度的方法和装置
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US11780465B2 (en) System and method for free space estimation
US10679369B2 (en) System and method for object recognition using depth mapping
Zuo et al. Devo: Depth-event camera visual odometry in challenging conditions
CN109919026B (zh) 一种水面无人艇局部路径规划方法
Lee et al. An intelligent depth-based obstacle detection system for visually-impaired aid applications
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
WO2023146241A1 (en) System and method for generating a three-dimensional photographic image
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
CN112949452B (zh) 一种基于多任务共享网络的机器人弱光环境抓取检测方法
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN112561996A (zh) 一种自主水下机器人回收对接中目标检测方法
JP2011209896A (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
CN116883897A (zh) 一种低分辨率目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination