CN114893198A - 基于双目视觉的掘进机的工作面识别及控制方法及装置 - Google Patents

基于双目视觉的掘进机的工作面识别及控制方法及装置 Download PDF

Info

Publication number
CN114893198A
CN114893198A CN202210502665.7A CN202210502665A CN114893198A CN 114893198 A CN114893198 A CN 114893198A CN 202210502665 A CN202210502665 A CN 202210502665A CN 114893198 A CN114893198 A CN 114893198A
Authority
CN
China
Prior art keywords
heading machine
area
information
point cloud
cutting surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210502665.7A
Other languages
English (en)
Inventor
黄明阳
刘洋
刘懿锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Heavy Equipment Co Ltd
Original Assignee
Sany Heavy Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Heavy Equipment Co Ltd filed Critical Sany Heavy Equipment Co Ltd
Priority to CN202210502665.7A priority Critical patent/CN114893198A/zh
Publication of CN114893198A publication Critical patent/CN114893198A/zh
Priority to PCT/CN2022/117752 priority patent/WO2023216479A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E21—EARTH DRILLING; MINING
    • E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D9/00—Tunnels or galleries, with or without linings; Methods or apparatus for making thereof; Layout of tunnels or galleries
    • E21D9/10—Making by using boring or cutting machines
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH DRILLING; MINING
    • E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D9/00—Tunnels or galleries, with or without linings; Methods or apparatus for making thereof; Layout of tunnels or galleries
    • E21D9/10—Making by using boring or cutting machines
    • E21D9/108—Remote control specially adapted for machines for driving tunnels or galleries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Geochemistry & Mineralogy (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Earth Drilling (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于双目视觉的掘进机的工作面识别及控制方法和装置，通过双目视觉技术确定截割面区域和堆料区域分别对应的状态信息，再根据截割面区域和堆料区域分别对应的状态信息，确定掘进机待执行的目标任务、以及目标任务对应的目标位置，再将掘进机在双目视觉追踪下，从初始位置引导至与截割面区域或堆料区域对应的目标位置，进而实现双目视觉技术对位于巷道内的与截割面区域或堆料区域对应的目标任务的识别和定位，再通过引导掘进机移动至目标位置，使掘进机执行目标任务，并在执行完目标任务后，使掘进机环境地图信息控制掘进机从目标位置沿移动轨迹移动至初始位置。

Description

基于双目视觉的掘进机的工作面识别及控制方法及装置
技术领域
本发明涉及掘进机技术领域，尤其涉及一种基于双目视觉的掘进机的工作面识别及控制方法及装置。
背景技术
目前，智能掘进机的工作面会存在截割平面不平整、轮廓成型不佳、两侧堆料严重等问题，影响掘进机的自动截割工艺，此时，需要掘进机移动至目标区域进行处理。例如：在智能掘进机自动截割期间，会存在部分落料无法被掘进机底部扫料装置清理干净的情况。而随着截割工作持续进行，工作面两侧会积累一定的堆料区域，会阻碍截割头运动与掘进机前进，此时就需要人工介入，手动收料，这样就会降低掘进机的自动化率与工作效率。
发明内容
本发明提供一种基于双目视觉的掘进机的工作面识别及控制方法及装置，可实现双目视觉技术对位于巷道内的截割面区域和堆料区域的识别和定位，再通过引导掘进机移动至截割面区域和/或堆料区域，完成掘进机对截割面区域进行截割和/或堆料区域进行收料。
第一方面，提供了一种基于双目视觉的掘进机的工作面识别及控制方法，包括：
根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；
根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
进一步的，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，所述根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息，包括：
根据所述巷道内的双目视觉图像，获取工作面的点云信息；
根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离；
根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息；
根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息；
所述根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置，包括：
根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；
根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。
进一步的，所述根据所述巷道内的双目视觉图像，获取工作面的点云信息，包括：
根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；
对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息；
所述根据所述工作面的点云信息，将所述截割面区域和堆料区域分离，包括：
根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据；
将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集；
将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图；
基于采集到的所述深度图上的图标签数据，训练语义分割模型；
基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。
进一步的，所述根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息，包括：
将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；
根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息；
所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，包括：
将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；
根据所述堆料区域的实际空间点云数据，得到所述堆料区域对应的第二位置信息。
进一步的，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，包括：
通过固定在所述掘进机两侧的双目摄像头，得到所述截割面区域的实时点云数据；
根据所述堆料区域的实时点云数据，计算所述掘进机与所述截割面区域之间的相对位置，实现对所述掘进机的移动追踪。
进一步的，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹，包括：
获取所述掘进机的本体区域和初始转角；其中，所述本体区域为所述掘进机的机身覆盖区域；
根据所述掘进机的本体区域，设定随所述掘进机移动的虚拟区域；
根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到侧壁时，引导所述掘进机旋转移动，直至所述掘进机移动至所述目标位置；
根据引导所述掘进机沿所述初始转角方向直行的直行轨迹、以及所述掘进机旋转移动的旋转轨迹，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的移动轨迹；
根据所述双目视觉获得的所述掘进机在移动过程中的双目视觉图像，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的环境地图信息。
进一步的，所述引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到所述侧壁时，根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机旋转移动，直至所述掘进机移动至所述堆料区域所在目标位置，包括：
预设所述掘进机从所述初始位置移动至所述目标位置的移动轨迹的轨迹拐点数量；
若所述虚拟区域接触到所述侧壁，则根据所述初始转角和轨迹拐点数量，确定引导所述掘进机一次旋转移动的旋转角度。
第二方面，提供了一种基于双目视觉的掘进机的工作面识别及控制装置，包括：
状态信息获得模块，用于根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息；
目标任务确定模块，用于根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
导航模块，用于根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
第一控制模块，用于若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
第二控制模块，用于若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于双目视觉的掘进机的工作面识别及控制方法的步骤。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于双目视觉的掘进机的工作面识别及控制方法的步骤。
上述一种基于双目视觉的掘进机的工作面识别及控制方法、装置、计算机设备及存储介质所实现的方案中，通过双目视觉技术确定截割面区域和堆料区域分别对应的状态信息，再根据截割面区域和堆料区域分别对应的状态信息，确定掘进机待执行的目标任务、以及目标任务对应的目标位置，再将掘进机在双目视觉追踪下，从初始位置引导至与截割面区域或堆料区域对应的目标位置，进而实现双目视觉技术对位于巷道内的与截割面区域或堆料区域对应的目标任务的识别和定位，再通过引导掘进机移动至目标位置，使掘进机执行目标任务，并在执行完目标任务后，使掘进机环境地图信息控制掘进机从目标位置沿移动轨迹移动至初始位置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的一种基于双目视觉的掘进机的工作面识别及控制方法的一流程示意图；
图2是图1中步骤S101的一具体实施方式流程示意图；
图3是图2中步骤S1012的一具体实施方式流程示意图；
图4是图1中步骤S103的一具体实施方式流程示意图；
图5是掘进机从初始位置移动至堆料区域的目标位置的示意图；
图6是本发明一实施例中的一种基于双目视觉的掘进机的工作面识别及控制装置的一结构示意图；
图7是本发明一实施例中计算机设备的一结构示意图；
图8是本发明一实施例中计算机设备的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于双目视觉的掘进机的工作面识别及控制方法，请参阅图1所示，该包括如下步骤：
S101、根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息。
目前，现有的掘进机的定位导航多依赖于外界标定板或激光雷达，成本较高，且对标定要求较高；且目前的掘进机还未具有有效的井下的截割面区域和堆料区域的识别技术。介于此，本申请通过双目视觉技术对巷道进行识别，并获得截割面区域和堆料区域分别对应的状态信息，可实现对位于巷道内的截割面区域和堆料区域的识别和定位，同时，通过使用双目视觉技术对掘进机的位置进行惯导融合定位，还能够降低掘进机的定位导航成本。
这里，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，参见图2，所述根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息，包括：
S1011、根据所述巷道内的双目视觉图像，获取工作面的点云信息。
这里，将搭载多点红外均匀补光功能的双目摄像头分别固定在掘进机两侧，通过双目摄像头负责采集掘进机左前方、右前方的巷道内的工作面的双目图像。
在一些实施方式中，所述根据所述巷道内的双目视觉图像，获取工作面的点云信息，可以包括：根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息。
需要说明的是，通过SGM算法对双目图像进行计算，获得工作面所对应的稠密视差图，再对稠密视差图中的各个点云数据的空间坐标进行计算，获取稠密视差图中的工作面的点云信息。
这里，在稠密视差图中的点云信息包括稠密视差图中的点云数据的空间坐标，在对稠密视差图中的点云的空间坐标进行计算时，是根据公式
Figure BDA0003636034440000081
计算稠密视差图中的点云数据的空间坐标{xk,yk,zk}k＝1,2,…,K，其中，l为基线距离，disp为视差值，fx和fy为点云数据的像素焦距，xp和yp为点云数据的像素坐标。
S1012、根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离。
这里，通过根据工作面的点云信息，将截割面区域和堆料区域进行分离，以便于对分离出的截割面区域和堆料区域的状态信息分别进行评估，进而获得准确的截割面区域和堆料区域分别对应的状态信息。
在一些实施方式中，参见图3，所述根据所述工作面的点云信息，将所述截割面区域和堆料区域分离，包括：
S1012-1、根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据。
在计算截割面区域的点云信息对应的空间平面时，通过结合RANSAC与最小二乘法拟合截割面区域上的点云信息对应的空间平面方程的方法进行计算，具体计算方法如下：
假设截割面区域上的点云信息对应的空间平面方程为xrx+yry+zrz＝1，截割面区域的点云集合为{xk,yk,zk}k＝1,2,…,K，则有：
Figure BDA0003636034440000091
令
Figure BDA0003636034440000092
通过r＝(VTV)-1VT1，求解出截割面区域上的点云信息对应的空间平面，其中，r表示截割面区域上的点云信息对应的空间平面。
S1012-2、将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集。
由于，截割面区域和堆料区域之间具有一定的距离，因此，通过对截割面区域上的点云信息对应的空间平面分别计算，并将所获得的空间平面与阈值进行对比，即可使所获得的初始点集具有阈值范围内的堆料区域所对应的点云数据。
在本实施方式中，选取距离截割面区域上的点云信息对应的空间平面r在阈值范围内(0-1m)的点云数据作为初始点集P0。
S1012-3、将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图。
这里，是将初始点集P0内的各点云数据投影到截割面区域上的点云信息对应的空间平面r上，得到深度图。
S1012-4、基于采集到的所述深度图上的图标签数据，训练语义分割模型。
需要说明的是，本申请中的语义分割模型卫U-net语义分割模型。
S1012-5、基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。
这里，在将深度图中的截割面区域和所述堆料区域进行分离时，通过语义分割模型识别出深度图中的截割面区域与堆料区域，再将截割面区域与堆料区域内的点云数据分别重新投影至与截割面区域与堆料区域各自对应的物理坐标系中，即可得到截割面区域与堆料区域分别对应的实际空间点云数据，以完成截割面区域和堆料区域的分离。
S1013、根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息。
在一些实施方式中，所述根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息，包括：将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息。
这里，若边缘成型程度信息所具有程度值大于阈值，则确定此截割面区域的边缘需要进行截割处理；若平整程度信息所具有程度值大于阈值，则确定此截割面区域的截割面需要进行截割处理。
S1014、根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息。
需要说明的是，为了避免掘进机对高度较低的堆料区域进行收料，所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，还包括：根据堆料区域的高度信息与预设高度阈值进行对比，并将高度不低于预设高度阈值的堆料区域作为待收料的堆料区域。通过设定高度作为需要进行收料的堆料区域的评价指标，若检测到的堆料区域高度超过预设高度阈值,则视为该堆料区域超限，则执行后续收料步骤，否则将跳过收料工作。
所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，包括：将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；根据所述堆料区域的实际空间点云数据，得到所述堆料区域对应的第二位置信息。
S102、根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置。
需要说明的是，目标任务包括对截割面区域的截割任务和对堆料区域的收料任务中的至少一个，目标位置包括掘进机执行截割任务对应的截割面区域的位置和掘进机执行收料任务对应的堆料区域的位置。例如，目标任务为对巷道内的堆料区域的收料任务时，目标位置为堆料区域在巷道内的位置。
在一些实施方式中，所述根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置，可以包括：根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。
这里，在提取截割面区域的点云数据后，通过截割面区域的点云数据对截割面区域进行边缘轮廓拟合，再根据拟合结果与目标结果的偏差评价截割面区域的边缘成型程度，进而获得截割面区域的边缘成型程度信息；计算截割面区域的点云数据到截割面区域上的点云信息对应的一空间平面r距离的均值和方差，通过均值和方差综合评价截割面区域的平整程度，进而获得截割面区域的平整程度信息。
S103、根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹。
需要说明的是，在引导掘进机从初始位置移动至堆料区域的目标位置时，设在掘进机上的用于驱动掘进机移动的液压马达根据双目视觉对巷道内截割面区域和堆料区域的探测信息使掘进机从初始位置移动至堆料区域的目标位置。
这里，通过双目视觉对掘进机的移动进行实时追踪，可确定掘进机在移动过程中的位置，并根据追踪获得的掘进机的位置，对掘进机从初始位置移动至所述堆料区域的目标位置的移动进行引导，即为当追踪到的掘进机的位置偏离向目标位置移动时，则实时引导掘进机的移动，以保证掘进机移动到堆料区域所在的目标位置。
在一些实施方式中，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，包括：通过固定在所述掘进机两侧的双目摄像头，得到所述截割面区域的实时点云数据；根据所述堆料区域的实时点云数据，计算所述掘进机与所述截割面区域之间的相对位置，实现对所述掘进机的移动追踪。
通过固定在掘进机两侧的双目摄像头，获得掘进机在移动过程中的截割面区域的实时点云数据，不但能够实时得到掘进机与截割面区域之间的相对位置，实现对掘进机的移动追踪，还能够通过实时获取的双目视觉图像，便于绘制掘进机从初始位置移动至目标位置过程中的实时环境地图信息。
为了使掘进机准确的移动至堆料区域的目标位置，参见图4，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹，可以包括：
S1031、获取所述掘进机的本体区域和初始转角；其中，所述本体区域为所述掘进机的机身覆盖区域。
参见图5，堆料区域位于图中左侧，S0区域为掘进机的本体区域，θ0为掘进机的初始转角。这里，初始转角即为掘进机从初始位置向堆料区域的目标位置移动开始时，掘进机所移动的初始转角。
S1032、根据所述掘进机的本体区域，设定随所述掘进机移动的虚拟区域。
图5中的S1区域为根据掘进机的本体区域设定的虚拟区域，这里，虚拟区域可随掘进机移动，虚拟区域的宽度大于本体区域的宽度，且虚拟区域的宽度选择可实现掘进机到达不同终点位置。
S1033、根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到侧壁时，引导所述掘进机旋转移动，直至所述掘进机移动至所述目标位置。
可以理解为，先引导掘进机旋转移动至初始转角θ0，再引导掘进机延初始转角方向直行，通过设在掘进机上的双目摄像头实时检测S1区域是否接触到侧壁的侧壁(即是否检测到点云进入S1区域)，当S1区域接触到侧壁的侧壁时，引导掘进机旋转，直至掘进机的偏转角度为0，此时，掘进机直行达到工作面侧方堆料区域所在的目标位置。
此外，通过双目视觉对虚拟区域的移动进行实时追踪，可确定掘进机在移动过程中的位置，并根据追踪获得的掘进机的位置，对掘进机从初始位置移动至堆料区域的目标位置的移动进行实时引导。
作为优选的，所述引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到所述侧壁时，根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机旋转移动，直至所述掘进机移动至所述堆料区域所在目标位置，包括：预设所述掘进机从所述初始位置移动至所述目标位置的移动轨迹的轨迹拐点数量；若所述虚拟区域接触到所述侧壁，则根据所述初始转角和轨迹拐点数量，确定引导所述掘进机一次旋转移动的旋转角度。
这里，预设的轨迹拐点数量为n，当虚拟区域接触到侧壁时，引导掘进机旋转移动的旋转角度为θ0/n。
S1034、根据引导所述掘进机沿所述初始转角方向直行的直行轨迹、以及所述掘进机旋转移动的旋转轨迹，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的移动轨迹。
S1035、根据所述双目视觉获得的所述掘进机在移动过程中的双目视觉图像，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的环境地图信息。
这里，在引导掘进机移动过程中，通过双目摄像头采集ORB特征点，实时绘制特征点地图并通过BA优化地图。
S104、若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务。
需要说明的是，掘进机上设有用于驱动掘进机整体移动的液压马达，用于对截割面区域进行截割的截割机构、以及用于对堆料区域进行收料的收料机构。在掘进机在液压马达的驱动下移动至目标位置时，则控制掘进机的收料机构对堆料区域进行收料。
这里，当目标任务为对巷道内的堆料区域的收料任务，目标位置为堆料区域在巷道内的位置时，当掘进机移动至目标位置后，收料机构对堆料区域的堆料进行收料，直至堆料的高度小于与其对应的阈值，停止收料机构对堆料的收料；当目标任务为对截割面区域的截割任务，目标位置为截割面区域的位置时，当掘进机移动至目标位置后，截割机构截割面区域进行截割；这里，在截割面区域的边缘需要截割处理时，截割机构对截割面区域的边缘进行截割处理，直至截割面区域的边缘成型程度值小于与其相对的阈值，停止截割机构对边缘的截割处理；在截割面区域的截割面需要截割处理时，截割机构对截割面区域的截割面进行截割处理，直至截割面区域的截割面的平整程度值小于与其相对的阈值，停止截割机构对截割面的截割处理。
S105、若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
在掘进机对堆料区域完成收料后，根据导航轨迹，反向引导掘进机移动，则可使掘进机从目标位置移动至初始位置；这里，还通过位于掘进机上的摄像头，实时采集掘进机在移动过程中的环境特征点，并将获得的环境特征与移动轨迹所带有的特征点地图进行匹配，进而实时获取掘进机在向初始位置移动过程中的实时位置。
本发明提供了一种基于双目视觉的掘进机的工作面识别及控制方法，与现有技术相比，本发明通过双目视觉技术确定截割面区域和堆料区域分别对应的状态信息，再根据截割面区域和堆料区域分别对应的状态信息，确定掘进机待执行的目标任务、以及目标任务对应的目标位置，再将掘进机在双目视觉追踪下，从初始位置引导至与截割面区域或堆料区域对应的目标位置，进而实现双目视觉技术对位于巷道内的与截割面区域或堆料区域对应的目标任务的识别和定位，再通过引导掘进机移动至目标位置，使掘进机执行目标任务，并在执行完目标任务后，使掘进机环境地图信息控制掘进机从目标位置沿移动轨迹移动至初始位置。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于双目视觉的掘进机的工作面识别及控制装置，如图6所示，该收料系统包括双目视觉定位模块、导航模块和控制。各功能模块详细说明如下：
状态信息获得模块61，用于根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息；
目标任务确定模块62，用于根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
导航模块63，用于根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
第一控制模块64，用于若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
第二控制模块65，用于若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
进一步的，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，所述状态信息获得模块61包括：
点云数据获取单元，用于根据所述巷道内的双目视觉图像，获取工作面的点云信息；
分离单元，用于根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离；
第一信息确定单元，用于根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息；
第二信息确定单元，用于根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息；
所述目标任务确定模块62包括：
目标任务确定单元，用于根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；
目标位置确定单元，用于根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。
进一步的，所述点云数据获取单元包括：
稠密视差图获取子单元，用于根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；
第一点云数据获取子单元，用于对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息；
所述分离单元包括：
第二点云数据获取子单元，用于根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据；
初始点集获取子单元，用于将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集；
深度图获取子单元，用于将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图；
语义分割模型训练子单元，用于基于采集到的所述深度图上的图标签数据，训练语义分割模型；
分离子单元，用于基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。
进一步的，所述第一信息确定单元包括：
第一实际空间点云数据获取单元，用于将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；
第一位置信息获取单元，用于根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息；
所述第二信息确定单元包括：
第二实际空间点云数据获取单元，用于将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；
第二位置信息获取单元，用于根据所述堆料区域的实际空间点云数据，得到所述堆料区域对应的第二位置信息。
进一步的，所述导航模块63包括：
实时点云数据获取单元，用于通过固定在所述掘进机两侧的双目摄像头，得到所述截割面区域的实时点云数据；
移动追踪单元，用于根据所述堆料区域的实时点云数据，计算所述掘进机与所述截割面区域之间的相对位置，实现对所述掘进机的移动追踪。
进一步的，所述导航模块63包括：
掘进机信息获取单元，用于获取所述掘进机的本体区域和初始转角；其中，所述本体区域为所述掘进机的机身覆盖区域；
虚拟区域设定单元，用于根据所述掘进机的本体区域，设定随所述掘进机移动的虚拟区域；
导航单元，用于根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到侧壁时，引导所述掘进机旋转移动，直至所述掘进机移动至所述目标位置；
移动轨迹绘制单元，用于根据引导所述掘进机沿所述初始转角方向直行的直行轨迹、以及所述掘进机旋转移动的旋转轨迹，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的移动轨迹；
环境地图信息绘制单元，用于根据所述双目视觉获得的所述掘进机在移动过程中的双目视觉图像，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的环境地图信息。
进一步的，所述导航单元包括：
轨迹拐点数量预设子单元，用于预设所述掘进机从所述初始位置移动至所述目标位置的移动轨迹的轨迹拐点数量；
旋转角度确定单元，用于若所述虚拟区域接触到所述侧壁，则根据所述初始转角和轨迹拐点数量，确定引导所述掘进机一次旋转移动的旋转角度。
本发明提供了一种基于双目视觉的掘进机的工作面识别及控制装置，与现有技术相比，本发明通过双目视觉技术确定截割面区域和堆料区域分别对应的状态信息，再根据截割面区域和堆料区域分别对应的状态信息，确定掘进机待执行的目标任务、以及目标任务对应的目标位置，再将掘进机在双目视觉追踪下，从初始位置引导至与截割面区域或堆料区域对应的目标位置，进而实现双目视觉技术对位于巷道内的与截割面区域或堆料区域对应的目标任务的识别和定位，再通过引导掘进机移动至目标位置，使掘进机执行目标任务，并在执行完目标任务后，使掘进机环境地图信息控制掘进机从目标位置沿移动轨迹移动至初始位置。
关于基于双目视觉的掘进机的工作面识别及控制装置的具体限定可以参见上文中对于基于双目视觉的掘进机的工作面识别及控制方法的限定，在此不再赘述。上述基于双目视觉的掘进机的工作面识别及控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双目视觉的掘进机的工作面识别及控制方法服务端侧的功能或步骤。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双目视觉的掘进机的工作面识别及控制方法客户端侧的功能或步骤
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；
根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
在一个实施例中，提供了另一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；
根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双目视觉的掘进机的工作面识别及控制方法，其特征在于，包括：
根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；
根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
2.根据权利要求1所述的控制方法，其特征在于，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，所述根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息，包括：
根据所述巷道内的双目视觉图像，获取工作面的点云信息；
根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离；
根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息；
根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息；
所述根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置，包括：
根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；
根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。
3.根据权利要求2所述的控制方法，其特征在于，所述根据所述巷道内的双目视觉图像，获取工作面的点云信息，包括：
根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；
对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息；
所述根据所述工作面的点云信息，将所述截割面区域和堆料区域分离，包括：
根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据；
将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集；
将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图；
基于采集到的所述深度图上的图标签数据，训练语义分割模型；
基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。
4.根据权利要求3所述的控制方法，其特征在于，所述根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息，包括：
将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；
根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息；
所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，包括：
将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；
根据所述堆料区域的实际空间点云数据，得到所述堆料区域对应的第二位置信息。
5.根据权利要求3所述的控制方法，其特征在于，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，包括：
通过固定在所述掘进机两侧的双目摄像头，得到所述截割面区域的实时点云数据；
根据所述堆料区域的实时点云数据，计算所述掘进机与所述截割面区域之间的相对位置，实现对所述掘进机的移动追踪。
6.根据权利要求1所述的控制方法，其特征在于，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹，包括：
获取所述掘进机的本体区域和初始转角；其中，所述本体区域为所述掘进机的机身覆盖区域；
根据所述掘进机的本体区域，设定随所述掘进机移动的虚拟区域；
根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到侧壁时，引导所述掘进机旋转移动，直至所述掘进机移动至所述目标位置；
根据引导所述掘进机沿所述初始转角方向直行的直行轨迹、以及所述掘进机旋转移动的旋转轨迹，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的移动轨迹；
根据所述双目视觉获得的所述掘进机在移动过程中的双目视觉图像，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的环境地图信息。
7.根据权利要求6所述的控制方法，其特征在于，所述引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到所述侧壁时，根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机旋转移动，直至所述掘进机移动至所述堆料区域所在目标位置，包括：
预设所述掘进机从所述初始位置移动至所述目标位置的移动轨迹的轨迹拐点数量；
若所述虚拟区域接触到所述侧壁，则根据所述初始转角和轨迹拐点数量，确定引导所述掘进机一次旋转移动的旋转角度。
8.一种基于双目视觉的掘进机的工作面识别及控制装置，其特征在于，包括：
状态信息获得模块，用于根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息；
目标任务确定模块，用于根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
导航模块，用于根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
第一控制模块，用于若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
第二控制模块，用于若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；
以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至7任一项所述的基于双目视觉的掘进机的工作面识别及控制方法的指令。
10.一种计算机可读存储介质，其特征在于，包括与车载导航装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成如权利要求1至7任一项所述的基于双目视觉的掘进机的工作面识别及控制方法。
CN202210502665.7A 2022-05-10 2022-05-10 基于双目视觉的掘进机的工作面识别及控制方法及装置 Pending CN114893198A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210502665.7A CN114893198A (zh) 2022-05-10 2022-05-10 基于双目视觉的掘进机的工作面识别及控制方法及装置
PCT/CN2022/117752 WO2023216479A1 (zh) 2022-05-10 2022-09-08 基于双目视觉的掘进机的工作面识别及控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210502665.7A CN114893198A (zh) 2022-05-10 2022-05-10 基于双目视觉的掘进机的工作面识别及控制方法及装置

Publications (1)

Publication Number Publication Date
CN114893198A true CN114893198A (zh) 2022-08-12

Family

ID=82722673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210502665.7A Pending CN114893198A (zh) 2022-05-10 2022-05-10 基于双目视觉的掘进机的工作面识别及控制方法及装置

Country Status (2)

Country Link
CN (1) CN114893198A (zh)
WO (1) WO2023216479A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310843A (zh) * 2023-05-16 2023-06-23 三一重型装备有限公司 煤岩识别方法、装置、可读存储介质和掘进机
WO2023216479A1 (zh) * 2022-05-10 2023-11-16 三一重型装备有限公司 基于双目视觉的掘进机的工作面识别及控制方法及装置
CN117152274A (zh) * 2023-11-01 2023-12-01 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
CN106761738B (zh) * 2016-12-15 2018-09-21 中国矿业大学 基于机器视觉可自动规划截割路径的悬臂式掘进机及方法
WO2019104739A1 (zh) * 2017-12-01 2019-06-06 深圳市沃特沃德股份有限公司 制约装置和自移动视觉机器人及其控制方法
CN110568448B (zh) * 2019-07-29 2021-04-27 浙江大学 一种硬岩隧道掘进机隧道底部积渣识别装置及其方法
CN114893198A (zh) * 2022-05-10 2022-08-12 三一重型装备有限公司 基于双目视觉的掘进机的工作面识别及控制方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023216479A1 (zh) * 2022-05-10 2023-11-16 三一重型装备有限公司 基于双目视觉的掘进机的工作面识别及控制方法及装置
CN116310843A (zh) * 2023-05-16 2023-06-23 三一重型装备有限公司 煤岩识别方法、装置、可读存储介质和掘进机
CN116310843B (zh) * 2023-05-16 2023-07-21 三一重型装备有限公司 煤岩识别方法、装置、可读存储介质和掘进机
CN117152274A (zh) * 2023-11-01 2023-12-01 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质
CN117152274B (zh) * 2023-11-01 2024-02-09 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质

Also Published As

Publication number Publication date
WO2023216479A1 (zh) 2023-11-16

Similar Documents

Publication Publication Date Title
CN114893198A (zh) 基于双目视觉的掘进机的工作面识别及控制方法及装置
EP3950235B1 (en) Self-propelled robot path planning method, self-propelled robot and storage medium
EP3886048A1 (en) Slam map joining method and system
JP6675448B2 (ja) 車両位置検出方法及び装置
US20190005667A1 (en) Ground Surface Estimation
CN111191600A (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN105486311A (zh) 室内机器人定位导航方法及装置
CN111474930B (zh) 一种基于视觉定位的循迹控制方法、装置、设备及介质
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
JP2022551717A (ja) 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
JP6747665B2 (ja) ロボット
CN110597265A (zh) 一种扫地机器人回充方法和装置
EP3839817A2 (en) Generating and/or using training instances that include previously captured robot vision data and drivability labels
CN116540726A (zh) 一种巡逻机器人智能避障方法、系统及介质
CN112388626B (zh) 机器人辅助导航方法
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN115147587A (zh) 一种障碍物检测方法、装置及电子设备
CN113325832B (zh) 一种可移动机器人避障方法以及可移动机器人
EP2394247B1 (de) Verfahren und vorrichtung zum betrieb eines videobasierten fahrerassistenzsystems in einem fahrzeug
RU2804654C9 (ru) Способ и устройство для управления проходческим комбайном на основе бинокулярного зрения
RU2804654C1 (ru) Способ и устройство для управления проходческим комбайном на основе бинокулярного зрения
DE102020129743A1 (de) Vorrichtung und verfahren zur vermessung, inspektion oder bearbeitung von objekten
CN113932825B (zh) 机器人导航路径宽度获取系统、方法、机器人及存储介质
CN111230883B (zh) 爬行焊接机器人返程方法、装置、机器人及储存介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination