CN116276886A - 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统 - Google Patents

一种基于手眼分离的隧道打孔机器人孔位定位方法及系统 Download PDF

Info

Publication number
CN116276886A
CN116276886A CN202310211613.9A CN202310211613A CN116276886A CN 116276886 A CN116276886 A CN 116276886A CN 202310211613 A CN202310211613 A CN 202310211613A CN 116276886 A CN116276886 A CN 116276886A
Authority
CN
China
Prior art keywords
punching
robot
tunnel
arm
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310211613.9A
Other languages
English (en)
Other versions
CN116276886B (zh
Inventor
蒋伟
李再强
张毅
王玮
陈飞龙
王忠明
郭闯
王雪纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Original Assignee
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway No9 Group Electrical Engineering Co ltd, China Railway No 9 Group Co Ltd filed Critical China Railway No9 Group Electrical Engineering Co ltd
Priority to CN202310211613.9A priority Critical patent/CN116276886B/zh
Publication of CN116276886A publication Critical patent/CN116276886A/zh
Application granted granted Critical
Publication of CN116276886B publication Critical patent/CN116276886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/02—Manipulators mounted on wheels or on carriages travelling along a guideway
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/20—Hydro energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及隧道打孔技术领域，具体涉及一种基于手眼分离的隧道打孔机器人孔位定位方法及系统。该方法包括：在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂，双眼视觉机械臂上包括第一摄像头和第二摄像头；获取初始的打孔场景图得到搜索模板；利用预设高度的打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板；调整双眼视觉机械臂，并利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；基于打孔机器臂与双眼视觉机械臂之间的距离、坐标信息和目标模板控制隧道打孔机器人上的打孔机器臂进行打孔。本发明使隧道打孔机器人能够高效且准确的进行隧道打孔。

Description

一种基于手眼分离的隧道打孔机器人孔位定位方法及系统
技术领域
本发明涉及隧道打孔技术领域，具体涉及一种基于手眼分离的隧道打孔机器人孔位定位方法及系统。
背景技术
在地铁隧道的施工过程中，为了在隧道侧壁安装线缆、管道和其他设备，需要在隧道侧壁钻大量的孔，因此要对打孔的位置进行精确的定位，需要打孔的位置的定位一旦出现偏差，对于后续的施工工艺会造成很大的影响。
目前的打孔方法大多都是采用人工定位、人工钻孔安装的方式进行，传统的利用人工在梯车上进行钻孔作业的方法效率低、成本高且对于施工人员具有一定的危险性，同时由于劳动强度大以及施工人员主观的因素，会使得孔位的定位不够准确。其中除了传统借助人工的经验对隧道壁打孔孔位进行定位的方法外，还有利用机器视觉识别技术的打孔机器人作业实现自动化打孔。
而现有的隧道打孔机器人中采集图像的摄像头通常都固定在用于打孔的机械臂的头部，但在打孔时会溅出大量灰尘，对采集的图像造成干扰，进而影响对需要打孔的位置的定位，且先通过视觉识别定位需要打孔的位置再钻孔，会耗费大量时间，影响批量打孔的效率。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于手眼分离的隧道打孔机器人孔位定位方法及系统，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于手眼分离的隧道打孔机器人孔位定位方法，该方法包括：
在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂；所述双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，其中双眼视觉机械臂上包括第一摄像头和第二摄像头；
利用第一摄像头获取初始的打孔场景图，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板；获取打孔机器臂调整到预设高度的打孔场景图，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板；
基于所述目标模板将双眼视觉机械臂调整到与打孔机器臂同一高度；利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔。
优选地，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板，包括：对初始的打孔场景图进行预处理，将预处理后的打孔场景图输入到目标检测模型中，输出打孔机器臂的目标框，所述打孔机器臂的目标框为搜索模板。
优选地，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板，包括：
将搜索模板和打孔场景图输入到打孔机器臂跟踪模型中，输出调整到预设高度的打孔机器臂的位置信息，所述位置信息为目标模板。
优选地，基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔，包括：利用目标模板将完成一次打孔的打孔机器臂调整到预设高度；基于打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板计算下一次打孔的移动距离；根据所述移动距离控制隧道打孔机器人移动到对应位置，控制打孔机器臂打孔。
优选地，利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息，包括：对隧道壁图像进行预处理，将预处理后的隧道壁图像输入定位模型，输出隧道壁图像中的凹槽的目标框；获取凹槽的目标框的中心点与隧道壁图像中心点之间的距离，选取距离隧道壁图像中心点最小的两个凹槽，两个凹槽中位于左侧的凹槽的目标框为定位目标框；根据所述定位目标框和所述预设高度获得需要打孔的位置的坐标信息。
本发明的另一个实施例提供了一种基于手眼分离的隧道打孔机器人孔位定位系统，该系统包括：
在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂；所述双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，其中双眼视觉机械臂上包括第一摄像头和第二摄像头；
目标模板获取模块，用于利用第一摄像头获取初始的打孔场景图，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板；获取打孔机器臂调整到预设高度的打孔场景图，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板；
定位模块，用于基于所述目标模板将双眼视觉机械臂调整到与打孔机器臂同一高度；利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
打孔模块，用于隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔。
本发明实施例至少具有如下有益效果：本发明中将摄像头和打孔的设备分别安装到两个机械臂上，分别为双眼视觉机械臂和打孔机器臂，其中两个机械臂在同一安装面上的同一水平直线上，中间间隔一定的距离，能够降低打孔机器臂在打孔时形成的尘土对于双眼视觉机械臂的影响，使得双眼视觉机械臂上的摄像头能够拍摄到质量更好的图像，能够更加准确的识别需要打孔的位置和调整打孔机器臂的位姿；在打孔机器臂打孔的同时，双眼视觉机械臂上安装的两个摄像头分别拍摄打孔场景图和隧道壁图像，能够同时进行工作，对传统的先识别后打孔的施工工艺进行了改进，提高打孔的工作效率；同时本发明中利用机器视觉的方法通过打孔场景图跟踪打孔机器臂，获得目标模板以及位置信息，利用隧道壁图像结合机器视觉中的算法能够更加准确的获取需要打孔的位置的坐标信息，在进行每一次打孔之前结合打孔机器臂位置信息、需要打孔的位置的坐标信息和目标模板，能够更加精确的控制打孔机器臂进行打孔，提高打孔的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明提供的一种基于手眼分离的隧道打孔机器人孔位定位方法的方法流程图。
图2为本发明提供的隧道打孔机器人的基本结构示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于手眼分离的隧道打孔机器人孔位定位方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于手眼分离的隧道打孔机器人孔位定位方法的具体方案。
实施例1：
本发明的主要应用场景为：在对隧道进行施工时，需要在隧道侧壁上打孔，方便进行后续的施工工艺，因此需要对打孔的位置进行准确的定位，同时提高打孔的效率。
请参阅图1，其示出了本发明实施例提供的一种基于手眼分离的隧道打孔机器人孔位定位方法的方法流程图，该方法包括以下步骤：
步骤S1：在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂，双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，其中双眼视觉机械臂上包括第一摄像头和第二摄像头。
首先，本发明分别将用来打孔的设备和用来拍摄图像的摄像头分别安装在了两个机械臂上，将两个机械臂分别称为打孔机器臂和双眼视觉机械臂，其中双眼视觉机械臂上安装有两个摄像头，分别为第一摄像头和第二摄像头，其中第一摄像头是用来检测打孔机器臂的实时状态的，从拍摄的图像中获取打孔机器臂的信息，从而进一步的控制打孔机器臂进行姿态调整，保证后续能够进行精确的打孔操作；双眼视觉机械臂上的第二摄像头对准的是隧道壁，用来拍摄隧道壁的图像，然后根据图像，去对孔位进行定位，找到需要打孔的位置，然后打孔机器臂进行打孔。
隧道打孔机器人的基本结构如图2所示，在隧道打孔机器人的基本结构示意图中，C09表示打孔机器臂，C07表示双眼视觉机械臂，C03表示工程车，打孔机器臂和双眼视觉机械臂被安装在工程车同一安装面，且为了打孔的方便，双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，实施者还可以根据所需要打孔的实际需要对两个机械臂的安装方法进行调整，且为了防止打孔机器臂上的钻头在钻孔时形成的粉尘影响双眼视觉机械臂上的摄像头工作，打孔机器臂与双眼视觉机械臂之间需要间隔一定的距离，该距离需要实施者根据打孔作业的实际情况进行调整，优选地，本实施例中打孔机器臂与双眼视觉机械臂之间的距离为r；C02表示隧道壁；C04表示轨道，在打孔过程中，工程车沿着轨道运动。
C05和C06分别表示第二摄像头和第一摄像头，第一摄像头是随动的，用来跟踪打孔机器臂，第二摄像头是用来拍摄隧道壁的图像，从而进行打孔孔位定位的；C08表示工控机，工程车上搭载双眼视觉机械臂和打孔机器臂，需要通过工控机进行信息通信，从而进行进一步的打孔操作；C01表示隧道壁凹槽，在地铁隧道中，隧道壁平行分布着多个不可打孔的凹槽，这些凹槽能够帮助定位需要打孔的位置。本发明中的手眼分离指的是将隧道打孔机器人中的打孔机器臂和摄像头分开来，彼此独立进行工作。
另外，需要说明的是，在本发明中需要建立三维直角坐标系，优选地，以打孔机器臂底座中心点为原点，轨枕平行方向为x轴，垂直地面方向为y轴，工程车移动方向为z轴建立坐标系，实施者也可以根据具体的施工场景调整坐标系的建立方法。
步骤S2，利用第一摄像头获取初始的打孔场景图，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板；获取打孔机器臂调整到预设高度的打孔场景图，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板。
在本发明实施例中，利用第一摄像头拍摄打孔场景图，其中打孔场景图中的内容包括打孔机器臂，需要从打孔场景图中将机械臂识别出来，然后获取其打孔机器臂的信息，在打孔的过程中，在一段隧道壁上所打的孔是相同高度的，也即是在隧道壁上打的一排孔高度是相同的，因此在开始打孔前需要基于所打孔的高度将打孔机器臂调整到预设高度，其中打孔的预设高度是根据隧道壁的盾构板的结构进行确定的。
需要说明的是打孔机器臂调整到的预设高度并不是所需要打的孔的高度，因为打孔机器臂是在一个在隧道横截面上以一个转动关节为定点进行360°转动的，与竖直方向上的直线有一定的夹角，打孔机器臂的预设高度需要根据所需要打的孔的高度进行求取，当打孔机器臂调整到预设高度后，此时打孔机器臂上的钻头刚好能够对准需要钻孔的位置进行钻孔，预设高度的具体的求取方法为公知技术，在此不再进行赘述。
首先，在未将打孔机器臂调整到预设高度前，先利用双眼视觉机械臂上的第一摄像头拍摄初始的打孔场景图，此时打孔机器臂的高度还未进行调整，对初始的打孔场景图进行预处理，包括对初始的孔场景图进行降噪处理，需要说明的是，对图像进行降噪处理为公知技术，在此不做过多的赘述，优选地，本发明实施例中采用空间域滤波的方法进行降噪，在实际工作过程中，实施人员可以根据实际情况选择合适的滤波算法进行降噪，进一步的对降噪后的打孔场景图进行对比度增强，获得进行预处理后的初始的打孔场景图。
进一步的，将预处理后的初始的打孔场景图输入到端到端的目标检测模型中，进行特征提取，优选地，本发明中的目标检测模型为DETR(Detection Transformer目标检测)模型，将图像输入到DETR模型中进行特性提取，整体的流程为：首先通过DETR模型中的Backbone(主干网络)提取隧道打孔场景图像特征，然后与Positional Encoding(位置编码)相加，送入Encoder(编码器)得到物体编码后的全局特征，接着送入Decoder(解码器)得到预测检测框，最后通过Detect Header得到最终的检测框及其目标的分类结果。
在本发明的DETR模型中，主干网络为ResNet-50神经网络，利用ResNet-50神经网络对预处理后的打孔场景图进行特征提取，获取图片特征图，选取不同层的图片特征图输入至Transformer模型；将得到的特征与Positional Encoding相加，送入Transformer模型中的Encoder得到物体编码后的全局特征，输出融合特征图至Transformer模型中的Decoder；Transformer模型中的Decoder对融合特征图进行解码处理，最后通过DetectHeader得到最终的检测框及其分类，也即是输出识别到的打孔机器臂的目标框和位置信息R1(x1，y1，w1，h1)，将此时通过初始的打孔场景图识别到的打孔机器臂的目标框作为搜索模板，用于在后续的打孔场景图中搜索打孔机器臂。
需要说明的是，其中R1表示未开始打孔前调整到预设高度的打孔机器臂的位置信息，因为此时初始的打孔场景图是能够投影到xoy平面的，且在调整打孔机器臂时不必考虑三维直角坐标系中z轴的坐标的变化，因此在本发明中将在打孔场景图中检测到的打孔机器臂的目标框的位置信息设置为只有目标框中心点的x轴坐标、v轴坐标、目标框的宽和目标框的高；(x1，y1，w1，h1)中的x1和y1表示目标框的中心点的x轴坐标和y轴坐标，w1和h1分别表示目标框的宽和高。
然后，将打孔机器臂调整到预设高度，由于打孔施工的原因，在打孔过程中打孔机器臂可能会发生抖动，一个孔打完后其高度可能会发生变化，与预设高度有偏差，此时就需要对打孔机器臂的高度进行修正了。
因此需要通过第一摄像头获取打孔机器臂调整到预设高度后的打孔场景图，在打孔场景图中搜索打孔机器臂，具体为：
将通过检测模型获得的初始的打孔场景图中的打孔机器臂的目标框作为搜索模板，通过打孔机器臂跟踪模型对打孔过程中的打孔机器臂进行跟踪，优选地，本发明实施例中选用SiamFC模型对打孔过程中的打孔机器臂进行跟踪，实施者还可以根据实际的实施情况选择其他模型进行跟踪；
得到搜索模板后，生成搜索区域，并且在固定的尺寸进行搜索；然后分别对搜索模板和搜索区域进行特征提取，利用卷积神经网络提取特征，并共享权值；通过对搜索模板和搜索区域特征对比，进行相似度度量，生成响应图，给出每个位置和模板图像的相似度；最后选取相似度最大的搜索框，此时相似度最大的搜索框就是识别出的调整到预设高度的打孔机器臂。
利用SiamFC模型对打孔过程中的打孔机器臂进行跟踪具体的步骤为：将得到的搜索模板调整为127*127像素值大小，用z表示；生成搜索区域，并且在固定的尺寸进行搜索，将其调整为255*255的像素，用s表示；分别对搜索模板和搜索区域进行特征提取，利用卷积神经网络提取特征，并共享权值，分别生成尺寸为6*6*128和22*22*128的特征图
Figure BDA0004112900820000061
和
Figure BDA0004112900820000062
通过密集滑动窗口的移动，将特征图
Figure BDA0004112900820000063
和/>
Figure BDA0004112900820000064
做特征对比，每次互相关操作会得到一个相似度得分，将其映射到score map(评分图)中，最后取score map中取值最大处为目标位置，特征对比公式如下：
Figure BDA0004112900820000071
其中，z表示搜索模板，s表示搜索区域，b1表示score map中取值的偏置项；然后生成响应图；选取相似度最大的搜索框，输出目标框和位置信息R2(x2,y2,w2,h2)，通过得到相似度最大的搜索框，来确定打孔场景图中调整到预设高度的打孔机器臂的信息，将此时得到的调整到预设高度的打孔机器臂的位置信息作为目标模板，用于后续对打孔机器臂进行调整。
另外，由于得到了搜索模板，在后续的打孔过程中，结合搜索模板利用SiamFC模型对打孔机器臂进行实时的跟踪，每当打完一个孔后，打孔机器臂的高度可能会发生变化，因此当发现其与目标模板的位置信息有偏差时，需要及时的对打孔机器臂的位姿进行调整，使其能够更加精确的打孔。
步骤S3，基于目标模板将双眼视觉机械臂调整到与打孔机器臂同一高度；利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息。
利用得到的目标模板对双眼视觉机械臂进行调整，将其调整到与打孔机器臂同一高度，使双眼视觉机械臂上的第一摄像头能够对准打孔机器臂，在打孔的过程中，能够精确的跟踪打孔机器臂的变化，目标模板中调整好高度的打孔机器臂的高度y2与此时第一摄像头的视觉中心点的高度y0的差值就是双眼视觉机械臂所要移动的距离，同时，在双眼视觉机械臂进行调整后，也能使第二摄像头能够精确的拍摄隧道壁的图像，进行更加精确的打孔定位。
利用第二摄像头拍摄隧道壁图像，建立定位模型，优选地，本实施例中的定位模型为YOLOv5模型，首先对第二摄像头获取的隧道壁图像进行预处理操作，其预处理操作与对初始的打孔场景图的预处理方式一致；接着通过YOLOv5模型中的骨干网络从预处理后的隧道壁图像中提取隧道壁的特征；通过颈部网络将骨干网络提取的信息整合，进行特征融合；获得各个尺度的目标检测的预测结果；最后输出图像中所有不可打孔凹槽的目标框和位置信息Pn(zn,yn,wn,hn)。
需要说明的是此时拍摄的隧道壁图像是能够映射到yoz平面上的，此时对于需要打孔的位置的定位并不需要x轴的坐标，因此只需要y轴和z轴的坐标就可以去定位需要打孔的位置，且孔位的高度都是确定的，因此此时定位时最重要的是z轴的坐标。
同时获得图像中心点的坐标P0(z0,y2)，计算凹槽的目标框的中心点的坐标与图像中心点的坐标的距离，选取距离隧道壁图像中心点最近的两个凹槽的目标框，其中选取两个凹槽的目标框中位于左侧的目标框，记为定位目标框，在距离定位目标框右侧的边的三分之一处确定需要打孔的位置的z轴坐标，例如两个目标框之间的距离为9厘米，距离定位目标框右侧的边的三分之一处也即是距离距离定位目标框右侧的边的3厘米处，另外由于打孔的高度是已知的，因此可以得到需要打孔的位置的坐标信息，其中需要打孔的位置的坐标信息为(za,ya)。
步骤S4，基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制打孔机器臂进行打孔。
在打孔的过程中，需要控制打孔机器臂的高度以及工程车移动的距离，其中打孔机器臂的高度是根据目标模板进行控制的；工程车的移动距离需要根据打孔机器臂与双眼视觉机械臂之间的距离、坐标信息和隧道壁图像的中心点确定。
假设打孔机器臂与视觉机械臂的相对距离为r，也即是需要打孔的位置与打孔机器臂在轨道方向的相对坐标w＝r-(z0-za)。隧道打孔机器人需要移动w距离，移动到打孔的对应位置之后，打孔机器臂开始进行打孔，另外需要说明的是，打孔机机器臂在打完一次孔之后，需要通过第一摄像头跟踪其姿态的变化，如果其姿态有变化，需要根据目标模板对其姿态进行调整，使其在打孔过程中始终保持预设高度。
实施例2：
在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂；所述双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，其中双眼视觉机械臂上包括第一摄像头和第二摄像头；
目标模板获取模块，用于利用第一摄像头获取初始的打孔场景图，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板；获取打孔机器臂调整到预设高度的打孔场景图，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板；
定位模块，用于基于所述目标模板将双眼视觉机械臂调整到与打孔机器臂同一高度；利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
打孔模块，用于隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于手眼分离的隧道打孔机器人孔位定位方法，其特征在于，该方法包括：
在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂；所述双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，其中双眼视觉机械臂上包括第一摄像头和第二摄像头；
利用第一摄像头获取初始的打孔场景图，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板；获取打孔机器臂调整到预设高度的打孔场景图，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板；
基于所述目标模板将双眼视觉机械臂调整到与打孔机器臂同一高度；利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔。
2.根据权利要求1所述的一种基于手眼分离的隧道打孔机器人孔位定位方法，其特征在于，所述将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板，包括：对初始的打孔场景图进行预处理，将预处理后的打孔场景图输入到目标检测模型中，输出打孔机器臂的目标框，所述打孔机器臂的目标框为搜索模板。
3.根据权利要求1所述的一种基于手眼分离的隧道打孔机器人孔位定位方法，其特征在于，所述将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板，包括：
将搜索模板和打孔场景图输入到打孔机器臂跟踪模型中，输出调整到预设高度的打孔机器臂的位置信息，所述位置信息为目标模板。
4.根据权利要求1所述的一种基于手眼分离的隧道打孔机器人孔位定位方法，其特征在于，所述基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔，包括：利用目标模板将完成一次打孔的打孔机器臂调整到预设高度；基于打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板计算下一次打孔的移动距离；根据所述移动距离控制隧道打孔机器人移动到对应位置，控制打孔机器臂打孔。
5.根据权利要求1所述的一种基于手眼分离的隧道打孔机器人孔位定位方法，其特征在于，所述利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息，包括：对隧道壁图像进行预处理，将预处理后的隧道壁图像输入定位模型，输出隧道壁图像中的凹槽的目标框；获取凹槽的目标框的中心点与隧道壁图像中心点之间的距离，选取距离隧道壁图像中心点最小的两个凹槽，两个凹槽中位于左侧的凹槽的目标框为定位目标框；根据所述定位目标框和所述预设高度获得需要打孔的位置的坐标信息。
6.一种基于手眼分离的隧道打孔机器人孔位定位系统，其特征在于，在隧道打孔机器人的同一安装面上安装双眼视觉机械臂和打孔机器臂；所述双眼视觉机械臂和打孔机器臂的底座位于同一水平直线上，其中双眼视觉机械臂上包括第一摄像头和第二摄像头，包括：
目标模板获取模块，用于利用第一摄像头获取初始的打孔场景图，将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板；获取打孔机器臂调整到预设高度的打孔场景图，将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板；
定位模块，用于基于所述目标模板将双眼视觉机械臂调整到与打孔机器臂同一高度；利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
打孔模块，用于隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息；
基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔。
7.一种基于手眼分离的隧道打孔机器人孔位定位系统，其特征在于，所述将基于初始的打孔场景图识别的打孔机器臂的目标框，作为搜索模板，包括：对初始的打孔场景图进行预处理，将预处理后的打孔场景图输入到目标检测模型中，输出打孔机器臂的目标框，所述打孔机器臂的目标框为搜索模板。
8.一种基于手眼分离的隧道打孔机器人孔位定位系统，其特征在于，所述将通过打孔场景图和搜索模板获取的打孔机器臂的位置信息，作为目标模板，包括：
将搜索模板和打孔场景图输入到打孔机器臂跟踪模型中，输出调整到预设高度的打孔机器臂的位置信息，所述位置信息为目标模板。
9.一种基于手眼分离的隧道打孔机器人孔位定位系统，其特征在于，所述基于所述打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板控制隧道打孔机器人上的打孔机器臂进行打孔，包括：利用目标模板将完成一次打孔的打孔机器臂调整到预设高度；基于打孔机器臂与双眼视觉机械臂之间的距离、所述坐标信息和所述目标模板计算下一次打孔的移动距离；根据所述移动距离控制隧道打孔机器人移动到对应位置，控制打孔机器臂打孔。
10.一种基于手眼分离的隧道打孔机器人孔位定位系统，其特征在于，所述利用第二摄像头获取隧道壁图像，基于隧道壁图像获取需要打孔的位置的坐标信息，包括：对隧道壁图像进行预处理，将预处理后的隧道壁图像输入定位模型，输出隧道壁图像中的凹槽的目标框；获取凹槽的目标框的中心点与隧道壁图像中心点之间的距离，选取距离隧道壁图像中心点最小的两个凹槽，两个凹槽中位于左侧的凹槽的目标框为定位目标框；根据所述定位目标框和所述预设高度获得需要打孔的位置的坐标信息。
CN202310211613.9A 2023-03-07 2023-03-07 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统 Active CN116276886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310211613.9A CN116276886B (zh) 2023-03-07 2023-03-07 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310211613.9A CN116276886B (zh) 2023-03-07 2023-03-07 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统

Publications (2)

Publication Number Publication Date
CN116276886A true CN116276886A (zh) 2023-06-23
CN116276886B CN116276886B (zh) 2024-05-07

Family

ID=86814407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310211613.9A Active CN116276886B (zh) 2023-03-07 2023-03-07 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统

Country Status (1)

Country Link
CN (1) CN116276886B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117989865A (zh) * 2024-04-07 2024-05-07 苏州朗信智能科技有限公司 矿热炉出炉机器人及其开眼装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN103153553A (zh) * 2010-08-27 2013-06-12 Abb研究有限公司 视觉引导对准系统和方法
WO2016119829A1 (en) * 2015-01-28 2016-08-04 Abb Schweiz Ag Multiple arm robot system and method for operating a multiple arm robot system
US20200156255A1 (en) * 2018-11-21 2020-05-21 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN112223302A (zh) * 2020-12-17 2021-01-15 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103153553A (zh) * 2010-08-27 2013-06-12 Abb研究有限公司 视觉引导对准系统和方法
US20130147944A1 (en) * 2010-08-27 2013-06-13 Abb Research Ltd Vision-guided alignment system and method
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
WO2016119829A1 (en) * 2015-01-28 2016-08-04 Abb Schweiz Ag Multiple arm robot system and method for operating a multiple arm robot system
US20200156255A1 (en) * 2018-11-21 2020-05-21 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN111203871A (zh) * 2018-11-21 2020-05-29 福特全球技术公司 使用独立致动视觉系统的机器人操纵
CN112223302A (zh) * 2020-12-17 2021-01-15 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117989865A (zh) * 2024-04-07 2024-05-07 苏州朗信智能科技有限公司 矿热炉出炉机器人及其开眼装置

Also Published As

Publication number Publication date
CN116276886B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN105841687B (zh) 室内定位方法和系统
US7860276B2 (en) Image processing device and method
CN102656532B (zh) 用于移动机器人位置识别的地图的生成及更新方法
CN116276886B (zh) 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统
CN112116633B (zh) 一种矿井打钻计数方法
CN111829484B (zh) 基于视觉的目标距离测算方法
CN110532995B (zh) 基于计算机视觉的巷道掘进监测方法、装置及系统
CN113982690B (zh) 基于锚护作业的控制方法及装置、系统、掘锚护一体机
CA3136197C (en) Apparatus and method for locating tool joint
CN115877400A (zh) 基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法
CN108564628A (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
CN112652021A (zh) 相机偏移检测方法、装置、电子设备及存储介质
CN114594770B (zh) 一种巡检机器人不停车的巡检方法
KR100647750B1 (ko) 화상 처리 장치
JP6892748B2 (ja) 掘削孔の精度管理方法
CN109732601A (zh) 一种自动标定机器人位姿与相机光轴垂直的方法和装置
CN116579989B (zh) 一种基于深度相机的隧道打孔倾角修正方法
CN113110446A (zh) 一种自主移动机器人的动态巡检方法
CN113256551B (zh) 基于机器视觉的巷道顶板刚带钻孔识别定位系统及方法
KR101236845B1 (ko) 계측 시스템 및 이를 이용한 계측방법
CN113532956B (zh) 一种基于无人机的泵吸式涌潮潮头水质采样方法
CN113686313B (zh) 煤岩地质影像实时量测方法及系统
CN111464777B (zh) 一种地质勘探监控图像/视频的校正处理方法和系统
Honda et al. Borehole Imaging by Applying 3D Visual SLAM to Borehole Images Acquired in Forward Vision Camera System
CN117021128A (zh) 基于机器视觉的车体端墙连接孔加工系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Ji Xiaoying

Inventor after: Guo Chuang

Inventor after: Wang Xuechun

Inventor after: Zou Jianwei

Inventor after: Zhang Yi

Inventor after: Li Zaiqiang

Inventor after: Wu Xiong

Inventor after: Wang Dawei

Inventor after: Wang Wei

Inventor after: Chen Feilong

Inventor after: Wang Zhongming

Inventor before: Jiang Wei

Inventor before: Li Zaiqiang

Inventor before: Zhang Yi

Inventor before: Wang Wei

Inventor before: Chen Feilong

Inventor before: Wang Zhongming

Inventor before: Guo Chuang

Inventor before: Wang Xuechun

CB03 Change of inventor or designer information