CN117745810A - 一种隧道炮孔视觉成像识别方法、装药机器人及系统 - Google Patents
一种隧道炮孔视觉成像识别方法、装药机器人及系统 Download PDFInfo
- Publication number
- CN117745810A CN117745810A CN202311477341.3A CN202311477341A CN117745810A CN 117745810 A CN117745810 A CN 117745810A CN 202311477341 A CN202311477341 A CN 202311477341A CN 117745810 A CN117745810 A CN 117745810A
- Authority
- CN
- China
- Prior art keywords
- blast hole
- face image
- image
- tunnel
- visual imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 9
- 239000000843 powder Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 3
- 239000003814 drug Substances 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005422 blasting Methods 0.000 description 3
- 238000005553 drilling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于土木工程技术领域，提供了一种隧道炮孔视觉成像识别方法、装药机器人及系统，包括：获取工程现场的掌子面图像；根据掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在掌子面图像中的位置；根据炮孔在掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置；首先通过训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置，然后再根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置，通过图像识别算法确定了需要识别计算的目标，对设别的目标进行坐标识别的针对性计算，避免了坐标计算量过大和识别繁琐的问题，提高了识别精确性。
Description
技术领域
本发明属于土木工程技术领域，尤其涉及一种隧道炮孔视觉成像识别方法、装药机器人及系统。
背景技术
随着建设现代化经济体系的要求不断提高，隧道建设数量和规模在世界各地不断的发展，隧道建设过程中，由于钻爆法施工具有施工效率高、造价低等优点，大部分公路、铁路等山岭隧道均采用钻爆法施工。钻爆法施工主要以人工为主，其中的装药填孔工作需要耗费大量的人力和时间，延长了隧道施工的工期。
发明人发现，为节省人力，提高效率，现有研究中涉及到了自动装药装置，为了保障自动装药的实现，也有针对炮孔识别的研究；但是，现存在的自动装药装置，在通过图像识别确定炮孔方位时，没有对炮孔进行精确的识别，使得确定炮孔坐标时不能很好的做到对目标的针对性计算，识别不够精确，识别过繁琐。同时，现有的自动装药装置虽然可以做到自动装药，但是其不能很好的实现连续性自动装药动作。
发明内容
本发明为了解决上述问题，提出了一种隧道炮孔视觉成像识别方法、装药机器人及系统，本发明通过YOLOv5图像识别算法确定了需要识别计算的目标，对设别的目标进行坐标识别的针对性计算，避免了坐标计算量过大和识别繁琐的问题，提高了识别精确性。
为了实现上述目的，本发明是通过如下的技术方案来实现：
第一方面，本发明提供了一种隧道炮孔视觉成像识别方法，包括：
获取工程现场的掌子面图像；
根据所述掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置；
根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置。
进一步的，利用训练好的YOLOv5图像识别算法，对掌子面图像中的炮孔进行框选，并标记出炮孔在视野中的位置。
进一步的，训练好的YOLOv5图像识别算法时，将获取的掌子面图像分割成像素统一的格式作为训练集。
进一步的，孔中心点A点的实际空间坐标(XA，YA，ZA)为：
其中，D为左相机和右相机之间的距离；(xL，yL)为左相机中炮孔中心点的像素坐标图像中的坐标；(xR，yR)为右相机中炮孔中心点的像素坐标图像中的坐标；(x0，y0)为真实坐标原点在像素坐标系中的原点坐标；f为焦距；d＝xL-xR。
第二方面，本发明提供了一种隧道炮孔视觉成像识别的装药机器，包括填药管道、设置在所述填药管道内的推杆、开设在所述填药管道侧壁上的药卷输送管道、设置在所述填药管道远离所述推杆一端的雷管装填装置以及设置在所述填药管道远离所述推杆端面上的图像设别装置；所述图像识别装置执行如第一方面中所述的隧道炮孔视觉成像识别方法。
进一步的，所述雷管装填装置包括设置在所述填药管道和所述雷管装填装置之间的雷管装填圆盘。
进一步的，所述药卷输送管道倾斜设置在所述填药管道侧壁上。
第三方面，本发明还提供了一种隧道炮孔视觉成像识别系统，包括：
数据采集模块，被配置为：获取工程现场的掌子面图像；
图像识别模块，被配置为：根据所述掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置；
坐标计算模块，被配置为：根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的隧道炮孔视觉成像识别方法的步骤。
第五方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的隧道炮孔视觉成像识别方法的步骤。
与现有技术相比，本发明的有益效果为：
1、本发明在获取工程现场的掌子面图像后，首先通过训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置，然后再根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置，通过YOLOv5图像识别算法确定了需要识别计算的目标，对设别的目标进行坐标识别的针对性计算，避免了坐标计算量过大和识别繁琐的问题，提高了识别精确性；
2、本发明在填药管道和雷管装填装置之间设置雷管装填圆盘，在执行每次自动装药过程中，用于将雷管插入药卷中，保证了连续性自动装药动作的实现。
附图说明
构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
图1为本发明实施例2的三维结构示意图；
图2为本发明实施例2的主视图；
图3为本发明实施例2的俯视图；
图4为本发明实施例2的右视图；
其中，1、装置主体；2、雷管装填装置；3、填药管道；4、推杆；5、药卷输送管道；6、推杆控制装置；7、雷管装填圆盘；8、雷管；9、摄像装置。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
实施例1：
针对现有自动装药装置中，在通过图像识别确定炮孔方位时，没有对炮孔进行精确的识别，使得确定炮孔坐标时不能很好的做到对目标的针对性计算，识别不够精确等问题，本实施例提供了一种隧道炮孔视觉成像识别方法，包括：
获取工程现场的掌子面图像；
根据所述掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置；
根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置。
在获取工程现场的掌子面图像后，首先通过训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置，然后再根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置，通过YOLOv5图像识别算法确定了需要识别计算的目标，对设别的目标进行坐标识别的针对性计算，避免了坐标计算量过大和识别繁琐的问题，提高了识别精确性。
具体的，在相关设备内置训练好的YOLOv5图像识别算法。首先，为图像采样工作，可以利用高清摄像机对多个工程现场进行掌子面炮孔图像的采集，约采集图片一千余张，作为炮孔识别训练的样本库。然后，将图片分割成像素为640*640的统一格式，并筛选出图片质量较好、炮孔特征明显的图片作为训练数据集。使用数据标注工具Labelimg进行人工标记炮孔，制作成VOCdevkit格式数据集。
可选的，炮孔识别算法采用python语言编写，训练环境采用Python3.8版本，采用pytorch框架，CUDA版本为11.2，GPU为NVIDIA GeForce GTX 1650，采用预训练模型YOLOv5s。将数据集在Windows系统中进行训练。训练结束后对训练结果进行测试，炮孔识别准确率达98％。将训练好的结果迁移到设备的系统中。
炮孔设别过程，首先将相关设备或装置固定在掌子面前5到10米接近中心的位置，同时保持摄像系统与掌子面平行。此时启动摄像系统，扫描获取掌子面的炮孔图像，也就是获取掌子面图像。将获取的炮孔图像传入至训练好的YOLOv5图像识别算法进行炮孔识别，通过运行YOLOv5检测程序，可实现掌子面炮孔的自动识别框选，并标记出炮孔在视野中的位置，同时真实坐标原点在像素坐标系中的原点坐标为(x0，y0)。利用双目立体视觉成像系统的原理，可计算炮孔在空间中的三维坐标位置。假设左相机为CL，右相机为CR。两相机焦距一致、光轴平行，焦距为f。两相机之间的距离为D，dx和dy分别为每一像素在物理坐标轴系下的物理尺寸。某一炮孔中心点A点的实际空间坐标为(XA，YA，ZA)，在左相机中炮孔中心点的像素坐标图像中的坐标为(xL，yL)，在右相机图像中的坐标为(xR，yR)；炮孔中心点即框选点中心。由以下公式可得：
设d＝xL-xR，则A点坐标为：
实施例2：
本实施例提供了一种隧道炮孔视觉成像识别装药机器，包括装置主体1、开设在所述装置主体1上的填药管道3、设置在所述填药管道3内的推杆4、开设在所述填药管道3侧壁上的药卷输送管道5、设置在所述填药管道3远离所述推杆一端的雷管装填装置2以及设置在所述填药管道3远离所述推杆端面上的图像设别装置；所述图像识别装置执行如实施例1中所述的隧道炮孔视觉成像识别方法。
所述填药管道3设置所述推杆的一端设置有推杆控制装置6，推杆控制装置6内可以设置推杆电机，所述推杆4与所述推杆电机连接，比如所述推杆电机可以采用直线电机等，可推动所述推杆4做直线运动即可。
所述填药管道3用于临时放置所述药卷输送管道5输送过来的药卷；所属吧推杆4用于将所述填药管道3临时放置的药卷推入炮孔中；所述药卷输送管道5用于输送药卷至所述填药管道3中，可以解除其他装置将药卷通过所述药卷输送管道5送入所述填药管道3中，所述药卷输送管道5倾斜设置在所述填药管道3侧壁上，便于药卷的填入；所述雷管装填装置2包括设置在所述填药管道3和所述雷管装填装置2之间的雷管装填圆盘7雷管装填圆盘，所述雷管装填圆盘7用于将雷管插入药卷中，具体的，所述雷管装填圆盘7可以连接动力设备使其可以转动，所述雷管装填圆盘7周向上开设凹槽，可以将卡合在所述凹槽内的雷光8从所述雷管装填装置2内送到所述填药管道3内并将雷管8插入药卷中，所述雷管装填装置2内可以预装多根雷管8，满足连续性自动装药要求；雷管8用于引爆炸药；所述图像设别装置包括摄像装置9以及与所述摄像装置9连接的图像处理器等，用于获取掌子面信息，执行如实施例1中所述的隧道炮孔视觉成像识别方法，确定炮孔位置。
在执行如实施例1中所述的隧道炮孔视觉成像识别方法获得某一炮孔空间坐标后，可以通过坐标变换的方式得到炮孔相对于填药管道或其他机械臂末端操作手的位置和方位。在获取上述关键参数后，通过逆运动学关系反算出以特定姿态到达炮孔时各关节电机所需的运动参数，进而可以通过下位机向伺服电机下发指令达到预定位置。
到达预定位置后，药卷通过所述药卷输送管道5送入所述填药管道3中，所述推杆控制装置6将会控制所述推杆4将药卷向前推进，完成一个装药循环过程。
本实施例中的装药机器，包括用于执行炮孔识别方法的炮孔识别系统或图像设别装置，以及药卷装填装置。炮孔识别系统用于识别装药前的炮孔位置，为后续药卷装填提供定位基础信息，药卷装填装置用于将药卷装填入预打的炮孔中，实现装药过程的少人化和智能化。
实施例3：
本实施例提供了一种隧道炮孔视觉成像识别系统，包括：
数据采集模块，被配置为：获取工程现场的掌子面图像；
图像识别模块，被配置为：根据所述掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置；
坐标计算模块，被配置为：根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置。
所述系统的工作方法与实施例1的隧道炮孔视觉成像识别方法相同，这里不再赘述。
实施例4：
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的隧道炮孔视觉成像识别方法的步骤。
实施例5：
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的隧道炮孔视觉成像识别方法的步骤。
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。
Claims (10)
1.一种隧道炮孔视觉成像识别方法，其特征在于，包括：
获取工程现场的掌子面图像；
根据所述掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置；
根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置。
2.如权利要求1所述的一种隧道炮孔视觉成像识别方法，其特征在于，利用训练好的YOLOv5图像识别算法，对掌子面图像中的炮孔进行框选，并标记出炮孔在视野中的位置。
3.如权利要求1所述的一种隧道炮孔视觉成像识别方法，其特征在于，训练好的YOLOv5图像识别算法时，将获取的掌子面图像分割成像素统一的格式作为训练集。
4.如权利要求1所述的一种隧道炮孔视觉成像识别方法，其特征在于，孔中心点A点的实际空间坐标(XA，YA，ZA)为：
其中，D为左相机和右相机之间的距离；(xL，yL)为左相机中炮孔中心点的像素坐标图像中的坐标；(xR，yR)为右相机中炮孔中心点的像素坐标图像中的坐标；(x0，y0)为真实坐标原点在像素坐标系中的原点坐标；f为焦距；d＝xL-xR。
5.一种隧道炮孔视觉成像识别装药机器，其特征在于，包括填药管道、设置在所述填药管道内的推杆、开设在所述填药管道侧壁上的药卷输送管道、设置在所述填药管道远离所述推杆一端的雷管装填装置以及设置在所述填药管道远离所述推杆端面上的图像设别装置；所述图像识别装置执行如权利要求1-4任一项所述的隧道炮孔视觉成像识别方法。
6.如权利要求5所述的一种隧道炮孔视觉成像识别装药机器，其特征在于，所述雷管装填装置包括设置在所述填药管道和所述雷管装填装置之间的雷管装填圆盘。
7.如权利要求5所述的一种隧道炮孔视觉成像识别装药机器，其特征在于，所述药卷输送管道倾斜设置在所述填药管道侧壁上。
8.一种隧道炮孔视觉成像识别系统，其特征在于，包括：
数据采集模块，被配置为：获取工程现场的掌子面图像；
图像识别模块，被配置为：根据所述掌子面图像，以及训练好的YOLOv5图像识别算法，得到炮孔在所述掌子面图像中的位置；
坐标计算模块，被配置为：根据炮孔在所述掌子面图像中的位置，利用双目立体视觉成像原理，计算炮孔在空间中的三维坐标位置。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-4任一项所述的隧道炮孔视觉成像识别方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-4任一项所述的隧道炮孔视觉成像识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311477341.3A CN117745810A (zh) | 2023-11-07 | 2023-11-07 | 一种隧道炮孔视觉成像识别方法、装药机器人及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311477341.3A CN117745810A (zh) | 2023-11-07 | 2023-11-07 | 一种隧道炮孔视觉成像识别方法、装药机器人及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117745810A true CN117745810A (zh) | 2024-03-22 |
Family
ID=90278437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311477341.3A Pending CN117745810A (zh) | 2023-11-07 | 2023-11-07 | 一种隧道炮孔视觉成像识别方法、装药机器人及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745810A (zh) |
-
2023
- 2023-11-07 CN CN202311477341.3A patent/CN117745810A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992098B (zh) | 控制工作臂末端输药管对准炮孔的方法和设备 | |
| CN108104834B (zh) | 盾构管片自动拼装方法和系统 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| CN102072725B (zh) | 一种基于激光点云和实景影像进行空间三维测量的方法 | |
| CN113982690B (zh) | 基于锚护作业的控制方法及装置、系统、掘锚护一体机 | |
| CN107256567B (zh) | 一种用于工业机器人手眼相机的自动标定装置及标定方法 | |
| CN110751691B (zh) | 一种基于双目视觉的管件自动抓取方法 | |
| WO2021042668A1 (zh) | Tbm搭载式隧道围岩结构虚拟再现系统与方法 | |
| CN104280740A (zh) | 一种基于摄像机与激光测距传感器联合定位爆破孔的装置及定位方法 | |
| US11796493B2 (en) | System and method for identifying lithology based on images and XRF mineral inversion | |
| CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
| CN112785709A (zh) | Tbm搭载式围岩裂隙重建识别方法、装置、存储介质及设备 | |
| CN112576257A (zh) | 一种隧道爆破孔放样定位方法 | |
| CN204086539U (zh) | 一种基于摄像机与激光测距传感器联合定位爆破孔的装置 | |
| CN117745810A (zh) | 一种隧道炮孔视觉成像识别方法、装药机器人及系统 | |
| CN113280209B (zh) | 检测管道多余物的系统以及系统的使用方法、检测方法 | |
| CN104296658B (zh) | 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法 | |
| WO2022007365A1 (zh) | Tbm搭载式矿物成分检测方法、超前地质预报方法及系统 | |
| CN108253935B (zh) | 复杂外形模型超高速自由飞行姿态测量方法 | |
| CN113251883B (zh) | 炮孔坐标及角度的识别方法、装置及系统 | |
| CN116361947B (zh) | 一种侵彻大尺寸钢筋混凝土内外部三维建模的方法 | |
| CN111724432A (zh) | 物体三维检测方法和装置 | |
| CN213986045U (zh) | 一种用于爆破过程中试件应变的实验分析系统 | |
| CN104408719A (zh) | 一种共线三特征点单目视觉空间定位方法 | |
| CN109405686B (zh) | 一种采用水电工程智能钻爆系统的钻爆方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |