CN113280209B - 检测管道多余物的系统以及系统的使用方法、检测方法 - Google Patents

检测管道多余物的系统以及系统的使用方法、检测方法 Download PDF

Info

Publication number
CN113280209B
CN113280209B CN202110641857.1A CN202110641857A CN113280209B CN 113280209 B CN113280209 B CN 113280209B CN 202110641857 A CN202110641857 A CN 202110641857A CN 113280209 B CN113280209 B CN 113280209B
Authority
CN
China
Prior art keywords
module
mechanical arm
local
axis mechanical
mobile carrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110641857.1A
Other languages
English (en)
Other versions
CN113280209A (zh
Inventor
张阳
康涛
郎立国
李旭
张玉
管科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic East China Photoelectric Shanghai Co ltd
Original Assignee
Avic East China Photoelectric Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic East China Photoelectric Shanghai Co ltd filed Critical Avic East China Photoelectric Shanghai Co ltd
Priority to CN202110641857.1A priority Critical patent/CN113280209B/zh
Publication of CN113280209A publication Critical patent/CN113280209A/zh
Application granted granted Critical
Publication of CN113280209B publication Critical patent/CN113280209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
    • F16L55/28—Constructional aspects
    • F16L55/40—Constructional aspects of the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L2101/00—Uses or applications of pigs or moles
    • F16L2101/10—Treating the inside of pipes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L2101/00—Uses or applications of pigs or moles
    • F16L2101/30—Inspecting, measuring or testing

Abstract

本发明属于智能探测领域，提供了一种检测管道多余物的系统以及系统的使用方法、检测方法，解决了人工拾取管道多余物工作强度大且容易产生遗漏的问题。系统包括：移动载体模块，用于承载连接于其末端的六轴机械臂模块移动；3D视觉传感器模块，与六轴机械臂模块连接，用于探测多余物；拾取模块，与六轴机械臂模块连接，用于拾取多余物；控制器，用于控制移动载体模块和六轴机械臂模块进行操作，还包括数据处理模块和数据分析模块，数据处理模块用于接收和存储移动载体模块、六轴机械臂模块的运动数据，数据分析模块用于计算和分析运动数据。

Description

检测管道多余物的系统以及系统的使用方法、检测方法
技术领域
本发明属于智能探测领域，具体来说是一种检测管道多余物的系统以及系统的使用方法、检测方法。
背景技术
在某些特定的应用场景中，必须保证该场景内部整洁，如本发明中所提到的管道环境。目前检测管道多余物的方式主要还是依赖人工进入管道通过肉眼进行检测，这种方式存在着操作空间狭小、工作强度大、难度大、环境差等问题，同时也会产生作业人员在管道内无意留下多余物等人为失误造成的问题隐患。
发明内容
为了克服现有技术中所存在的不足，本发明提供了一种检测管道多余物的系统以及系统的使用方法、检测方法，解决了人工拾取管道多余物工作强度大且容易产生遗漏的问题。
本发明提供的检测管道多余物的系统，所述系统包括：
移动载体模块，所述移动载体模块用于承载连接于其末端的六轴机械臂模块移动；
3D视觉传感器模块，固定于所述六轴机械臂模块，用于探测多余物；
拾取模块，固定于所述六轴机械臂模块，用于拾取多余物；
控制器，用于控制移动载体模块和六轴机械臂模块进行操作，所述控制器还包括数据处理模块和数据分析模块，所述数据处理模块用于接收和存储所述移动载体模块、所述六轴机械臂模块的运动数据，所述数据分析模块用于计算和分析所述运动数据。
本发明还提供了一种检测管道多余物的检测方法，包括如下步骤：
步骤1：使能系统的各个模块，进行供电、通信自检；
步骤2：检测移动载体模块是否到位；
步骤3：检测六轴机械臂模块是否到位；
步骤4：3D视觉传感器模块接收到使能命令后，3D视觉传感器模块的3D相机拍摄当前位置下的深度图像AiPj，并进行多余物检测；
步骤5：重复步骤3、4，向移动载体模块发布使能命令；
步骤6：移动载体模块水平居中向前运动设定距离，执行步骤2～5；
步骤7：重复步骤6，向控制器发送任务完成命令；
步骤8：完成检测，整体系统模块退出管道。
优选地，所述步骤2包括，若检测移动载体模块未到位，则继续运动到固定位置Ai；若已到位，则停止运动并向六轴机械臂模块发送使能命令。
优选地，所述步骤3包括，若检测六轴机械臂模块未到位，则继续运动到固定位置Rj；若已到位，则停止运动并向3D视觉传感器模块发送使能命令。
优选地，所述步骤4包括，若不存在多余物，则执行所述步骤5；若存在，则使用拾取模块和六轴机械臂模块拾取多余物，完成后六轴机械臂模块回归当前位置，执行所述步骤5。
本发明还提供了一种检测管道多余物的系统的使用方法，包括如下步骤：
步骤S1：控制器使能移动载体模块移动；
步骤S2：控制器使能六轴机械臂模块运动；
步骤S3：3D视觉传感器模块探测到多余物，拾取模块拾取多余物。
优选地，所述步骤S1包括S10：数据处理模块接收并存储所述移动载体模块的运动数据，数据分析模块分析所述移动载体模块的运动数据，使所述移动载体模块运动至固定位置。
优选地，所述步骤S2包括S20：数据处理模块接收并存储所述六轴机械臂模块的运动数据，数据分析模块分析所述六轴机械臂模块的运动数据，使所述六轴机械臂模块运动至设定位置。
本发明的有益效果至少为：
(1)利用自动化的检测管道多余物的系统，降低人力资源投入，大大减轻了作业人员的工作强度及难度。
(2)可长时间及重复进行检测，并完成拾取管道多余物工作，针对管道多余物拾取能够达到无遗漏。
附图说明
图1为本发明的检测管道多余物的系统示意图；
图2为本发明的检测管道多余物的简化流程图；
图3为本发明的检测管道多余物的检测方法流程图；
图4为本发明的3D视觉传感器模块的有效测量范围。
附图标记说明：
100-移动载体模块；200-六轴机械臂模块；300-3D视觉传感器模块；400-拾取模块；2-控制器；210-数据处理模块；220-数据分析模块。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述，附图中给出了本发明的若干实施例，但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明提供了一种检测管道多余物的系统以及系统的使用方法、检测方法，解决了人工拾取管道多余物工作强度大且容易产生遗漏的问题。利用自动化的检测管道多余物的系统，降低人力资源投入，大大减轻了作业人员的工作强度及难度。可长时间及重复进行检测，并完成拾取管道多余物工作，针对管道多余物拾取能够达到无遗漏。
实施例一
如图1所示，本发明提供的检测管道多余物系统，系统包括：
移动载体模块100，用于承载连接于其末端的六轴机械臂模块200移动；3D视觉传感器模块300，固定于六轴机械臂模块200，用于探测多余物；拾取模块400，固定于六轴机械臂模块200，用于拾取多余物；控制器2，用于控制移动载体模块100和六轴机械臂模块200进行操作，还包括数据处理模块210和数据分析模块220，数据处理模块210用于接收和存储移动载体模块100、六轴机械臂模块200的运动数据，数据分析模块220用于计算和分析运动数据。
如图2所示，本发明还提供了一种检测管道多余物的系统的使用方法，包括如下步骤：
步骤S1：控制器2使能移动载体模块100移动；
步骤S2：控制器2使能六轴机械臂模块200运动；
步骤S3：3D视觉传感器模块300探测到多余物，拾取模块400拾取多余物。
优选地，步骤S1包括S10：数据处理模块210接收并存储移动载体模块100的运动数据，数据分析模块220分析移动载体模块100的运动数据，使移动载体模块100运动至固定位置。
优选地，步骤S2包括S20：数据处理模块210接收并存储六轴机械臂模块200的运动数据，数据分析模块220分析六轴机械臂模块200的运动数据，使六轴机械臂模块200运动至设定位置。
实施例二
本发明还提供了一种检测管道多余物的检测方法，包括如下步骤：
步骤1：使能系统的各个模块，进行供电、通信自检；
步骤2：检测移动载体模块100是否到位；
步骤3：检测六轴机械臂模块200是否到位；
步骤4：3D视觉传感器模块300接收到使能命令后，3D视觉传感器模块300的3D相机拍摄当前位置下的深度图像AiPj，并进行多余物检测；
步骤5：重复步骤3、4，直至当前位置的整圈管道均完成检测，向移动载体模块100发布使能命令；
步骤6：移动载体模块100水平居中向前运动设定距离，执行步骤2～5；
步骤7：重复步骤6，直至完成整条管道长度的检测，向控制器2发送任务完成命令；
步骤8：完成检测，整体系统模块退出管道。
优选地，步骤2包括，若检测移动载体模块100未到位，则继续运动到固定位置Ai；若已到位，则停止运动并向六轴机械臂模块200发送使能命令。
步骤2判断是否到位的方法如下：在移动载体模块100底盘中间安装水平仪，模块左右两侧和后方分别安装红外测距传感器和激光测距传感器，并在管道入口外等高处安放激光反射板，通过水平仪的返回值判断移动载体模块100是否水平，通过比较左右两侧红外传感器返回的距离值判断移动载体模块100是否居中，通过后方激光传感器获得的距离值判断移动载体模块100是否位于指定位置。
优选地，步骤3包括，步骤3包括，若检测六轴机械臂模块200未到位，则继续运动到固定位置Rj；若已到位，则停止运动并向3D视觉传感器模块300发送使能命令。
优选地，步骤4包括，3D视觉传感器模块300接收到使能命令后，3D相机拍摄当前位置下的深度图像AiPj，并进行多余物检测。若不存在多余物，则执行步骤5；若存在，则使用拾取模块400配合六轴机械臂模块200拾取多余物，完成后六轴机械臂模块200回归当前位置，执行步骤5。
优选地，步骤4还包括如下步骤：
S401：获取三维全局地图Pglobal。若三维全局地图已存在或结构一致性较高，则跳过该步骤，直接执行下一步S402；若三维全局地图并非先验的，则可以采用下述方法获取全局地图：
在无多余物的管道正样本环境中，使用视域点云拼接和圆环点云拼接即可获得三维全局地图。视域拼接是将m+1个Pj进行拼接获得到的圆环地图；而将Aj，Aj+1对应的圆环地图进行拼接即为圆环拼接；完成了n+1个圆环拼接后也就完成了整个管道的3D建图Pglobal。
S402：获取当前局部地图Plocal。当移动载体模块100和六轴机械臂运动模块200皆运动到位后，由3D视觉传感器拍摄得到的三维局部地图Plocal，即Pj。
S403：深度突变检测。若未检测到深度突变，跳出本步骤，执行检测系统下一步，即步骤5；反之，则继续向下执行S404。
步骤S403的深度突变检测方法为像素深度直方图统计法：以像素点位置为横坐标，像素点的深度为纵坐标。若检测到的区域无多余物，则所有像素点深度值的排序必然是有序的；若检测到的区域存在多余物，则在直方图的某个或某几个地方出现一小簇离群点。通过采用RANSAC(Random Sample Consensus，随机抽样一致性)的方法去筛选出离群点集合，视为深度突变区域，即可能存在多余物的区域。
S404：当前系统定位。获取移动载体模块100当前位置：在确定移动载体模块100水平居中的前提下获取激光传感器返回的距离值信息，记为Slocal；获取六轴机械臂模块200当前位置：读取当前机械臂末端位姿信息Spos。
S405：找出全局地图对应位置地图Pg_local。通过坐标系转换的方法获取当移动载体模块100和六轴机械臂模块200分别位于Slocal和Spos时全局地图Pglobal中所对应的局部地图Pg_local。
S406：点云匹配。为了弥补移动载体模块100运动精度可能造成的差异影响，对局部地图Plocal与Pglocal局部地图采用ICP(Iterative Closest Point，迭代最近点算法)三维点云配准的方法来获取各自重合区域Plocal_same与Pglocal_same。
S407：特征提取与匹配。特征提取采用的是深度特征提取法，匹配采用的是区域模板法。若匹配成功，则说明区域Plocal_same并无多余物，跳出本步骤，执行步骤5；若匹配失败，则说明存在多余物，执行步骤S408。
步骤S407中深度特征提取的方法为：将特征点定义为：如果Plocal_same图像中某一个像素点的深度值与邻域的像素点差别较大，则将该特征点视为候选特征点。若存在一定数量的特征点聚集在一起，则将该区域视为特征区域Pfeature，即所提取深度特征为Pfeature；
步骤S407中区域模板匹配法为：将Pfeature作为区域模板，若在Pglocal_same中能够寻找到与Pfeature相似度接近的区域则说明区域Plocal_same并无多余物；反之，即匹配失败，则说明Pfeature即为多余物所在区域。
S408：获取局部地图匹配失败区域。由于Plocal_same是Plocal的子集，故可以将Pfeature还原到局部地图Plocal的图像坐标系中，记为Pfail。
S409：获取异物位置。由手眼标定可以获取3D视觉传感器模块300的相机坐标系相对六轴机械臂模块200末端坐标系的转换矩阵，则根据坐标系关系转换可以最终确定Pfail在六轴机械臂模块200基坐标系下的位置信息，记为fpos(x,y,z)；连接拾取装置末端中心与六轴机械臂模块200末端中心形成一条直线，当该直线指向Pfail的质心时，即为机械臂末端的姿态frpy(r,p,y)。
S410：拾取多余物。固定于六轴机械臂模块200上的拾取模块400与3D视觉传感器模块300的安装位置相对固定，通过逆解获取六轴机械臂模块200各个关节的目标运动位置，从而进行多余物拾取。完成拾取后，将多余物临时存放至移动载体模块100上的储物区，然后将六轴机械臂模块200恢复到位置Rj。
通过对系统各模块使能，使其互相配合完成对管道内多余物的检测。使能移动载体模块100，移动载体模块100前进固定步长后停止；使能六轴机械臂模块200，机械臂运动到固定位置后停止；使能3D传感器模块300，拍摄并采集3D图像。本实施例中管道为圆柱形管道，直径较小，一致性高。鉴于多余物体积较小，故实施例中采用了一款高分辨率3D相机，其有效测量范围如下图所示：
其中，传感器只有在距离目标物体在384mm～520mm的范围内才能拍摄到有效区域343mm*249mm～382mm*335mm。所以为了能够完整拍摄整个管道，本实施例采用了下述的采图方式，如图4所示：
第一步：使得机械臂末端圆心位于管道圆心轴，3D视觉传感器正对管壁，传感器与管壁距离为d(384<d<520)，末端依次旋转360○/(m+1)并拍摄图像，令机械臂运动的固定位置集合为{Rj|j＝0,1,2,…,m}，本实施例中m取8。令每个位置Rj由3D相机拍摄到的深度图像为Pj；
第二步：管道长度为s mm，本实施例中移动载体模块100运动的固定步长取200mm，则n＝s/200，固定运动位置集合为{Ai|i＝0,1,2,…,n}，则通过3D传感器采集到的整个管道的深度图像为AiPj。
如图3所示，使能移动载体模块100、六轴机械臂模块200以及3D视觉传感器模块300，移动载体模块100前进固定步长，检测移动载体模块100是否从初始位置0运动至位置1，若未运动到位置1，继续运动直至移动载体模块100运动至位置1，此时使能六轴机械臂模块200从初始位置0运动至位置1，通过3D视觉传感器模块300探测位置1对应的局部区域是否有多余物，若有，则拾取多余物，继续使能六轴机械臂模块200从位置1运动至位置2、3、4...m，完成各个位置的多余物检测和拾取，继续使能移动载体模块100运动至位置2，循环重复前述使能六轴机械臂模块200和3D视觉传感器模块300的过程，直至移动载体模块100运动至位置n。完成整个管道内部的多余物检测和拾取过程。
上所述实施例仅表达了本发明的某种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种检测管道多余物的检测方法，其特征在于，采用检测管道多余物的系统，所述系统包括：
移动载体模块，所述移动载体模块用于承载连接于其末端的六轴机械臂模块移动；
3D视觉传感器模块，固定于所述六轴机械臂模块，用于探测多余物；
拾取模块，固定于所述六轴机械臂模块，用于拾取多余物；
控制器，所述控制器用于控制移动载体模块和六轴机械臂模块进行操作，还包括数据处理模块和数据分析模块，所述数据处理模块用于接收和存储所述移动载体模块、所述六轴机械臂模块的运动数据，所述数据分析模块用于计算和分析所述运动数据；
所述方法包括如下步骤：
步骤1：使能系统的各个模块，进行供电、通信自检；
步骤2：检测移动载体模块是否到位；
步骤3：检测六轴机械臂模块是否到位；
步骤4：3D视觉传感器模块接收到使能命令后，3D视觉传感器模块的3D相机拍摄当前位置下的深度图像AiPj，并进行多余物检测；
步骤5：重复步骤3、4，向移动载体模块发布使能命令；
步骤6：移动载体模块水平居中向前运动设定距离，执行步骤2～5；
步骤7：重复步骤6，向控制器发送任务完成命令；
步骤8：完成检测，整体系统模块退出管道；
其中，步骤4还包括如下步骤：
S401：获取三维全局地图Pglobal，若三维全局地图已存在或结构一致性较高，则跳过该步骤，直接执行下一步S402；若三维全局地图并非先验的，则采用下述方法获取全局地图：
在无多余物的管道正样本环境中，使用视域点云拼接和圆环点云拼接即可获得三维全局地图，视域拼接是将m+1个Pj进行拼接获得到的圆环地图；而将Aj，Aj+1对应的圆环地图进行拼接即为圆环拼接；完成了n+1个圆环拼接后也就完成了整个管道的3D建图Pglobal；
S402：获取当前局部地图Plocal，当移动载体模块和六轴机械臂运动模块皆运动到位后，由3D视觉传感器拍摄得到的三维局部地图Plocal，即Pj；
S403：深度突变检测，若未检测到深度突变，跳出本步骤，执行检测系统下一步，即步骤5；反之，则继续向下执行S404，
步骤S403的深度突变检测方法为像素深度直方图统计法：以像素点位置为横坐标，像素点的深度为纵坐标，若检测到的区域无多余物，则所有像素点深度值的排序必然是有序的；若检测到的区域存在多余物，则在直方图的某个或某几个地方出现一小簇离群点，通过采用RANSAC的方法去筛选出离群点集合，视为深度突变区域，即可能存在多余物的区域；
S404：当前系统定位，获取移动载体模块当前位置：在确定移动载体模块水平居中的前提下获取激光传感器返回的距离值信息，记为Slocal；获取六轴机械臂模块当前位置：读取当前机械臂末端位姿信息Spos；
S405：找出全局地图对应位置地图Pg_local，通过坐标系转换的方法获取当移动载体模块和六轴机械臂模块分别位于Slocal和Spos时全局地图Pglobal中所对应的局部地图Pg_local；
S406：点云匹配，为了弥补移动载体模块运动精度可能造成的差异影响，对局部地图Plocal与Pglocal局部地图采用ICP三维点云配准的方法来获取各自重合区域Plocal_same与Pglocal_same；
S407：特征提取与匹配，特征提取采用的是深度特征提取法，匹配采用的是区域模板法，若匹配成功，则说明区域Plocal_same并无多余物，跳出本步骤，执行步骤5；若匹配失败，则说明存在多余物，执行步骤S408，
步骤S407中深度特征提取的方法为：将特征点定义为：如果Plocal_same图像中某一个像素点的深度值与邻域的像素点差别较大，则将该特征点视为候选特征点，若存在一定数量的特征点聚集在一起，则将该区域视为特征区域Pfeature，即所提取深度特征为Pfeature，
步骤S407中区域模板匹配法为：将Pfeature作为区域模板，若在Pglocal_same中能够寻找到与Pfeature相似度接近的区域则说明区域Plocal_same并无多余物；反之，即匹配失败，则说明Pfeature即为多余物所在区域；
S408：获取局部地图匹配失败区域，由于Plocal_same是Plocal的子集，故将Pfeature还原到局部地图Plocal的图像坐标系中，记为Pfail；
S409：获取异物位置，由手眼标定可以获取3D视觉传感器模块的相机坐标系相对六轴机械臂模块末端坐标系的转换矩阵，则根据坐标系关系转换可以最终确定Pfail在六轴机械臂模块基坐标系下的位置信息，记为fpos(x,y,z)；连接拾取装置末端中心与六轴机械臂模块末端中心形成一条直线，当该直线指向Pfail的质心时，即为机械臂末端的姿态frpy(r,p,y)；
S410：拾取多余物，固定于六轴机械臂模块上的拾取模块与3D视觉传感器模块的安装位置相对固定，通过逆解获取六轴机械臂模块各个关节的目标运动位置，从而进行多余物拾取，完成拾取后，将多余物临时存放至移动载体模块上的储物区，然后将六轴机械臂模块恢复到位置Rj。
2.根据权利要求1所述的检测管道多余物的检测方法，其特征在于，所述步骤2包括，若检测移动载体模块未到位，则继续运动到固定位置Ai；若已到位，则停止运动并向六轴机械臂模块发送使能命令。
3.根据权利要求2所述的检测管道多余物的检测方法，其特征在于，所述步骤3包括，若检测六轴机械臂模块未到位，则继续运动到固定位置Rj；若已到位，则停止运动并向3D视觉传感器模块发送使能命令。
4.根据权利要求3所述的检测管道多余物的检测方法，其特征在于，所述步骤4包括，若不存在多余物，则执行所述步骤5；若存在，则使用拾取模块配合六轴机械臂模块拾取多余物，完成后六轴机械臂模块回归当前位置，执行所述步骤5。
CN202110641857.1A 2021-06-09 2021-06-09 检测管道多余物的系统以及系统的使用方法、检测方法 Active CN113280209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110641857.1A CN113280209B (zh) 2021-06-09 2021-06-09 检测管道多余物的系统以及系统的使用方法、检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110641857.1A CN113280209B (zh) 2021-06-09 2021-06-09 检测管道多余物的系统以及系统的使用方法、检测方法

Publications (2)

Publication Number Publication Date
CN113280209A CN113280209A (zh) 2021-08-20
CN113280209B true CN113280209B (zh) 2023-02-14

Family

ID=77283856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110641857.1A Active CN113280209B (zh) 2021-06-09 2021-06-09 检测管道多余物的系统以及系统的使用方法、检测方法

Country Status (1)

Country Link
CN (1) CN113280209B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113700978A (zh) * 2021-09-15 2021-11-26 中航华东光电（上海）有限公司 一种管道异物检测装置及检测方法
CO2022003155A1 (es) * 2022-03-18 2022-04-19 Blandon Cristian Felipe Ocampo Método para mapear un video en una imagen bidimensional 5

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110455808A (zh) * 2019-07-23 2019-11-15 上海航天精密机械研究所 适用于管件内部质量检测的智能质检系统及方法
CN110962122A (zh) * 2019-11-11 2020-04-07 中广核工程有限公司 一种管道清理机器人控制系统以及方法
CN111266370A (zh) * 2020-03-19 2020-06-12 西安建筑科技大学 一种用于管道清洁的机器人装置及其操作方法
WO2020224723A1 (de) * 2019-05-07 2020-11-12 Pipetronics Gmbh & Co. Kg Vorrichtung zur sanierung von leitungen mit einem neigungssensor
CN112728293A (zh) * 2020-12-21 2021-04-30 广东爱科环境科技有限公司 一种智能管道检测机器人及其控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9744669B2 (en) * 2014-06-04 2017-08-29 Intelligrated Headquarters, Llc Truck unloader visualization
CN106331675B (zh) * 2016-08-23 2018-09-25 王庆丰 影像处理、投射方法、装置及成像系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020224723A1 (de) * 2019-05-07 2020-11-12 Pipetronics Gmbh & Co. Kg Vorrichtung zur sanierung von leitungen mit einem neigungssensor
CN110455808A (zh) * 2019-07-23 2019-11-15 上海航天精密机械研究所 适用于管件内部质量检测的智能质检系统及方法
CN110962122A (zh) * 2019-11-11 2020-04-07 中广核工程有限公司 一种管道清理机器人控制系统以及方法
CN111266370A (zh) * 2020-03-19 2020-06-12 西安建筑科技大学 一种用于管道清洁的机器人装置及其操作方法
CN112728293A (zh) * 2020-12-21 2021-04-30 广东爱科环境科技有限公司 一种智能管道检测机器人及其控制方法

Also Published As

Publication number Publication date
CN113280209A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
JP4021413B2 (ja) 計測装置
CN113280209B (zh) 检测管道多余物的系统以及系统的使用方法、检测方法
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN101370624B (zh) 自动化攫握零件的方法和系统
CN108214487B (zh) 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN107687855B (zh) 机器人定位方法、装置及机器人
US20140132729A1 (en) Method and apparatus for camera-based 3d flaw tracking system
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN111487642A (zh) 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法
JPWO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
JP2008087074A (ja) ワーク取り出し装置
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN111223048B (zh) 一种3d视觉点云数据拼接的方法及其系统
CN113768419B (zh) 确定扫地机清扫方向的方法、装置及扫地机
CN112669389A (zh) 一种基于视觉引导的自动化标定系统
CN112809668A (zh) 一种机械臂自动手眼标定的方法及系统、终端
CN110849285A (zh) 基于单目相机的焊点深度测量方法、系统及介质
Seçil et al. 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot
CN113269829B (zh) 流水生产线目标定位方法、装置、计算机设备和存储介质
CN112584041B (zh) 一种图像识别动态纠偏方法
CN104296657A (zh) 一种基于双目视觉的石壁爆破孔检测与定位装置及定位方法
CN114661049A (zh) 一种巡检方法、装置及计算机可读介质
CN114460087A (zh) 一种基于机器视觉的焊点缺陷检测系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant