CN113103235B - 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 - Google Patents

一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 Download PDF

Info

Publication number
CN113103235B
CN113103235B CN202110425989.0A CN202110425989A CN113103235B CN 113103235 B CN113103235 B CN 113103235B CN 202110425989 A CN202110425989 A CN 202110425989A CN 113103235 B CN113103235 B CN 113103235B
Authority
CN
China
Prior art keywords
mechanical arm
equipment
depth camera
cabinet body
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110425989.0A
Other languages
English (en)
Other versions
CN113103235A (zh
Inventor
程敏
毛成林
项导
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijiahe Technology Co Ltd
Original Assignee
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijiahe Technology Co Ltd filed Critical Yijiahe Technology Co Ltd
Priority to CN202110425989.0A priority Critical patent/CN113103235B/zh
Publication of CN113103235A publication Critical patent/CN113103235A/zh
Application granted granted Critical
Publication of CN113103235B publication Critical patent/CN113103235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D图像对柜体表面设备进行垂直操作的方法，包括步骤：(1)采集柜体表面设备所在位置的RGB‑D图像，并计算柜体表面平面法向量；(2)计算深度相机光轴调整到垂直于柜体表面平面的旋转变换；(3)对深度图像进行分割得到设备的图像区域并基于(2)的旋转变换进行预处理；(4)重复步骤(3)得到训练样本并进行训练得到目标检测网络；(5)得到待操作设备的图像区域并输入目标检测网络得到待操作设备的类型和目标边界框，得到末端执行器需要执行的动作；(6)根据步骤(5)调整机械臂末端执行器垂直对准待操作设备进行操作。本发明的方法可靠有效，极大地降低人到场操作的安全风险和时间成本，提高处理问题的响应速度。

Description

一种基于RGB-D图像对柜体表面设备进行垂直操作的方法
技术领域
本发明涉及工业自动化控制的技术领域，具体涉及一种基于RGB-D图像对柜体表面按钮旋钮等设备进行垂直操作的方法。
背景技术
电力行业变电站/配电站的开关柜高压带电，操作具有安全风险，柜体的上半部分设置有按钮、旋钮等设备，通常是垂直于柜体平面对此类设备进行按压、旋转等操作。如果采用机械臂视觉控制的方式来自动操作，则会极大地降低人到场操作的安全风险和时间成本，提高处理问题的响应速度。
当前大部分工业流水线上的机器人基于视觉的操作策略都是基于目标位于相对机械臂固定平面这一前提上，而在上述所提出的应用场景中，机械臂装载在移动底盘上，由于移动的定位精度误差，柜体平面相对于机械臂是不固定平面，因此需要考虑策略来保证机械臂末端工具在操作时垂直于柜体平面。
发明内容
发明目的：本发明针对上述不足，提出了一种基于单帧RGB-D图像对柜体表面按钮旋钮等设备进行垂直操作的方法。
技术方案：
一种基于RGB-D图像对柜体表面设备进行垂直操作的方法，包括步骤：
(1)通过安装在末端执行器上的深度相机采集柜体表面设备所在位置的RGB-D图像，并拟合得到柜体表面平面方程，计算柜体表面平面法向量；
(2)根据步骤(1)得到的柜体表面平面法向量计算深度相机光轴调整到垂直于柜体表面平面需要的旋转变换；
(3)根据深度图像分割柜体表面设备，得到柜体表面设备的图像区域并根据(2)的旋转变换投影至平行于柜体表面平面，并根据柜体表面设备的类型形成类型标签；
(4)重复步骤(3)得到训练样本，并进行离线迭代训练得到基于深度学习的目标检测网络；
(5)对待操作设备进行步骤(1)～(3)的处理得到待操作设备的图像区域，并输入至步骤(4)得到的目标检测网络，得到待操作设备的类型和目标边界框，进而获取得到末端执行器需要执行的动作；
(6)根据步骤(5)得到的目标边界框获取待操作设备的位置，进而调整机械臂使其末端执行器垂直对准待操作设备，并进行操作。
所述步骤(1)中，机器人控制机械臂运动至其末端执行器上安装的深度相机平行于地面的位姿处，利用深度相机采集柜体上操作设备所在位置的单帧RGB-D图像。
所述步骤(1)中计算柜体平面法向量具体如下：
a、将深度相机采集的RGB图像转换到HSV颜色空间，进行聚类分割；
b、对每一类颜色进行形态学处理计算得到所有连通区域，找出所有连通区域中外接矩最大的一个；
c、对步骤b选出的连通区域使用随机采样一致性算法拟合平面方程，并计算得到柜体平面法向量。
所述步骤c中的使用随机采样一致性算法拟合平面方程具体如下：
c1.在步骤b选出的连通区域中随机选出3个点拟合平面方程：
Ax+By+Cz+D＝0
则法向量为(A,B,C)，且||(A,B,C)T||＝1；
c2.计算连通区域里所有点到该平面的距离和：
distance＝∑(Axi+Byi+Czi+D)2
c3.重复步骤c1～c2直至达到设定次数，选取其中计算得到的最小距离和对应的平面方程作为该连通区域的平面方程。
所述设定次数为500～5000次。
所述步骤(1)中的聚类使用kmeans算法，分割为7～10类。
所述步骤(3)具体为：
(31)在深度图像的全图上计算全部像素点到柜体平面的距离，若其中距离小于1mm的像素点为柜体平面上的像素点，其余的像素点作为分割出的操作设备的像素点；
(32)将分割出的操作设备的像素点中属于同一个连通区域的合并形成分割出的图像区域P1，并将其投影变换到平行于柜体平面得到图像区域P2；
(33)根据柜体平面方程得到深度相机的光心到柜体平面的距离，并据此对图像区域P2进行缩放，再投影到距离深度相机光心为s的平面上，得到图像区域P′2。
所述步骤(4)中，基于深度学习的目标检测网络采用Yolo-V3。
所述步骤(6)具体如下：
(61)通过机械臂手眼标定和TCP标定预先确定深度相机坐标系、机械臂坐标系和世界坐标系的转换关系；
(62)在机械臂坐标系下记末端执行器上的工具的位姿为gbt，记深度相机的位姿为gbc，机械臂末端法兰的位姿为gbe，则机械臂末端法兰到工具的位姿变换矩阵为get，机械臂末端法兰到深度相机的位姿变换矩阵为gec，则gbt＝gbe*get，gbc＝gbe*gec，进一步展开得：
Figure GDA0003084184730000031
Figure GDA0003084184730000032
其中，Rbt、Rbc、Rbe分别表示工具、深度相机、机械臂末端法兰在机械臂坐标系下的姿态，Ret、Rec分别表示机械臂末端法兰到工具的姿态变换矩阵、机械臂末端法兰到深度相机的姿态变换矩阵；pbt、pbc、pbe分别表示工具、深度相机、机械臂末端法兰在机械臂坐标系下的位置，pet、pec分别表示机械臂末端法兰到工具的位置变换矩阵、机械臂末端法兰到深度相机的位置变换矩阵；
则机械臂末端需要调整的旋转变换Rchange为：
Rchange＝R(Rec)-1Ret
(63)在世界坐标系下，待操作设备的位姿gbo为：
Figure GDA0003084184730000033
其中I为单位矩阵；
根据深度相机坐标系、机械臂坐标系和世界坐标系的转换关系计算得到在机械臂坐标系下的机械臂末端法兰目标位置：
pbo＝Rbc*pco+pbc
(64)计算得到需要调整的齐次变换矩阵为
Figure GDA0003084184730000041
(65)则计算得到机械臂末端法兰调整后的位姿为gbe*gchange，利用机械臂逆运动学对机械臂进行控制。
有益效果：本发明的方法可靠有效，极大地降低人到场操作的安全风险和时间成本，提高处理问题的响应速度；且本发明通过图像处理之后操作机器人对柜体表面设备进行操作，响应快，精度高。
附图说明
图1为本发明的任务操作示意图。
图2为本发明的垂直操作流程图。
图3为本发明计算柜体平面法向量的流程图。
图4为本发明计算三维空间中两个向量之间的旋转的示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
本发明涉及的柜体表面具体应用场景为变电站/配电站等高压开关柜，但是不限于此应用场景，凡是柜体表面具有按钮旋钮或其他类型设备，在需要垂直操作的场景都属于发明涵盖范畴。本发明针对的按钮旋钮等设备，通常需要垂直操作，从而最大程度减少工具的出力，保护工具和设备本身不受损坏。
图1为任务操作示意图。如图1所示，本发明在机械臂末端安装有末端执行器，在该末端执行器上安装有包括夹爪(对应旋钮)、按压杆(对应按钮)等结构以对柜体的上半部分设置有按钮、旋钮等设备进行操作，在末端执行器上安装有可采集柜体表面相应部位的RGB-D的深度相机，其中RGB-D表示的是RGB图像+深度图像(DepthMap)。
图2为本发明的垂直操作流程图。如图2所示，本发明的具体实施步骤如下：
(1)机械臂的载体(通常为轮式或履带式运动底盘)运动到柜体正前方，机械臂运动到指定的固定位姿，利用深度相机采集柜体表面的操作设备所在位置的单帧RGB-D图像。进一步的，固定位姿使深度相机的光轴大致平行于地面，但由于地面可能存在不平整，可能存在少许误差，不超过3度。所述固定位姿通常不能保证深度相机的光轴垂直于柜体表面平面，深度相机拍摄照片可以覆盖柜体表面平面。
(2)根据从深度相机采集得到的RGB-D图像计算柜体表面平面法向量；深度图像上的像素和RGB图像上的像素一一对应，RGB图像上的每一个像素拥有相机坐标系下对应的空间三维坐标(x,y,z)；具体步骤如下：
a、将RGB图像转换到HSV颜色空间，进行聚类粗分割；进一步的，聚类使用kmeans算法，分割为7～10类；
b、对每一类颜色进行形态学处理计算所有连通区域，找出所有连通区域中外接矩最大的一个；
c、对步骤b选出的连通区域使用随机采样一致性(RANSAC)算法拟合平面方程；
c1.在步骤b选出的连通区域中随机选出3个点拟合平面方程：
Ax+By+Cz+D＝0
则法向量为(A,B,C)，且||(A,B,C)T||＝1；
c2.计算连通区域里所有点到该平面的距离和：
distance＝∑(Axi+Byi+Czi+D)2
c3.重复步骤c1～c2直至达到最大次数(最大次数在实践中通常为2000次往上)，选取其中计算得到的最小距离和对应的平面方程作为该连通区域的平面方程，进而计算得到柜体表面平面法向量，如图3所示。
(3)根据步骤(2)得到的柜体表面平面法向量计算深度相机光轴调整到垂直于柜体表面平面需要的旋转变换；
当深度相机光轴垂直于柜体表面平面时，平面法向量为(0,0,1)；记三维空间中的单位向量
Figure GDA0003084184730000051
则
Figure GDA0003084184730000052
到
Figure GDA0003084184730000053
相当于围绕旋转轴
Figure GDA0003084184730000054
旋转了θ，如图4所示，则根据向量内外积定义：
Figure GDA0003084184730000055
Figure GDA0003084184730000056
利用三角函数公式可得：
Figure GDA0003084184730000061
Figure GDA0003084184730000062
则旋转变换可以用四元数的形式表示为
Figure GDA0003084184730000063
进一步，四元数和旋转矩阵是等价的，因此可求出对应的旋转矩阵R；
(4)自动分割柜体表面的待操作设备，并校准分割得到的柜体表面的待操作设备图像；
(41)在深度图像的全图上计算全部像素点到步骤(2)计算出的平面方程的距离，该距离小于1mm的像素点认为都属于柜体表面平面，其余的像素点被认为属于分割出的操作设备；且分割出的像素点属于同一个连通区域的被合并形成分割出的图像区域P1；
(42)由于此时拍摄的图像不是平行于柜体表面平面的，因此我们对分割出的图像区域P1进行预处理，只考虑旋转，将图像区域投影变换到平行于柜体表面平面：
P2＝KRK-1P1
其中P2为投影变换到平行于柜体表面平面的图像区域，K为深度相机内参矩阵；
(43)根据前述平面方程可得深度相机的光心到柜体表面平面的距离
Figure GDA0003084184730000064
因此对图像区域P2进行缩放，再投影到距离深度相机光心为s的平面上，可得：
Figure GDA0003084184730000065
(5)深度学习识别图像，获取中心点坐标；
(51)经步骤(4)处理得到若干图像区域P′2，对该所有图像区域P′2的集合构建并离线训练深度学习的目标检测网络；
(511)预先收集大量经步骤(4)处理后的图像区域P′2作为训练样本图像，并根据操作设备的类型生成对应的类别标签；
(512)进行离线迭代训练，获得基于深度学习的目标检测网络；本实施例深度学习的目标检测网络是Yolo-V3(You Only Look Once，Yolo)；
(52)在运行时，经步骤(4)处理后的图像区域P′2输入深度学习的目标检测网络并输出待操作设备的目标类别置信度和目标边界框，根据目标类别置信度得到对应的操作设备，进而获取得到需要执行的动作(按钮或旋钮)，进一步从目标边界框获取需要对齐待操作设备的中心点在深度相机坐标系下的三维坐标pco＝(xp,yp,zp)；
(6)调节机械臂末端使末端执行器垂直对准待操作设备并进行操作；
(61)通过机械臂手眼标定和TCP标定预先确定深度相机坐标系、机械臂坐标系和世界坐标系的转换关系；
(62)在机械臂坐标系下记末端执行器上的工具的位姿为gbt，记深度相机的位姿为gbc，机械臂末端法兰的位姿为gbe，则机械臂末端法兰到工具的位姿变换矩阵为get，机械臂末端法兰到深度相机的位姿变换矩阵为gec，则gbt＝gbe*get，gbc＝gbe*gec,进一步展开得：
Figure GDA0003084184730000071
Figure GDA0003084184730000072
其中，Rbt、Rbc、Rbe分别表示工具、深度相机、机械臂末端法兰在机械臂坐标系下的姿态，Ret、Rec分别表示机械臂末端法兰到工具的姿态变换矩阵、机械臂末端法兰到深度相机的姿态变换矩阵；pbt、pbc、pbe分别表示工具、深度相机、机械臂末端法兰在机械臂坐标系下的位置，pet、pec分别表示机械臂末端法兰到工具的位置变换矩阵、机械臂末端法兰到深度相机的位置变换矩阵；
则机械臂末端需要调整的旋转变换Rchange为：
Rchange＝R(Rec)-1Ret
(63)在世界坐标系下，待操作设备的位姿gbo为：
Figure GDA0003084184730000073
其中I为单位矩阵；
根据深度相机坐标系、机械臂坐标系和世界坐标系的转换关系计算得到在机械臂坐标系下的机械臂末端法兰目标位置：
pbo＝Rbc*pco+pbc
(64)计算得到需要调整的齐次变换矩阵为
Figure GDA0003084184730000081
(65)则计算得到机械臂末端法兰调整后的位姿为gbe*gchange，利用机械臂逆运动学可反解出机械臂各个关节角进行控制。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。

Claims (8)

1.一种基于RGB-D图像对柜体表面设备进行垂直操作的方法，其特征在于：包括步骤：
(1)通过安装在末端执行器上的深度相机采集柜体表面设备所在位置的RGB-D图像，并拟合得到柜体表面平面方程，计算柜体表面平面法向量；具体为：
a、将深度相机采集的RGB图像转换到HSV颜色空间，进行聚类分割；
b、对每一类颜色进行形态学处理计算得到所有连通区域，找出所有连通区域中外接矩最大的一个；
c、对步骤b选出的连通区域使用随机采样一致性算法拟合平面方程，并计算得到柜体表面平面法向量；
(2)根据步骤(1)得到的柜体表面平面法向量计算深度相机光轴调整到垂直于柜体表面平面需要的旋转变换；
(3)根据深度图像分割柜体表面设备，得到柜体表面设备的图像区域并根据步骤(2)的旋转变换投影至平行于柜体表面平面，并根据柜体表面设备的类型形成类型标签；
(4)重复步骤(3)得到训练样本，并进行离线迭代训练得到基于深度学习的目标检测网络；
(5)对待操作设备进行步骤(1)～(3)的处理得到待操作设备的图像区域，并输入至步骤(4)得到的目标检测网络，得到待操作设备的类型和目标边界框，进而获取得到末端执行器需要执行的动作；
(6)根据步骤(5)得到的目标边界框获取待操作设备的位置，进而调整机械臂使其末端执行器垂直对准待操作设备，并进行操作。
2.根据权利要求1所述的方法，其特征在于：所述步骤(1)中，机器人控制机械臂运动至其末端执行器上安装的深度相机平行于地面的位姿处，利用深度相机采集柜体表面设备所在位置的单帧RGB-D图像。
3.根据权利要求1所述的方法，其特征在于：所述步骤c中的使用随机采样一致性算法拟合平面方程具体如下：
c1.在步骤b选出的连通区域中随机选出3个点拟合平面方程：
Ax+By+Cz+D＝0
则法向量为(A,B,C)，且||(A,B,C)T||＝1；
c2.计算连通区域里所有点到该平面的距离和：
diatance＝∑(Axi+Byi+Czi+D)2
c3.重复步骤c1～c2直至达到设定次数，选取其中计算得到的最小距离和对应的平面方程作为该连通区域的平面方程。
4.根据权利要求3所述的方法，其特征在于：所述设定次数为500～5000次。
5.根据权利要求1所述的方法，其特征在于：所述步骤(1)中的聚类使用kmeans算法，分割为7～10类。
6.根据权利要求1所述的方法，其特征在于：所述步骤(3)具体为：
(31)在深度图像的全图上计算全部像素点到柜体表面平面的距离，其中距离小于1mm的像素点为柜体表面平面上的像素点，其余的像素点作为分割出的操作设备的像素点；
(32)将分割出的操作设备的像素点中属于同一个连通区域的合并形成分割出的图像区域P1，并将其投影变换到平行于柜体表面平面得到图像区域P2；
(33)根据柜体表面平面方程得到深度相机的光心到柜体表面平面的距离，并据此对图像区域P2进行缩放，再投影到距离深度相机光心为s的平面上，得到图像区域P′2。
7.根据权利要求1所述的方法，其特征在于：所述步骤(4)中，基于深度学习的目标检测网络采用Yolo-V3。
8.根据权利要求1所述的方法，其特征在于：所述步骤(6)具体如下：
(61)通过机械臂手眼标定和TCP标定预先确定深度相机坐标系、机械臂坐标系和世界坐标系的转换关系；
(62)在机械臂坐标系下记末端执行器上的工具的位姿为gbt，记深度相机的位姿为gbc，机械臂末端法兰的位姿为gbe，则机械臂末端法兰到工具的位姿变换矩阵为get，机械臂末端法兰到深度相机的位姿变换矩阵为gec，则gbt＝gbe*get，gbc＝gbe*gec，进一步展开得：
Figure FDA0003797357510000021
Figure FDA0003797357510000031
其中，Rbt、Rbc、Rbe分别表示工具、深度相机、机械臂末端法兰在机械臂坐标系下的姿态，Ret、Rec分别表示机械臂末端法兰到工具的姿态变换矩阵、机械臂末端法兰到深度相机的姿态变换矩阵；pbt、pbc、pbe分别表示工具、深度相机、机械臂末端法兰在机械臂坐标系下的位置，pet、pec分别表示机械臂末端法兰到工具的位置变换矩阵、机械臂末端法兰到深度相机的位置变换矩阵；
则机械臂末端需要调整的旋转变换Rchange为：
Rchange＝R(Rec)-1Ret
(63)在世界坐标系下，待操作设备的位姿gbo为：
Figure FDA0003797357510000032
其中I为单位矩阵，pco表示从目标边界框获取的需要对齐待操作设备的中心点在深度相机坐标系下的三维坐标；
根据深度相机坐标系、机械臂坐标系和世界坐标系的转换关系计算得到在机械臂坐标系下的机械臂末端法兰目标位置：
pbo＝Rbc*pco+pbc
(64)计算得到需要调整的齐次变换矩阵为
Figure FDA0003797357510000033
(65)则计算得到机械臂末端法兰调整后的位姿为gbe*gchange，利用机械臂逆运动学对机械臂进行控制。
CN202110425989.0A 2021-04-20 2021-04-20 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 Active CN113103235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110425989.0A CN113103235B (zh) 2021-04-20 2021-04-20 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110425989.0A CN113103235B (zh) 2021-04-20 2021-04-20 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法

Publications (2)

Publication Number Publication Date
CN113103235A CN113103235A (zh) 2021-07-13
CN113103235B true CN113103235B (zh) 2022-09-27

Family

ID=76718869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110425989.0A Active CN113103235B (zh) 2021-04-20 2021-04-20 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法

Country Status (1)

Country Link
CN (1) CN113103235B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538568B (zh) * 2021-08-04 2024-01-12 国网浙江省电力有限公司嘉兴供电公司 一种机器人倒闸操作图像处理方法及变电站机器人
CN113681560B (zh) * 2021-08-26 2023-07-04 浙江大学 基于视力融合的机械臂操作铰接物体的方法
CN114851160A (zh) * 2022-05-24 2022-08-05 国网上海市电力公司 一种用于移动机器人的机械臂控制方法
CN115147437B (zh) * 2022-07-04 2023-04-14 中国民用航空飞行学院 机器人智能引导加工方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN110340887A (zh) * 2019-06-12 2019-10-18 西安交通大学 一种基于图像的加油机器人视觉引导的方法
CN111553949A (zh) * 2020-04-30 2020-08-18 张辉 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN112107363A (zh) * 2020-08-31 2020-12-22 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
EP3792013A1 (en) * 2019-09-13 2021-03-17 Kabushiki Kaisha Toshiba Handling device, control device, and holding method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11358290B2 (en) * 2017-10-19 2022-06-14 Canon Kabushiki Kaisha Control apparatus, robot system, method for operating control apparatus, and storage medium
US11396101B2 (en) * 2018-11-08 2022-07-26 Kabushiki Kaisha Toshiba Operating system, control device, and computer program product

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN110340887A (zh) * 2019-06-12 2019-10-18 西安交通大学 一种基于图像的加油机器人视觉引导的方法
EP3792013A1 (en) * 2019-09-13 2021-03-17 Kabushiki Kaisha Toshiba Handling device, control device, and holding method
CN111553949A (zh) * 2020-04-30 2020-08-18 张辉 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN112107363A (zh) * 2020-08-31 2020-12-22 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法

Also Published As

Publication number Publication date
CN113103235A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113103235B (zh) 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN107914272B (zh) 一种七自由度机械臂组件抓取目标物体的方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN112171661A (zh) 一种基于视觉信息融合的机械臂抓取目标物体方法
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
US20160214255A1 (en) Method for calibrating an articulated end effector employing a remote digital camera
CN110900581A (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN110553650B (zh) 一种基于小样本学习的移动机器人重定位方法
CN113284179A (zh) 一种基于深度学习的机器人多物体分拣方法
Zheng et al. Industrial part localization and grasping using a robotic arm guided by 2D monocular vision
Farag et al. Grasping and positioning tasks for selective compliant articulated robotic arm using object detection and localization: Preliminary results
CN111354007A (zh) 一种基于纯机器视觉定位的投影交互方法
CN112560704A (zh) 一种多特征融合的视觉识别方法及系统
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN115042175A (zh) 一种机器人机械臂末端姿态的调整方法
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
CN108074264A (zh) 一种分级多目视觉定位方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant