CN113771045A - 视觉引导的直角机器人手机中框高适应定位抓取方法 - Google Patents

视觉引导的直角机器人手机中框高适应定位抓取方法 Download PDF

Info

Publication number
CN113771045A
CN113771045A CN202111204988.XA CN202111204988A CN113771045A CN 113771045 A CN113771045 A CN 113771045A CN 202111204988 A CN202111204988 A CN 202111204988A CN 113771045 A CN113771045 A CN 113771045A
Authority
CN
China
Prior art keywords
mobile phone
middle frame
image
vision system
end effector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111204988.XA
Other languages
English (en)
Other versions
CN113771045B (zh
Inventor
刘强
邹广鑫
赵荣丽
冷杰武
肖万余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202111204988.XA priority Critical patent/CN113771045B/zh
Publication of CN113771045A publication Critical patent/CN113771045A/zh
Application granted granted Critical
Publication of CN113771045B publication Critical patent/CN113771045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了视觉引导的直角机器人手机中框高适应定位抓取方法，涉及手机制造技术领域，在本发明中，利用离线视觉系统分析手机中框图像，寻找最优抓取位置，使上下料机器人获知抓取手机中框的最佳抓取位置信息，上下料机器人通过在线视觉系统对装配线上的工件进行寻边定位，并同时结合最优抓取位置，从而计算出末端执行器的拾取路径与位姿，实现机器人的柔性化抓取。实现离线视觉系统分析抓取位置和在线视觉定位抓取相结合，解决自动装配过程中手机中框上下料时的快速识别定位与抓取问题，提高工业机器人对环境场景的感知能力，促进手机组装生产中可以采用更为灵活的生产方式，解决了工业自动化高度结构化、柔性差、低智能等问题。

Description

视觉引导的直角机器人手机中框高适应定位抓取方法
技术领域
本发明涉及手机制造技术领域，尤其涉及视觉引导的直角机器人手机中框高适应定位抓取方法。
背景技术
信息技术与人工智能的高速发展，推动现代制造业由过去简单的自动化向信息化、柔性化、智能化方向转变。工业机器人作为融合机械、计算机、控制等技术的综合产品，以其机电一体化高度集成特性，已经被广泛应用在实际工业生产当中，为制造企业创造了巨大的价值。随着我国人口红利逐渐消失，导致组装行业的生产成本也越来越高，企业为了降低人工成本，逐渐倾向于以“机器代人”进行装配或者为加工中心搬运物料，这也成为装配企业智能制造的内在要求。目前大多数工业机器人主要以在线示教作业模式为主，这种作业模式下，目标工件需要先被固定夹具进行定位，使得整个机器人系统的工作柔性较低，不能快速适配差异化产品的作业任务。
随着手机市场的竞争加剧，手机产品在市场上具有外观、功能、价格变化快的特点，这不仅要求手机生产厂商不断提高加工工艺和技术，还需要具备快速换产的适应能力。由于手机组装具有零部件种类繁多、装配工艺复杂、节拍短促、换产频繁等特性，导致其自动化综合水平偏低，尤其在手机组装过程中，零配件的高差异性，导致上下料作业方式仍以手工作业为主，严重制约该行业的生产效率和装配线自动化发展进程。
发明内容
本发明的目的在于提出视觉引导的直角机器人手机中框高适应定位抓取方法，以解决手机自动装配线中装载机器人对差异化产品适应性差、难以快速调整对不同型号手机中框的定位抓取的难题。
为达此目的，本发明第一方面公开了视觉引导的直角机器人手机中框高适应定位抓取方法，应用在手机生产线中的上下料机器人，上下料机器人搭载有离线视觉系统、在线视觉系统和末端执行器，末端执行器采用吸盘吸附的方式进行抓取工件；
所述方法包括如下步骤：
步骤S1：离线视觉系统基于抓取定位算法，检测分析手机中框的孔洞特征信息，根据末端执行器的吸盘形状与尺寸，确定末端执行器对手机中框的最佳抓取位姿，计算得到手机中框的抓取点Mark0和末端执行器抓取手机中框需要旋转的旋转角γ；
步骤S2：当手机中框沿装配线输送至上料位置并触发上料时，上下料机器人位于手机中框的上方，在线视觉系统对装配线的手机中框进行图像采集，得到位于上料位置的手机中框的图像信息；
步骤S3：在线视觉系统基于边缘轮廓的模板匹配算法进行匹配识别，将位于上料位置的手机中框的图像信息与已有的模板特征进行匹配识别，得到位于上料位置的手机中框的位姿信息；
步骤S4：上下料机器人上料标定，通过获取标定参照物在图像像素坐标系及对应在机器人坐标系下的坐标位置，得到图像像素坐标系到世界坐标系之间的转换关系；
步骤S5：根据抓取点Mark0、离线视觉系统下手机中框和位于上料位置的手机中框的位姿信息，计算出位于上料位置的手机中框相对于离线视觉系统下手机中框旋转角度θ；
步骤S6：根据旋转角γ和旋转角度θ，计算出上下料机器人运动的位置补偿，再根据图像像素坐标系到世界坐标系之间的转换关系，转换得到末端执行器进行吸料的实际位置(XWt,YWt)；
步骤S7：根据旋转角γ、旋转角度θ、实际位置(XWt,YWt)以及上料位置与放料位置之间的位置变化关系，规划出末端执行器的路径。
作为一种可选的实施例，在本发明的第一方面中所述步骤S1包括以下步骤：
步骤S11：通过离线视觉系统的相机在静止状态下采集手机中框图像，获得离线视觉系统下手机中框的图像；
步骤S12：将离线视觉系统下手机中框的图像依次进行灰度化处理、二值化处理、滤波平滑处理、基于形态学闭运算填充图像孔隙处理和图像边缘特征提取处理，得到预处理后离线视觉系统下手机中框的图像；
步骤S13：根据预处理后离线视觉系统下手机中框的图像，基于带旋转的最小外接矩形算法MABP获取手机中框的矢量信息，得到与离线视觉系统下手机中框相对应的最小外接矩形在图像像素坐标系中边角点坐标值的最大值umax、vmax，最小值umin、vmin，以及离线视觉系统下手机中框的位姿角度Φ，根据公式(1)、公式(2)和公式(3)分别得到离线视觉系统下手机中框的长、宽和周长；
a＝umax-vmin 公式(1)；
b＝vmax-vmin 公式(2)；
c＝2×(a+b) 公式(3)；
其中，a代表手机中框的长，b代表手机中框的宽，c代表手机中框的周长；
步骤S14：基于覆盖圆算法提取空洞边缘轮廓的最小外接圆，获取手机中框的孔洞特征；
步骤S15：输入手机中框的孔洞特征集合、手机中框的矢量信息和吸盘的形状和尺寸参数；
Step1：将手机中框的中心点设为初始搜索位置，计算此时吸盘与孔洞区域的相交面积；若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则进入Step2继续搜索；
Step2：以上一搜索位置为出发点，末端执行器先以旋转角γ顺时针转动，计算吸盘与孔洞区域的相交面积；若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则末端执行器旋转复位，且以旋转角γ逆时针转动，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则旋转角γ＝γ+Δγ，按上述旋转顺序继续搜索，直至满足条件结束，或者达到旋转角γ的阈值后，末端执行器旋转复位并按照以下情况选择相应的步骤继续搜索：
若本次Step2前经历的是Step1，则进入Step3继续搜索；
若本次Step2前经历的是Step3，则进入Step4继续搜索；
若本次Step2前经历的是Step4，则进入Step5继续搜索；
Step3：以上一搜索位置为出发点，末端执行器左移平移量x，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则返回Step2进行旋转搜索；
Step4：以上一搜索位置为出发点，末端执行器右移平移量2x，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则返回Step2进行旋转搜索；
Step5：平移量x＝x+Δx，然后返回Step3，直至满足条件，或者达到平移阈值范围，结束搜索；
输出：手机中框的抓取点Mark0和末端执行器抓取手机中框需要旋转的旋转角γ。
作为一种可选的实施例，在本发明的第一方面中所述步骤S3包括以下步骤：
步骤S31：判断是否需要创建模板，若是，则进行步骤S32；若否，则进行步骤S33；
步骤S32：采集模板图像，在模板图像中选择目标区域ROI，进行图像预处理并提取出模板轮廓的边缘特征，然后进行步骤S33；
步骤S33：对位于上料位置的手机中框的图像进行图像预处理，并提取出手机中框轮廓的边缘特征；
步骤S34：基于Hausdorff距离匹配算法，将手机中框轮廓与模板轮廓进行模板匹配，计算出手机中框轮廓与模板轮廓之间的相似程度；若相似程度达到预设值，则判定匹配成功，获得目标中框轮廓，进行步骤S35；若相似程度没有达到预设值，则判定匹配失败若匹配成功，重新采集位于上料位置的手机中框的图像，并返回步骤S33；
步骤S35：基于带旋转的最小外接矩形算法MABP获取目标中框轮廓的矢量信息，得到与目标中框轮廓对应的最小外接矩形在图像像素坐标系中的边角坐标点，并计算出对应的最小外接矩形的位姿角度σ，从而得到位于上料位置的手机中框的位姿信息。
作为一种可选的实施例，在本发明的第一方面中所述Hausdorff距离匹配算法是：
将模板轮廓的边缘特征集定义为T，将手机中框轮廓的边缘特征定义为E，根据公式(4)、公式(5)和公式(6)计算出手机中框轮廓与模板轮廓的相似程度；
H(T,E)＝max(h(T,E),h(E,T)) (4)
Figure BDA0003306488080000051
Figure BDA0003306488080000061
其中，H(T,E)表示双向Hausdorff距离，式中h(T,E)称为前向Haudorff距离，表示边缘特征集T到E的单向距离，h(E,T)表示后向Hausdorff距离，表示边缘E到T的单向距离，||.||定义为边缘特征集T与E的距离范数，双向Haurdorff距离取最大单向距离值，来度量匹配模板轮廓和手机中框轮廓的相似程度，H(T,E)值越小，表明相似程度越高。
作为一种可选的实施例，在本发明的第一方面中所述步骤S4包括以下步骤：
步骤S41：相机像素标定：
(1)离线视觉系统的相机像素标定：
根据离线视觉系统下手机中框的矢量信息，离线视觉系统下手机中框的四个边角点坐标分别为(xmax,ymax)、(xmax,ymin)、(xmin,ymax)、(xmin,ymin)，离线视觉系统下手机中框像素长a＝ymax-ymin，宽b＝xmax-xmin，则离线视觉系统下手机中框像素周长为Cpixel＝2×(a+b)，而实际的手机中框周长为Cmm，标定离线视觉单位像素对应实际物理尺寸dp为：
Figure BDA0003306488080000062
(2)在线视觉系统的相机像素标定；
选择手机中框的某一点作为标定靶点，控制上下料机器人沿X轴、Y轴移动固定距离，在线视觉系统分别记录此时标定靶点像素坐标；
设置在线视觉系统的相机所在X轴向直线上两个采集点之间移动的距离值为Lx；
设置在线视觉系统的相机所在Y轴向直线上两个采集点之间移动的距离值为Ly；
计算图像坐标系中对应在X轴向两个采集点之间的像素距离为Px；
计算在图像坐标系中对应在Y轴向两个采集点之间的像素距离为Py；
根据Lx、Ly、Px、Py，求出在线视觉单位像素在机器人坐标系下的物理尺寸：在线视觉单位像素在机器人坐标系下X轴方向的物理尺寸dx，
Figure BDA0003306488080000071
在线视觉单位像素在机器人坐标系下Y轴方向的物理尺寸dy，
Figure BDA0003306488080000072
步骤S42：图像像素坐标系与世界坐标系之间的线性关系为：
Figure BDA0003306488080000073
其中，A1称为相机标定内参模型，A2表示相机的外参数矩阵，Xw、Yw、Zw表示世界坐标，u、v表示图像坐标，zc表示相机坐标系的z轴的坐标；
步骤S43：根据公式(7)建立图像像素坐标系与机器人坐标系之间的二维映射关系：
Figure BDA0003306488080000074
将公式(8)写成方程组的形式：
Figure BDA0003306488080000075
其中，M11、M12、M13、M21、M22、M23为待求参数；
步骤S44：获取三组以上的标定数据求解公式(8)和公式(9)中的M11、M12、M13、M21、M22、M23，从而得到图像像素坐标系到世界坐标系之间的转换关系。
作为一种可选的实施例，在本发明的第一方面中所述步骤S5包括以下步骤：
步骤S51：将抓取点Mark0转换为在线视觉系统的图像像素坐标系的定位点，得到抓取点Mark0的像素坐标为Oj(uj,vj)，取离线视觉系统下手机中框右下角点p4，像素坐标为(umax,vmax)，则抓取点Mark0与离线视觉系统下手机中框右下角点p4之间的实际距离表示抓取相对距离doffline，抓取相对距离doffline可根据公式(10)计算得出：
Figure BDA0003306488080000081
步骤S52：记抓取点Mark0与离线视觉系统下手机中框右下角点p4之间的连线与离线视觉系统下手机中框下边缘的夹角为
Figure BDA0003306488080000082
可根据公式(11)计算得出：
Figure BDA0003306488080000083
步骤S53：在在线视觉系统中，取目标中框轮廓的右下边角点Mark1，像素坐标记为(umark1,vmark1)；根据目标中框轮廓的右下边角点Mark1、抓取相对距离doffline和
Figure BDA0003306488080000084
确定在线视觉系统下手机中框的另一个定位点Mark2，像素坐标记为(umark2,vmark2)；
步骤S54：根据关系公式(12)和公式(13)计算得出位于上料位置的手机中框相对于离线视觉系统下手机中框旋转角度θ：
Figure BDA0003306488080000085
Figure BDA0003306488080000086
其中，当θ>0时，表示上料位置的手机中框顺时针旋转，当θ<0，表示上料位置的手机中框逆时针旋转。
作为一种可选的实施例，在本发明的第一方面中所述步骤S6包括以下步骤：
步骤S61：获取吸盘中心t1到末端执行器的工具中心Ot的距离L；
步骤S62：根据公式(14)和公式(15)，计算出末端执行器的工具中心Ot在图像坐标中的坐标位置；
Figure BDA0003306488080000091
Figure BDA0003306488080000092
其中，当θ+γ>0时，表示末端执行器顺时针旋转，公式(11)计算符号为“+”，公式(12)计算符号为“-”；当θ+γ<0时，表示末端执行器逆时针旋转，公式(11)计算符号为“-”，公式(12)计算符号为“+”；
步骤S63：根据图像像素坐标系到世界坐标系之间的转换关系，将末端执行器的工具中心Ot在世界坐标中的坐标位置，获得末端执行器进行吸料的实际位置(XWt,YWt)。
本发明的第二方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时用于执行第二方面任一项所述的视觉引导的直角机器人手机中框高适应定位抓取方法。
在本发明的实施例中，利用离线视觉系统分析手机中框图像，寻找最优抓取位置，使上下料机器人获知抓取手机中框的最佳抓取位置信息，上下料机器人通过在线视觉系统对装配线上的工件进行寻边定位，并同时结合最优抓取位置，从而计算出末端执行器的拾取路径与位姿，实现机器人的柔性化抓取。实现离线视觉系统分析抓取位置和在线视觉定位抓取相结合，解决自动装配过程中手机中框上下料时的快速识别定位与抓取问题，提高工业机器人对环境场景的感知能力，促进手机组装生产中可以采用更为灵活的生产方式，解决了工业自动化高度结构化、柔性差、低智能等问题。
附图说明
图1是本发明其中一个实施例的流程示意图；
图2是本发明其中一个实施例的最小外接矩形算法MABP的计算流程示意图；
图3是本发明其中一个实施例的覆盖圆算法的计算流程示意图；
图4是本发明其中一个实施例的边缘轮廓的模板匹配算法的流程示意图；
图5是本发明其中一个实施例中相机坐标系、机器人坐标系、图像像素坐标系以及图像物理坐标系之间的示意图；
图6是本发明其中一个实施例中抓取点Mark0与右下角P4之间的关系示意图；
图7是本发明其中一个实施例中计算旋转角度θ的模型示意图；
图8是本发明其中一个实施例中计算运动补偿的模型示意图；
图9是本发明其中一个实施例的路径规划示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
参照图1-9，本实施例提供的视觉引导的直角机器人手机中框高适应定位抓取方法，应用在手机生产线中的上下料机器人，上下料机器人搭载有控制器、工控机、离线视觉系统、在线视觉系统和末端执行器，末端执行器采用吸盘吸附的方式进行抓取工件；具体地，在一些实施例中，手机生产线具有上料传感器，上料传感器与控制器信号连接。上下料机器人还包括控制器和工控机，离线视觉系统的相机和在线视觉系统的相机分别与工控机通信连接，以使采集到的图像能传输至工控机上。在线视觉系统和离线视觉系统的视觉处理软件分别在工控机运行。工控机与控制器通信连接，当工件到达上料位置时，上料传感器向控制器发出信号，工控机针对上料位置的工件进行视觉处理，根据视觉处理结果规划出末端执行器的路线，并将规划出的路线以信号方式传输至控制器，控制器根据接收到路线信号控制末端执行器运作。更具体地，所述末端执行器可以是四轴直角机械结构，能带动吸盘在水平方向前后左右平移、在上下方向升降以及带动吸盘绕末端执行器的工具中心水平转动。
所述方法包括如下步骤：
步骤S1：离线视觉系统基于抓取定位算法，检测分析手机中框的孔洞特征信息，根据末端执行器的吸盘形状与尺寸，确定末端执行器对手机中框的最佳抓取位姿，计算得到手机中框的抓取点Mark0和末端执行器抓取手机中框需要旋转的旋转角γ；
步骤S2：当手机中框沿装配线输送至上料位置并触发上料时，上下料机器人位于手机中框的上方，在线视觉系统对装配线的手机中框进行图像采集，得到位于上料位置的手机中框的图像信息；
步骤S3：在线视觉系统基于边缘轮廓的模板匹配算法进行匹配识别，将位于上料位置的手机中框的图像信息与已有的模板特征进行匹配识别，得到位于上料位置的手机中框的位姿信息；
步骤S4：上下料机器人上料标定，通过获取标定参照物在图像像素坐标系及对应在机器人坐标系下的坐标位置，得到图像像素坐标系到世界坐标系之间的转换关系；
步骤S5：根据抓取点Mark0、离线视觉系统下手机中框和位于上料位置的手机中框的位姿信息，计算出位于上料位置的手机中框相对于离线视觉系统下手机中框旋转角度θ；
步骤S6：根据旋转角γ和旋转角度θ，计算出上下料机器人运动的位置补偿，再根据图像像素坐标系到世界坐标系之间的转换关系，转换得到末端执行器进行吸料的实际位置(XWt,YWt)；
步骤S7：根据旋转角γ、旋转角度θ、实际位置(XWt,YWt)以及上料位置与放料位置之间的位置变化关系，规划出末端执行器的路径。具体地，参照图9所示的手机中框直角搬运实施例，需要将手机中框从吸料位置搬运至放置点时，末端执行器的路径为：末端执行器先根据实际位置(XWt,YWt)移动至吸料位置，然后末端执行器逆时针旋转γ和旋转角度θ后，下放吸盘，高度为h，使吸盘吸附手机中框，再提起吸盘，高度为h，下方和提起吸盘的高度h可根据实际情况进行调节，实现抓取手机中框。接着，末端执行器向上移动一段距离到达P2位置时，末端执行器顺时针旋转90°、旋转角γ和旋转角度θ后，末端执行器再向右移动一段距离到达P3位置。末端执行器下放吸盘，高度为h，使手机中框落在放置点P3上，从而完成上料。
在本发明的实施例中，利用离线视觉系统分析手机中框图像，寻找最优抓取位置，使上下料机器人获知抓取手机中框的最佳抓取位置信息，上下料机器人通过在线视觉系统对装配线上的工件进行寻边定位，并同时结合最优抓取位置，从而计算出末端执行器的拾取路径与位姿，实现机器人的柔性化抓取。实现离线视觉系统分析抓取位置和在线视觉定位抓取相结合，解决自动装配过程中手机中框上下料时的快速识别定位与抓取问题，提高工业机器人对环境场景的感知能力，促进手机组装生产中可以采用更为灵活的生产方式，解决了工业自动化高度结构化、柔性差、低智能等问题。
具体地，所述步骤S1包括以下步骤：
步骤S11：通过离线视觉系统的相机在静止状态下采集手机中框图像，获得离线视觉系统下手机中框的图像；
步骤S12：将离线视觉系统下手机中框的图像依次进行灰度化处理、二值化处理、滤波平滑处理、基于形态学闭运算填充图像孔隙处理和图像边缘特征提取处理，得到预处理后离线视觉系统下手机中框的图像；具体地，首先要进行图像灰度化，灰度化处理采用的是平均值法，取图像中每个像素点的R、G、B值的平均值代替原图像像素点的灰度值，即Gray＝sum(R、G、B)/3；再经过二值化处理方便后续对工件边缘轮廓的提取，通过阈值分割方法来区分图像目标和背景区域，选择一个合适的阈值可以增强图像有用特征信息，减少无关因素的干扰，假设输入的图像像素点的灰度函数表示为f(x,y)，则输出二值图像的灰度函数为：
Figure BDA0003306488080000131
选择中值滤波方法进行滤波平滑处理；再进行形态学闭运算实现填充图像孔隙，去除图像中断裂边缘的干扰；最后选择Canny边缘检测算子进行图像边缘特征提取。
步骤S13：根据预处理后离线视觉系统下手机中框的图像，基于带旋转的最小外接矩形算法MABP获取手机中框的矢量信息，得到与离线视觉系统下手机中框相对应的最小外接矩形在图像像素坐标系中边角点坐标值的最大值umax、vmax，最小值umin、vmin，以及离线视觉系统下手机中框的位姿角度Φ，根据公式(1)、公式(2)和公式(3)分别得到离线视觉系统下手机中框的长、宽和周长；
a＝umax-vmin 公式(1)；
b＝vmax-vmin 公式(2)；
c＝2×(a+b) 公式(3)；
其中，a代表手机中框的长，b代表手机中框的宽，c代表手机中框的周长；具体地，带旋转的最小外接矩形算法MABP的具体操作是先设置初始变量，计算轮廓的初始外接矩形面积，然后以轮廓某一角点为旋转中心，进行相等间隔角度的旋转，旋转的最大角不超过90度，每次旋转后计算其相应的外接矩形面积，直至搜索出面积最小的外接矩形，获得对应的矢量信息。更具体地，可在OpenCV中直接调用最小外接矩形算子，计算流程可参照图2所示。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效--由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
步骤S14：基于覆盖圆算法提取空洞边缘轮廓的最小外接圆，获取手机中框的孔洞特征；具体地，覆盖圆算法先搜索出轮廓中最左、最右、最上、最下的四个点，然后以这四点的最小覆盖圆进行迭代搜索，通过遍历所有点，搜索是否存在界外点，如果存在，将重新确定最小覆盖圆，进行新的迭代搜索，直至搜索到覆盖所有点的最小外接圆。更具体地，可在OpenCV中，可以直接调用最小外接圆算子，具体计算流程可参照图3所示。
步骤S15：输入手机中框的孔洞特征集合、手机中框的矢量信息和吸盘的形状和尺寸参数；
Step1：将手机中框的中心点设为初始搜索位置，计算此时吸盘与孔洞区域的相交面积；若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则进入Step2继续搜索；
Step2：以上一搜索位置为出发点，末端执行器先以旋转角γ顺时针转动，计算吸盘与孔洞区域的相交面积；若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则末端执行器旋转复位，且以旋转角γ逆时针转动，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则旋转角γ＝γ+Δγ，按上述旋转顺序继续搜索，直至满足条件结束，或者达到旋转角γ的阈值后，末端执行器旋转复位并按照以下情况选择相应的步骤继续搜索：
若本次Step2前经历的是Step1，则进入Step3继续搜索；
若本次Step2前经历的是Step3，则进入Step4继续搜索；
若本次Step2前经历的是Step4，则进入Step5继续搜索；
具体地，在本实施例的一个实施例中，初始旋转γ的值为1°，Δγ的值为1°，旋转角γ的阈值为30°。其中，初始旋转γ的值、Δγ的值、旋转角γ的阈值分别可根据手机中框的实际大小进行调整。
Step3：以上一搜索位置为出发点，末端执行器左移平移量x，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则返回Step2进行旋转搜索；
Step4：以上一搜索位置为出发点，末端执行器右移平移量2x，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则返回Step2进行旋转搜索；
Step5：平移量x＝x+Δx，然后返回Step3，直至满足条件，或者达到平移阈值范围，结束搜索；具体地，在本实施例的一个实施例中，初始平移量x的值为2mm，Δx的值为当前x的值，平移阈值为15mm。其中，初始平移量x的值、Δx的值、平移阈值分别可根据手机中框的实际大小进行调整。
输出：手机中框的抓取点Mark0和末端执行器抓取手机中框需要旋转的旋转角γ。
具体地，参照图4所示，所述步骤S3包括以下步骤：
步骤S31：判断是否需要创建模板，若是，则进行步骤S32；若否，则进行步骤S33；具体地，若是手机中框第一次到达上料位置，默认第一次搬运该款手机中框，需要创建模板，若手机中框不是第一次到达上料位置，即之前已经搬运过相同的手机中框，则无需创建模板。
步骤S32：采集模板图像，在模板图像中选择目标区域ROI，进行图像预处理并提取出模板轮廓的边缘特征，然后进行步骤S33；
步骤S33：对位于上料位置的手机中框的图像进行图像预处理，并提取出手机中框轮廓的边缘特征；
步骤S34：基于Hausdorff距离匹配算法，将手机中框轮廓与模板轮廓进行模板匹配，计算出手机中框轮廓与模板轮廓之间的相似程度；若相似程度达到预设值，则判定匹配成功，获得目标中框轮廓，进行步骤S35；若相似程度没有达到预设值，则判定匹配失败若匹配成功，重新采集位于上料位置的手机中框的图像，并返回步骤S33；
步骤S35：基于带旋转的最小外接矩形算法MABP获取目标中框轮廓的矢量信息，得到与目标中框轮廓对应的最小外接矩形在图像像素坐标系中的边角坐标点，并计算出对应的最小外接矩形的位姿角度σ，从而得到位于上料位置的手机中框的位姿信息。
其中，值得说明的是，所述Hausdorff距离匹配算法是：
将模板轮廓的边缘特征集定义为T，将手机中框轮廓的边缘特征定义为E，根据公式(4)、公式(5)和公式(6)计算出手机中框轮廓与模板轮廓的相似程度；
H(T,E)＝max(h(T,E),h(E,T)) (4)
Figure BDA0003306488080000161
Figure BDA0003306488080000162
其中，H(T,E)表示双向Hausdorff距离，式中h(T,E)称为前向Haudorff距离，表示边缘特征集T到E的单向距离，h(E,T)表示后向Hausdorff距离，表示边缘E到T的单向距离，||.||定义为边缘特征集T与E的距离范数，通常使用L2范数，如欧式距离。双向Haurdorff距离取最大单向距离值，来度量匹配模板轮廓和手机中框轮廓的相似程度，H(T,E)值越小，表明相似程度越高。
具体地，所述步骤S4包括以下步骤：
步骤S41：相机像素标定：
(1)离线视觉系统的相机像素标定：
根据离线视觉系统下手机中框的矢量信息，离线视觉系统下手机中框的四个边角点坐标分别为(xmax,ymax)、(xmax,ymin)、(xmin,ymax)、(xmin,ymin)，离线视觉系统下手机中框像素长a＝ymax-ymin，宽b＝xmax-xmin，则离线视觉系统下手机中框像素周长为Cpixel＝2×(a+b)，而实际的手机中框周长为Cmm，标定离线视觉单位像素对应实际物理尺寸dp为：
Figure BDA0003306488080000171
(2)在线视觉系统的相机像素标定；
在线视觉的相机安装在上下料机器人的末端，随上下料机器人沿X轴、Y轴方向移动固定距离进行拍照采集图像，因此在线视觉系统的相机像素标定可采用主动视觉标定方法。选择手机中框的某一点作为标定靶点，控制上下料机器人沿X轴、Y轴移动固定距离，在线视觉系统分别记录此时标定靶点像素坐标；
设置在线视觉系统的相机所在X轴向直线上两个采集点之间移动的距离值为Lx；
设置在线视觉系统的相机所在Y轴向直线上两个采集点之间移动的距离值为Ly；
计算图像坐标系中对应在X轴向两个采集点之间的像素距离为Px；
计算在图像坐标系中对应在Y轴向两个采集点之间的像素距离为Py；
根据Lx、Ly、Px、Py，求出在线视觉单位像素在机器人坐标系下的物理尺寸：在线视觉单位像素在机器人坐标系下X轴方向的物理尺寸dx，
Figure BDA0003306488080000181
在线视觉单位像素在机器人坐标系下Y轴方向的物理尺寸dy，
Figure BDA0003306488080000182
步骤S42：相机成像的线性模型主要涉及世界坐标系(Xw,Yw,Zw)、相机坐标系(Xc,Yc,Zc)、图像像素坐标系(u,v)以及图像物理坐标系(x,y)，小孔成像模型如图5所示，本发明为了描述与标定转换方便，选择机器人坐标系作为世界坐标系，上下料机器人当中的任意坐标位置都可以用(Xw,Yw,Zw)表示。因此，图像像素坐标系与世界坐标系之间的线性关系为：
Figure BDA0003306488080000183
其中，A1称为相机标定内参模型，A2表示相机的外参数矩阵，Xw、Yw、Zw表示世界坐标，u、v表示图像坐标，zc表示相机坐标系的z轴的坐标；
步骤S43：具体地，根据实际情况，手机中框在装配线上运输所在的高度是一致的，因此不需要检测手机中框的高度信息，只需要获取标定参照物在图像像素坐标系及对应在机器人坐标系下的坐标位置，便可实现上下料机器人在在线实际系统的标定转换。因此，根据公式(7)建立图像像素坐标系与机器人坐标系之间的二维映射关系：
Figure BDA0003306488080000184
将公式(8)写成方程组的形式：
Figure BDA0003306488080000191
其中，M11、M12、M13、M21、M22、M23为待求参数；
步骤S44：获取三组以上的标定数据求解公式(8)和公式(9)中的M11、M12、M13、M21、M22、M23，从而得到图像像素坐标系到世界坐标系之间的转换关系。上面公式(9)中两个独立方程，一共有六个未知参数，理论上获取三组数据即可以求解转换矩阵的六个参数。但在实际标定过程中，为了提高标定精确度，降低误差，本实施例获取九组数据，然后利用最小二乘法拟合方程获得最佳参数解。
具体地，所述步骤S5包括以下步骤：
步骤S51：参照图6所示，将抓取点Mark0转换为在线视觉系统的图像像素坐标系的定位点，得到抓取点Mark0的像素坐标为Oj(uj,vj)，取离线视觉系统下手机中框右下角点p4，像素坐标为(umax,vmax)，则抓取点Mark0与离线视觉系统下手机中框右下角点p4之间的实际距离表示抓取相对距离doffline，抓取相对距离doffline可根据公式(10)计算得出：
Figure BDA0003306488080000192
步骤S52：记抓取点Mark0与离线视觉系统下手机中框右下角点p4之间的连线与离线视觉系统下手机中框下边缘的夹角为
Figure BDA0003306488080000193
可根据公式(11)计算得出：
Figure BDA0003306488080000194
步骤S53：参照图7所示，在在线视觉系统中，取目标中框轮廓的右下边角点Mark1，像素坐标记为(umark1,vmark1)；根据目标中框轮廓的右下边角点Mark1、抓取相对距离doffline和
Figure BDA0003306488080000201
确定在线视觉系统下手机中框的另一个定位点Mark2，像素坐标记为(umark2,vmark2)；
步骤S54：根据关系公式(12)和公式(13)计算得出位于上料位置的手机中框相对于离线视觉系统下手机中框旋转角度θ：
Figure BDA0003306488080000202
Figure BDA0003306488080000203
其中，当θ>0时，表示上料位置的手机中框顺时针旋转，当θ<0，表示上料位置的手机中框逆时针旋转。
具体地，所述步骤S6包括以下步骤：
步骤S61：参照图8所示，获取吸盘中心t1到末端执行器的工具中心Ot的距离L；
步骤S62：根据公式(14)和公式(15)，计算出末端执行器的工具中心Ot在图像坐标中的坐标位置；
Figure BDA0003306488080000204
Figure BDA0003306488080000205
其中，当θ+γ>0时，表示末端执行器顺时针旋转，公式(11)计算符号为“+”，公式(12)计算符号为“-”；当θ+γ<0时，表示末端执行器逆时针旋转，公式(11)计算符号为“-”，公式(12)计算符号为“+”；
步骤S63：根据图像像素坐标系到世界坐标系之间的转换关系，将末端执行器的工具中心Ot在世界坐标中的坐标位置，获得末端执行器进行吸料的实际位置(XWt,YWt)。即将末端执行器的工具中心Ot代入公式(8)中进行求解，便能得到末端执行器进行吸料的实际位置(XWt,YWt)。
一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时用于上述任一项实施例所述的视觉引导的直角机器人手机中框高适应定位抓取方法。上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.视觉引导的直角机器人手机中框高适应定位抓取方法，应用在手机生产线中的上下料机器人，上下料机器人搭载有离线视觉系统、在线视觉系统和末端执行器，末端执行器采用吸盘吸附的方式进行抓取工件；
其特征在于，所述方法包括如下步骤：
步骤S1：离线视觉系统基于抓取定位算法，检测分析手机中框的孔洞特征信息，根据末端执行器的吸盘形状与尺寸，确定末端执行器对手机中框的最佳抓取位姿，计算得到手机中框的抓取点Mark0和末端执行器抓取手机中框需要旋转的旋转角γ；
步骤S2：当手机中框沿装配线输送至上料位置并触发上料时，上下料机器人位于手机中框的上方，在线视觉系统对装配线的手机中框进行图像采集，得到位于上料位置的手机中框的图像信息；
步骤S3：在线视觉系统基于边缘轮廓的模板匹配算法进行匹配识别，将位于上料位置的手机中框的图像信息与已有的模板特征进行匹配识别，得到位于上料位置的手机中框的位姿信息；
步骤S4：上下料机器人上料标定，通过获取标定参照物在图像像素坐标系及对应在机器人坐标系下的坐标位置，得到图像像素坐标系到世界坐标系之间的转换关系；
步骤S5：根据抓取点Mark0、离线视觉系统下手机中框和位于上料位置的手机中框的位姿信息，计算出位于上料位置的手机中框相对于离线视觉系统下手机中框旋转角度θ；
步骤S6：根据旋转角γ和旋转角度θ，计算出上下料机器人运动的位置补偿，再根据图像像素坐标系到世界坐标系之间的转换关系，转换得到末端执行器进行吸料的实际位置(XWt,YWt)；
步骤S7：根据旋转角γ、旋转角度θ、实际位置(XWt,YWt)以及上料位置与放料位置之间的位置变化关系，规划出末端执行器的路径。
2.根据权利要求1所述的视觉引导的直角机器人手机中框高适应定位抓取方法，其特征在于：所述步骤S1包括以下步骤：
步骤S11：通过离线视觉系统的相机在静止状态下采集手机中框图像，获得离线视觉系统下手机中框的图像；
步骤S12：将离线视觉系统下手机中框的图像依次进行灰度化处理、二值化处理、滤波平滑处理、基于形态学闭运算填充图像孔隙处理和图像边缘特征提取处理，得到预处理后离线视觉系统下手机中框的图像；
步骤S13：根据预处理后离线视觉系统下手机中框的图像，基于带旋转的最小外接矩形算法MABP获取手机中框的矢量信息；得到与离线视觉系统下手机中框相对应的最小外接矩形在图像像素坐标系中边角点坐标值的最大值umax、vmax，最小值umin、vmin，以及离线视觉系统下手机中框的位姿角度Φ，根据公式(1)、公式(2)和公式(3)分别得到离线视觉系统下手机中框的长、宽和周长；
a＝umax-vmin 公式(1)；
b＝vmax-vmin 公式(2)；
c＝2×(a+b) 公式(3)；
其中，a代表手机中框的长，b代表手机中框的宽，c代表手机中框的周长；
步骤S14：基于覆盖圆算法提取空洞边缘轮廓的最小外接圆，获取手机中框的孔洞特征；
步骤S15：输入手机中框的孔洞特征集合、手机中框的矢量信息和吸盘的形状和尺寸参数；
Step1：将手机中框的中心点设为初始搜索位置，计算此时吸盘与孔洞区域的相交面积；若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则进入Step2继续搜索；
Step2：以上一搜索位置为出发点，末端执行器先以旋转角γ顺时针转动，计算吸盘与孔洞区域的相交面积；若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则末端执行器旋转复位，且以旋转角γ逆时针转动，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则旋转角γ＝γ+Δγ，按上述旋转顺序继续搜索，直至满足条件结束，或者达到旋转角γ的阈值后，末端执行器旋转复位并按照以下情况选择相应的步骤继续搜索：
若本次Step2前经历的是Step1，则进入Step3继续搜索；
若本次Step2前经历的是Step3，则进入Step4继续搜索；
若本次Step2前经历的是Step4，则进入Step5继续搜索；
Step3：以上一搜索位置为出发点，末端执行器左移平移量x，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则返回Step2进行旋转搜索；
Step4：以上一搜索位置为出发点，末端执行器右移平移量2x，计算吸盘与孔洞区域的相交面积，若相交面积为0，则满足条件，结束搜索；若相交面积不为0，则返回Step2进行旋转搜索；
Step5：平移量x＝x+Δx，然后返回Step3，直至满足条件，或者达到平移阈值范围，结束搜索；
输出：手机中框的抓取点Mark0和末端执行器抓取手机中框需要旋转的旋转角γ。
3.根据权利要求2所述的视觉引导的直角机器人手机中框高适应定位抓取方法，其特征在于：所述步骤S3包括以下步骤：
步骤S31：判断是否需要创建模板，若是，则进行步骤S32；若否，则进行步骤S33；
步骤S32：采集模板图像，在模板图像中选择目标区域ROI，进行图像预处理并提取出模板轮廓的边缘特征，然后进行步骤S33；
步骤S33：对位于上料位置的手机中框的图像进行图像预处理，并提取出手机中框轮廓的边缘特征；
步骤S34：基于Hausdorff距离匹配算法，将手机中框轮廓与模板轮廓进行模板匹配，计算出手机中框轮廓与模板轮廓之间的相似程度；若相似程度达到预设值，则判定匹配成功，获得目标中框轮廓，进行步骤S35；若相似程度没有达到预设值，则判定匹配失败若匹配成功，重新采集位于上料位置的手机中框的图像，并返回步骤S33；
步骤S35：基于带旋转的最小外接矩形算法MABP获取目标中框轮廓的矢量信息，得到与目标中框轮廓对应的最小外接矩形在图像像素坐标系中的边角坐标点，并计算出对应的最小外接矩形的位姿角度σ，从而得到位于上料位置的手机中框的位姿信息。
4.根据权利要求3所述的视觉引导的直角机器人手机中框高适应定位抓取方法，其特征在于：所述Hausdorff距离匹配算法是：
将模板轮廓的边缘特征集定义为T，将手机中框轮廓的边缘特征定义为E，根据公式(4)、公式(5)和公式(6)计算出手机中框轮廓与模板轮廓的相似程度；
H(T,E)＝max(h(T,E),h(E,T)) (4)
Figure FDA0003306488070000051
Figure FDA0003306488070000052
其中，H(T,E)表示双向Hausdorff距离，式中h(T,E)称为前向Haudorff距离，表示边缘特征集T到E的单向距离，h(E,T)表示后向Hausdorff距离，表示边缘E到T的单向距离，||.||定义为边缘特征集T与E的距离范数，双向Haurdorff距离取最大单向距离值，来度量匹配模板轮廓和手机中框轮廓的相似程度，H(T,E)值越小，表明相似程度越高。
5.根据权利要求3所述的视觉引导的直角机器人手机中框高适应定位抓取方法，其特征在于：所述步骤S4包括以下步骤：
步骤S41：相机像素标定：
离线视觉系统的相机像素标定：
根据离线视觉系统下手机中框的矢量信息，离线视觉系统下手机中框的四个边角点坐标分别为(xmax,ymax)、(xmax,ymin)、(xmin,ymax)、(xmin,ymin)，离线视觉系统下手机中框像素长a＝ymax-ymin，宽b＝xmax-xmin，则离线视觉系统下手机中框像素周长为Cpixel＝2×(a+b)，而实际的手机中框周长为Cmm，标定离线视觉单位像素对应实际物理尺寸dp为：
Figure FDA0003306488070000053
在线视觉系统的相机像素标定；
选择手机中框的某一点作为标定靶点，控制上下料机器人沿X轴、Y轴移动固定距离，在线视觉系统分别记录此时标定靶点像素坐标；
设置在线视觉系统的相机所在X轴向直线上两个采集点之间移动的距离值为Lx；
设置在线视觉系统的相机所在Y轴向直线上两个采集点之间移动的距离值为Ly；
计算图像坐标系中对应在X轴向两个采集点之间的像素距离为Px；
计算在图像坐标系中对应在Y轴向两个采集点之间的像素距离为Py；
根据Lx、Ly、Px、Py，求出在线视觉单位像素在机器人坐标系下的物理尺寸：在线视觉单位像素在机器人坐标系下X轴方向的物理尺寸dx，
Figure FDA0003306488070000061
在线视觉单位像素在机器人坐标系下Y轴方向的物理尺寸dy，
Figure FDA0003306488070000062
步骤S42：图像像素坐标系与世界坐标系之间的线性关系为：
Figure FDA0003306488070000063
其中，A1称为相机标定内参模型，A2表示相机的外参数矩阵，Xw、Yw、Zw表示世界坐标，u、v表示图像坐标，zc表示相机坐标系的z轴的坐标；
步骤S43：根据公式(7)建立图像像素坐标系与机器人坐标系之间的二维映射关系：
Figure FDA0003306488070000064
将公式(8)写成方程组的形式：
Figure FDA0003306488070000065
其中，M11、M12、M13、M21、M22、M23为待求参数；
步骤S44：获取三组以上的标定数据求解公式(8)和公式(9)中的M11、M12、M13、M21、M22、M23，从而得到图像像素坐标系到世界坐标系之间的转换关系。
6.根据权利要求5所述的视觉引导的直角机器人手机中框高适应定位抓取方法，其特征在于：所述步骤S5包括以下步骤：
步骤S51：将抓取点Mark0转换为在线视觉系统的图像像素坐标系的定位点，得到抓取点Mark0的像素坐标为Oj(uj,vj)，取离线视觉系统下手机中框右下角点p4，像素坐标为(umax,vmax)，则抓取点Mark0与离线视觉系统下手机中框右下角点p4之间的实际距离表示抓取相对距离doffline，抓取相对距离doffline可根据公式(10)计算得出：
Figure FDA0003306488070000071
步骤S52：记抓取点Mark0与离线视觉系统下手机中框右下角点p4之间的连线与离线视觉系统下手机中框下边缘的夹角为
Figure FDA0003306488070000072
可根据公式(11)计算得出：
Figure FDA0003306488070000073
步骤S53：在在线视觉系统中，取目标中框轮廓的右下边角点Mark1，像素坐标记为(umark1,vmark1)；根据目标中框轮廓的右下边角点Mark1、抓取相对距离doffline和
Figure FDA0003306488070000074
确定在线视觉系统下手机中框的另一个定位点Mark2，像素坐标记为(umark2,vmark2)；
步骤S54：根据关系公式(12)和公式(13)计算得出位于上料位置的手机中框相对于离线视觉系统下手机中框旋转角度θ：
Figure FDA0003306488070000075
Figure FDA0003306488070000076
其中，当θ>0时，表示上料位置的手机中框顺时针旋转，当θ<0，表示上料位置的手机中框逆时针旋转。
7.根据权利要求6所述的视觉引导的直角机器人手机中框高适应定位抓取方法，其特征在于：所述步骤S6包括以下步骤：
步骤S61：获取吸盘中心t1到末端执行器的工具中心Ot的距离L；
步骤S62：根据公式(14)和公式(15)，计算出末端执行器的工具中心Ot在图像坐标中的坐标位置；
Figure FDA0003306488070000081
Figure FDA0003306488070000082
其中，当θ+γ>0时，表示末端执行器顺时针旋转，公式(11)计算符号为“+”，公式(12)计算符号为“-”；当θ+γ<0时，表示末端执行器逆时针旋转，公式(11)计算符号为“-”，公式(12)计算符号为“+”；
步骤S63：根据图像像素坐标系到世界坐标系之间的转换关系，将末端执行器的工具中心Ot在世界坐标中的坐标位置，获得末端执行器进行吸料的实际位置(XWt,YWt)。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时用于执行如权利要求1-7任一项所述的视觉引导的直角机器人手机中框高适应定位抓取方法。
CN202111204988.XA 2021-10-15 2021-10-15 视觉引导的直角机器人手机中框高适应定位抓取方法 Active CN113771045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111204988.XA CN113771045B (zh) 2021-10-15 2021-10-15 视觉引导的直角机器人手机中框高适应定位抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111204988.XA CN113771045B (zh) 2021-10-15 2021-10-15 视觉引导的直角机器人手机中框高适应定位抓取方法

Publications (2)

Publication Number Publication Date
CN113771045A true CN113771045A (zh) 2021-12-10
CN113771045B CN113771045B (zh) 2022-04-01

Family

ID=78873181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111204988.XA Active CN113771045B (zh) 2021-10-15 2021-10-15 视觉引导的直角机器人手机中框高适应定位抓取方法

Country Status (1)

Country Link
CN (1) CN113771045B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114055510A (zh) * 2022-01-11 2022-02-18 长沙理工大学 搬运机器人的手爪、抓取系统及抓取方法
CN114273282A (zh) * 2021-12-31 2022-04-05 中铁工程装备集团有限公司 一种基于机器人作业的隧道底部积渣清理方法及系统
CN114322775A (zh) * 2022-01-06 2022-04-12 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114820820A (zh) * 2022-06-27 2022-07-29 苏州鼎纳自动化技术有限公司 一种电脑后壳的3d检测方法
CN116000942A (zh) * 2023-03-22 2023-04-25 深圳市大族机器人有限公司 一种基于多轴协作机器人的半导体制造系统
CN116242255A (zh) * 2023-05-12 2023-06-09 深圳市磐锋精密技术有限公司 基于多视角的手机中框尺寸智能检测系统
CN116967846A (zh) * 2023-09-25 2023-10-31 深圳市磐锋精密技术有限公司 一种智能机器人视觉定位系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4163183A (en) * 1975-10-28 1979-07-31 Unimation, Inc. Programmable automatic assembly system
US20020170158A1 (en) * 2001-05-16 2002-11-21 Savoy Mark A. Method and apparatus for attaching a body panel to an automotive vehicle frame
CN102896631A (zh) * 2012-10-09 2013-01-30 温州大学 实时/在线方位调整装置和方法
CN106020024A (zh) * 2016-05-23 2016-10-12 广东工业大学 一种机械臂末端运动补偿装置及其补偿方法
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN108858193A (zh) * 2018-07-06 2018-11-23 清华大学深圳研究生院 一种机械臂抓取方法及系统
CN109352626A (zh) * 2018-11-05 2019-02-19 佛山市奇创智能科技有限公司 机器人抓取物件的设备以及方法
CN110625644A (zh) * 2019-09-19 2019-12-31 河海大学常州校区 一种基于机器视觉的工件抓取方法
US20200376659A1 (en) * 2019-05-31 2020-12-03 Mujin, Inc. Robotic system with a robot arm suction control mechanism and method of operation thereof
CN112070818A (zh) * 2020-11-10 2020-12-11 纳博特南京科技有限公司 基于机器视觉的机器人无序抓取方法和系统及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4163183A (en) * 1975-10-28 1979-07-31 Unimation, Inc. Programmable automatic assembly system
US20020170158A1 (en) * 2001-05-16 2002-11-21 Savoy Mark A. Method and apparatus for attaching a body panel to an automotive vehicle frame
CN102896631A (zh) * 2012-10-09 2013-01-30 温州大学 实时/在线方位调整装置和方法
CN106020024A (zh) * 2016-05-23 2016-10-12 广东工业大学 一种机械臂末端运动补偿装置及其补偿方法
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN108858193A (zh) * 2018-07-06 2018-11-23 清华大学深圳研究生院 一种机械臂抓取方法及系统
CN109352626A (zh) * 2018-11-05 2019-02-19 佛山市奇创智能科技有限公司 机器人抓取物件的设备以及方法
US20200376659A1 (en) * 2019-05-31 2020-12-03 Mujin, Inc. Robotic system with a robot arm suction control mechanism and method of operation thereof
CN110625644A (zh) * 2019-09-19 2019-12-31 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN112070818A (zh) * 2020-11-10 2020-12-11 纳博特南京科技有限公司 基于机器视觉的机器人无序抓取方法和系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUMINORI OKUMURA: "A Study on Biometric Authentication based on Arm Sweep Action with Acceleration Sensor", 《A STUDY ON BIOMETRIC AUTHENTICATION BASED ON ARM SWEEP ACTION WITH ACCELERATION SENSOR》 *
夏诗娴: "电子制造生产线中的手机外壳缺陷视觉检测方法研究", 《电子制造生产线中的手机外壳缺陷视觉检测方法研究》 *
田军委: "视觉伺服机械臂手机抓取最佳位姿检测", 《视觉伺服机械臂手机抓取最佳位姿检测》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114273282A (zh) * 2021-12-31 2022-04-05 中铁工程装备集团有限公司 一种基于机器人作业的隧道底部积渣清理方法及系统
CN114322775A (zh) * 2022-01-06 2022-04-12 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114322775B (zh) * 2022-01-06 2022-11-11 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114055510A (zh) * 2022-01-11 2022-02-18 长沙理工大学 搬运机器人的手爪、抓取系统及抓取方法
CN114820820A (zh) * 2022-06-27 2022-07-29 苏州鼎纳自动化技术有限公司 一种电脑后壳的3d检测方法
CN116000942A (zh) * 2023-03-22 2023-04-25 深圳市大族机器人有限公司 一种基于多轴协作机器人的半导体制造系统
CN116242255A (zh) * 2023-05-12 2023-06-09 深圳市磐锋精密技术有限公司 基于多视角的手机中框尺寸智能检测系统
CN116242255B (zh) * 2023-05-12 2023-07-25 深圳市磐锋精密技术有限公司 基于多视角的手机中框尺寸智能检测系统
CN116967846A (zh) * 2023-09-25 2023-10-31 深圳市磐锋精密技术有限公司 一种智能机器人视觉定位系统及方法
CN116967846B (zh) * 2023-09-25 2023-12-12 深圳市磐锋精密技术有限公司 一种智能机器人视觉定位系统及方法

Also Published As

Publication number Publication date
CN113771045B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN113771045B (zh) 视觉引导的直角机器人手机中框高适应定位抓取方法
US11772267B2 (en) Robotic system control method and controller
JP7284953B2 (ja) 高度化したスキャンメカニズムを有するロボットシステム
US11836974B2 (en) Detecting boxes
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN107901041A (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
CN108942923A (zh) 一种机械臂抓取控制方法
JP3208953B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2019188580A (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
CN111462154A (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN114286739B (zh) 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
CN115582827A (zh) 一种基于2d和3d视觉定位的卸货机器人抓取方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN114770461A (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN116749233A (zh) 基于视觉伺服的机械臂抓取系统及方法
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
WO2022107684A1 (ja) パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム
US20230114306A1 (en) Method for picking up an object by means of a robotic device
KR102486009B1 (ko) 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법
US20230098284A1 (en) Method for generating training data for supervised learning for training a neural network
CN115556102B (zh) 一种基于视觉识别的机器人分拣规划方法及规划设备
WO2024080155A1 (ja) ロボットシステム、ロボットの制御装置、およびロボットの制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant