CN113043334B - 一种基于机器人的光伏电池串定位方法 - Google Patents

一种基于机器人的光伏电池串定位方法 Download PDF

Info

Publication number
CN113043334B
CN113043334B CN202110204150.4A CN202110204150A CN113043334B CN 113043334 B CN113043334 B CN 113043334B CN 202110204150 A CN202110204150 A CN 202110204150A CN 113043334 B CN113043334 B CN 113043334B
Authority
CN
China
Prior art keywords
photovoltaic cell
camera
robot
cell string
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110204150.4A
Other languages
English (en)
Other versions
CN113043334A (zh
Inventor
马英
易廷昊
李祖云
储昭琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Efort Intelligent Equipment Co ltd
Shanghai Edge Robot Technology Co ltd
Original Assignee
Efort Intelligent Equipment Co ltd
Shanghai Edge Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Efort Intelligent Equipment Co ltd, Shanghai Edge Robot Technology Co ltd filed Critical Efort Intelligent Equipment Co ltd
Priority to CN202110204150.4A priority Critical patent/CN113043334B/zh
Publication of CN113043334A publication Critical patent/CN113043334A/zh
Application granted granted Critical
Publication of CN113043334B publication Critical patent/CN113043334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人光伏电池串定位领域，具体是一种基于机器人的光伏电池串定位方法，其具体步骤如下：S1、搭建实施平台；S2、手眼标定关系；S3、将一个光伏电池串放在传送带上,并认为是标准光伏电池串；S4、角点位置；S5、标准抓取位姿；S6、根据步骤S5中的数据计算得到机器人的抓取位姿；S7、偏差公式；S8、角点位置公式；与现有技术相比，通过将光伏电池串的两个对角分别对应相机一和相机二的视野内，不更改任何硬件设施以及软件参数，机器人就能对光伏电池串进行定位抓取，从而提高了生产柔性，解决了光伏生产时尺寸不一致问题。

Description

一种基于机器人的光伏电池串定位方法
技术领域
本发明涉及机器人光伏电池串定位领域，具体是一种基于机器人的光伏电池串定位方法。
背景技术
目前在实际生产中，电池串的种类较多，尺寸大小不一，需要对机器人的光伏电池串进行定位，如中国专利申请号为111127553A公开了一种基于多相机的光伏电池串定位方法，通过角位相机获取光伏电池串的角部图像，长边位相机获取光伏电池串长边的图像。建立机器人参考坐标系r和角位相机参考坐标系。计算光伏电池串标准排版位置c3(X3,Y3,a3)和长边位相机获取的光伏电池串位置c4(X4,Y4,a4)，然后计算光伏电池串位置与光伏电池串标准排版位置的差异(Dx,Dy,Da)。最后利用以太网的通讯，将数据发给排版机器人，机器人在点位r6的基础上，加上[Dx,Dy,Da]，并执行。本发明通过拟合、权重计算、推演计算等定位局部特征等方法，提高精度的同时，让现场的光伏定位精度能达到0.1mm以内，提升工作的效率，通过在光伏电池串某一个角边安装一台相机，在长边安装多台相机。利用角边相机进行位置定位，利用所有相机拟合的直线与各自标准直线的夹角的平均值进行姿态定位。该方案具有一定的局限性，要求所有电池串的尺寸一致。在实际生产中，电池串的种类较多，尺寸大小不一，该方案不能满足柔性生产需求。
发明内容
为了解决上述问题，本发明提出一种基于机器人的光伏电池串定位方法。
一种基于机器人的光伏电池串定位方法，其具体步骤如下：
S1、搭建实施平台：搭建实施平台确保相机一和相机二分别获取光伏电池串的对角位置；
S2、手眼标定关系：相机一与机器人的手眼标定关系为A1(R1,T1),相机二与机器人的手眼标定关系为A2(R2,T2)；
S3、将一个光伏电池串放在传送带上,并认为是标准光伏电池串；
S4、角点位置：相机一得到的角点位置为C0(x0,y0)，相机二得到的角点位置为C1(x1,y1)，根据手眼标定结果，得到角点在机器人基坐标系下的位置分别为P00(X00,Y00),P10(X10,Y10)；
S5、标准抓取位姿：机器人示教标准光伏电池串的中心位置，得到标准抓取位姿P0(X0,Y0,Z0,Rx0,Ry0,Rz0)；
S6、根据步骤S4中的数据计算得到机器人的抓取位姿P1(X1,Y1,Z0,Rx0,Ry0,Rz1)，其中：
X1＝min(X00,X10)+|X00-X10|/2
Y1＝min(Y00,Y10)+|Y00-Y10|/2
Rz1＝arctan((Y00-Y10)/(X00-X10))(X00-X10≠0；if X00-X10＝0,Rz1＝0)
S7、偏差公式：求标准抓取位姿P0(X0,Y0,Z0,Rx0,Ry0,Rz0)与计算得到机器人5的抓取位姿P1(X1,Y1,Z0,Rx0,Ry0,Rz1)之间的偏差ΔP＝P1-P0＝(X1-X0,Y1-Y0,0,0,0,Rz1-Rz0)；
S8、角点位置公式：任一光伏电池串放在传送带1上，相机一得到的角点位置为C2(x2,y2),相机二4得到的角点位置为C3(x3,y3),根据手眼标定结果，得到角点在机器人基坐标系下的位置分别为P20(X20,Y20),P30(X30,Y30)，结合ΔP计算抓取位姿P2(X2,Y2,Z0,Rx0,Ry0,Rz2)，其中：
X2＝min(X20,X30)+|X20-X30|/2+(X1-X0)
Y2＝min(Y20,Y30)+|Y20-Y30|/2+(Y1-Y0)
α＝arctan((Y30-Y20)/(X30-X20))(X30-X20≠0；if X30-X20＝0,α＝0)
Rz2＝α+(Rz1-Rz0)。
所述的步骤S1中搭建实施平台，通过机器人的抓手将光伏电池串铺设在传送带上，将相机一和相机二安装在能够获取光伏电池串的角点一、角点二位置处。
所述的步骤S4的角点位置C0(x0,y0),C1(x1,y1)是根据如下方法得到的：
a、图像预处理：原图像->灰度图->二值化->形态学运算->canny边缘检测；
b、粗定位：canny边缘检测->ROI_1->Hough直线检测->直线最优检测->求交点1；
c、精定位：根据交点1->ROI_2->Hough直线检测->直线最优检测->求交点->亚像素拟合交点2->结束。
d、交点2的坐标即为最终求得的角点位置。
所述的步骤S8的C0(x0,y0),C2(x2,y2)是基于相机一的相机坐标系下的位置；C1(x1,y1),C3(x3,y3)是基于相机二的相机坐标系下的位置；
P0(X0,Y0,Z0,Rx0,Ry0,Rz0),P00(X00,Y00),P10(X10,Y10),P20(X20,Y20),P30(X30,Y30),P2(X2,Y2,Z0,Rx0,Ry0,Rz2)是基于机器人基坐标系下的位姿。
本发明的有益效果是：与现有技术相比，通过将光伏电池串的两个对角分别对应相机一和相机二的视野内，不更改任何硬件设施以及软件参数，机器人就能对光伏电池串进行定位抓取，从而提高了生产柔性，解决了光伏生产时尺寸不一致问题；本发明通过相机一和相机二对图像进行预处理，基于开源软件实现，即机器人自身的程序软件，不是购买商业视觉软件实现的，大大降低了使用成本。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的搭建实施平台结构示意图；
图2为本发明的标准抓取位姿结构示意图；
图3为本发明的角点位置结构示意图；
图4为本发明的角点在机器人基坐标系下的位置结构示意图；
图5为本发明的使用流程示意图；
附图标记：1、传送带；2、光伏电池串；2.1、角点一；2.2、角点二；3、相机一；4、相机二；5、机器人；6、抓具。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明进一步阐述。
如图1至图5所示，一种基于机器人的光伏电池串定位方法，其具体步骤如下：
S1、搭建实施平台：搭建实施平台确保相机一3和相机二4分别获取光伏电池串2的对角位置；
S2、手眼标定关系：相机一3与机器人5的手眼标定关系为A1(R1,T1),相机二4与机器人5的手眼标定关系为A2(R2,T2)；
S3、将一个光伏电池串2放在传送带1上,并认为是标准光伏电池串；
S4、角点位置：相机一3得到的角点位置为C0(x0,y0)，相机二4得到的角点位置为C1(x1,y1)，根据手眼标定结果，得到角点在机器人基坐标系下的位置分别为P00(X00,Y00),P10(X10,Y10)；
S5、标准抓取位姿：机器人示教标准光伏电池串的中心位置，得到标准抓取位姿P0(X0,Y0,Z0,Rx0,Ry0,Rz0)；
S6、根据步骤S4中的数据计算得到机器人5的抓取位姿P1(X1,Y1,Z0,Rx0,Ry0,Rz1)，其中：
X1＝min(X00,X10)+|X00-X10|/2
Y1＝min(Y00,Y10)+|Y00-Y10|/2
Rz1＝arctan((Y00-Y10)/(X00-X10))(X00-X10≠0；if X00-X10＝0,Rz1＝0)
S7、偏差公式：求标准抓取位姿P0(X0,Y0,Z0,Rx0,Ry0,Rz0)与计算得到机器人5的抓取位姿P1(X1,Y1,Z0,Rx0,Ry0,Rz1)之间的偏差ΔP＝P1-P0＝(X1-X0,Y1-Y0,0,0,0,Rz1-Rz0)；
S8、角点位置公式：任一光伏电池串2放在传送带1上，相机一3得到的角点位置为C2(x2,y2),相机二4得到的角点位置为C3(x3,y3),根据手眼标定结果，得到角点在机器人基坐标系下的位置分别为P20(X20,Y20),P30(X30,Y30)，结合ΔP计算抓取位姿P2(X2,Y2,Z0,Rx0,Ry0,Rz2)，其中：
X2＝min(X20,X30)+|X20-X30|/2+(X1-X0)
Y2＝min(Y20,Y30)+|Y20-Y30|/2+(Y1-Y0)
α＝arctan((Y30-Y20)/(X30-X20))(X30-X20≠0；if X30-X20＝0,α＝0)
Rz2＝α+(Rz1-Rz0)。
与现有技术相比，通过将光伏电池串2的两个对角分别对应相机一3和相机二4的视野内，不更改任何硬件设施以及软件参数，机器人5就能对光伏电池串2进行定位抓取，从而提高了生产柔性，解决了光伏生产时尺寸不一致问题；本发明通过相机一3和相机二4对图像进行预处理，基于开源软件实现，即机器人5自身的程序软件，不是购买商业视觉软件实现的，大大降低了使用成本。
所述的相机一3和相机二4为任意视觉传感器均可。
如图1所示，所述的步骤S1中搭建实施平台，通过机器人5的抓手6将光伏电池串2铺设在传送带1上，将相机一3和相机二4安装在能够获取光伏电池串2的角点一2.1、角点二2.2位置处。
将相机一3和相机二4对物体的定位统一到同一坐标系下-机器人基坐标系；然后求出机器人示教的抓取位姿与根据相机定位计算得到的抓取位姿偏差；最后根据相机定位计算的位姿加上偏差得到实际的抓取位姿；通过图像预处理、粗定位和精定位方法求取角点位置。
如图5所示，所述的步骤S4的角点位置C0(x0,y0),C1(x1,y1)是根据如下方法得到的：
a、图像预处理：原图像->灰度图->二值化->形态学运算->canny边缘检测；
b、粗定位：canny边缘检测->ROI_1->Hough直线检测->直线最优检测->求交点1；
c、精定位：根据交点1->ROI_2->Hough直线检测->直线最优检测->求交点->亚像素拟合交点2->结束。
d、交点2的坐标即为最终求得的角点位置。
所述的步骤S8的C0(x0,y0),C2(x2,y2)是基于相机一3的相机坐标系下的位置；C1(x1,y1),C3(x3,y3)是基于相机二4的相机坐标系下的位置；
P0(X0,Y0,Z0,Rx0,Ry0,Rz0),P00(X00,Y00),P10(X10,Y10),P20(X20,Y20),P30(X30,Y30),P2(X2,Y2,Z0,Rx0,Ry0,Rz2)是基于机器人基坐标系下的位姿。
计算机器人5示教的抓取位姿与根据相机一3和相机二4定位计算得到的抓取位姿偏差，同时粗定位光伏电池串2，然后加上抓取位姿偏差得到实际抓取位姿；对图像预处理，通过粗定位和精定位方法求取角点位置，解决了在实际生产中，电池串的种类较多、尺寸大小不一的问题，满足柔性生产需求。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于机器人的光伏电池串定位方法，其特征在于：其具体步骤如下：
S1、搭建实施平台：搭建实施平台确保相机一(3)和相机二(4)分别获取光伏电池串(2)的对角位置；
S2、手眼标定关系：相机一(3)与机器人(5)的手眼标定关系为A1(R1,T1),相机二(4)与机器人(5)的手眼标定关系为A2(R2,T2)；
S3、将一个光伏电池串(2)放在传送带(1)上,并认为是标准光伏电池串；
S4、角点位置：相机一(3)得到的角点位置为C0(x0,y0)，相机二(4)得到的角点位置为C1(x1,y1)，根据手眼标定结果，得到角点在机器人基坐标系下的位置分别为P00(X00,Y00),P10(X10,Y10)；
S5、标准抓取位姿：机器人示教标准光伏电池串的中心位置，得到标准抓取位姿P0(X0,Y0,Z0,Rx0,Ry0,Rz0)；
S6、根据步骤S4中的数据计算得到机器人(5)的抓取位姿P1(X1,Y1,Z0,Rx0,Ry0,Rz1)，其中：
X1＝min(X00,X10)+|X00-X10|/2
Y1＝min(Y00,Y10)+|Y00-Y10|/2
Rz1＝arctan((Y00-Y10)/(X00-X10))(X00-X10≠0；if X00-X10＝0,Rz1＝0)
S7、偏差公式：求标准抓取位姿P0(X0,Y0,Z0,Rx0,Ry0,Rz0)与计算得到机器人(5)的抓取位姿P1(X1,Y1,Z0,Rx0,Ry0,Rz1)之间的偏差ΔP＝P1-P0＝(X1-X0,Y1-Y0,0,0,0,Rz1-Rz0)；
S8、角点位置公式：任一光伏电池串(2)放在传送带(1)上，相机一(3)得到的角点位置为C2(x2,y2),相机二(4)得到的角点位置为C3(x3,y3),根据手眼标定结果，得到角点在机器人基坐标系下的位置分别为P20(X20,Y20),P30(X30,Y30)，结合ΔP计算抓取位姿P2(X2,Y2,Z0,Rx0,Ry0,Rz2)，其中：
X2＝min(X20,X30)+|X20-X30|/2+(X1-X0)
Y2＝min(Y20,Y30)+|Y20-Y30|/2+(Y1-Y0)
α＝arctan((Y30-Y20)/(X30-X20))(X30-X20≠0；if X30-X20＝0,α＝0)
Rz2＝α+(Rz1-Rz0)。
2.根据权利要求1所述的一种基于机器人的光伏电池串定位方法，其特征在于：所述的步骤S1中搭建实施平台，通过机器人(5)的抓手(6)将光伏电池串(2)铺设在传送带(1)上，将相机一(3)和相机二(4)安装在能够获取光伏电池串(2)的角点一(2.1)、角点二(2.2)位置处。
3.根据权利要求1所述的一种基于机器人的光伏电池串定位方法，其特征在于：所述的步骤S4的角点位置C0(x0,y0),C1(x1,y1)是根据如下方法得到的：
a、图像预处理：原图像->灰度图->二值化->形态学运算->canny边缘检测；
b、粗定位：canny边缘检测->ROI_1->Hough直线检测->直线最优检测->求交点1；
c、精定位：根据交点1->ROI_2->Hough直线检测->直线最优检测->求交点->亚像素拟合交点2->结束；
d、交点2的坐标即为最终求得的角点位置。
4.根据权利要求1所述的一种基于机器人的光伏电池串定位方法，其特征在于：所述的步骤S8的C0(x0,y0),C2(x2,y2)是基于相机一(3)的相机坐标系下的位置；C1(x1,y1),C3(x3,y3)是基于相机二(4)的相机坐标系下的位置；
P0(X0,Y0,Z0,Rx0,Ry0,Rz0),P00(X00,Y00),P10(X10,Y10),P20(X20,Y20),P30(X30,Y30),P2(X2,Y2,Z0,Rx0,Ry0,Rz2)是基于机器人基坐标系下的位姿。
CN202110204150.4A 2021-02-23 2021-02-23 一种基于机器人的光伏电池串定位方法 Active CN113043334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110204150.4A CN113043334B (zh) 2021-02-23 2021-02-23 一种基于机器人的光伏电池串定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110204150.4A CN113043334B (zh) 2021-02-23 2021-02-23 一种基于机器人的光伏电池串定位方法

Publications (2)

Publication Number Publication Date
CN113043334A CN113043334A (zh) 2021-06-29
CN113043334B true CN113043334B (zh) 2022-12-06

Family

ID=76509001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110204150.4A Active CN113043334B (zh) 2021-02-23 2021-02-23 一种基于机器人的光伏电池串定位方法

Country Status (1)

Country Link
CN (1) CN113043334B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870348B (zh) * 2021-09-18 2023-06-20 优层智能科技(上海)有限公司 一种物体定位方法、装置及摆串机
CN114589109B (zh) * 2022-02-28 2023-12-12 太仓金马智能装备有限公司 一种高精度可回收物智能识别系统及其识别方法
CN114734444B (zh) * 2022-04-27 2023-06-27 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226638B (zh) * 2007-01-18 2010-05-19 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
CN102039597A (zh) * 2009-10-10 2011-05-04 中电电气(上海)太阳能科技有限公司 一种太阳电池串安全吸盘器
CN102831595B (zh) * 2012-06-20 2014-12-10 中国农业大学 用于自然环境下目标点图像识别的标识物检测方法
CN102881040A (zh) * 2012-08-08 2013-01-16 浙江华震数字化工程有限公司 一种数码相机移动拍摄三维重建方法
CN108161931A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 基于视觉的工件自动识别及智能抓取系统
CN108466828A (zh) * 2018-03-23 2018-08-31 杭州景业智能科技有限公司 一种分刷一体机自动上料系统及方法
CN111127553B (zh) * 2018-10-31 2023-04-28 南京埃斯顿机器人工程有限公司 一种基于多相机的光伏电池串定位方法
CN110605714B (zh) * 2019-08-06 2021-08-03 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN110555889B (zh) * 2019-08-27 2021-01-15 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
CN110689579B (zh) * 2019-10-18 2022-08-30 华中科技大学 基于合作目标的快速单目视觉位姿测量方法及测量系统

Also Published As

Publication number Publication date
CN113043334A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113043334B (zh) 一种基于机器人的光伏电池串定位方法
CN108571971B (zh) 一种agv视觉定位系统及方法
CN110497187B (zh) 基于视觉引导的太阳花模组装配系统
CN108648237B (zh) 一种基于视觉的空间定位方法
CN106935683B (zh) 一种太阳能电池片高速视觉定位及矫正系统及其方法
CN104552341B (zh) 移动工业机器人单点多视角挂表位姿误差检测方法
CN110332884B (zh) 上、下ccd相机对位引导方法
CN104217441A (zh) 一种基于机器视觉的机械臂定位抓取方法
CN114494045A (zh) 一种基于机器视觉的大型直齿轮几何参数测量系统及方法
CN111127553B (zh) 一种基于多相机的光伏电池串定位方法
CN109191527B (zh) 一种基于最小化距离偏差的对位方法及装置
CN110148187A (zh) 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN105118042A (zh) 对位贴合方法和设备
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
CN110796700A (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN110424754B (zh) 一种砌墙机器人对接方法及系统
CN206864487U (zh) 一种太阳能电池片高速视觉定位及矫正系统
CN114734444B (zh) 一种目标定位方法、装置、电子设备及存储介质
CN115592666A (zh) 组件定位方法、组件定位装置、组件定位系统和机器人
CN110672009B (zh) 基于机器视觉的基准定位、物体姿态调整及图形显示方法
CN116038703A (zh) 一种光伏电池串的机器人抓取位姿获取方法及系统
CN109459046A (zh) 悬浮式水下自主航行器的定位和导航方法
CN110060330B (zh) 一种基于点云图像的三维建模方法、装置和机器人
CN113870348B (zh) 一种物体定位方法、装置及摆串机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant