CN111127553A - 一种基于多相机的光伏电池串定位方法 - Google Patents

一种基于多相机的光伏电池串定位方法 Download PDF

Info

Publication number
CN111127553A
CN111127553A CN201811282155.3A CN201811282155A CN111127553A CN 111127553 A CN111127553 A CN 111127553A CN 201811282155 A CN201811282155 A CN 201811282155A CN 111127553 A CN111127553 A CN 111127553A
Authority
CN
China
Prior art keywords
photovoltaic cell
cell string
camera
robot
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811282155.3A
Other languages
English (en)
Other versions
CN111127553B (zh
Inventor
尹章芹
万皓
张冶
王杰高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Estun Robotics Co Ltd
Original Assignee
Nanjing Estun Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Estun Robotics Co Ltd filed Critical Nanjing Estun Robotics Co Ltd
Priority to CN201811282155.3A priority Critical patent/CN111127553B/zh
Priority to PCT/CN2019/087239 priority patent/WO2020087909A1/zh
Publication of CN111127553A publication Critical patent/CN111127553A/zh
Application granted granted Critical
Publication of CN111127553B publication Critical patent/CN111127553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/68—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/68—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment
    • H01L21/681—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment using optical controlling means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/18—Processes or apparatus specially adapted for the manufacture or treatment of these devices or of parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/18—Processes or apparatus specially adapted for the manufacture or treatment of these devices or of parts thereof
    • H01L31/1876—Particular processes or apparatus for batch treatment of the devices
    • H01L31/188—Apparatus specially adapted for automatic interconnection of solar cells in a module
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50—Manufacturing or production processes characterised by the final manufactured product

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)

Abstract

本发明公开了一种基于多相机的光伏电池串定位方法，通过角位相机获取光伏电池串的角部图像，长边位相机获取光伏电池串长边的图像。建立机器人参考坐标系r和角位相机参考坐标系。计算光伏电池串标准排版位置c3(X3,Y3,a3)和长边位相机获取的光伏电池串位置c4(X4,Y4,a4)，然后计算光伏电池串位置与光伏电池串标准排版位置的差异(Dx,Dy,Da)。最后利用以太网的通讯，将数据发给排版机器人，机器人在点位r6的基础上，加上[Dx,Dy,Da]，并执行。本发明通过拟合、权重计算、推演计算等定位局部特征等方法，提高精度的同时，让现场的光伏定位精度能达到0.1mm以内，提升工作的效率。

Description

一种基于多相机的光伏电池串定位方法
技术领域
本发明涉及一种物料自动定位方法，具体说是一种基于多相机的光伏电池串定位方法。
背景技术
随着能源与环境问题的日益突出，世界各国正将目光逐渐转移到新能源的利用上来；太阳能作为一种可再生能源，由于具有取之不尽、用之不竭、清洁环保等特点，而逐渐得到利用。目前，太阳能的主要利用形式是太阳能发电，而作为光伏的主要载体，硅晶太阳能电池在由单元生产为组件的过程中，要经过串焊、排版等工序。
其中的排版工序，就是将一排排串焊后的单排电池进行整齐的并行排列，以拼接并封装成组件。为了保证组件的美观性以及确保电流汇集的性能，光伏行业一般对排版的整齐性要求较高(通常是偏差不超过0.1mm)；传统的排版是由人工，借助特殊机械装置进行对位，实现排版；但这种单纯依靠机械定位的方式无法保证定位的准确性，而且人工的接触会给电池带来接触损耗；近年，随着机器人技术的发展，工业机器人开始应用到排版中；这避免了人工的直接接触，但是机器人的绝对定位精度也常常不能够达到排版精度要求；
现有多相机定位相关专利中，多为基于相机自标定的多相机定位方法，虽然可以延伸到三维空间的物体位姿确定，但是自标定的方法操作过程繁琐，而且精度较低，一般在1-20mm；此外，还有采用图像拼接技术的多相机定位法，这虽然提高了图像的分辨率，但定位精度依赖于相机畸变校正的效果。
中国发明专利申请CN107611073A公开了一种太阳能电池串排版的定位方法，专利CN107611073A中通过具备透光属性的传送带，利用背光与相机方案，定位光伏电池子的特征点，并利用两点确认一条直线的方案，计算光伏电池串与标准电池串的偏差。该设备方案具备一定的局限性，并且对机械结构的要求高，在实际的应用中，影响定位的精度、降低工作节拍。而图像拼接技术，主要是利用将多张图片拼接成一张大的图片，图像拼接的算法执行时间长，而且拼接算法对图像的特征提取要求高，光伏电池串特征较少，拼接出的视觉图片，精准性差很多，而且根据实际的应用，基于拼接技术实现光伏电池串定位，在精度与性能上满足不了现场的要求。
发明内容
本发明所要解决的问题在于，克服现有技术存在的缺陷，提出了一种基于多相机的光伏电池串定位方法，通过拟合、权重计算、推演计算等定位局部特征等方法，提高精度的同时，让现场的光伏定位精度能达到0.1mm以内，提升工作的效率。
本发明基于多相机的光伏电池串定位方法，其步骤如下：
在传送装置被测光伏电池串一个边角上方设置一个角位相机，在被测光伏电池串长边上方设置一个长边位相机。所述角位相机的视野正对被测光伏电池串一个边角，用于获取光伏电池串的角部图像，所述长边位相机的视野正对光伏电池串的一个长边，用于获取光伏电池串长边的图像。
建立机器人参考坐标系r：利用三点法，在空间中示教三个机器人点r0(x0,y0,z0,a0,b0,c0)，r1(x1,y1,z0,a0,b0,c0)，r2(x2,y2,z0,a0,b0,c0)，利用旋转平移方程R|T，建立机器人的参考坐标系r。其中R表示旋转矩阵，T表示平移矩阵。机器人点r0,r1,r2的x轴、y轴坐标不同，z轴的坐标z0相同，机器人的姿态a0,b0,c0相同。(x0,y0),(x1,y1),(x2,y2)表示机器人的坐标。
建立角位相机参考坐标系A：将机器人切换到机器人参考坐标系r中，在空间中顺序走三个点r3(x3,y3,z1,a1,b1,c1),r4(x3,y4,z1,a1,b1,c1)，r5(x4,y3,z1,a1,b1,c1)，因为机器人是带有吸取光伏串的夹具，所以机器人走三个点的时候，夹具上的特征点(夹具的末端位置)需要在角位相机的视野范围中，在角位相机中成像的坐标分别为：c0(X0,Y0),c1(X1,Y1),c2(X2,Y2),利用旋转平移方程R1|T1，建立的角位相机参考坐标系(即：视觉考坐标系)A,其中：r3,r4,r5的关系是，r3和r4在机器人x轴上的坐标相同，r3和r5在机器人y轴上的坐标相同，z轴的坐标z1相同，机器人的姿态a1,b1,c1相同。
R1|T1坐标系的叉乘表示：
X轴向量
Figure BDA0001848260010000031
Y轴向量
Figure BDA0001848260010000032
其中：X0，X1，X2表示相机行坐标值，Y0，Y1，Y2表示相机的列坐标。
则遵循右手定则的坐标系第三轴可表示为：
Figure BDA0001848260010000033
假设
Figure BDA0001848260010000034
则角位相机参考坐标系A的矩阵形式为：
Figure BDA0001848260010000035
步骤1.计算光伏电池串标准排版位置c3(X3,Y3,a3)和长边位相机获取的光伏电池串位置c4(X4,Y4,a4)。
步骤1.1机器人抓取光伏电池串放置在长边位相机和角位相机下方，机器人对应的点位坐标是：r6(x6,y6,z6,a6,b6,c6),长边位相机定位的是光伏电池串边界，角位相机定位的是光伏电池串边界线的边界和交点。
步骤1.2角位相机拍摄到光伏电池串角部位置的两个边界，采用亚像素级别的边缘拟合的方法，找出光伏电池串角部边缘直线L1、L2，其中，其中长边边缘直线L2与标准直线的夹角为a3,光伏电池串角部边缘直线L1和L2的交点c3(X3,Y3,a3)即是光伏电池串标准排版位置。c0(X0,Y0)和c1(X1,Y1)构成的直线为所述标准直线。
步骤1.3各个长边位相机拍摄到光伏电池串的长边边界，采用亚像素级别的边缘拟合的方法，找出光伏电池串长边边缘直线的L3，直线L3与标准直线之间的角度为a4,交点c4(X4,Y4,a4)即是长边位相机获取的光伏电池串位置。
步骤2计算光伏电池串位置与光伏电池串标准排版位置的差异(Dx,Dy,Da)。
步骤2.1测量光伏电池串的长和宽的一半分别为l1和l2。
步骤2.2计算光伏电池串的旋转中心：
Figure BDA0001848260010000041
其中DX和DY表示一个像素代表多少毫米。
步骤2.3机器人抓取新的光伏电池串,利用长边位相机和角位相机拍摄，计算新的光伏电池串标准排版位置c31(x31,y31,a31)和长边位相机获取的光伏电池串位置c41(x41,y41,a41)。
Figure BDA0001848260010000042
Figure BDA0001848260010000043
Figure BDA0001848260010000044
其中，i表示角位坐标的起始计数位，i＝2，N表示相机的个数。
步骤2.4利用以太网的通讯，将数据发给排版机器人，机器人在点位r6的基础上，加上[Dx,Dy,Da]，并执行。
当设置两个长边位相机时，两个长边位相机设置在光伏电池串同一长边的不同位置或不同的长边上(两个长边各设置一个长边位相机)，所述长边位相机的视野正对光伏电池串的一个长边。
在步骤1.3中，增加第二个长边定位的标准。长边位相机拍摄到光伏电池串的边界，采用亚像素级别的边缘拟合的方法，找出直线的L5，直线L5与标准直线之间的角度为a5,交点的坐标是c5(x5,y5,a5)。
步骤2.3:机器人3抓取新的光伏电池串,利用两个长边位相机和角位相机和，计算新的交点和角度c31(x31,y31,a31)和c41(x41,y41,a41)，c51(x51,y51,a51)。
Da＝((a3-a31)+(a4-a41)+(a5-a51))/3
根据实际的现场情况,可以增扩更多的相机，用于长边定位。这样可以逐步提高光伏电池串定位的精度。
本发明方法，通过多相机方案，利用直线拟合定位电池串的边界，通过亚像素级别的直线拟合的方案，以增加边缘定位的精准性。计算光伏电池串的角度变化，采用权重计算Da，通过多边的角度变化计算Da，以降低电池串毛刺的干扰。视觉通过定位局部边界直线，并计算交点c3(X3,Y3)，通过模型形式计算出电池串位置与电池串标准排版位置的偏差(Dx，Dy)，一次完成计算，无需二次定位(先计算角度偏差，再计算位置偏差)，节拍上提升了1倍。
附图说明
图1是光源在相机与光伏电池串之间，机器人抓取光伏电池串的设备系统示意图。
图2是光源在光伏电池串下方，机器人抓取光伏电池串的设备系统示意图。
图3是光源在皮带线上方的光伏电池串的设备系统示意图。
图4是长边位相机和角位相机需要计算的特征参数。
图5是机器人三点关系建立坐标系r。
图6是视觉的三点关系建立坐标系A。其中，a是机器人点位，b是视觉点位。
具体实施方式
下面结合实施例，对本发明作进一步详细说明。
(请按照前面确定的技术方案的步骤，详细描述本发明方法的实施例)
实施例1.一个角位相机和一个长边位相机的实施例。
基于光伏电池串4来料方案的不同，现场的工装方案分为皮带线1来料、用视觉定位并由机器人3抓取，另一种方案是机器人抓取光伏电池串并由视觉定位。针对不同需求，现场的工装方案如图1,2,3.图1与图2的区别在于，图1选择的是开孔光源(2.1，5.1)，图2可以选择背光源(2.2，5.2)，图3是皮带线配合机器人抓取光伏电池串。
在这几种方案中，图中，角位相机2用于定位光伏电池串的角，其视野2.3定位在光伏电池串4的一个角，即两条边的交点。长边位相机5用于定位光伏电池串的长边,其视野5.3覆盖光伏电池串长边位置，光伏电池串的长度是2*l1，因为角位相机2与长边位相机5的安装距离一般为小于2*l1，大于l1/3处。
如图5和图6，建立机器人的参考坐标系r，建立角位相机2的参考坐标系A，r与A的关系是水平垂直。
如图5和图6，机器人参考坐标系r的建立。利用三点法，在空间中示教三个机器人点r0(x0,y0,z0,a0,b0,c0)r1(x1,y1,z0,a0,b0,c0)，r2(x2,y2,z0,a0,b0,c0)，利用旋转平移方程R|T，建立机器人的参考坐标系r，参考坐标系r一般与光伏电池串的排版机构一致。其中R表示旋转矩阵，T表示平移矩阵。机器人点r0,r1,r2的区别是x轴，y轴坐标不同，z轴的坐标z0相同，机器人的姿态a0,b0,c0相同。(x0,y0),(x1,y1),(x2,y2)表示机器人的坐标。
如图6，视觉坐标系的建立。将机器人切换到参考坐标系r中，在空间中顺序走三个点r3(x3,y3,z1,a1,b1,c1),r4(x3,y4,z1,a1,b1,c1)，r5(x4,y3,z1,a1,b1,c1)，因为机器人是带有吸取光伏串的夹具，所有机器人走的三个点时候，夹具上的特征点(夹具的末端位置)需要在角位相机2的视野2.3范围中，在角位相机2中成像的坐标分别为：c0(X0,Y0),c1(X1,Y1),c2(X2,Y2),利用旋转平移方程R1|T1，建立的视觉考坐标系A,其中：r3,r4,r5的关系是，r3和r4在机器人x轴上的坐标相同，r3和r5在机器人y轴上的坐标相同，z轴的坐标z1相同，机器人的姿态a1,b1,c1相同。
R1|T1坐标系的叉乘表示：
坐标系的叉乘表示：
X轴向量
Figure BDA0001848260010000071
Y轴向量
Figure BDA0001848260010000072
则遵循右手定则的坐标系第三轴可表示为：
Figure BDA0001848260010000073
假设
Figure BDA0001848260010000074
则相机坐标系的矩阵形式为：
步骤1.如图4，计算角位相机2中光伏电池串标准排版位置c3(X3,Y3,a3)，具体包括如下步骤：
步骤1.1：机器人抓取电池片在长边位相机5和角位相机2下方，机器人3对应的点位坐标是：r6(x6,y6,z6,a6,b6,c6),长边位相机5定位的是光伏电池串边界，角位相机2定位的是光伏电池串边界线的边界和交点。
步骤1.2：角位相机2拍摄到光伏电池串的边界，采用亚像素级别的边缘拟合的方法，找出直线的L1和直线L2，直线L2与标准直线的角度是a3,L1和L2的交点是c3(X3,Y3,a3)，如图3所示。
步骤1.3：长边位相机5拍摄到光伏电池串的边界，采用亚像素级别的边缘拟合的方法，找出直线的L3，直线L3与标准直线之间的角度为a4,交点的坐标是c4(X4,Y4,a4)标准直线是长边位相机5中的参考直线，可以定义标准直线为c0和c1构成的直线，如图3所示。
步骤2：计算光伏电池串位置与光伏电池串标准排版位置的差异(Dx,Dy,Da)。
步骤2.1：测量确认光伏电池串的长和宽的一半分别为l1和l2。
步骤2.2：计算光伏电池串的旋转中心：
Figure BDA0001848260010000082
其中DX和DY表示一个像素代表多少毫米。
步骤2.3:机器人3抓取新的光伏电池串4,利用长边位相机5和角位相机2，计算新的交点和角度c31(x31,y31,a31)和c41(x41,y41,a41)。
Da＝((a3-a31)+(a4-a41))/2
Figure BDA0001848260010000091
Figure BDA0001848260010000092
步骤2.4：利用以太网的通讯，将数据发给排版机器人，机器人在点位r6的基础上，加上[Dx,Dy,Da]，并执行。
实施例2.现场利用一个相机定位角位，两个相机定位长边。实施步骤与案例1相同。只是计算Da的权重不同。
在步骤1.3中，增加长边定位的标准。长边位相机拍摄到光伏电池串的边界，采用亚像素级别的边缘拟合的方法，找出直线的L5，直线L5与标准直线之间的角度为a5,交点的坐标是c5(x5,y5,a5)标准直线是长边位相机中的参考直线，可以定义标准直线为c0和c1构成的直线，可以定义如图3所示。
步骤2.3:机器人3抓取新的光伏电池串,利用两个长边位相机和角位相机和，计算新的交点和角度c31(x31,y31,a31)和c41(x41,y41,a41)，c51(x51,y51,a51)。
Da＝((a3-a31)+(a4-a41)+(a5-a51))/3
根据实际的现场情况,可以增扩更多的相机，用于长边定位。

Claims (6)

1.一种基于多相机的光伏电池串定位方法，其步骤如下：
在传送装置被测光伏电池串一个边角上方设置一个角位相机，在被测光伏电池串长边上方设置一个长边位相机；所述角位相机的视野正对被测光伏电池串一个边角，用于获取光伏电池串的角部图像，所述长边位相机的视野正对光伏电池串的一个长边，用于获取光伏电池串长边的图像；
建立机器人参考坐标系r；
建立角位相机参考坐标系A：
Figure FDA0001848259000000011
步骤1.计算光伏电池串标准排版位置c3(X3,Y3,a3)和长边位相机获取的光伏电池串位置c4(X4,Y4,a4)；
步骤2计算光伏电池串位置与光伏电池串标准排版位置的差异(Dx,Dy,Da)；利用以太网的通讯，将数据发给排版机器人，机器人在点位r6的基础上，加上[Dx,Dy,Da]，并执行；所述点位r6是，机器人抓取光伏电池串放置在长边位相机和角位相机下方时，机器人对应的点位，其坐标是：r6(x6,y6,z6,a6,b6,c6)。
2.根据权利要求1所述的基于多相机的光伏电池串定位方法，其特征是：
设置两个长边位相机，两个长边位相机设置在光伏电池串同一长边的不同位置或不同的长边上，所述长边位相机的视野正对光伏电池串的一个长边；
在步骤1.3中，增加第二个长边定位的标准：长边位相机拍摄到光伏电池串的边界，采用亚像素级别的边缘拟合的方法，找出直线的L5，直线L5与标准直线之间的角度为a5,交点的坐标是c5(x5,y5,a5)；
步骤2.3:机器人抓取新的光伏电池串,利用两个长边位相机和角位相机和，计算新的交点和角度c31(x31,y31,a31)和c41(x41,y41,a41)，c51(x51,y51,a51)：
Da＝((a3-a31)+(a4-a41)+(a5-a51))/3。
3.根据权利要求1所述的基于多相机的光伏电池串定位方法，其特征是：所述建立机器人参考坐标系r是，利用三点法，在空间中示教三个机器人点r0(x0,y0,z0,a0,b0,c0)，r1(x1,y1,z0,a0,b0,c0)，r2(x2,y2,z0,a0,b0,c0)，利用旋转平移方程R|T，建立机器人的参考坐标系r，其中R表示旋转矩阵，T表示平移矩阵；机器人点r0,r1,r2的x轴、y轴坐标不同，z轴的坐标z0相同，机器人的姿态a0,b0,c0相同；(x0,y0),(x1,y1),(x2,y2)表示机器人的坐标。
4.根据权利要求1所述的基于多相机的光伏电池串定位方法，其特征是：
所述建立角位相机参考坐标系A是，将机器人切换到机器人参考坐标系r中，在空间中顺序走三个点r3(x3,y3,z1,a1,b1,c1),r4(x3,y4,z1,a1,b1,c1)，r5(x4,y3,z1,a1,b1,c1)，在角位相机中成像的坐标分别为：c0(X0,Y0),c1(X1,Y1),c2(X2,Y2),利用旋转平移方程R1|T1，建立的角位相机参考坐标系A,其中：r3,r4,r5的关系是，r3和r4在机器人x轴上的坐标相同，r3和r5在机器人y轴上的坐标相同，z轴的坐标z1相同，机器人的姿态a1,b1,c1相同；
R1|T1坐标系的叉乘表示：
X轴向量
Figure FDA0001848259000000021
Y轴向量
Figure FDA0001848259000000022
其中：X0，X1，X2表示相机行坐标值，Y0，Y1，Y2表示相机的列坐标；
则遵循右手定则的坐标系第三轴可表示为：
Figure FDA0001848259000000023
假设
Figure FDA0001848259000000031
则角位相机参考坐标系A的矩阵形式为：
Figure FDA0001848259000000032
5.根据权利要求1所述的基于多相机的光伏电池串定位方法，其特征是：
所述步骤1.计算光伏电池串标准排版位置c3(X3,Y3,a3)和长边位相机获取的光伏电池串位置c4(X4,Y4,a4)：
步骤1.1机器人抓取光伏电池串放置在长边位相机和角位相机下方，机器人对应的点位坐标是：r6(x6,y6,z6,a6,b6,c6),长边位相机定位的是光伏电池串边界，角位相机定位的是光伏电池串边界线的边界和交点；
步骤1.2角位相机拍摄到光伏电池串角部位置的两个边界，采用亚像素级别的边缘拟合的方法，找出光伏电池串角部边缘直线L1、L2，其中，其中长边边缘直线L2与标准直线的夹角为a3,光伏电池串角部边缘直线L1和L2的交点c3(X3,Y3,a3)，即是光伏电池串标准排版位置；c0(X0,Y0)和c1(X1,Y1)构成的直线为所述标准直线；
步骤1.3各个长边位相机拍摄到光伏电池串的长边边界，采用亚像素级别的边缘拟合的方法，找出光伏电池串长边边缘直线的L3，直线L3与标准直线之间的角度为a4,交点c4(X4,Y4,a4)即是长边位相机获取的光伏电池串位置。
6.根据权利要求1所述的基于多相机的光伏电池串定位方法，其特征是：
所述步骤2.计算光伏电池串位置与光伏电池串标准排版位置的差异(Dx,Dy,Da)：
步骤2.1测量光伏电池串的长和宽的一半分别为l1和l2；
步骤2.2计算光伏电池串的旋转中心：
Figure FDA0001848259000000041
其中DX和DY表示一个像素代表多少毫米；
步骤2.3机器人抓取新的光伏电池串,利用长边位相机和角位相机拍摄，计算新的光伏电池串标准排版位置c31(x31,y31,a31)和长边位相机获取的光伏电池串位置c41(x41,y41,a41)：
Figure FDA0001848259000000042
Figure FDA0001848259000000043
Figure FDA0001848259000000044
其中，i表示角位坐标的起始计数位，i＝2，N表示相机的个数。
CN201811282155.3A 2018-10-31 2018-10-31 一种基于多相机的光伏电池串定位方法 Active CN111127553B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811282155.3A CN111127553B (zh) 2018-10-31 2018-10-31 一种基于多相机的光伏电池串定位方法
PCT/CN2019/087239 WO2020087909A1 (zh) 2018-10-31 2019-05-16 一种基于多相机的光伏电池串定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811282155.3A CN111127553B (zh) 2018-10-31 2018-10-31 一种基于多相机的光伏电池串定位方法

Publications (2)

Publication Number Publication Date
CN111127553A true CN111127553A (zh) 2020-05-08
CN111127553B CN111127553B (zh) 2023-04-28

Family

ID=70462029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811282155.3A Active CN111127553B (zh) 2018-10-31 2018-10-31 一种基于多相机的光伏电池串定位方法

Country Status (2)

Country Link
CN (1) CN111127553B (zh)
WO (1) WO2020087909A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113043334A (zh) * 2021-02-23 2021-06-29 上海埃奇机器人技术有限公司 一种基于机器人的光伏电池串定位方法
CN114882023A (zh) * 2022-07-07 2022-08-09 苏州小牛自动化设备有限公司 电池串位姿校正方法、装置、控制设备及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060511A1 (zh) * 2021-10-14 2023-04-20 宁德时代新能源科技股份有限公司 确定电池箱的位置的方法及拆换电池箱的方法
CN114739254B (zh) * 2022-04-01 2024-07-09 山西漳山发电有限责任公司 一种可在线测量尺寸的标尺
CN115797310A (zh) * 2022-12-13 2023-03-14 无锡海纳智能科技有限公司 一种光伏电站组串倾角的确定方法及电子设备
CN116360467B (zh) * 2023-06-01 2023-08-15 中国科学院自动化研究所 光伏板列无人清扫装置自主巡行系统及自主巡行方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
CN204290879U (zh) * 2014-12-31 2015-04-22 苏州巨能图像检测技术有限公司 电池串的定位检测装置
CN107611073A (zh) * 2017-09-15 2018-01-19 苏州宏瑞达新能源装备有限公司 太阳能电池串排版的定位方法
US20180222055A1 (en) * 2017-02-03 2018-08-09 Abb Schweiz Ag Calibration article for a 3d vision robotic system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103692447B (zh) * 2013-12-27 2015-12-30 西安航天精密机电研究所 一种基于俯视和侧视相机的电动汽车电池定位方法
CN106934813A (zh) * 2015-12-31 2017-07-07 沈阳高精数控智能技术股份有限公司 一种基于视觉定位的工业机器人工件抓取实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
CN204290879U (zh) * 2014-12-31 2015-04-22 苏州巨能图像检测技术有限公司 电池串的定位检测装置
US20180222055A1 (en) * 2017-02-03 2018-08-09 Abb Schweiz Ag Calibration article for a 3d vision robotic system
CN107611073A (zh) * 2017-09-15 2018-01-19 苏州宏瑞达新能源装备有限公司 太阳能电池串排版的定位方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113043334A (zh) * 2021-02-23 2021-06-29 上海埃奇机器人技术有限公司 一种基于机器人的光伏电池串定位方法
CN114882023A (zh) * 2022-07-07 2022-08-09 苏州小牛自动化设备有限公司 电池串位姿校正方法、装置、控制设备及系统
CN114882023B (zh) * 2022-07-07 2022-11-18 苏州小牛自动化设备有限公司 电池串位姿校正方法、装置、控制设备及系统

Also Published As

Publication number Publication date
CN111127553B (zh) 2023-04-28
WO2020087909A1 (zh) 2020-05-07

Similar Documents

Publication Publication Date Title
CN111127553A (zh) 一种基于多相机的光伏电池串定位方法
CN106272426A (zh) 太阳能电池片串焊前视觉定位及角度检测设备及检测方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN107611073B (zh) 太阳能电池串排版的定位方法
CN109483531A (zh) 一种用于机械手定点取放fpc板的机器视觉系统及方法
CN103337069B (zh) 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN114705122B (zh) 一种大视场立体视觉标定方法
CN114474056B (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
CN109465830B (zh) 机器人单目立体视觉标定系统及方法
CN107816942A (zh) 一种基于十字结构光视觉系统的平面二维尺寸测量方法
CN111260720A (zh) 一种基于深度学习方法的目标高度测定系统
CN113043334B (zh) 一种基于机器人的光伏电池串定位方法
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN112509065B (zh) 一种应用于深海机械臂作业的视觉引导的方法
CN111862193A (zh) 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN111127540A (zh) 一种三维虚拟空间自动测距方法及系统
EP4379893A1 (en) Overhang measurement method and apparatus for battery electrode plate, and device and storage medium
CN114289332A (zh) 工件分拣的视觉识别与定位方法、装置及分拣系统
CN112101118A (zh) 一种远景与近景图像结合的光伏组件定位与匹配方法
CN102903092A (zh) 一种基于四点变换的图像自适应校正方法
CN110286384B (zh) 一种基于多线激光点云极化表征的高精度地图生成系统及方法
CN111906767A (zh) 基于双目结构光的视觉纠偏机械臂及纠偏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant