CN117853579A - 一种光伏板位姿修正方法、光伏机器人及存储介质 - Google Patents
一种光伏板位姿修正方法、光伏机器人及存储介质 Download PDFInfo
- Publication number
- CN117853579A CN117853579A CN202410023200.2A CN202410023200A CN117853579A CN 117853579 A CN117853579 A CN 117853579A CN 202410023200 A CN202410023200 A CN 202410023200A CN 117853579 A CN117853579 A CN 117853579A
- Authority
- CN
- China
- Prior art keywords
- information
- photovoltaic panel
- point cloud
- edge
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 title claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000009434 installation Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 11
- 238000010276 construction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 101100030351 Schizosaccharomyces pombe (strain 972 / ATCC 24843) dis2 gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910021419 crystalline silicon Inorganic materials 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Abstract
本发明公开了一种光伏板位姿修正方法、光伏机器人及存储介质，其方法包括步骤：采集光伏板的RGB图像；提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息；在识别到所述光伏板边缘角点信息的数量为三个时，识别被所述RGB图像信息的边缘截断的两条所述多边形边缘信息；延长被所述RGB图像信息的边缘截断的两条所述多边形边缘信息，计算其相交后的第一相交角点信息；根据所述第一相交角点信息、所述光伏板边缘角点信息和所述第一实际点云坐标计算光伏板实际位姿。本发明可以提高光伏板位姿识别精确度。
Description
本申请是申请号为202311278577.4的分案申请。
申请号为202311278577.4专利：申请日为2023-10-07，名称为“一种基于视觉识别的光伏板位姿拟合方法及安装机器人”。
技术领域
本发明涉及光伏技术领域，特别涉及一种光伏板位姿修正方法、光伏机器人及存储介质。
背景技术
常规光伏电站是通过一定规模的晶体硅光伏板组件阵列将太阳光能转换成电能，与电网相连并向电网输送电力的光伏发电系统，在光伏电站建设过程中需要根据电站所在地日照辐射系数、风力等级、地势环境等特征进行光伏板铺设、电力传输架构、通讯传输要求进行电站建设方案规划，后续再根据电站规划预案执行电站建成作业。
在实际电站建设过程中需要将大量光伏板安装到预先设计好的位置，使整个电站可以保持最佳发佳效率。由于该过程需要大量机械安装工作，目前一般使用光伏安装机械臂或可移动式光伏电站建设机器人进行光伏板视觉定位后执行光伏板安装工作。
而在光伏板视觉定位过程中往往会由于环境光源问题或光伏板杂散堆放等情况，导致视觉识别过程中光伏板边缘识别不准确，尤其会出现大量光伏板在堆叠放置时，互相叠加导致图像识别仅能识别到光伏板的三个角点，无法有效地分离每块光伏板位置，光伏安装机械臂或可移动式光伏电站建设机器人也无法进一步根据光伏板位置执行后续相关作业。
因此目前需要一种光伏板位姿修正方法，用以解决光伏板位姿识别不准确的技术问题。
发明内容
为解决大量光伏板在堆叠放置时，互相叠加导致图像识别仅能识别到光伏板的三个角点，无法有效地分离每块光伏板位置的技术问题，本发明提供一种光伏板位姿修正方法、光伏机器人及存储介质，具体的技术方案如下：
本发明提供一种光伏板位姿修正方法，包括步骤：
采集光伏板的RGB图像；
提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息；
在识别到所述光伏板边缘角点信息的数量为三个时，识别被所述RGB图像信息的边缘截断的两条所述多边形边缘信息；
延长被所述RGB图像信息的边缘截断的两条所述多边形边缘信息，计算其相交后的第一相交角点信息；
根据所述第一相交角点信息、所述光伏板边缘角点信息和所述第一实际点云坐标计算光伏板实际位姿。
本发明提供的光伏板位姿修正方法聚焦于光伏板视觉识别过程中图像识别仅能识别到光伏板的三个角点，无法有效地分离每块光伏板位置的场景，根据场景中被图像边缘截断的边缘信息模拟光伏板角点位置，并根据实测光伏板角点和模拟光伏板角点计算光伏板位姿，针对实际复杂叠放场景有效从视觉图像中分离光伏板位姿信息，便于后续光伏安装机械臂或可移动式光伏电站建设机器人进一步执行后续相关作业。
在一些实施方式中，所述的根据所述第一相交角点信息、所述光伏板边缘角点信息和所述实际点云信息计算光伏板实际位姿，包括步骤：
预设标准转换坐标系，所述标准转换坐标系中存储有第一标准图像坐标系、标准点云坐标系，以及所述第一标准图像坐标系与所述标准点云坐标系之间的对应关系；
根据所述第一相交角点信息、所述光伏板边缘角点信息以及所述标准转换坐标系，通过透视变换函数计算透视变换矩阵；
根据所述透视变换矩阵变换第一标准图像坐标系得到第二标准图像坐标系；
根据所述第一标准图像坐标系与所述标准点云坐标系之间的对应关系，生成所述第二标准图像坐标系对应的第一实际点云坐标系；
计算所述第一标准点云坐标系与第一实际点云坐标系之间的第二空间位姿转换矩阵，将所述第二空间位姿转换矩阵作为所述光伏板实际位姿。
在一些实施方式中，采集所述光伏板当前的第二实际点云坐标系；
所述第一实际点云坐标系中包括若干第一实际点云坐标；
所述的根据所述第一标准图像坐标系与所述标准点云坐标系之间的对应关系，生成所述第二标准图像坐标系对应的第一实际点云坐标系之后，还包括：
将不处于所述第二实际点云坐标系中的所述第一实际点云坐标无效；
计算所述第一标准点云坐标系与无效后所述第一实际点云坐标系之间的所述第二空间位姿转换矩阵。
在一些实施方式中，所述的提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息之后，还包括步骤：
在识别出所述光伏板边缘角点信息的数量为四个时，计算所述标准点云坐标系与所述第二实际点云坐标系之间的第一空间位姿转换矩阵作为所述光伏板实际位姿。
在一些实施方式中，所述的提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息之后，还包括步骤：
在识别出所述光伏板边缘角点信息的数量为两个时，根据所述标准转换坐标系分别计算两个所述光伏板边缘角点信息对应的第一角点点云深度信息和第二角点点云深度信息；
计算所述第一角点点云深度信息和所述第二角点点云深度信息之间的第一空间距离；
根据所述第一空间距离和预设的光伏板尺寸信息将所述第一角点点云深度信息和所述第二角点点云深度信息，对应至所述标准点云坐标系中的第一光伏板角点和第二光伏板角点；
获取所述RGB图像的边缘的两个第二相交角点信息；
在两个所述光伏板边缘角点信息和两个所述第二相交角点信息围成的四边形内均匀采样若干像素坐标，根据对应关系查找均匀采样的像素坐标对应的第三点云深度信息集；
分别计算所述第一角点点云深度信息与所述第三点云深度信息集中各个第三点云深度信息之间的第二空间距离，以及所述第二角点点云深度信息与所述第三点云深度信息集中各个所述第三点云深度信息之间的第三空间距离；
基于所述预设的标准点云坐标计算第四点云深度信息集，所述第四点云深度信息集中包括所述预设的标准点云坐标内与所述第一光伏板角点距离为所述第二空间距离的点云信息，以及所述预设的标准点云坐标内与所述第二光伏板角点距离为所述第三空间距离的点云信息；
计算所述第三点云深度信息集与所述第四点云深度信息集之间的所述第三空间位姿转换矩阵，将所述第三空间位姿转换矩阵作为所述光伏板实际位姿。
在一些实施方式中，所述的提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息之后，还包括步骤：
检测到存在所述光伏板边缘信息或所述光伏板边缘角点信息距离所述光伏板RGB图像信息边缘小于预设距离时，滤除距离值小于所述预设距离的所述光伏板边缘信息和所述光伏板边缘角点信息。
在一些实施方式中，根据本发明的另一方面，本发明还提供一种光伏板安装机器人，包括：
图像采集部，设置于所述安装机器人机械臂安装部，用于采集光伏板的RGB图像；
数据处理部，与所述图像采集部通讯连接，用于提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息；在识别到所述光伏板边缘角点信息的数量为三个时，识别被所述RGB图像信息的边缘截断的两条所述多边形边缘信息；延长被所述RGB图像信息的边缘截断的两条所述多边形边缘信息，计算其相交后的第一相交角点信息；根据所述第一相交角点信息、所述光伏板边缘角点信息和所述第一实际点云坐标计算光伏板实际位姿。
在一些实施方式中，根据本发明的另一方面，本发明还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述光伏板位姿修正方法所执行的操作。
本发明提供一种光伏板位姿修正方法、光伏机器人及存储介质，其技术效果为：聚焦于光伏板视觉识别过程中图像识别仅能识别到光伏板的三个角点，无法有效地分离每块光伏板位置的场景，根据场景中被图像边缘截断的边缘信息模拟光伏板角点位置，并根据实测光伏板角点和模拟光伏板角点计算光伏板位姿，针对实际复杂叠放场景有效从视觉图像中分离光伏板位姿信息，便于后续光伏安装机械臂或可移动式光伏电站建设机器人进一步执行后续相关作业。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于视觉识别的光伏板位姿拟合方法的流程图；
图2为本发明一种基于视觉识别的光伏板位姿拟合方法中在多边形角点信息的数量为四个时计算光伏板实际位姿的流程图；
图3为本发明一种基于视觉识别的光伏板位姿拟合方法中在多边形角点信息的数量为三个时计算光伏板实际位姿的流程图；
图4为本发明一种基于视觉识别的光伏板位姿拟合方法中在多边形角点信息的数量为两个时计算光伏板实际位姿的流程图；
图5为本发明一种基于视觉识别的光伏板位姿拟合方法中滤除异常点的流程图；
图6为本发明一种基于视觉识别的光伏板位姿拟合方法中多边形拟合的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
现有光伏板自动安装机器人旨在减轻现场光伏板安装繁重的劳动强度，机器人在自动抓取光伏板时，需要沿垂直于光伏板平面的方向，夹爪平行于光伏板平面，准确地去抓取光伏板。机械臂执行此动作的前提是能准确获取光伏板在空间中的六自由度位姿。
由于光伏安装现场中光伏板放置位置、姿态相对不固定，现场的日照环境等也在变化，如何准确识别光伏板位姿成为自动安装机器人执行后续动作的前提。因此本申请提供了一种基于视觉识别的光伏板位姿拟合方法，在受环境影响无法识别完整精确光伏板位姿信息时，根据图像识别和深度信息进行光伏板位姿拟合，便于光伏安装机器人执行精确的安装作业。
本发明的一个实施例，如图1所示，本发明提供一种基于视觉识别的光伏板位姿拟合方法，包括步骤：
S100采集光伏板的RGB图像信息及实际点云信息。
具体地，实际点云信息包含实际点云坐标系信息，在采集图像信息过程中通常采用深度相机，直接采集光伏板RGB图像信息以及对应的深度信息，并在深度相机中执行对应的深度信息处理和点云转换工作，本申请也可以采用常规视觉相机进行视觉图像抓取，通过视觉相机与计算机通讯，实现深度信息处理和点云转换由计算机等数据处理设备执行的效果，其数据处理设备中存储有点云转换数据即可实现上述步骤。
S200通过实例分割和边缘检测在光伏板的RGB图像信息中提取光伏板边缘轮廓信息。
具体地，由于光伏板放置位置和姿态均不固定，环境光线也会变化，计算机通过Mask R-CNN、Instance-sensitive FCN、YOLCAT、RDSNet等深度学习实例分割技术，将RGB图像中的光伏板区域分割标记出来，采用深度学习实例分割技术，去除光伏板放置姿态和光照影响使识别结果更稳定，RGB彩色图像信息通过深度学习实例分割处理，得到分割出的光伏板区域的灰度图片，并通过图像边缘滤波提取技术，将深度学习分割的光伏板灰度图片进行边缘滤波，筛选出最大的边缘轮廓，得到光伏板在图片中的边缘轮廓。
S300通过多边形拟合函数拟合光伏板边缘轮廓信息生成多边形边缘信息以及多边形角点信息。
S510在多边形角点信息的数量为四个时，计算预设的标准点云坐标系与实际点云坐标系之间的第一空间位姿转换矩阵作为光伏板的实际位姿。
S520在多边形角点信息的数量不符合四个时，根据多边形角点信息的数量执行对应的预设拟合方案，生成拟合点云坐标系，并计算预设的标准点云坐标系与拟合点云坐标系之间的第二空间位姿转换矩阵作为光伏板实际位姿。
本实施例提供的基于视觉识别的光伏板位姿拟合方法根据视觉识别出的光伏板角点数量，判断当前光伏板视觉图像中光伏板放置状态，并执行对应的图像拟合方案，将不完整的光伏板图像拟合出完整位姿信息，对场景适应性强，通过深度学习分割出图片中光伏板位置信息，对光伏板放置姿态、放置环境不敏感，同时对光照变化比较鲁棒。
在一个实施例中，如图2所示，步骤S510中计算预设的标准点云坐标系与实际点云坐标系之间的第一空间位姿转换矩阵作为光伏板的实际位姿，具体包括：
S511根据预设的标准转换坐标系以及四个多边形角点信息，通过透视变换函数计算透视变换矩阵。
具体地，标准转换坐标系中存储有第一标准图像坐标系、预设的标准点云坐标系，以及第一标准图像坐标系与预设的标准点云坐标系之间的对应关系。
S512根据透视变换矩阵变换第一标准图像坐标系得到第二标准图像坐标系。
S513根据对应关系在实际点云信息中查找第二标准图像坐标系对应的实际点云坐标系。
S514计算第一标准点云坐标系与实际点云坐标系之间的第一空间位姿转换矩阵，将第一空间位姿转换矩阵作为光伏板的实际位姿。
具体地，如果得到的多边形角点为4个，则与光伏板实际模型形状符合。平放的光伏板图像应为有固定长宽尺寸的矩形，预设标准尺寸的图像模板(第一标准图像坐标系)和点云模板坐标系(标准点云坐标系)，同时事先定义图像模板中的采样点集合S0和点云模板中一一对应的3D采样点集合P0。
根据图像模板中4个标准光伏板角点坐标和检测到的4个多边形角点坐标，通过opencv中透视变换函数计算出透视变换矩阵，得到图像模板中像素点坐标和实际检测到的光伏板灰度图像坐标之间的转换关系M。
对图像模板中的采样点集合S0进行M转换，得到在实际光伏板灰度图中的对应的采样点像素坐标集合S1，通过相机图像和深度信息对应关系，查找采样点像素坐标集合S1对应的深度点云采样点集合P1，此时如果实际点云中存在深度点无效，则记录其序号，在P0和P1中同时删除此点，保证P0和P1中点一一对应关系。生成光伏板深度点云采样点集合P1，还有与其对应的光伏板点云模板采样点集合P0，P0和P1之间存在着空间位姿转换矩阵T，即为实际光伏板的空间六自由度位姿。
建立矩阵方程：P1＝T*P0；其中，P0为包含(x,y,z)坐标的模板点云集合的已知量，P1为包含(x,y,z)坐标的实际点云集合的已知量，T为4*4的待求转换矩阵，通过SVD分解求解出方程的解即为光伏板的位姿矩阵。
本实施例提供的基于视觉识别的光伏板位姿拟合方法在识别到完整四个多边形角点时，通过综合计算图像信息和深度点云信息，进行多组数据求解得到输出光伏板空间XYZ位置信息以及roll、pitch、yaw角度信息，实现光伏板姿态稳定识别。
在一个实施例中，如图3所示，步骤S520中在多边形角点信息的数量不符合四个时，根据多边形角点信息的数量执行对应的预设拟合方案，生成拟合点云坐标系并计算标准点云坐标系与拟合点云坐标系之间的第二空间位姿转换矩阵作为光伏板的实际位姿，具体包括：
S521多边形角点信息的数量为三个时。
S522识别并延长被光伏板的RGB图像信息的边缘截断的两条多边形边缘信息计算第一相交角点信息。
S523根据多边形角点信息、第一相交角点信息以及标准转换坐标系计算光伏板的实际位姿。
具体地，如果得到的多边形角点为3个，即多边形图像中有两条完整的有效边，另两条边被图像边缘截断了，将被图像边缘截断的边延长，计算出相交的第四个点为第四个角点，问题转化成4个有效角点情况参考得到的多边形角点为4个时的处理方案来处理即可。
在一个实施例中，如图4所示，步骤S520中在多边形角点信息的数量不符合四个时，根据多边形角点信息的数量执行对应的预设拟合方案，生成拟合点云坐标系并计算标准点云坐标系与拟合点云坐标系之间的第二空间位姿转换矩阵作为光伏板的实际位姿，具体还包括：
S524多边形角点信息的数量为两个时。
S525根据标准转换坐标系分别计算两个多边形角点信息对应的第一角点点云深度信息和第二角点点云深度信息。
S526计算第一角点点云深度信息和第二角点点云深度信息之间第一空间距离。
S527根据第一空间距离和预设的光伏板尺寸信息将第一角点点云深度信息和第二角点点云深度信息，对应至预设的标准点云坐标系中的第一光伏板角点和第二光伏板角点。
S528获取光伏板RGB图像信息的边缘的两个第二相交角点信息。
S529在两个多边形角点信息和两个第二相交角点信息围成的四边形内均匀采样若干像素坐标，根据对应关系查找均匀采样的像素坐标对应的第三点云深度信息集。
S530分别计算第一角点点云深度信息与第三点云深度信息集中各个第三点云深度信息之间的第二空间距离，以及第二角点点云深度信息与第三点云深度信息集中各个第三点云深度信息之间的第三空间距离。
S531基于预设的标准点云坐标系计算第四点云深度信息集。
具体地，第四点云深度信息集中包括预设的标准点云坐标系内与第一光伏板角点距离为第二空间距离的点云信息，以及预设的标准点云坐标系内与第二光伏板角点距离为第三空间距离的点云信息。
S532计算第三点云深度信息集与第四点云深度信息集之间的第二空间位姿转换矩阵，将第二空间位姿转换矩阵作为光伏板的实际位姿。
具体地，如果得到的多边形角点为2个，即多边形图像中只有1条完整的有效边，首先通过相机图像和深度信息对应关系，查找2个角点对应的深度点云点p11和p12，计算p11和p12点之间的距离，判断2个角点属于光伏板长边的两个点还是宽边的两个点，在标准点云坐标系中记为p01，p02。
同时2个有效角点与两个与图像边缘相交的两个边缘点构成一个四边形，在这个四边形中均匀采样多个像素点组成集合S1，在相机的深度信息查找到一一对应的深度点云采样点和p11、p12组成集合P3；针对集合P3中每个深度点，分别计算至p11和p12的距离dis1和dis2，同时在点云模板中，求出至p01和p02距离分别为dis1和dis2的点云模板上的点，点云模板上的点和p01、p02组成集合P4。
至此得到了实际光伏板深度点云采样点集合P3，还有与其对应的光伏板点云模板采样点集合P4，P4和P3之间存在着空间位姿转换矩阵T，即为实际光伏板的空间六自由度位姿。
本实施例提供的基于视觉识别的光伏板位姿拟合方法通过在识别到两个和三个多边形角点时设置对应的拟合方案，根据光伏板尺寸形状统一的特征，进行光伏板位姿拟合，避免在无法采集完整光伏板图像时反复采样，提高光伏板位姿识别精度和效率。
在一个实施例中，第三点云深度信息集包括第一角点点云深度信息和第二角点点云深度信息。
第四点云深度信息集包括第一光伏板角点和第二光伏板角点。
在一个实施例中，步骤S520中在多边形角点信息的数量不符合四个时，根据多边形角点信息的数量执行对应的预设拟合方案，生成拟合点云坐标系并计算预设的标准点云坐标系与拟合点云坐标系之间的第二空间位姿转换矩阵作为光伏板的实际位姿，具体还包括：
多边形角点信息的数量为大于四个或小于两个时。
判断光伏板RGB图像信息为无效信息，重新采集光伏板RGB图像信息。
在一个实施例中，如图5所示，步骤300通过多边形拟合函数拟合光伏板边缘轮廓信息生成多边形边缘信息以及多边形角点信息之后，还包括步骤：
S400检测到存在多边形边缘信息或多边形角点信息距离光伏板RGB图像信息边缘小于预设距离时，滤除距离值小于预设距离的多边形边缘信息和多边形角点信息。
具体地，由于相机采集视野受限，可能会在图像采集过程中出现光伏板部分图像超出了视野范围，这种情况下得到的多边形的某些边其实是相机视野边缘，并非实际光伏板边，需要通过设置一定阈值，去除离图像边缘过近的多边形边和对应角点。
本实施例提供的基于视觉识别的光伏板位姿拟合方法结合光伏板图像中异常特征，摒弃了点云异常点，使光伏板识别结果更稳定精确。
在一个实施例中，如图6所示，步骤S300通过多边形拟合函数拟合光伏板边缘轮廓信息生成多边形边缘信息以及多边形角点信息，具体包括：
S310通过多边形拟合函数进行初拟合得到若干边缘轮廓和若干角点坐标。
S320根据角点坐标将边缘轮廓分组，对每组边缘轮廓点通过最小二乘算法进行直线拟合。
S330将相邻组直线的交点作为多边形角点信息，相邻多边形角点信息相连作为多边形边缘信息。
具体地，首先利用opencv多边形拟合函数进行初拟合，得到多边形N个角点坐标，再将得到的角点将原边缘轮廓点分成N组，对每组边缘轮廓点进行最小二乘算法直线拟合，排除异常点干扰，然后使相邻组的直线相交，得到的交点即为新的多边形角点，由相邻角点相连组成新的多边形。
在一个实施例中，根据本发明的另一方面，本发明还提供一种光伏板安装机器人，包括图像采集部和数据处理部。
其中，图像采集部设置于安装机器人机械臂安装部，用于采集光伏板的RGB图像信息及实际点云信息；数据处理部与图像采集部通讯连接，用于通过实例分割和边缘检测在光伏板RGB图像信息中提取光伏板边缘轮廓信息。通过多边形拟合函数拟合光伏板边缘轮廓信息生成多边形边缘信息以及多边形角点信息。在多边形角点信息的数量为四个时，计算预设的标准点云坐标系与实际点云坐标系之间的第一空间位姿转换矩阵作为光伏板的实际位姿。在多边形角点信息的数量不符合四个时，根据多边形角点信息的数量执行对应的预设拟合方案，生成拟合点云坐标系并计算标准点云坐标系与拟合点云坐标系之间的第二空间位姿转换矩阵作为光伏板的实际位姿，并将光伏板实际位姿发送至机械臂安装部。
在一个实施例中，根据本发明的另一方面，本发明还提供一种计算机产品，包括计算机程序，计算机程序被处理器执行实现上述基于视觉识别的光伏板位姿拟合方法的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的一种基于视觉识别的光伏板位姿拟合方法及安装机器人，可以通过其他的方式实现。例如，以上所描述的一种基于视觉识别的光伏板位姿拟合方法及安装机器人实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的通讯连接可以是通过一些接口，装置或单元的通讯连接或集成电路，可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
应当说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种光伏板位姿修正方法，其特征在于，包括步骤：
采集光伏板的RGB图像；
提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息；
在识别到所述光伏板边缘角点信息的数量为三个时，识别被所述RGB图像信息的边缘截断的两条所述多边形边缘信息；
延长被所述RGB图像信息的边缘截断的两条所述多边形边缘信息，计算其相交后的第一相交角点信息；
根据所述第一相交角点信息、所述光伏板边缘角点信息和所述第一实际点云坐标计算光伏板实际位姿。
2.根据权利要求1所述的一种光伏板位姿修正方法，其特征在于，所述的根据所述第一相交角点信息、所述光伏板边缘角点信息和所述实际点云信息计算光伏板实际位姿，包括步骤：
预设标准转换坐标系，所述标准转换坐标系中存储有第一标准图像坐标系、标准点云坐标系，以及所述第一标准图像坐标系与所述标准点云坐标系之间的对应关系；
根据所述第一相交角点信息、所述光伏板边缘角点信息以及所述标准转换坐标系，通过透视变换函数计算透视变换矩阵；
根据所述透视变换矩阵变换第一标准图像坐标系得到第二标准图像坐标系；
根据所述第一标准图像坐标系与所述标准点云坐标系之间的对应关系，生成所述第二标准图像坐标系对应的第一实际点云坐标系；
计算所述第一标准点云坐标系与第一实际点云坐标系之间的第二空间位姿转换矩阵，将所述第二空间位姿转换矩阵作为所述光伏板实际位姿。
3.根据权利要求2所述的一种光伏板位姿修正方法，其特征在于，
采集所述光伏板当前的第二实际点云坐标系；
所述第一实际点云坐标系中包括若干第一实际点云坐标；
所述的根据所述第一标准图像坐标系与所述标准点云坐标系之间的对应关系，生成所述第二标准图像坐标系对应的第一实际点云坐标系之后，还包括：
将不处于所述第二实际点云坐标系中的所述第一实际点云坐标无效；
计算所述第一标准点云坐标系与无效后所述第一实际点云坐标系之间的所述第二空间位姿转换矩阵。
4.根据权利要求3所述的一种光伏板位姿修正方法，其特征在于，所述的提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息之后，还包括步骤：
在识别出所述光伏板边缘角点信息的数量为四个时，计算所述标准点云坐标系与所述第二实际点云坐标系之间的第一空间位姿转换矩阵作为所述光伏板实际位姿。
5.根据权利要求3所述的一种光伏板位姿修正方法，其特征在于，所述的提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息之后，还包括步骤：
在识别出所述光伏板边缘角点信息的数量为两个时，根据所述标准转换坐标系分别计算两个所述光伏板边缘角点信息对应的第一角点点云深度信息和第二角点点云深度信息；
计算所述第一角点点云深度信息和所述第二角点点云深度信息之间的第一空间距离；
根据所述第一空间距离和预设的光伏板尺寸信息将所述第一角点点云深度信息和所述第二角点点云深度信息，对应至所述标准点云坐标系中的第一光伏板角点和第二光伏板角点；
获取所述RGB图像的边缘的两个第二相交角点信息；
在两个所述光伏板边缘角点信息和两个所述第二相交角点信息围成的四边形内均匀采样若干像素坐标，根据对应关系查找均匀采样的像素坐标对应的第三点云深度信息集；
分别计算所述第一角点点云深度信息与所述第三点云深度信息集中各个第三点云深度信息之间的第二空间距离，以及所述第二角点点云深度信息与所述第三点云深度信息集中各个所述第三点云深度信息之间的第三空间距离；
基于所述预设的标准点云坐标计算第四点云深度信息集，所述第四点云深度信息集中包括所述预设的标准点云坐标内与所述第一光伏板角点距离为所述第二空间距离的点云信息，以及所述预设的标准点云坐标内与所述第二光伏板角点距离为所述第三空间距离的点云信息；
计算所述第三点云深度信息集与所述第四点云深度信息集之间的所述第三空间位姿转换矩阵，将所述第三空间位姿转换矩阵作为所述光伏板实际位姿。
6.根据权利要求2所述的一种光伏板位姿修正方法，其特征在于，所述的提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息之后，还包括步骤：
检测到存在所述光伏板边缘信息或所述光伏板边缘角点信息距离所述光伏板RGB图像信息边缘小于预设距离时，滤除距离值小于所述预设距离的所述光伏板边缘信息和所述光伏板边缘角点信息。
7.一种光伏板安装机器人，其特征在于，包括：
图像采集部，设置于所述安装机器人机械臂安装部，用于采集光伏板的RGB图像；
数据处理部，与所述图像采集部通讯连接，用于提取所述RGB图像中光伏板边缘信息和光伏板边缘角点信息；在识别到所述光伏板边缘角点信息的数量为三个时，识别被所述RGB图像信息的边缘截断的两条所述多边形边缘信息；延长被所述RGB图像信息的边缘截断的两条所述多边形边缘信息，计算其相交后的第一相交角点信息；根据所述第一相交角点信息、所述光伏板边缘角点信息和所述第一实际点云坐标计算光伏板实际位姿。
8.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1～6中任意一项所述的一种光伏板位姿修正方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410023200.2A CN117853579A (zh) | 2023-10-07 | 2023-10-07 | 一种光伏板位姿修正方法、光伏机器人及存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278577.4A CN117011387B (zh) | 2023-10-07 | 2023-10-07 | 一种基于视觉识别的光伏板位姿拟合方法及安装机器人 |
| CN202410023200.2A CN117853579A (zh) | 2023-10-07 | 2023-10-07 | 一种光伏板位姿修正方法、光伏机器人及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278577.4A Division CN117011387B (zh) | 2023-10-07 | 2023-10-07 | 一种基于视觉识别的光伏板位姿拟合方法及安装机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117853579A true CN117853579A (zh) | 2024-04-09 |
Family
ID=88567562
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278577.4A Active CN117011387B (zh) | 2023-10-07 | 2023-10-07 | 一种基于视觉识别的光伏板位姿拟合方法及安装机器人 |
| CN202410023200.2A Pending CN117853579A (zh) | 2023-10-07 | 2023-10-07 | 一种光伏板位姿修正方法、光伏机器人及存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278577.4A Active CN117011387B (zh) | 2023-10-07 | 2023-10-07 | 一种基于视觉识别的光伏板位姿拟合方法及安装机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN117011387B (zh) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2013101722A4 (en) * | 2012-09-10 | 2015-06-11 | Nwstor Limited | Data security management system |
| EP3707469B1 (en) * | 2019-01-30 | 2023-10-11 | Baidu.com Times Technology (Beijing) Co., Ltd. | A point clouds registration system for autonomous vehicles |
| CN110345937A (zh) * | 2019-08-09 | 2019-10-18 | 东莞市普灵思智能电子有限公司 | 一种基于二维码的导航定姿定位方法和系统 |
| CN110555889B (zh) * | 2019-08-27 | 2021-01-15 | 西安交通大学 | 一种基于CALTag和点云信息的深度相机手眼标定方法 |
| CN111260736B (zh) * | 2020-01-16 | 2023-04-11 | 中国科学院西安光学精密机械研究所 | 一种空间相机内参在轨实时标定方法 |
| CN112631288B (zh) * | 2020-12-09 | 2023-01-06 | 上海欧菲智能车联科技有限公司 | 泊车定位方法、装置、车辆及存储介质 |
| CN113696186B (zh) * | 2021-10-09 | 2022-09-30 | 东南大学 | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 |
| US11367204B1 (en) * | 2021-12-16 | 2022-06-21 | Ecotron LLC | Multi-sensor spatial data auto-synchronization system and method |
| CN114714365B (zh) * | 2022-06-08 | 2022-08-23 | 湖南大学 | 一种基于云平台的无序工件抓取方法及其系统 |
| CN115359021A (zh) * | 2022-08-29 | 2022-11-18 | 上海大学 | 一种基于激光雷达和相机信息融合的目标定位检测方法 |
| CN115847408A (zh) * | 2022-12-01 | 2023-03-28 | 南京陆洁太智机器人科技有限公司 | 一种运维机器人的智能识别和调整位姿方法 |
| CN116038703A (zh) * | 2022-12-30 | 2023-05-02 | 成都卡诺普机器人技术股份有限公司 | 一种光伏电池串的机器人抓取位姿获取方法及系统 |
| CN116645413A (zh) * | 2023-06-02 | 2023-08-25 | 湖州丽天智能科技有限公司 | 一种光伏电池板位置识别方法、系统及光伏机器人 |
| CN116645649B (zh) * | 2023-07-27 | 2023-12-08 | 深圳魔视智能科技有限公司 | 车辆位姿及尺寸估计方法、设备及存储介质 |
-
2023
- 2023-10-07 CN CN202311278577.4A patent/CN117011387B/zh active Active
- 2023-10-07 CN CN202410023200.2A patent/CN117853579A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011387A (zh) | 2023-11-07 |
| CN117011387B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830137B2 (en) | Automated three-dimensional building model estimation | |
| CN108380509A (zh) | 基于机器视觉的led灯盘分拣与检测系统 | |
| CN107742171B (zh) | 基于移动阴影图像识别的光伏电站发电功率预测方法 | |
| CN111127553B (zh) | 一种基于多相机的光伏电池串定位方法 | |
| CN114743115A (zh) | 一种光伏电子设备的遮挡物识别方法及故障预警系统 | |
| CN105513128A (zh) | 基于Kinect的三维数据融合处理方法 | |
| CN116329795A (zh) | 基于视觉识别算法的光伏焊接方法、系统和机器人 | |
| CN111740699A (zh) | 一种光伏板故障检测识别方法、装置和无人机 | |
| CN111862193A (zh) | 一种基于形状描述子的电焊焊点双目视觉定位方法及装置 | |
| CN114241269A (zh) | 一种用于岸桥自动控制的集卡视觉融合定位系统 | |
| CN112179693A (zh) | 一种基于人工智能的光伏跟踪支架故障检测方法和装置 | |
| CN110213536B (zh) | 一种海岸带岸基数字影像监测系统的监测方法 | |
| CN112000094A (zh) | 一种单双目结合的高压输电线路金具在线识别定位系统及方法 | |
| CN117011387B (zh) | 一种基于视觉识别的光伏板位姿拟合方法及安装机器人 | |
| CN113963370A (zh) | 一种光伏电站中光伏设备的编号方法及编号装置 | |
| CN116524382A (zh) | 一种桥梁转体合拢准确性检验方法系统、设备 | |
| Sha et al. | Design of patrol monitoring and control system for hot spot of solar photovoltaic module | |
| CN114821444A (zh) | 一种基于视觉感知的无人天车作业区域安全检测方法 | |
| Kalitsios et al. | Vision-enhanced system for human-robot disassembly factory cells: introducing a new screw dataset | |
| CN109631846B (zh) | 一种基于现实环境的现场踏勘方法和系统 | |
| CN113112543A (zh) | 一种基于视觉移动目标的大视场二维实时定位系统及方法 | |
| CN113516122A (zh) | 面向配电房智能值守作业的机器人视觉系统和方法 | |
| CN113256721A (zh) | 一种室内多人三维高精度定位方法 | |
| CN111981977A (zh) | 一种基于边缘计算技术的配网自动巡线系统 | |
| CN112506185A (zh) | 一种带电作业6自由度操作平台的控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |