CN112258465A - 基于人工智能的清洁机器人故障检测方法与系统 - Google Patents

基于人工智能的清洁机器人故障检测方法与系统 Download PDF

Info

Publication number
CN112258465A
CN112258465A CN202011112643.7A CN202011112643A CN112258465A CN 112258465 A CN112258465 A CN 112258465A CN 202011112643 A CN202011112643 A CN 202011112643A CN 112258465 A CN112258465 A CN 112258465A
Authority
CN
China
Prior art keywords
panel
corner
cleaning robot
image
battery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011112643.7A
Other languages
English (en)
Inventor
邱妙娜
石倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011112643.7A priority Critical patent/CN112258465A/zh
Publication of CN112258465A publication Critical patent/CN112258465A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的清洁机器人故障检测方法与系统。该方法包括通过图像采集设备采集光伏电池组的初始图像；利用深度神经网络处理初始图像，得到电池板角点关键点和清洁机器人关键点；根据电池板角点关键点，匹配电池板角点编号；结合电池板角点编号确定的电池板编号U，将电池板的正射图像进行拼接，得到光伏电池组的整体图像；确定与清洁机器人距离最小的电池板角点，以获得相应的电池板编号U；在根据预设的时间间隔内得到的电池板编号U相同，确定清洁机器人出现故障；获取出现故障的清洁机器人所对应的电池板编号U，调节其电压参数。通过调节电池板的电压参数，降低遮挡对电池板的损害。

Description

基于人工智能的清洁机器人故障检测方法与系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的清洁机器人故障检测方法与系统。
背景技术
近年来，随着自动化清洁技术的快速发展，越来越多的清洁机器人投入到光伏电站的运行维护中，用于实现对光伏组件表面的自动清洁，此举大大提高了光伏组件的维护效率。
清洁机器人在光伏电池板表面进行清洁时，由于轨道、电池板表面等处的异物，或者电池板的高低错落的排列，导致清洁机器人常出现困死或卡死等故障，造成清洁机器人在工作时意外停机而无法进行正常工作，此时需要运维管理人员及时对清洁机器人进行检修或故障排除。
当前，对于发生故障的清洁机器人，主要由运维人员去现场进行检查和维修。但是受清洁机器人的工作环境影响，如果清洁机器人没有及时得到维修，会一直停留在电池板上，且长时间的遮挡电池板，会使被遮挡的电池板形成局部热斑，进而对电池板造成一定的损害。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的清洁机器人故障检测方法与系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的清洁机器人故障检测方法，该方法包括以下步骤：
通过图像采集设备采集光伏电池组的初始图像；
利用深度神经网络处理所述初始图像，得到电池板角点关键点和清洁机器人关键点；
根据所述电池板角点关键点，匹配电池板角点编号；
结合所述电池板角点编号确定的电池板编号U，将所述初始图像中每个电池板的正射图像进行拼接，得到所述光伏电池组的整体图像；
确定与所述清洁机器人关键点距离最小的电池板角点关键点，以获得相应的电池板编号U；
在根据预设的时间间隔内得到的电池板编号U相同，则确定所述清洁机器人出现故障；
获取出现故障的清洁机器人所对应的所述电池板编号U，以调节相应的光伏板电池板的电压参数。
所述电池板角点编号的匹配方法，包括：
利用匹配模型依次对所述初始图像中同一列的至少两个所述光伏电池板的同组C个电池板角点关键点进行编号匹配，所述同组角点是至少两个所述光伏电池板同侧的角点；
所述匹配模型为：
Figure BDA0002729099590000011
其中，M为电池板角点编号；N为检测到的电池板角点关键点的ID号；θ为同组电池板角点关键点拟合出的直线与图像坐标系中横轴的夹角。
所述同组电池板角点关键点的数量C的获取方法为：
C＝2*S
其中，S表示同一列的所述光伏电池板的数量。
所述电池板编号U的确认方法，包括：
当单个电池板中的同组电池板角点关键点关于图像水平中心线对称时，所述电池板的编号U为：
Figure BDA0002729099590000021
第二方面，本发明另一个实施例提供了一种基于人工智能的清洁机器人故障检测系统，该系统包括：图像采集单元，用于通过图像采集设备采集光伏电池组的初始图像；
关键点检测单元，用于利用深度神经网络处理所述初始图像，得到电池板角点关键点和清洁机器人关键点；
角点匹配单元，用于根据所述电池板角点关键点，匹配电池板角点编号；
实例化单元，用于结合所述电池板角点编号确定的电池板编号U，将所述初始图像中每个电池板的正射图像进行拼接，得到所述光伏电池组的整体图像；
编号检测单元，用于确定与所述清洁机器人关键点距离最小的电池板角点关键点，以获得相应的电池板编号U；
故障判断单元，用于在根据预设的时间间隔内得到的电池板编号U相同，则确定所述清洁机器人出现故障；以及
调节单元，用于获取出现故障的清洁机器人所对应的所述电池板编号U，以调节相应的光伏板电池板的电压参数。
所述角点匹配单元，包括：
匹配模型单元，用于利用匹配模型依次对所述初始图像中同一列的至少两个所述光伏电池板的同组C个电池板角点关键点进行编号匹配，所述同组角点是至少两个所述光伏电池板同侧的角点；
所述匹配模型：
Figure BDA0002729099590000022
其中，M为电池板角点编号；N为检测到的电池板角点关键点的ID号；θ为同组电池板角点关键点拟合出的直线与图像坐标系中横轴的夹角。
关键点数量采集单元，用于获取所述同组电池板角点关键点的数量C：
C＝2*S
其中，S表示同一列的所述光伏电池板的数量。
所述确认单元中所述电池板编号U的确认方法，包括：
当单个电池板中的同组电池板角点关键点关于图像水平中心线对称时，所述电池板的编号U为：
Figure BDA0002729099590000031
所述实例化单元，包括：
编号确认单元，用于根据所述电池板角点编号得到所述电池板编号U；
图像拼接单元，用于将所述初始图像中每个电池板的正射图像进行拼接，得到所述光伏电池组的整体图像。
本发明实施例至少有如下有益效果：通过对光伏电池板角点进行编号匹配，利用电池板角点确定电池板编号U并进行图像拼接，实现对光伏电池板的实例化，有利于为出现故障的清洁机器人所在的电池板提供准确的电池板编号U，即被遮挡的电池板位置，能够及时调节其电压参数，防止出现热斑效应，降低遮挡对电池板带来的的损害，从而保护电池板。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的清洁机器人故障检测方法的流程图；
图2为本发明一个实施例所提供的一种基于人工智能的清洁机器人故障检测方法的步骤流程图；
图3为本发明一个实施例所提供的关于无人机飞行航线的示例图；
图4为本发明一个实施例所提供的关于匹配模型的示例图；
图5为本发明一个实施例所提供的关于图像拼接过程的示例图；
图6为本发明一个实施例所提供的基于相机坐标系下的电池板角点和清洁机器人的位置示例图；
图7为本发明另一个实施例所提供的一种基于人工智能的清洁机器人故障检测系统的结构框图；
图8为本发明一个实施例所提供的关于角点匹配单元的结构框图；
图9为本发明一个实施例所提供的关于实例化单元的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的清洁机器人故障检测方法与系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的清洁机器人故障检测方法与系统的具体方案。
参照附图1和附图2，本发明一个实施例提供了一种基于人工智能的清洁机器人故障检测方法，该方法包括以下具体步骤：
步骤S001,通过图像采集设备采集光伏电池组的初始图像。
步骤S002,利用深度神经网络处理初始图像，得到电池板角点关键点和清洁机器人关键点。
步骤S003,通过电池板角点关键点，匹配电池板角点编号。
步骤S004,结合电池板角点编号确定的电池板编号U，将初始图像中每个电池板的正射图像进行拼接，
得到光伏电池组的整体图像。
步骤S005,确定与清洁机器人关键点距离最小的电池板角点关键点，以获得相应的电池板编号U。
步骤S006,根据预设的时间间隔，得到的电池板编号U是相同的，则确定所述清洁机器人出现故障。
步骤S007,获取出现故障的清洁机器人所对应的电池板编号U，以调节相应的光伏板电池板的电压参数。
进一步地，步骤S001中，本发明实施例利用无人机携带的摄像头采集光伏电池板组的图像，每次采集一组电池板组图像后再继而采集其他组电池板的图像，且无人机采集图像的航线为正射航线。
作为一个示例，参照附图3，图中有A组、B组和C组三组光伏电池组，且A组光伏电池组有电池板
A1、电池板A2、电池板A3和电池板A4等，B组光伏电池组有电池板B1和电池板B2等，C组光伏电池组有电池板C1和电池板C2等，每组有上下两行光伏电池板进行规则排列。
需要说明的是，无人机的具体航线和光伏电池组分组排列情况可以根据实际情况进行选择。
进一步地，步骤S002中，深度神经网络要检测两类事物，一类为电池板角点，即电池板边缘角点，另一类为清洁机器人。本发明实施例中深度神经网络采用Encoder-Decoder的结构，具体的训练过程为：
1)训练所用数据集包括图像数据和对应的标签。图像数据为无人机在不同光伏电站利用自身携带的相机拍摄的光伏电池组图像。图像数据对应的标签为关键点标签，即在图像中使用关键点来标注的目标位置。
2)关键点标签的标注过程为：先在数据图像同等大小的单通道上标注出每个电池板的4个角点和清洁机器人对应的位置点，然后使用高斯核进行处理，使其形成关键点热斑。其中电池板的4个角点为同一类关键点，清洁机器人的关键点为图像中清洁机器人成像的中心。
3)将数据集采用8:2的比例随机分为训练集和测试集，深度神经网络中用的loss函数为：
Figure BDA0002729099590000051
其中，e为预测值和标签值间的误差，n表示同一批量进行处理的数据数量，st为网络输出的预测值，yt为输入数据对应的标签值。
需要说明的是，训练集用于学习深度神经网络中输入和输出之间的映射关系，测试集用于验证映射关系的正确性。
利用训练完的深度神经网络对采集的光伏电池组图像进行处理，具体过程如下：
将采集的光伏电池组图像输入关键点编码器，输出为提取的光伏电池板图像的特征图；
将特征图通过关键点解码器，得到两个通道的关键点热力图，其中，一个通道为电池板角点关键点，另一个通道为清洁机器人关键点。
进一步地，步骤S003中，电池板角点编号的匹配方法，具体如下：
采集的光伏电池组的图像中电池板的各特征都高度相似，根据成像难以区分出每个电池板。为了确认电池板在对应电池组中的位置，对每个电池板角点进行编号，且对光伏电池组中电池板角点编号采用先纵向再横向的形式连续分配编号。
作为一个示例，参照附图3，先对同列电池板A1和电池板A2进行角点编号，然后对同列电池板A3和电池板A4进行角点编号。
当无人机向前飞行时，不断检测电池板角点，根据检测到的角点数量来匹配电池板角点的编号，具体过程如下：
1)根据飞行航线知道电池板角点被检测到的先后顺序，结合上述深度学习网络检测到的电池板角点的关键点ID号，依次对电池板角点进行编号匹配。
2)电池板角点的关键点是周期规律出现的，并按照固定的排列方式出现。如附图3所示：A1和A2电池板为同组同列电池板，其角点出现近似为同步出现。首先检测到4个关键点，分别为A1的左上、左下，A2的左上、左下，然后再检测出4个新的关键点，分别为A1的右上、右下，A2的右上、右下。即当光伏电池组同列为S个电池板时，每次检测到的电池板同侧角点关键点为同组，故同组电池板角点关键点数量C为：
C＝2*S
3)考虑到无人机采集图像时会发生倾斜，使关键点的ID号与电池板角点编号并非理想中的线性对应，故使用模型进行匹配，匹配模型如下：
Figure BDA0002729099590000052
其中，M为电池板角点编号；N为检测到的电池板角点关键点的ID号；θ为同组电池板角点关键点拟合出的直线与图像坐标系中横轴的夹角；匹配模型中
Figure BDA0002729099590000061
表示对
Figure BDA0002729099590000062
进行向下取整操作；(N mod C)表示对
Figure BDA0002729099590000063
进行取余操作。
作为一个示例，参见附图4，形式A：电池板角点关键点的ID号是从左向右检测出来的，图中电池板角点编号为检测时依据出现顺序给出的ID号，即ID号为1234。由于拟合所得直线与图像坐标系中横轴的夹角为钝角，所以电池板角点编号也是从左向右进行匹配，故ID号和电池板角点编号相互一致。形式B：电池板角点关键点的ID号是从左向右检测出来的，图中电池板角点编号为检测时依据出现顺序给出的ID号，即ID号为4321。由于拟合所得直线与图像坐标系中横轴的夹角为锐角，所以电池板角点编号从右向左进行匹配，且需要使用上述匹配模型进行调整，使ID号和电池板角点编号相互一致。进一步地，步骤S004中，光伏电池组的整体图像获取方法，如下：
当无人机拍摄同一组光伏电池组时，进行图像拼接得到该组电池板的整体图像。图像拼接的过程中采用在连续帧中选取部分帧中部分像素并列排放的形式来拼接图像，且连续帧中可用于拼接的图像为电池板角点关键点关于图像水平中心线上下对称。
当有一组电池板图像位于图像中心时，检测完一组电池板角点数量后再进行判断是否能够拼接，参照附图5，其判断过程如下：
1)判断图像中检测的电池板角点数量是否满足要求。
(N mod C)＝0
式中，N为当前图像中最大的角点关键点的ID号；C为同组电池板角点关键点的数量。
2)对图像中电池板角点关键点的纵向坐标进行变换来反映关键点在图像上下两侧的分布信息。通过与图像中心点的纵向坐标作差，得到新的像素坐标：
(u，t)＝(u，v-v0)
式中等号左侧(u，t)为新的坐标，(u，v)为初始坐标，v0为图像中心点的纵向坐标。
3)比较电池板角点关键点的对称性。
图像中(N mod C)值相同的角点为同类角点，选取同类角点中与中心线两侧距离最近的两个角点，即在同组角点中，比较纵向坐标t的值，选取正数中t最小的点B，选取负数中t最大的点A。
4)由两点间距离公式得到每类点A和点B的平面距离D，计算G个同类电池板中的点A和点B的平均距离：
Figure BDA0002729099590000064
其中，i为不同的同类电池板；D(Ai，Bi)表示第i类光伏电池板中的点A和点B的平均距离。
5)若P>K，则点A和点B为a类电池板中同一个电池板上的角点。其中，K为设定阈值，表示电池板宽度，用于区分电池板宽度和电池板间间隔距离。
6)判断N个同类电池板中点A和点B对称性。
公式为：
Figure BDA0002729099590000071
Q＜E
式中，L(tAi+tBi)为第i类光伏电池板中的点A和点B的纵向距离；E为允许的最大误差；tAi为第i类光伏电池板中的点A的纵向t坐标；tBi为第i类光伏电池板中的点B的纵向t坐标；
若满足上式则认为此时点A和点B所在的电池板关于图像水平中心线对称，可用于拼接。
7)此时，确定可用于拼接的电池板的编号U：
Figure BDA0002729099590000072
式中，MA为A点电池板角点编号。
需要说明的是，(1)无人机纵行飞行拍摄下一组光伏电池组时，需要重新进行图像拼接。
(2)选取位于图像水平中心线的电池板，成像带来的畸变最小，最符合真实情况。
进一步地，若电池板图像可用于拼接，则使用透视变化的方式进行图像的变化和拼接，具体过程如下：
1)根据电池板角点关键点在图像中的坐标利用透视变换得到电池板的正射图像；
2)将每个电池板的正射图像按照获得顺序依次排列放置拼接即可得到光伏电池组的整体图像。
进一步地，步骤S005和步骤S006中，通过使用无人机上携带RGB-D相机得到电池板角点和清洁机器人的深度信息，通过基于三维恢复公式构建新的三维坐标系，来获得电池板角点和清洁机器人的相对位置变化。
三维恢复的结果是基于世界坐标系下的，且三维恢复公式为：
Figure BDA0002729099590000073
其中，ZC为物体或关键点在相机坐标系中的Z向坐标；u、v为图像中任意像素点；u0、v0为图像的中心点坐标，由于图像的长宽为100*100，所以u0取值为50、v0取值为50；ax和ay分别为：ax＝f/dx，ay＝f/dy，其中f为焦距，dx为x方向一个像素代表的长度单位，dy为y方向一个像素代表的长度单位；R为相机的旋转矩阵；T为相机的平移矩阵；(XW，YW，ZW)表示物体或关键点在世界坐标系的三维坐标。
为了使得电池板角点和清洁机器人恢复的三维坐标是基于无人机携带的RGB-D相机的，建立新的三维坐标系。由于拍摄时世界坐标原点和无人机的RGB-D相机原点是重合的，所以没有旋转矩阵R和平移矩阵T，故投影变换中的外参矩阵为：
Figure BDA0002729099590000081
进一步得到的对应关系为：
Figure BDA0002729099590000082
其中，zc为电池板角点或清洁机器人到无人机的距离；u、v为图像中任意像素点；u0、v0为图像的中心点坐标，u0取值为50、v0取值为50；f为焦距；dx为x方向一个像素代表的长度单位；dy为y方向一个像素代表的长度单位；(xw，yw，zw)表示电池板角点或清洁机器人基于无人机的RGB-D相机的三维坐标。
进一步地，参照附图6，当无人机拍摄时，无人机在空中同高度飞行，没有翻转，且RGB-D相机的光轴角度固定，因此在T1时刻和T2时刻的RGB-D相机坐标系之间只有平移关系，故得到的电池板角点和清洁机器人的三维坐标是相对于无人机的RGB-D相机光心的。
需要说明的是，(1)电池板角点为平面上的特征，对其进行三维坐标恢复，得到的坐标值误差较小。(2)清洁机器人是立体的三维事物，不论关键点选择清洁机器人的中心点或者与电池板的交点，在不同的无人机状态下，计算清洁机器人的坐标中所用的zc都为无人机到清洁机器人表面的距离。
由于清洁机器人本身的外形会带来距离误差，即使清洁机器人静止不动，计算得到的相对距离也是变化的，所以通过清洁机器人和电池板角点的相对距离确定清洁机器人出现故障是不容易的。
因此，本发明实施例通过一段时间内清洁机器人的位置变化程度来判断清洁机器人是否发生故障。基于无人机的RGB-D相机的坐标系下，在变化的相机坐标下，通过电池板角点和清洁机器人的相对变化程度，判断清洁机器人是否出现故障，即清洁机器人卡死或困死在电池板表面，具体过程如下：
1)以最先被检测到清洁机器人的帧为出现帧，得到出现帧中清洁机器人与电池板各角点的坐标值，利用空间中两点距离公式计算得到机器人和各角点的初始相对距离。
2)根据相对距离最短的角点编号，得到角点编号所对应的电池板编号U，即清洁机器人所在的电池板，且认为清洁机器人正在清洁这个电池板。
3)根据采样频率，相隔时间M秒后，得到对应的图像，得到清洁机器人和电池板角点的坐标值，计算此时清洁机器人与电池板各角点的距离，得到清洁机器人所在的电池板编号U；
4)如果在相隔时间M秒后，电池板编号U是相同的，则认为清洁机器人停留在同一个电池板上，没有发生移动，故确定清洁机器人发生故障。
进一步地，步骤S007中，若清洁机器人卡死或困死在电池板表面，获取被遮挡电池板所对应的编号U，在光伏电池组的整体图像中标注出对应的电池板，上报故障并调节其电压参数，避免出现热板效应，即局部高温，降低遮挡对电池板带来的损害。
综上所述，本发明实施例提供了一种基于人工智能的清洁机器人故障检测方法，该方法通过无人机采集光伏电池组图像，通过深度神经网络检测电池板角点关键点和清洁机器人关键点，利用电池板角点关键点匹配电池板角点编号，结合电池板角点编号确定的电池板编号U，将光伏电池组图像中每个电池板的正射图像拼接得到光伏电池组的整体图像，通过清洁机器人和电池板角点的相对变化程度，确认清洁机器人出现故障并得到所在电池板编号U，进一步调节电池板的电压参数。这样的方法不仅能准确判断清洁机器人是否出现故障，而且能得到确切的被遮挡的电池板编号，即电池板的位置，从而能及时正确调整相对应的电池板的电压参数，避免出现热斑效应，降低遮挡对电池板带来的损害，从而达到保护电池板的目的。
基于与上述方法相同的发明构思，本发明实施例还提供一种基于人工智能的清洁机器人故障检测系统。
参照附图7，本发明实施例提供的一种基于人工智能的清洁机器人故障检测系统，该系统包括图像采集单元10、关键点检测单元20、角点匹配单元30、实例化单元40、编号检测单元50、故障判断单元60以及调节单元70。
图像采集单元10用于通过无人机采集光伏电池组的初始图像；关键点检测单元20用于利用深度神经网络处理初始图像，得到电池板角点关键点和清洁机器人关键点；角点匹配单元30用于根据电池板角点关键点，匹配电池板角点编号；实例化单元40用于结合电池板角点编号确定的电池板的编号U，将初始图像中每个电池板的正射图像进行拼接，得到光伏电池组的整体图像；编号检测单元50用于确定与清洁机器人关键点距离最小的电池板角点关键点，以获得相应的电池板编号U；故障判断单元60用于在根据预设的时间间隔内得到的电池板编号U相同，则确定清洁机器人出现故障；以及调节单元70用于获取出现故障的清洁机器人所对应的电池板编号U，以调节相应的光伏板电池板的电压参数。
进一步地，参照附图8，角点匹配单元30包括数量采集单元31和匹配模型单元32。
关键点数量采集单元31，用于获取同组电池板角点关键点的数量C：
C＝2*S
其中，S表示同一列的所述光伏电池板的数量。
匹配模型单元32用于利用匹配模型依次对初始图像中同一列的至少两个光伏电池板的同组C个电池板角点关键点进行编号匹配，同组角点是至少两个光伏电池板同侧的角点；
匹配模型：
Figure BDA0002729099590000091
其中，M为电池板角点编号；N为检测到的电池板角点关键点的ID号；θ为同组电池板角点关键点拟合出的直线与图像坐标系中横轴的夹角。
Figure BDA0002729099590000092
表示对
Figure BDA0002729099590000093
进行向下取整操作；(N mod C)表示对
Figure BDA0002729099590000094
进行取余操作；
进一步地，参照附图9，实例化单元40包括编号确认单元41和图像拼接单元42。
编号确认单元41用于根据电池板角点编号得到电池板编号U；图像拼接单元42用于将初始图像中每个电池板的正射图像进行拼接，得到光伏电池组的整体图像。
确认单元41中电池板编号U的确认方法，包括：
当单个电池板中的同组电池板角点关键点关于图像水平中心线对称时，所述电池板的编号U为：
Figure BDA0002729099590000101
综上所述，本发明实施例提供了一种基于人工智能的清洁机器人故障检测系统，该系统包括图像采集单元10、关键点检测单元20、角点匹配单元30、实例化单元40、编号检测单元50故障判断单元60以及调节单元70。通过关键点检测单元20对无人机采集的光伏电池组图像处理，得到电池板角点关键点和清洁机器人关键点，利用电池板角点关键点通过角点匹配单元30确定电池板角点编号，进而能够得到准确的电池板编号U，然后结合图像拼接单元42实现光伏电池板的实例化。通过编号检测单元50得到的电池板编号U和M秒时间后得到电池板编号U，经过故障判断单元60确认清洁机器人出现故障，进一步通过调节单元70根据故障清洁机器人所在的电池板编号U，调节相应的光伏板电池板的电压参数。这样的系统能够准确地判断清洁机器人是否出现故障，根据出现故障的清洁机器人，能够快速确切地知道清洁机器人所在的电池板编号U，即被遮挡的电池板位置，并调节其电压参数，避免出现热斑效应，降低遮挡对电池板带来的损害，从而达到保护电池板的目的。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于人工智能的清洁机器人故障检测方法，其特征在于，该方法包括：
通过图像采集设备采集光伏电池组的初始图像；
利用深度神经网络处理所述初始图像，得到电池板角点关键点和清洁机器人关键点；
根据所述电池板角点关键点，匹配电池板角点编号；
结合所述电池板角点编号确定的电池板编号U，将所述初始图像中每个电池板的正射图像进行拼接，得到所述光伏电池组的整体图像；
确定与所述清洁机器人关键点距离最小的电池板角点关键点，以获得相应的电池板编号U；
在根据预设的时间间隔内得到的电池板编号U相同，则确定所述清洁机器人出现故障；
获取出现故障的清洁机器人所对应的所述电池板编号U，以调节相应的光伏板电池板的电压参数。
2.如权利要求1所述的方法，其特征在于，所述电池板角点编号的匹配方法，包括：
利用匹配模型依次对所述初始图像中同一列的至少两个所述光伏电池板的同组C个电池板角点关键点进行编号匹配，所述同组角点是至少两个所述光伏电池板同侧的角点；
所述匹配模型为：
Figure FDA0002729099580000011
其中，M为电池板角点编号；N为检测到的电池板角点关键点的ID号；θ为同组电池板角点关键点拟合出的直线与图像坐标系中横轴的夹角。
3.如权利要求2所述的方法，其特征在于，所述同组电池板角点关键点的数量C的获取方法为：
C＝2*S
其中，S表示同一列的所述光伏电池板的数量。
4.如权利要求3所述的方法，其特征在于，所述电池板编号U的确认方法，包括：
当单个电池板中的同组电池板角点关键点关于图像水平中心线对称时，所述电池板的编号U为：
Figure FDA0002729099580000012
5.一种基于人工智能的清洁机器人故障检测系统，其特征在于，该系统包括：
图像采集单元，用于通过图像采集设备采集光伏电池组的初始图像；
关键点检测单元，用于利用深度神经网络处理所述初始图像，得到电池板角点关键点和清洁机器人关键点；
角点匹配单元，用于根据所述电池板角点关键点，匹配电池板角点编号；
实例化单元，用于结合所述电池板角点编号确定的电池板编号U，将所述初始图像中每个电池板的正射图像进行拼接，得到所述光伏电池组的整体图像；
编号检测单元，用于确定与所述清洁机器人关键点距离最小的电池板角点关键点，以获得相应的电池板编号U；
故障判断单元，用于在根据预设的时间间隔内得到的电池板编号U相同，则确定所述清洁机器人出现故障；以及
调节单元，用于获取出现故障的清洁机器人所对应的所述电池板编号U，以调节相应的光伏板电池板的电压参数。
6.如权利要求5所述的系统，其特征在于，所述角点匹配单元，包括：
匹配模型单元，用于利用匹配模型依次对所述初始图像中同一列的至少两个所述光伏电池板的同组C个电池板角点关键点进行编号匹配，所述同组角点是至少两个所述光伏电池板同侧的角点；
所述匹配模型：
Figure FDA0002729099580000021
其中，M为电池板角点编号；N为检测到的电池板角点关键点的ID号；θ为同组电池板角点关键点拟合出的直线与图像坐标系中横轴的夹角。
7.如权利要求6所述的系统，其特征在于，所述角点匹配单元，包括：
关键点数量采集单元，用于获取所述同组电池板角点关键点的数量C：
C＝2*S
其中，S表示同一列的所述光伏电池板的数量。
8.如权利要求7所述的系统，其特征在于，所述确认单元中所述电池板编号U的确认方法，包括：
当单个电池板中的同组电池板角点关键点关于图像水平中心线对称时，所述电池板的编号U为：
Figure FDA0002729099580000022
9.如权利要求8所述的系统，所述实例化单元，包括：
编号确认单元，用于根据所述电池板角点编号得到所述电池板编号U；以及
图像拼接单元，用于将所述初始图像中每个电池板的正射图像进行拼接，得到所述光伏电池组的整体图像。
CN202011112643.7A 2020-10-16 2020-10-16 基于人工智能的清洁机器人故障检测方法与系统 Withdrawn CN112258465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011112643.7A CN112258465A (zh) 2020-10-16 2020-10-16 基于人工智能的清洁机器人故障检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011112643.7A CN112258465A (zh) 2020-10-16 2020-10-16 基于人工智能的清洁机器人故障检测方法与系统

Publications (1)

Publication Number Publication Date
CN112258465A true CN112258465A (zh) 2021-01-22

Family

ID=74244102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011112643.7A Withdrawn CN112258465A (zh) 2020-10-16 2020-10-16 基于人工智能的清洁机器人故障检测方法与系统

Country Status (1)

Country Link
CN (1) CN112258465A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359842A (zh) * 2022-03-17 2022-04-15 季华实验室 协作机器人事故检测系统、方法、存储介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359842A (zh) * 2022-03-17 2022-04-15 季华实验室 协作机器人事故检测系统、方法、存储介质和电子设备
CN114359842B (zh) * 2022-03-17 2022-06-17 季华实验室 协作机器人事故检测系统、方法、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN102673106B (zh) 一种用于光伏太阳能硅片的丝网印刷定位设备及定位方法
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112184711A (zh) 一种光伏组件缺陷检测和定位方法及系统
CN106022345A (zh) 一种基于霍夫森林的高压隔离开关状态识别方法
CN111740699A (zh) 一种光伏板故障检测识别方法、装置和无人机
CN112183403A (zh) 一种基于计算机视觉的光伏清洗机器人清洗速度调节方法
CN102609730A (zh) 基于动静触头接触比例的刀闸状态合位可靠性判别方法
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN112258465A (zh) 基于人工智能的清洁机器人故障检测方法与系统
CN113869177A (zh) 一种用于跟踪多目标的方法及装置
CN112819988A (zh) 基于5g的无人机电站智能巡检方法、系统和网络侧服务端
CN116797944A (zh) 一种基于无人机图像识别光伏面板清洁度的检测方法及系统
CN116363573A (zh) 一种变电站设备状态异常识别方法和系统
CN112000094A (zh) 一种单双目结合的高压输电线路金具在线识别定位系统及方法
CN114511532A (zh) 基于特征引导的通道蒸馏的太阳能电池表面缺陷检测方法
CN112260402B (zh) 基于视频监控的变电站智能巡检机器人状态的监控方法
CN110817674A (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
CN113627400B (zh) 一种工业仪表视频识别系统
CN115497025A (zh) 一种基于3d头部姿态估计的青少年专注度评价方法
CN113449767B (zh) 一种多图像融合的变电站设备异常识别定位方法
CN114266822A (zh) 基于双目机器人的工件质检方法、装置、机器人及介质
CN113989258A (zh) 基于无人机和热成像的光伏板热斑定位方法
CN111898422A (zh) 一种电力设备辨识方法、系统及存储介质
CN112257514A (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN112991323B (zh) 基于视觉感知的光伏电站组件阵列错位检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210122