CN112179318A - 基于电池板特性的轨道机器人倾斜角度检测方法 - Google Patents

Abstract

本发明提供了一种基于电池板特性的轨道机器人倾斜角度检测方法。采集待拼接图像并拼接得到电池板全景图。通过语义分割网络检测电池板各种区域，输出语义分割图并获取第一电池板内部图像。在第一电池板内部图像中截取机器人开始运行t内的图像得到第二电池板内部图像，检测第二电池板内部图像中相邻像素列之间的相似性并判断像素列是否为栅线一侧像素列，得到相邻栅线间隔d。根据第一电池板内部图像中待检测列L₁上像素的一致性判断待检测列处机器人是否发生倾斜；若待检测列处机器人发生倾斜，找到该待检测列中栅线像素的位置，计算其周围白色像素组成的直线的方程，并计算机器人两端的行程差。

Description

基于电池板特性的轨道机器人倾斜角度检测方法

技术领域

本申请涉及机器视觉领域，具体涉及一种基于电池板特性的轨道机器人倾斜角度检测方法。

背景技术

当轨道式机器人在电池板轨道上行走时，因为两端轮子受到摩擦力不同等，造成两端行程不一致，从而导致机器人发生倾斜，如果不及时调整机器人位姿，会导致机器人卡死，对机器人造成损坏。而且机器人卡死后长时间遮挡电池板也会对电池板造成损坏，所以有必要检测轨道机器人倾斜并及时纠正机器人位姿。

现有技术对轨道机器人偏斜的检测，一般是通过加速度传感器、磁场传感器来检测机器人的位姿，判断是否发生偏斜。但传感器成本过较高，且获取机器人位姿的计算量过大，系统成本较高，传感器的维护成本较高。

发明内容

针对以上问题，本发明提供了一种基于电池板特性的轨道机器人倾斜角度检测方法。采集待拼接图像并拼接得到电池板全景图。通过语义分割网络检测电池板各种区域，输出语义分割图并获取第一电池板内部图像。在第一电池板内部图像中截取机器人开始运行t内的图像得到第二电池板内部图像，检测第二电池板内部图像中相邻像素列之间的相似性并判断像素列是否为栅线一侧像素，得到相邻栅线间隔d。根据第一电池板内部图像中待检测列L₁上像素的一致性判断待检测列处机器人是否发生倾斜；若待检测列处机器人发生倾斜，找到该待检测列中栅线像素的位置，计算其周围白色像素组成的直线的方程，并计算机器人两端的行程差。

一种基于电池板特性的轨道机器人倾斜角度检测方法，其特征在于，该方法包括：

步骤S1：在光伏电池板平面上建立直角坐标系，y轴与边框线重合且y轴正方向的向量在铅直方向的分量垂直于地面平面向上，x轴正方向与机器人移动方向相同；在机器人上设置相机周期性采集待拼接图像，根据相邻采样时刻之间相机的位移量，将待拼接图像拼接起来，得到电池板全景图；

步骤S2:将电池板全景图输入语义分割网络，检测电池板内部区域、边框线和非电池板区域，输出语义分割图，并获取边框线内的第一电池板内部图像；

步骤S3：设置机器人正常行驶时间t，在第一电池板内部图像中截取机器人开始运行t内的图像，得到第二电池板内部图像，检测第二电池板内部图像中相邻像素列之间的相似性，并判断像素列是否为栅线一侧像素列，得到相邻栅线间隔d；

步骤S4：在第一电池板内部图像中找到待检测列L₁，根据待检测列L₁上像素的一致性判断待检测列处是否有倾斜栅线；若待检测列处有倾斜栅线，找到该待检测列中栅线像素的位置，计算其周围白色像素组成的直线L₂的直线方程，并计算机器人两端的行程差。

所述拼接待拼接图像的方法包括：一个采样时刻得到第一待拼接图像，下一采样时刻得到第二待拼接图像；采样周期t′为相邻采样时刻的间隔，将t′和相机的位移速度v相乘得到相邻采样时刻之间相机位移量对应的像素数量a；从第一待拼接图像中心开始往x轴反方向选取a列像素为第一待拼接像素组，从第二待拼接图像中心开始往x轴反方向选取a列像素为第二待拼接像素组；将第一待拼接像素组和第二待拼接像素组按顺序拼接起来。

所述语义分割网络的训练方法为：选取若干张电池板全景图为数据集；人工对数据集进行标注，将属于边框线的像素标注为1，属于电池板内部区域的像素标注为2，非电池板区域像素标注为0；使用交叉熵损失函数进行训练。

所述判断像素列是否为栅线一侧像素列的方法包括：

C_(K,K+1)为第K列和第K+1列像素之间的第一相似性指数，K、K+1为像素的x坐标，i为像素的y坐标，I_i，K是坐标(K，i)像素的像素值，I_i，K+1是坐标(K+1，i)像素的像素值，H为图像像素y坐标的上限，H′为图像像素y坐标的下限。

设置经验相似性指数阈值m₁，当C_(K,K+1)＞m₁时，判定第K+1列为栅线一侧的像素列；当C_(K,K+1)≤m₁时，判定第K+1列不是栅线一侧的像素列。

所述得到相邻栅线间隔d的方法包括：将相似性指数C_(K,K+1)按顺序排列，得到相似性指数序列[C_(K,K+1)]；对[C_(K,K+1)]进行二值化处理，当C_(K,K+1)＞m₁时，将序列中对应值设为1；当C_(K,K+1)≤m₁时，将序列中对应值设为0，得到二值序列；检测二值序列中相邻1的间隔d。

所述找到待检测列的方法包括：x坐标在区间(c×d-n,c×d+n)内的像素列为待检测列，c为倍数，n为弹性范围。

所述判断待检测列处是否有倾斜栅线的方法包括：

S为L₁上的像素的一致性指数，H为图像像素y坐标的上限，H′为图像像素y坐标的下限，j为像素y坐标，I_j为L₁上y坐标为j像素的像素值，I_j+1为L₁上y坐标为j+1像素的像素值。

设置经验一致性指数阈值m₂，当S＞m₂时，判定待检测列处有倾斜栅线；当S≤m₂时，判定待检测列处无倾斜栅线。

所述计算机器人两端的行程差的方法包括：

根据L₂的直线方程获得L₂的斜率q，获得电池板的实际高度D，机器人两端的行程差δ为

当q大于0时，判定机器人的下端轮胎行程大于上端轮胎的行程；当q小于0时，判定机器人上端轮胎的行程大于下端轮胎的行程。

本发明和现有技术相比有如下有益效果：

(1)采用计算机视觉的方法来处理获取的图像，检测机器人是否发生倾斜，系统计算量小，成本较低。

(2)以电池板边框线为参考，根据其平行线是否为栅线判断机器人是否发生偏斜，泛化性强，适用于多种场景。

(3)根据机器人正常行驶时间t内相邻列像素的相似性，得出栅线间隔d，可以适应不同栅线间距的电池板，泛化能力强。

附图说明

图1为方法流程图。

图2拼接原理示意图。

图3为第二电池板内部图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一：

本发明的主要目的是实现基于电池板特性的轨道机器人倾斜角度检测。

为了实现本发明所述内容，本发明设计了一种基于电池板特性的轨道机器人倾斜角度检测方法，方法流程图如图1所示。

步骤S1：

本发明主要针对具有上下轮的轨道式光伏清洁机器人进行倾斜角度检测，在轨道机器人上设置相机，采集待拼接图像。相机朝向电池板，其光轴垂直于电池板所在平面，在光伏电池板平面上建立直角坐标系，y轴与边框线重合，且y轴正方向的向量在铅直方向的分量垂直于地面平面向上，x轴正方向与机器人移动方向相同。x轴上一个单位长度对应图像中一个像素。

由于相机和电池板距离较近，只能拍摄到电池板其中的一部分，且相机成像过程中会发生畸变，越远离图像中心的图像畸变程度越大。利用采集图像的全部信息进行图像拼接会出现失真，导致对机器人倾斜的误判。

所以本发明采用类似线扫描的方式来拼接图像，设置合适的采样周期t′，从机器人开始移动的时刻起，每过一个采样周期采集一张待拼接图像。相机的位移速度，也即机器人的位移速度为v。将t′和相机的位移速度v相乘得到相邻采样时刻之间相机位移量对应的像素数量a。

相邻采样时刻的两个待拼接图像的拼接步骤如下：

(1)在一个采样时刻得到第一待拼接图像，在下一采样时刻得到第二待拼接图像。

(2)从第一待拼接图像中心开始往x轴反方向选取a列像素为第一待拼接像素组，从第二待拼接图像中心开始往x轴反方向选取a列像素为第二待拼接像素组。

(3)将第一待拼接像素组和第二待拼接像素组按顺序拼接起来。

拼接原理示意图如图2。图中为第一待拼接图像和第二待拼接图像中完全相同的5列像素，图中点为待拼接图像的中心点，图中一个方格代表一列像素，方格中数字为该列像素的x坐标。第一待拼接图像中图像中心点在x坐标为4的方格上，第二待拼接图像中图像中心点在x坐标为2的方格上，所以可以确定a＝4-2＝2，在第一待拼接图像中取x坐标为4、5的两列像素为第一待拼接像素组，在第二待拼接图像中取x坐标为2、3的两列像素为第二待拼接像素组。

随着机器人的移动，不断将待拼接图像按如上拼接步骤拼接起来，得到电池板全景图。

步骤S2:

本发明使用语义分割网络对电池板全景图中内容进行感知，区分出其中的电池板边框线像素、边框线内部像素和不属于电池板的像素。光伏电池边框框为宽度较粗的白色条带，空域上有明显的特征能被神经网络提取。电池板的栅线与边框线平行，但是电池板内部栅线属于微小特征，不易被神经网络感知，所以需要先检测出电池板的边框线和边框线内部的区域，后续根据边框线与栅线平行这一性质，进一步得到内部的栅线位置。

语义分割网络的训练方法包括：选取若干张电池全景图为数据集；人工对数据集进行标注，将属于边框线的像素标注为1，属于电池板内部区域的像素标注为2，非电池板区域像素标注为0；使用交叉熵损失函数进行训练。

将电池板全景图输入训练好的语义分割网络，检测图中的三种像素，输出语义分割图。电池板边框线的宽度大，故极易检测到边框线。

根据语义分割图获取边框线内的电池板内部区域遮罩，将遮罩与电池板全景图点对点相乘，得到第一电池板内部图像，所述第一电池板内部图像高度为H。步骤S1中建立了直角坐标系，其y轴与边框线重合。

步骤S3:

栅线为周期性出现的纵向白色细线，栅线间的区域为单色的硅晶区域，硅晶区域为黑色或蓝色，同一电池板上硅晶区域的颜色只可能是黑色或蓝色的一种。机器人不倾斜时，其位移方向的向量是与栅线垂直的，所以可以根据平行于边缘线的各列像素的相似性确定栅线的位置。

第二电池板内部图像中栅线宽度为两个像素。检测第二电池板内部图像中相邻像素列之间的相似性，并判断像素列是否为栅线一侧像素，所述一侧像素，既可以指左侧，又可以指右侧。本实施例提供检测栅线左侧像素来获取d的优选方法。

不同规格的电池板栅线间距是不同的，为了适应不同规格的电池板，本发明设计了检测相邻栅线距离的方法，步骤如下：

(1)可以认为机器人刚开始运动一段时间内不会出现倾斜的情况，所以设置机器人正常行驶时间t，在第一电池板内部图像中截取相机在机器人开始运动t内拍摄的第二电池板内部图像。需要说明的是，t为经验值，实施者可以根据实际情况选择合适的t，本实施例中设置t为15秒。

(2)计算第二电池板内部图像中平行于边缘线的各相邻列像素的相似性指数S，计算公式为：

所述C_(K,K+1)为第K列和第K+1列像素之间的相似性指数，I_i，K是坐标(K，i)像素的像素值，I_i，K+1是坐标(K+1，i)像素的像素值，i为像素的y坐标，K、K+1为像素x坐标，H为图像的像素行数，H为图像像素y坐标的上限，H′为图像像素y坐标的下限。

(3)将相似性指数C_(K,K+1)按顺序排列，得到相似性指数序列[C_(K,K+1)]；对[C_(K,K+1)]进行二值化处理。设置经验相似性阈值m₁，当C_(K,K+1)＞m₁时，判定第K+1列为栅线左侧像素列，将序列中对应值设为1；当C_(K,K+1)≤m₁时，判定第K+1列不是栅线左侧像素列，序列中对应值设为0，得到二值序列；统计二值序列中相邻1的间隔，得到的间隔一般都是相同的，可能有少数几个间隔出现偏差，所以取频数最高的间隔为栅线间隔d。

第二电池板内部图像如图3，图中一个方格为一个像素，白色为栅线，其宽度为两个像素，黑色为硅晶像素，方格中数字为该像素列的x坐标，箭头方向为机器人移动方向，也即x轴正方向。栅线像素的像素值大于硅晶像素，所以栅线左侧像素列和其左侧硅晶像素列的相似性指数C_(2,3)大于0，栅线右侧像素列和其右侧硅晶像素列的相似性指数C_(4,5)小于0，本步骤目的是获得栅线间隔，所以只需要检测每条栅线左侧像素列的位置，设置的相似性阈值m₁为大于0的数。实施者可以根据实际情况设置合适的m₁，本实施例设置m₁＝50。

需要说明的是，实施者也可以通过调整m₁和判断条件，来检测栅线右侧的像素列，同样可以检测得到d。

步骤S4:

根据得到的d可得到后续栅线的理想位置，机器人在行驶时速度可能会有微小的误差，称检测栅线理想位置和其周围若干列像素为待检测列L₁，为了避免误判，需要设置弹性范围n，检测待检测列的一致性指数S。若第一电池板内部图像中待检测列像素一致性高，说明待检测列处无倾斜的栅线。若一致性低，说明该待检测列处有倾斜栅线，拍摄该待检测列时机器人已经发生倾斜。

边框线方程为x＝0，栅线平行于边框线，所以可以设x坐标在区间(c×d-n,c×d+n)的像素列为待检测列，c为倍数，是非负整数。需要说明的是，弹性范围可由实施者根据实际情况自行设定，本实施例中设置n＝2。

计算待检测列L₁上像素一致性指数S，计算方法为：

S为L₁上的像素的一致性指数，j为像素y坐标，H为图像像素y坐标的上限，H′为图像像素y坐标的下限，I_j为L₁上y坐标为j像素的像素值，I_j+1为L₁上y坐标为j+1像素的像素值；

设置经验一致性指数阈值m₂，当S＞m₂时，判定该待检测列L₁处有倾斜栅线，机器人发生倾斜；当S≤m₂时，判定该待检测列L₁处无倾斜栅线，机器人未发生倾斜。需要说明的是，实施者可以根据实际情况设置合适的m₂，本实施例中设置m₂＝5。

若判定该待检测列栅线倾斜，说明电池板全景图中的栅线与该待检测列有交点，交点为白色。检测该待检测列上白色的像素，该像素即为栅线和该待检测列的交点。以交点为圆心，以长度R为半径得到圆形搜索区域，再检测搜索区域内所有白色像素，使用RANSAC的方式拟合得到搜索区域内所有白色像素组成的直线L₂的方程。需要说明的是，R可由实施者根据实际情况设置，本实施例中设置R＝10。

根据电池板的实际高度D，结合L₂的斜率q计算上下轮的行程差距δ：

δ为行程差，D为电池板的实际高度，q为L₂的斜率。当q大于0时，说明机器人的下端轮胎行程大于上端轮胎的行程；当q小于0时，说明机器人上端轮胎的行程大于下端轮胎的行程。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于电池板特性的轨道机器人倾斜角度检测方法，其特征在于，该方法包括：

步骤S1：在光伏电池板平面上建立直角坐标系，y轴与边框线重合，x轴正方向与机器人移动方向相同；在机器人上设置相机周期性采集待拼接图像，根据相邻采样时刻之间相机的位移量，将待拼接图像拼接起来，得到电池板全景图；

步骤S2：将电池板全景图输入语义分割网络，检测电池板内部区域、边框线和非电池板区域，输出语义分割图，并获取边框线内的第一电池板内部图像；

步骤S3：设置机器人正常行驶时间t，在第一电池板内部图像中截取机器人开始运行t内的图像，得到第二电池板内部图像，检测第二电池板内部图像中相邻像素列之间的相似性，并判断像素列是否为栅线一侧像素列，得到相邻栅线间隔d；

步骤S4：在第一电池板内部图像中找到待检测列L₁，根据待检测列L₁上像素的一致性判断待检测列处是否有倾斜栅线；若待检测列处有倾斜栅线，找到该待检测列中栅线像素的位置，计算其周围白色像素组成的直线L₂的直线方程，并计算机器人两端的行程差。

2.如权利要求1所述的方法，其特征在于，所述将待拼接图像拼接起来的方法包括：

一个采样时刻得到第一待拼接图像，下一采样时刻得到第二待拼接图像；

采样周期t′为相邻采样时刻的间隔，将t′和相机的位移速度v相乘得到相邻采样时刻之间相机位移量对应的像素数量a；

从第一待拼接图像中心开始往x轴反方向选取a列像素为第一待拼接像素组，从第二待拼接图像中心开始往x轴反方向选取a列像素为第二待拼接像素组；

将第一待拼接像素组和第二待拼接像素组按顺序拼接起来。

3.如权利要求1所述的方法，其特征在于，所述语义分割网络的训练方法为：

选取若干张电池板全景图为数据集；

人工对数据集进行标注，将属于边框线的像素标注为1，属于电池板内部区域的像素标注为2，非电池板区域像素标注为0；

使用交叉熵损失函数进行训练。

4.如权利要求1所述的方法，其特征在于，所述判断像素列是否为栅线一侧像素列的方法包括：

C_(K，K+1)为第K列和第K+1列像素之间的第一相似性指数，K、K+1为像素的x坐标，i为像素的y坐标，I_i，K是坐标(K，i)像素的像素值，I_i，K+1是坐标(K+1，i)像素的像素值，H为图像像素y坐标的上限，H′为图像像素y坐标的下限；

设置经验相似性指数阈值m₁，当C_(K，K+1)＞m₁时，判定第K+1列为栅线一侧的像素列；当C_(K，K+1)≤m₁时，判定第K+1列不是栅线一侧的像素列。

5.如权利要求4所述的方法，其特征在于，所述得到相邻栅线间隔d的方法包括：

将相似性指数C_(K，K+1)按顺序排列，得到相似性指数序列[C_(K，K+1)]；

对[C_(K，K+1)]进行二值化处理，当C_(K，K+1)＞m₁时，将序列中对应值设为1；当C_(K，K+1)≤m₁时，将序列中对应值设为0，得到二值序列；

检测二值序列中相邻1的间隔d。

6.如权利要求1所述的方法，其特征在于，所述找到待检测列的方法包括：

x坐标在区间(c×d-n，c×d+n)内的像素列为待检测列，c为倍数，n为弹性范围。

7.如权利要求1所述的方法，其特征在于，所述判断待检测列处是否有倾斜栅线的方法包括：

S为L₁上的像素的一致性指数，H为图像像素y坐标的上限，H′为图像像素y坐标的下限，j为像素y坐标，I_j为L₁上y坐标为j像素的像素值，I_j+1为L₁上y坐标为j+1像素的像素值；

设置经验一致性指数阈值m₂，当S＞m₂时，判定待检测列处有倾斜栅线；当S≤m₂时，判定待检测列处无倾斜栅线。

8.如权利要求1所述的方法，其特征在于，所述计算机器人两端的行程差的方法包括：

根据L₂的直线方程获得L₂的斜率q，获得电池板的实际高度D，机器人两端的行程差δ为

当q大于0时，判定机器人的下端轮胎行程大于上端轮胎的行程；当q小于0时，判定机器人上端轮胎的行程大于下端轮胎的行程。

Images