CN109684971B - 解魔方机器人算法执行方法 - Google Patents

Abstract

本发明公开了一种解魔方机器人算法执行方法，包括以下步骤：读取摄像头图像，将图像转化为灰度图片并对其进行高斯滤波；根据灰度图片获得灰度直方图，对灰度图片做二值化处理；根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线；根据图片轮廓线数据识别图片的形状，获得矩形轮廓；提取合适的矩形形状，完成魔方形状捕捉；对完成捕捉的魔方形状进行颜色识别。该解魔方机器人算法执行方法使观察者能够更好的看到当前实施的机器人动作情况，无需改动魔方本体，降低了制造成本，降低了现有机器人颜色识别的误判率。

Description

解魔方机器人算法执行方法

技术领域

本发明涉及机器人应用技术领域，尤其涉及一种解魔方机器人算法执行方法。

背景技术

现有的解魔方机器人大都通过电机带动固定在魔方中心块的转轴，从而转动标准三阶魔方的六面来还原标准三阶魔方。这种方法需要对魔方本身的表面进行改造并且很难观测到整个魔方还原的过程。

发明内容

本发明的目的在于提供一种解魔方机器人算法执行方法，该解魔方机器人算法执行方法先对魔方图像进行形状捕捉，然后再进行颜色识别，并对颜色信息进行匹配以及信息储存，然后转化成动作指令实现执行魔方的还原动作，使观察者能够更好的看到当前实施的机器人动作情况，无需改动魔方本体，降低了制造成本，降低了现有机器人颜色识别的误判率。

其技术方案如下：

解魔方机器人算法执行方法，包括以下步骤：

读取摄像头图像，将图像转化为灰度图片并对其进行高斯滤波；

根据灰度图片获得灰度直方图，对灰度图片做二值化处理；

根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线；

根据图片轮廓线数据识别图片的形状，获得矩形轮廓；

提取合适的矩形形状，完成魔方形状捕捉；

对完成捕捉的魔方形状进行颜色识别。

所述根据灰度图片获得灰度直方图，对灰度图片做二值化处理，包括以下步骤：

将灰度图片中的所有像素，按照灰度值的大小，统计其出现的频率，从而获得灰度值分布的函数，进而获得灰度直方图；其中，所述灰度值分布的函数是对图像中灰度级分布的统计；

通过灰度直方图选择合适的阈值，用此阈值对灰度图片做二值化处理；其中，所述二值化处理就是以阈值为分界线，将灰度图片中灰度小于阈值的像素点设置为黑色，大于阈值的像素点设置为白色；

根据灰度值的不同来区分出物体的轮廓线。

所述根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线，包括以下步骤：

利用轮廓函数提取图片轮廓线数据，计算图像轮廓，并将图像轮廓按层级结构储存，计算完毕后，将轮廓线绘制出来。

所述根据图片轮廓线数据识别图片的形状，获得矩形轮廓，包括以下步骤：

先从所述轮廓线中检测直线，然后找到互相平行垂直的四条直线，并将符合矩形条件的轮廓储存起来，获得矩形轮廓。

所述提取合适的矩形形状，完成魔方形状捕捉，包括以下步骤：

判断矩形轮廓的长宽比，若矩形轮廓的长宽比接近1比1，即矩形轮廓判断为正方形，完成魔方形状捕捉。

所述颜色识别，包括以下步骤：

绘制网格，确定格点；

对网格区域进行高斯滤波，提取格点颜色，进行格点颜色识别；

储存魔方颜色数据，获得魔方的所有颜色数据。

所述绘制网格，确定格点，包括以下步骤：

确定了魔方在摄像头图像的位置后，根据矩形轮廓的位置、大小、旋转角度信息，在矩形轮廓上绘制网格九宫格，细分出魔方每一面每一格的位置，确定每一小格的中点，即为格点。

所述对网格区域进行高斯滤波，提取格点颜色，进行颜色识别，包括以下步骤：

先对网格九宫格区域的图像进行高斯滤波，消除噪点干扰；

然后提取每个格点的颜色数据，对其进行格点颜色识别。

所述格点颜色识别，包括以下步骤：

首先进行颜色模型转换，即将RGB空间颜色模型转换为HSV空间颜色模型，其中，所述RGB空间颜色模型包括红色空间颜色模型、绿色空间颜色模型、蓝色空间颜色模型，所述HSV空间颜色模型包括色相空间颜色模型、饱和度空间颜色模型、明度空间颜色模型；

提取格点颜色进行颜色分析。

所述颜色分析，包括以下步骤：

首先检测HSV空间颜色模型中的H值；其中，H值代表着色相，在色相环中，0度指向红色，60度指向橙色，120度指向黄色，180度指向绿色，240度指向蓝色，300度指向紫色；

检测完H值后，再检测S值和V值，若S值越低、V值越高，那么这个颜色就越接近白色；其中，S值代表饱和度，V值代表明度。

下面对本发明的优点或原理进行说明：

1、高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程；过程中我们对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定邻域内像素的加权平均灰度值去替代模板中心像素点的值；对于形状捕捉来说，颜色并不是主要条件，因此先将图像转化为灰度图片会有利于后续图像分析处理；而高斯滤波的作用是使图像数据平滑，消除噪点干扰，亦有利于后续图像分析处理；

该解魔方机器人算法执行方法先对魔方图像进行形状捕捉，然后再进行颜色识别，并对颜色信息进行匹配以及信息储存，然后转化成动作指令实现执行魔方的还原动作，使观察者能够更好的看到当前实施的机器人动作情况，无需改动魔方本体，降低了制造成本，降低了现有机器人颜色识别的误判率。

2、灰度直方图是关于灰度级分布的函数，它表示图像中具有某种灰度级的像素的个数，是对图像中灰度值分布的统计；灰度直方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的频率；灰度直方图反映了图像中某种灰度出现的频率；因此我们可以通过灰度直方图来选择合适的阈值，用此阈值对灰度图片做一个二值化处理；二值化处理就是以阈值为分界线，将灰度图片中灰度值小于阈值的像素点设置为黑色，大于阈值的像素点设置为白色，这样就可以根据灰度的不同来区分出物体的轮廓线。

3、轮廓的提取使用了OpenCV中的cv::findContour函数，该函数可从二值图像中计算图像轮廓，并将图像轮廓按层级结构储存；计算完毕后，将轮廓线绘制出来。

4、矩形轮廓的识别是先从轮廓线中检测直线，然后找到互相平行垂直的四条直线，并将符合矩形条件的轮廓储存起来，从而获得矩形轮廓。

5、对颜色的识别，先绘制网格，确定格点，然后再对网格区域进行高斯滤波，提取格点颜色，进行格点颜色识别，考虑到格点颜色可能会受噪点干扰，因此需要先对网格区域的图像进行高斯滤波，消除噪点干扰，然后提取每个格点的颜色数据，对其进行颜色识别；又考虑到RGB（红、绿、蓝）空间颜色模型在颜色识别操作上的不直观性，颜色识别时，首先要将RGB空间颜色模型转换为HSV（色相、饱和度、明度）空间颜色模型；其中H在0到360度之间，S在0到100%之间，V在0到max之间。而在OpenCV中，H在0到180度之间，S在0到255度之间，V在0到255度之间。可使用cv::cvtColor函数对RGB空间颜色模型的图像转换为HSV空间颜色模型的图像。在上述操作结束后，就可以提取格点颜色进行分析了；颜色分析时，首先检测HSV中H值，在HSV空间颜色模型中，H值代表着色相，在色相环中，0度指向红色，60度指向橙色，120度指向黄色，180度指向绿色，240度指向蓝色，300度指向紫色，由此可见HSV空间颜色模型在颜色识别上有很强的直观性；检测完H值后，再检测S值和V值，若S值越低、V值越高，那么这个颜色就越接近白色；将上述颜色识别结果按规定好的顺序储存，即可得到魔方的所有颜色信息。

具体实施方式

下面对本发明的实施例进行详细说明。

解魔方机器人算法执行方法，包括以下步骤：

读取摄像头图像，将图像转化为灰度图片并对其进行高斯滤波；

根据灰度图片获得灰度直方图，对灰度图片做二值化处理；

根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线；

根据图片轮廓线数据识别图片的形状，获得矩形轮廓；

提取合适的矩形形状，完成魔方形状捕捉；

对完成捕捉的魔方形状进行颜色识别。

其中，根据灰度图片获得灰度直方图，对灰度图片做二值化处理，包括以下步骤：

将灰度图片中的所有像素，按照灰度值的大小，统计其出现的频率，从而获得灰度值分布的函数，进而获得灰度直方图；其中，所述灰度值分布的函数是对图像中灰度级分布的统计；

通过灰度直方图选择合适的阈值，用此阈值对灰度图片做二值化处理；其中，所述二值化处理就是以阈值为分界线，将灰度图片中灰度小于阈值的像素点设置为黑色，大于阈值的像素点设置为白色；

根据灰度值的不同来区分出物体的轮廓线。

根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线，包括以下步骤：

利用轮廓函数提取图片轮廓线数据，计算图像轮廓，并将图像轮廓按层级结构储存，计算完毕后，将轮廓线绘制出来。

所述根据图片轮廓线数据识别图片的形状，获得矩形轮廓，包括以下步骤：

先从所述轮廓线中检测直线，然后找到互相平行垂直的四条直线，并将符合矩形条件的轮廓储存起来，获得矩形轮廓。

提取合适的矩形形状，完成魔方形状捕捉，包括以下步骤：

判断矩形轮廓的长宽比，若矩形轮廓的长宽比接近1比1，即矩形轮廓判断为正方形，完成魔方形状捕捉。

颜色识别，包括以下步骤：

绘制网格，确定格点；

对网格区域进行高斯滤波，提取格点颜色，进行格点颜色识别；

储存魔方颜色数据，获得魔方的所有颜色数据。

绘制网格，确定格点，包括以下步骤：

确定了魔方在摄像头图像的位置后，根据矩形轮廓的位置、大小、旋转角度信息，在矩形轮廓上绘制网格九宫格，细分出魔方每一面每一格的位置，确定每一小格的中点，即为格点。

对网格区域进行高斯滤波，提取格点颜色，进行颜色识别，包括以下步骤：

先对网格九宫格区域的图像进行高斯滤波，消除噪点干扰；

然后提取每个格点的颜色数据，对其进行格点颜色识别。

格点颜色识别，包括以下步骤：

首先进行颜色模型转换，即将RGB空间颜色模型转换为HSV空间颜色模型，其中，所述RGB空间颜色模型包括红色空间颜色模型、绿色空间颜色模型、蓝色空间颜色模型，所述HSV空间颜色模型包括色相空间颜色模型、饱和度空间颜色模型、明度空间颜色模型；

提取格点颜色进行颜色分析了；

从RGB空间颜色模型转换为HSV空间颜色模型的转换公式如下：

设max和min分别等于R、G、B中的最大者、最小者，其对应的HSV空间颜色模型中的(H, S, V)值分别为

H：

if max == min, then H = 0;

if max == R and G >= B, then H = 60° * (G - B) / (max - min);

if max == R and G < B, then H = 60° * (G - B) / (max - min) + 360°;

if max == G, then H = 60° * (B - R) / (max - min) + 120°;

if max == B, then H = 60° * (R - G) / (max - min) + 240°;

S：

if max == 0, then S = 0;

else S = (max - min) / max;

V：

V = max。

颜色分析，包括以下步骤：

首先检测HSV空间颜色模型中的H值；其中，H值代表着色相，在色相环中，0度指向红色，60度指向橙色，120度指向黄色，180度指向绿色，240度指向蓝色，300度指向紫色；

检测完H值后，再检测S值和V值，若S值越低、V值越高，那么这个颜色就越接近白色；其中，S值代表饱和度，V值代表明度。

本实施例具有如下优点：

1、高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程；过程中我们对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定邻域内像素的加权平均灰度值去替代模板中心像素点的值；对于形状捕捉来说，颜色并不是主要条件，因此先将图像转化为灰度图片会有利于后续图像分析处理；而高斯滤波的作用是使图像数据平滑，消除噪点干扰，亦有利于后续图像分析处理；

该解魔方机器人算法执行方法先对魔方图像进行形状捕捉，然后再进行颜色识别，并对颜色信息进行匹配以及信息储存，然后转化成动作指令实现执行魔方的还原动作，使观察者能够更好的看到当前实施的机器人动作情况，无需改动魔方本体，降低了制造成本，降低了现有机器人颜色识别的误判率。

2、灰度直方图是关于灰度级分布的函数，它表示图像中具有某种灰度级的像素的个数，是对图像中灰度值分布的统计；灰度直方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的频率；灰度直方图反映了图像中某种灰度出现的频率；因此我们可以通过灰度直方图来选择合适的阈值，用此阈值对灰度图片做一个二值化处理；二值化处理就是以阈值为分界线，将灰度图片中灰度值小于阈值的像素点设置为黑色，大于阈值的像素点设置为白色，这样就可以根据灰度的不同来区分出物体的轮廓线。

3、轮廓的提取使用了OpenCV中的cv::findContour函数，该函数可从二值图像中计算图像轮廓，并将图像轮廓按层级结构储存；计算完毕后，将轮廓线绘制出来。

4、矩形轮廓的识别是先从轮廓线中检测直线，然后找到互相平行垂直的四条直线，并将符合矩形条件的轮廓储存起来，从而获得矩形轮廓。

5、对颜色的识别，先绘制网格，确定格点，然后再对网格区域进行高斯滤波，提取格点颜色，进行格点颜色识别，考虑到格点颜色可能会受噪点干扰，因此需要先对网格区域的图像进行高斯滤波，消除噪点干扰，然后提取每个格点的颜色数据，对其进行颜色识别；又考虑到RGB（红、绿、蓝）空间颜色模型在颜色识别操作上的不直观性，颜色识别时，首先要将RGB空间颜色模型转换为HSV（色相、饱和度、明度）空间颜色模型；其中H在0到360度之间，S在0到100%之间，V在0到max之间。而在OpenCV中，H在0到180度之间，S在0到255度之间，V在0到255度之间。可使用cv::cvtColor函数对RGB空间颜色模型的图像转换为HSV空间颜色模型的图像。在上述操作结束后，就可以提取格点颜色进行分析了；颜色分析时，首先检测HSV中H值，在HSV空间颜色模型中，H值代表着色相，在色相环中，0度指向红色，60度指向橙色，120度指向黄色，180度指向绿色，240度指向蓝色，300度指向紫色，由此可见HSV空间颜色模型在颜色识别上有很强的直观性；检测完H值后，再检测S值和V值，若S值越低、V值越高，那么这个颜色就越接近白色；将上述颜色识别结果按规定好的顺序储存，即可得到魔方的所有颜色信息。

以上仅为本发明的具体实施例，并不以此限定本发明的保护范围；在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (1)

1.解魔方机器人算法执行方法，其特征在于，包括以下步骤：

读取摄像头图像，将图像转化为灰度图片并对其进行高斯滤波；

根据灰度图片获得灰度直方图，对灰度图片做二值化处理；

根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线；

根据图片轮廓线数据识别图片的形状，获得矩形轮廓；

提取合适的矩形形状，完成魔方形状捕捉；

对完成捕捉的魔方形状进行颜色识别；

所述根据灰度图片获得灰度直方图，对灰度图片做二值化处理，包括以下步骤：

将灰度图片中的所有像素，按照灰度值的大小，统计其出现的频率，从而获得灰度值分布的函数，进而获得灰度直方图；其中，所述灰度值分布的函数是对图像中灰度级分布的统计；

通过灰度直方图选择合适的阈值，用此阈值对灰度图片做二值化处理；其中，所述二值化处理就是以阈值为分界线，将灰度图片中灰度小于阈值的像素点设置为黑色，大于阈值的像素点设置为白色；

根据灰度值的不同来区分出物体的轮廓线；

所述根据二值化处理提取图片轮廓线数据，并绘制出图片轮廓线，包括以下步骤：

利用轮廓函数提取图片轮廓线数据，计算图像轮廓，并将图像轮廓按层级结构储存，计算完毕后，将轮廓线绘制出来；

所述根据图片轮廓线数据识别图片的形状，获得矩形轮廓，包括以下步骤：

先从所述轮廓线中检测直线，然后找到互相平行垂直的四条直线，并将符合矩形条件的轮廓储存起来，获得矩形轮廓；

所述提取合适的矩形形状，完成魔方形状捕捉，包括以下步骤：

判断矩形轮廓的长宽比，若矩形轮廓的长宽比接近1比1，即矩形轮廓判断为正方形，完成魔方形状捕捉；

所述颜色识别，包括以下步骤：

绘制网格，确定格点；

对网格区域进行高斯滤波，提取格点颜色，进行格点颜色识别；

储存魔方颜色数据，获得魔方的所有颜色数据；

所述绘制网格，确定格点，包括以下步骤：

确定了魔方在摄像头图像的位置后，根据矩形轮廓的位置、大小、旋转角度信息，在矩形轮廓上绘制网格九宫格，细分出魔方每一面每一格的位置，确定每一小格的中点，即为格点；

所述对网格区域进行高斯滤波，提取格点颜色，进行颜色识别，包括以下步骤：

先对网格九宫格区域的图像进行高斯滤波，消除噪点干扰；

然后提取每个格点的颜色数据，对其进行格点颜色识别；

所述格点颜色识别，包括以下步骤：

首先进行颜色模型转换，即将RGB空间颜色模型转换为HSV空间颜色模型，其中，所述RGB空间颜色模型包括红色空间颜色模型、绿色空间颜色模型、蓝色空间颜色模型，所述HSV空间颜色模型包括色相空间颜色模型、饱和度空间颜色模型、明度空间颜色模型；

提取格点颜色进行颜色分析；

所述颜色分析，包括以下步骤：

首先检测HSV空间颜色模型中的H值；其中，H值代表着色相，在色相环中，0度指向红色，60度指向橙色，120度指向黄色，180度指向绿色，240度指向蓝色，300度指向紫色；

检测完H值后，再检测S值和V值，若S值越低、V值越高，那么这个颜色就越接近白色；其中，S值代表饱和度，V值代表明度。