CN105719318B - 一种教育玩具套件中基于hsv的魔方颜色识别方法 - Google Patents

Abstract

本发明涉及计算机视觉检测处理技术领域，提供了一种教育玩具套件及其基于HSV的魔方颜色识别方法，包括支架安装于底板上，头盔探测器安装于支架上，底板上设置有第一凹槽；支架底部具有凸起，凸起安装在第一凹槽内，顶部具有第二、第三凹槽；头盔探测器安装于第三凹槽内；还包括定位孔。将安装有游戏程序的平板电脑安装于教育玩具套件上，将魔方放置于底板上；通过平板电脑采集图像；检测图像中魔方彩色色块的轮缘形状；由椭圆数量判定魔方的摆放位置是否准确；清楚环境光因素对图像颜色的影响，得到原始场景图像；求出原始场景图像在HSV颜色空间的H色调值，判断出每个色块颜色。本发明能快速的判断出魔方的摆放位置是否准确以及魔方的宫格颜色。

Description

一种教育玩具套件中基于HSV的魔方颜色识别方法

技术领域

本发明涉及计算机视觉检测处理技术领域，特别涉及一种教育玩具套件及其基于HSV的魔方颜色识别方法。

背景技术

现在平板电脑上有许多有趣的幼教游戏应用程序或者儿童游戏，但往往只是让小朋友在屏幕上指指画画，互动性欠缺，长时间看着屏幕容易对眼睛造成伤害；而当下一些互动性强的传统性游戏玩具已经脱离了时代的发展，形式上无法满足孩子学习、玩耍的需求，也不便于孩子和家长的互动沟通。

为了解决上述问题，计算机视觉识别处理技术领域成功的开发了一种教育玩具套件，包括：支架、头盔探测器和底板，并且支架安装于底板上，头盔探测器安装于支架上；底板上方设置有第一凹槽；支架底部具有凸起，凸起安装在第一凹槽内，顶部具有第二凹槽和第三凹槽，第二凹槽用于放置平板电脑；头盔探测器安装于第三凹槽内。然后将魔方放置于底板上，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于底板上的魔方的拼接图像，判定魔方图案是否与游戏程序要求的拼接程序一致，如果不一致给出最快捷的下一步拼接指导，增强游戏的趣味性、儿童动手能力以及互动性。

上述的教育玩具套件虽然解决了平板电脑中游戏的互动性欠缺的问题，但是由于底板很大，魔方的摆放位置常常出现偏差，导致摄像头不能采集到完整的图像，图像容易采集出错，分析结果不准确等问题的出现，同时不能判断出魔方宫格的颜色，无法分析魔方拼接是否准确。

因此，计算机视觉检测处理技术领域急需一种教育玩具套件及其基于HSV的魔方颜色识别方法，能够快速的判断出魔方的摆放位置是否准确，提高图像采集以及分析结果的准确率，同时能够识别魔方的宫格颜色。

发明内容

本发明为了解决上述问题，提供了一种教育玩具套件及其基于HSV的魔方颜色识别方法，技术方案如下：

一种教育玩具套件，包括支架、头盔探测器和底板，并且支架安装于底板上，头盔探测器安装于支架上，底板上方设置有第一凹槽；支架底部具有凸起，凸起安装在第一凹槽内，顶部具有第二凹槽和第三凹槽，第二凹槽用于放置平板电脑；头盔探测器安装于第三凹槽内；还包括：定位孔，设置于第三凹槽侧壁的纵向中心轴上。

一种教育玩具套件中基于HSV的魔方颜色识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，游戏程序中设置有扫描界面，在扫描界面上设置扫描感兴趣区域ROI，扫描界面包括单面扫描模式和双面扫描模式；

扫描界面由方形宫格组成，预先根据选择魔方的阶数，设置扫描感兴趣区域ROI；采用单面扫描模式时，感兴趣区域ROI与魔方的单面相同；采用双面扫描模式时，感兴趣区域ROI由2个垂直面组成，每个垂直面含有的宫格与魔方的单面相同；

步骤二，将平板电脑的底端安装于第二凹槽内，通过第四凹槽将头盔探测器安装于平板电脑的顶端，再将魔方放置于底板上；

步骤三，固定安装好后，通过平板电脑的前置摄像头采集图像；

步骤四，魔方的每个宫格由底面色和彩色色块组成，检测图像中魔方彩色色块的轮缘形状是否为椭圆形，计算得到的椭圆形彩色色块的数量，判断魔方的位置是否摆放准确，如果摆放不准确则重新摆放魔方，重复步骤三至四，直至摆放准确为止，如果摆放准确则执行步骤五；

步骤五，清楚环境光因素对步骤三中采集到的图像颜色的影响，实现颜色校正，得到原始场景图像；

步骤六，定位魔方感兴趣区域ROI内每个色块的中心点；

步骤七，针对步骤六中得到的每个色块的中心点划定区域，求出原始场景图像中的像素点在HSV颜色空间的H色调值，将原始场景图像转化为HSV颜色图像；

步骤八，设定六种颜色在H色调通道上的阈值区间，根据步骤七中计算出的H色调值计算划定区域在H通道上的像素平均值集合，将像素平均值集合与六种颜色在H通道上的阈值区间相比较，判断出扫描区域内每个色块的颜色。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤三的具体步骤为：

将平板电脑前置摄像头所获取图像定义为I_xy，I_xy＝f(x，y)；

其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；

由于摄像头采集的图像为彩色图片，因此f(x，y)＝(R_xy，G_xy，B_xy)；

其中，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤四的具体步骤为：

a)把步骤三中采集得到的彩色图像转换为灰度图像，具体公式为：

Gray(x，y)＝0.2989×R_xy+0.5870×G_xy+0.1140×B_xy；

其中，Gray(x，y)表示灰度图像；

b)使用边缘检测算法提取色块轮廓；

图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

由于待检测的魔方目标，在转换为灰度图后，彩色色块和魔方底色反差较大，因此可以将反差很大的彩色色块的轮廓视为当前图像的边缘，进而采用边缘检测的方法提取色块轮廓；常规的边缘提取算法，包括Sobel算子、Roberts算子、Prewitt算子和Canny算子等，具体公式为：

其中，|G(x，y)|表示边缘点的梯度幅值；

c)对于步骤b)中得出的色块边缘轮廓，使用形状上下文的形状匹配的方法对于获得的二值轮廓进行目标筛选，计算形状轮廓与魔方色块的形状距离；

其中，C_s表示标准椭圆形状轮廓与魔方彩色色块的形状距离值，g(k)和h(k)分别代表标准椭圆和待测形状的一组轮廓点集，M表示距离阈值，k表示轮廓点集内第k个元素点，K表示轮廓点集内含有的元素个数；当C_s小于M时，则判定当前彩色色块轮廓形状为椭圆；当C_s大于等于M时，判定当前是彩色色块轮廓形状不为椭圆；

d)由检测出的椭圆数量判定魔方在底板上的摆放位置是否准确，如果不准确则重新摆放魔方，重复执行步骤三至四，直至摆放位置准确位置，如果摆放位置准确则执行步骤五；

f)计算步骤c)中得到的椭圆形彩色色块的数量，单面扫描时，如果得到的椭圆形彩色色块数量与魔方单面宫格数量相同，则认为魔方位置摆放正确；双面扫描时如果得到的椭圆形彩色色块数量与魔方双面宫格数量相同，则认为魔方位置摆放正确；其它情况均认为魔方位置摆放错误。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤五的具体步骤为：

人的视觉系统具有颜色恒常性，能从变化的光照环境和成像条件下获取物体表面颜色的不变特性，但成像设备不具有这样的调节功能，不同的光照环境会导致采集的图像颜色与真实颜色存在一定程度的偏差；因此在本游戏过程中，由于外界光照条件的变化，步骤三中前置摄像头采集到的图像会出现偏色；因此，需要采用灰度世界的方法对偏色图片进行颜色校正，将偏色图片转化为从图像中消除环境光的影响的原始场景图像；

灰度世界算法是以灰度世界假设为基础，对于一幅有着大量色彩变化的图像，R、G、B三个分量的平均值趋于同一灰度值；从物理意义上讲，灰色世界算法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为灰色，具体步骤为：

1)计算步骤三中采集到的图像在R、G、B三个颜色通道上的强度平均值，具体公式为：

其中，分别表示步骤三中采集到的图像在R、G、B三个颜色通道上的强度平均值，N表示图像的像素总数，R_i、G_i、B_i分别表示步骤三中采集到的图像在第i个像素上的红、绿、蓝三通道的强度分量值；

2)根据步骤1)中计算得出的强度平均值，计算步骤三中采集到的图像的平均灰度值；

其中，表示图像的平均灰度值；

3)计算R、G、B三个颜色通道的增益系数，具体公式为：

其中，k_r、k_g、k_b分别表示R、G、B三个颜色通道的增益系数；

4)采用Von Kries对角模型对步骤三中采集到的图像涉及到的每个像素值，进而得到原始图像；

依据步骤3)中计算出的k_r、k_g、k_b分别计算出原始场景图像中每个通道的像素值，具体公式为：

C(R′)＝R_xy×k_r

C(G′)＝G_xy×k_g

C(B′)＝B_xy×k_b

其中，C(R′)、C(G＇)、C(B＇)分别表示原始场景图像在R、G、B三个颜色通道的像素值。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤六的具体步骤为：

采用单面扫描模式时，对感兴趣区域ROI提取得到的色块边缘轮廓进行椭圆拟合，定位得到与魔方阶数平方相同数量的圆心，以椭圆拟合达到的圆心作为色块的中心点；采用双面扫描模式时，对感兴趣区域ROI提取得到的色块边缘轮廓进行椭圆拟合，定位得到圆心，圆心数量为魔方阶数平方的2倍。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤七的具体步骤为：

A)当采用单面扫描模式时，以步骤六椭圆拟合得到的圆心作为色块的中心点，划定与魔方单面宫格数量相同的矩形区域；当采用双面扫描模式时，以步骤六椭圆拟合得到的圆心作为色块的中心点，划定与魔方双面宫格数量相同的矩形区域；

设定魔方的单面宫格数量为n，单面扫描时划定区域的集合表示为{Sec₁、Sec₂…Sec_n}，双面扫面时划定区域的集合表示为{Sec₁、Sec₂…Sec_2n}；

B)将步骤五中的原始场景图像转化为HSV颜色图像；

由于各种颜色在HSV颜色空间的H色调通道数值较为稳定，不同种类间的数值间隔大，因此将原始场景图像从RGB通道转化为HSV颜色空间，具体公式为：

V＝max{C(R′)、C(G′)、C(B′)}；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G＇)、CCB＇)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤七中划定的区域为划定面积相等的矩形区域。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，步骤八的具体步骤为：

由于魔方是六面体，因此魔方的全部宫格由六种颜色构成，首先设定六种颜色在H色调通道上的阈值区间α、β、γ、δ、θ、

进一步地，分别求出划定区域集合{Sec₁、Sec₂…Sec_n}或者{Sec₁、Sec₂…Sec_2n}在H色调通道上的像素平均值集合{h₁、h₂…h_n}或者{h₁、h₂…h_2n}；

进一步地，将像素平均值集合{h₁、h₂…h_n}或者{h₁、h₂…h_2n}分别与六种颜色在H色调通道上的阈值区间α、β、γ、δ、θ、进行比较，判断出魔方扫描区域内每个宫格的颜色。

优选的，在上述一种教育玩具套件中基于HSV的魔方颜色识别方法中，还包括步骤九：将步骤八中的扫描区域中的每个颜色返回给游戏程序，如果颜色与游戏程序内预先设定游戏颜色图案一致，则转动魔方平面，重复步骤三至九，直至所有魔方平面的颜色都完成为止。

本发明的有益效果：

1、本发明的教育玩具套件以及魔方颜色识别方法设计巧妙；通过将游戏扫描界面的感兴趣区域ROI设置为多宫格形式，既美观简单，又与魔方的形状相同，判断更加快速，同时保留了趣味性和直观性。

2、本发明能够在日常各种光照环境下，去除环境光对图像的影响提供稳定准确的颜色识别结果。

3、本发明检测算法更加科学、成熟，将图像的灰度化转化、边缘检测、形状匹配的图像算法、颜色校正、HSV颜色空间转换相结合使用，能够快速的判断出魔方的摆放位置是否准确，便于魔方位置的快速调节，提高图像采集以及分析结果的准确率；以及判断出魔方宫格的颜色。

4、本发明计算速度快；通过将彩色向灰度化降低图片的内存，提高运算速度，每次颜色检测耗时在20ms左右，为玩家提供流畅的使用体验。

附图说明

下面结合附图和具体实施方式来详细说明本发明：

图1是本实用新型一种教育玩具套件的结构示意图。

图2是本实用新型一种教育玩具套件的支架的后视图。

图3是本实用新型一种教育玩具套件的支架的立体图。

图4是本实用新型一种教育玩具套件的底板的结构示意图。

图5是一种教育玩具套件中基于HSV的魔方颜色识别方法的流程图。

其中，图1-5中的附图标记与部件名称之间的对应关系为：

支架1，凸起101，第二凹槽102，第三凹槽103，碟状底架104，圆形顶架105，露空提手106，头盔探测器2，底板3，第一凹槽301。

具体实施方式

为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1是本实用新型一种教育玩具套件的结构示意图。

图2是本实用新型一种教育玩具套件的支架的后视图。

图3是本实用新型一种教育玩具套件的支架的立体图。

图4是本实用新型一种教育玩具套件的底板的结构示意图。

如图1-4所示，一种教育玩具套件，包括支架1、头盔探测器2和底板3，并且支架1安装于底板3上，头盔探测器2安装于支架1上；底板3，上方设置有第一凹槽301；支架1，底部具有凸起101，凸起101安装在第一凹槽301内，顶部具有第二凹槽102和第三凹槽103，第二凹槽102用于放置平板电脑；头盔探测器2，安装于第三凹槽103内；还包括：定位孔104，设置于第三凹槽103侧壁的纵向中心轴上。

图5是一种教育玩具套件中基于HSV的魔方颜色识别方法的流程图。

如图5所示，一种教育玩具套件中基于HSV的魔方颜色识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，游戏程序中设置有扫描界面，在扫描界面上设置扫描感兴趣区域ROI，扫描界面包括单面扫描模式和双面扫描模式；

扫描界面由方形宫格组成，预先根据选择魔方的阶数，设置扫描感兴趣区域ROI；采用单面扫描模式时，感兴趣区域ROI与魔方的单面相同；采用双面扫描模式时，感兴趣区域ROI由2个垂直面组成，每个垂直面含有的宫格与魔方的单面相同；例如：三阶魔方对应的单面扫描模式为九宫格，对应的双面扫描模式为18宫格；四阶魔方对应的单面扫描模式为16宫格，对应的双面扫描模式为32宫格；

步骤二，将平板电脑的底端安装于第二凹槽内，通过第四凹槽将头盔探测器安装于平板电脑的顶端，再将魔方放置于底板上；

步骤三，固定安装好后，通过平板电脑的前置摄像头采集图像；

步骤四，魔方的每个宫格由底面色和彩色色块组成，检测图像中魔方彩色色块的轮缘形状是否为椭圆形，计算得到的椭圆形彩色色块的数量，判断魔方的位置是否摆放准确，如果摆放不准确则重新摆放魔方，重复步骤三至四，直至摆放准确为止，如果摆放准确则执行步骤五；

步骤五，清楚环境光因素对步骤三中采集到的图像颜色的影响，实现颜色校正，得到原始场景图像；

步骤六，定位魔方感兴趣区域ROI内每个色块的中心点；

步骤七，针对步骤六中得到的每个色块的中心点划定区域，求出原始场景图像中的像素点在HSV颜色空间的H色调值，将原始场景图像转化为HSV颜色图像；

步骤八，设定六种颜色在H色调通道上的阈值区间，根据步骤七中计算出的H色调值计算划定区域在H色调通道上的像素平均值集合，将像素平均值集合与六种颜色在H色调通道上的阈值区间相比较，判断出扫描区域内每个色块的颜色。

实施例2：

图5是一种教育玩具套件中基于HSV的魔方颜色识别方法的流程图。

如图5所示，一种教育玩具套件中基于HSV的魔方颜色识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，游戏程序中设置有扫描界面，在扫描界面上设置扫描感兴趣区域ROI，扫描界面包括单面扫描模式和双面扫描模式；

扫描界面由方形宫格组成，预先根据选择魔方的阶数，设置扫描感兴趣区域ROI；采用单面扫描模式时，感兴趣区域ROI与魔方的单面相同；采用双面扫描模式时，感兴趣区域ROI由2个垂直面组成，每个垂直面含有的宫格与魔方的单面相同；例如：三阶魔方对应的单面扫描模式为九宫格，对应的双面扫描模式为18宫格；四阶魔方对应的单面扫描模式为16宫格，对应的双面扫描模式为32宫格；

步骤二，将平板电脑的底端安装于第二凹槽内，通过第四凹槽将头盔探测器安装于平板电脑的顶端，再将魔方放置于底板上；

步骤三，固定安装好后，通过平板电脑的前置摄像头采集图像；

首先，将平板电脑前置摄像头所获取图像定义为I_xy，I_xy＝f(x，y)；

其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；

由于摄像头采集的图像为彩色图片，因此f(x，y)＝(R_xy，G_xy，B_xy)；

其中，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值；

步骤四，魔方的每个宫格由底面色和彩色色块组成，检测图像中魔方彩色色块的轮缘形状是否为椭圆形，计算得到的椭圆形彩色色块的数量，判断魔方的位置是否摆放准确，如果摆放不准确则重新摆放魔方，重复步骤三至四，直至摆放准确为止，如果摆放准确则执行步骤五，具体步骤为：

a)把步骤三中采集得到的彩色图像转换为灰度图像，具体公式为：

Gray(x，y)＝0.2989×R_xy+0.5870×G_xy+0.1140×B_xy；

其中，Gray(x，y)表示灰度图像；

b)使用边缘检测算法提取色块轮廓；

图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；＝[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

由于待检测的魔方目标，在转换为灰度图后，彩色色块和魔方底色反差较大，因此可以将反差很大的彩色色块的轮廓视为当前图像的边缘，进而采用边缘检测的方法提取色块轮廓；常规的边缘提取算法，包括Sobel算子、Roberts算子、Prewitt算子和Canny算子等，具体公式为：

其中，|G(x，y)|表示边缘点的梯度幅值；

c)对于步骤b)中得出的色块边缘轮廓，使用形状上下文的形状匹配的方法对于获得的二值轮廓进行目标筛选，计算形状轮廓与魔方色块的形状距离；

其中，C_s表示标准椭圆形状轮廓与魔方彩色色块的形状距离值，g(k)和h(k)分别代表标准椭圆和待测形状的一组轮廓点集，M表示距离阈值，k表示轮廓点集内第k个元素点，K表示轮廓点集内含有的元素个数；当C_s小于M时，则判定当前彩色色块轮廓形状为椭圆；当C_s大于等于M时，判定当前是彩色色块轮廓形状不为椭圆；

d)由检测出的椭圆数量判定魔方在底板上的摆放位置是否准确，如果不准确则重新摆放魔方，重复执行步骤三至四，直至摆放位置准确位置，如果摆放位置准确则执行步骤五；

f)计算步骤c)中得到的椭圆形彩色色块的数量，单面扫描时，如果得到的椭圆形彩色色块数量与魔方单面宫格数量相同，则认为魔方位置摆放正确；双面扫描时如果得到的椭圆形彩色色块数量与魔方双面宫格数量相同，则认为魔方位置摆放正确；其它情况均认为魔方位置摆放错误；

步骤五，清楚环境光因素对步骤三中采集到的图像颜色的影响，实现颜色校正，得到原始场景图像；

人的视觉系统具有颜色恒常性，能从变化的光照环境和成像条件下获取物体表面颜色的不变特性，但成像设备不具有这样的调节功能，不同的光照环境会导致采集的图像颜色与真实颜色存在一定程度的偏差；因此在本游戏过程中，由于外界光照条件的变化，步骤三中前置摄像头采集到的图像会出现偏色；因此，需要采用灰度世界的方法对偏色图片进行颜色校正，将偏色图片转化为从图像中消除环境光的影响的原始场景图像；

灰度世界算法是以灰度世界假设为基础，对于一幅有着大量色彩变化的图像，R、G、B三个分量的平均值趋于同一灰度值；从物理意义上讲，灰色世界算法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为灰色，具体步骤为：

1)计算步骤三中采集到的图像在R、G、B三个颜色通道上的强度平均值，具体公式为：

其中，分别表示步骤三中采集到的图像在R、G、B三个颜色通道上的强度平均值，N表示图像的像素总数，R_i、G_i、B_i分别表示步骤三中采集到的图像在第i个像素上的红、绿、蓝三通道的强度分量值；

2)根据步骤1)中计算得出的强度平均值，计算步骤三中采集到的图像的平均灰度值；

其中，表示图像的平均灰度值；

3)计算R、G、B三个颜色通道的增益系数，具体公式为：

其中，k_r、k_g、k_b分别表示R、G、B三个颜色通道的增益系数；

4)采用Von Kries对角模型对步骤三中采集到的图像涉及到的每个像素值，进而得到原始图像；

依据步骤3)中计算出的k_r、k_g、k_b分别计算出原始场景图像中每个通道的像素值，具体公式为：

C(R′)＝R_xy×k_r

C(G′)＝G_xy×k_g

C(B′)＝B_xy×k_b

其中，C(R′)、C(G′)、C(B＇)分别表示原始场景图像在R、G、B三个颜色通道的像素值；

步骤六，定位魔方感兴趣区域ROI内每个色块的中心点；

采用单面扫描模式时，对感兴趣区域ROI提取得到的色块边缘轮廓进行椭圆拟合，定位得到与魔方阶数平方相同数量的圆心，以椭圆拟合达到的圆心作为色块的中心点；采用双面扫描模式时，对感兴趣区域ROI提取得到的色块边缘轮廓进行椭圆拟合，定位得到圆心，圆心数量为魔方阶数平方的2倍；

步骤七，针对步骤六中得到的每个色块的中心点划定区域，求出原始场景图像中的像素点在HSV颜色空间的H色调值，将原始场景图像转化为HSV颜色图像，具体步骤为：

A)当采用单面扫描模式时，以步骤六椭圆拟合得到的圆心作为色块的中心点，划定与魔方单面宫格数量相同的矩形区域；当采用双面扫描模式时，以步骤六椭圆拟合得到的圆心作为色块的中心点，划定与魔方双面宫格数量相同的矩形区域；

设定魔方的单面宫格数量为n，单面扫描时划定区域的集合表示为{Sec₁、Sec₂…Sec_n}，双面扫面时划定区域的集合表示为{Sec₁、Sec₂…Sec_2n}；

B)将步骤五中的原始场景图像转化为HSV颜色图像；

由于各种颜色在HSV颜色空间的H色调通道数值较为稳定，不同种类间的数值间隔大，因此将原始场景图像从RGB通道转化为HSV颜色空间，具体公式为：

V＝max{C(R′)、C(G′)、C(B′)}；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；

步骤八，设定六种颜色在H色调通道上的阈值区间，根据步骤七中计算出的H色调值计算划定区域在H色调通道上的像素平均值集合，将像素平均值集合与六种颜色在H色调通道上的阈值区间相比较，判断出扫描区域内每个色块的颜色，具体步骤为：

由于魔方是六面体，因此魔方的全部宫格由六种颜色构成，首先设定六种颜色在H色调通道上的阈值区间α、β、γ、δ、θ、

进一步地，分别求出划定区域集合{Sec₁、Sec₂…Sec_n}或者{Sec₁、Sec₂…Sec_2n}在H色调通道上的像素平均值集合{h₁、h₂…h_n}或者{h₁、h₂…h_2n}；

进一步地，将像素平均值集合{h₁、h₂…h_n}或者{h₁、h₂…h_2n}分别与六种颜色在H色调通道上的阈值区间α、β、γ、δ、θ、进行比较，判断出魔方扫描区域内每个宫格的颜色。

本实施例中，还包括步骤九：将步骤八中的扫描区域中的每个颜色返回给游戏程序，如果颜色与游戏程序内预先设定游戏颜色图案一致，则转动魔方平面，重复步骤三至九，直至所有魔方平面的颜色都完成为止。

本实施例中，步骤七中划定的区域为划定面积相等的矩形区域。

下面以标准椭圆、魔方色块和五边形轮廓对本发明进行具体说明：

(1)设定距离阈值M＝0.25，再分别从标准椭圆、形状为椭圆轮廓的魔方色块1以及形状为五边形轮廓的魔方色块2中分别提取出8个轮廓点，制成轮廓点表格，具体如下：

由于，g(k)和h(k)分别代表标准椭圆和待测形状的一组轮廓点集，因此标准椭圆中的8个轮廓点分别是g(k)点集中的点，而魔方色块、五边形轮廓分别是2个h(k)点集中的点，故将表格中的数据代入中，分别计算魔方色块与标准椭圆的形状距离值，以及五边形轮廓与标准椭圆的形状距离值；

魔方色块1与标准椭圆的形状距离值为：

由于0.103＜0.25，满足椭圆的判定条件，因此魔方色块为椭圆；

魔方色块2与标准椭圆的的形状距离值C_s＝0.639；由于0.639＞0.25，因此魔方色块2为非椭圆；

按照上述方式分别计算魔方单面宫格数量的魔方色块，判断其是否为椭圆，如果得到的椭圆形彩色色块数量与魔方单面宫格数量相同，则认为魔方位置摆放正确。

本发明的教育玩具套件以及魔方颜色识别方法设计巧妙；通过将游戏扫描界面的感兴趣区域ROI设置为多宫格形式，既美观简单，又与魔方的形状相同，判断更加快速，同时保留了趣味性和直观性。

本发明能够在日常各种光照环境下，去除环境光对图像的影响提供稳定准确的颜色识别结果。

本发明检测算法更加科学、成熟，将图像的灰度化转化、边缘检测、形状匹配的图像算法、颜色校正、HSV颜色空间转换相结合使用，能够快速的判断出魔方的摆放位置是否准确，便于魔方位置的快速调节，提高图像采集以及分析结果的准确率；以及判断出魔方宫格的颜色。

本发明计算速度快；通过将彩色向灰度化降低图片的内存，提高运算速度，每次颜色检测耗时在20ms左右，为玩家提供流畅的使用体验。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种教育玩具套件中基于HSV的魔方颜色识别方法，其特征在于，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，游戏程序中设置有扫描界面，在扫描界面上设置扫描感兴趣区域ROI，扫描界面包括单面扫描模式和双面扫描模式；

扫描界面由方形宫格组成，预先根据选择魔方的阶数，设置扫描感兴趣区域ROI；采用单面扫描模式时，感兴趣区域ROI与魔方的单面相同；采用双面扫描模式时，感兴趣区域ROI由2个垂直面组成，每个垂直面含有的宫格与魔方的单面相同；

步骤二，将平板电脑的底端安装于第二凹槽内，通过第四凹槽将头盔探测器安装于平板电脑的顶端，再将魔方放置于底板上；

步骤三，固定安装好后，通过平板电脑的前置摄像头采集图像；

步骤四，魔方的每个宫格由底面色和彩色色块组成，检测图像中魔方彩色色块的轮缘形状是否为椭圆形，计算得到的椭圆形彩色色块的数量，判断魔方的位置是否摆放准确，如果摆放不准确则重新摆放魔方，重复所述步骤三至四，直至摆放准确为止，如果摆放准确则执行步骤五；

所述步骤五，清楚环境光因素对所述步骤三中采集到的图像颜色的影响，实现颜色校正，得到原始场景图像；

步骤六，定位魔方感兴趣区域ROI内每个色块的中心点；

步骤七，针对所述步骤六中得到的每个色块的中心点划定区域，求出原始场景图像中的像素点在HSV颜色空间的H色调值，将原始场景图像转化为HSV颜色图像；

步骤八，设定六种颜色在H色调通道上的阈值区间，根据所述步骤七中计算出的H色调值计算划定区域在H色调通道上的像素平均值集合，将像素平均值集合与六种颜色在H色调通道上的阈值区间相比较，判断出扫描区域内每个色块的颜色。

2.根据权利要求1所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤三的具体步骤为：

将平板电脑前置摄像头所获取图像定义为I_xy，I_xy＝f(x，y)；

其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；

由于摄像头采集的图像为彩色图片，因此f(x，y)＝(R_xy，G_xy，B_xy)；

其中，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值。

3.根据权利要求2所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤四的具体步骤为：

a)把所述步骤三中采集得到的彩色图像转换为灰度图像，具体公式为：

Gray(x，y)＝0.2989×R_xy+0.5870×G_xy+0.1140×B_xy；

其中，Gray(x，y)表示灰度图像；

b)使用边缘检测算法提取色块轮廓；

图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值；

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

由于待检测的魔方目标，在转换为灰度图后，彩色色块和魔方底色反差较大，因此可以将反差很大的彩色色块的轮廓视为当前图像的边缘，进而采用边缘检测的方法提取色块轮廓；常规的边缘提取算法，包括Sobel算子、Roberts算子、Prewitt算子和Canny算子等，具体公式为：

其中，|G(x，y)|表示边缘点的梯度幅值；

c)对于所述步骤b)中得出的色块边缘轮廓，使用形状上下文的形状匹配的方法对于获得的二值轮廓进行目标筛选，计算形状轮廓与魔方色块的形状距离；

其中，C_s表示标准椭圆形状轮廓与魔方彩色色块的形状距离值，g(k)和h(k)分别代表标准椭圆和待测形状的一组轮廓点集，M表示距离阈值，k表示轮廓点集内第k个元素点，K表示轮廓点集内含有的元素个数；当C_s小于M时，则判定当前彩色色块轮廓形状为椭圆；当C_s大于等于M时，判定当前是彩色色块轮廓形状不为椭圆；

d)由检测出的椭圆数量判定魔方在底板上的摆放位置是否准确，如果不准确则重新摆放魔方，重复执行所述步骤三至四，直至摆放位置准确位置，如果摆放位置准确则执行所述步骤五；

f)计算所述步骤c)中得到的椭圆形彩色色块的数量，单面扫描时，如果得到的椭圆形彩色色块数量与魔方单面宫格数量相同，则认为魔方位置摆放正确；双面扫描时如果得到的椭圆形彩色色块数量与魔方双面宫格数量相同，则认为魔方位置摆放正确；其它情况均认为魔方位置摆放错误。

4.根据权利要求3所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤五的具体步骤为：

人的视觉系统具有颜色恒常性，能从变化的光照环境和成像条件下获取物体表面颜色的不变特性，但成像设备不具有这样的调节功能，不同的光照环境会导致采集的图像颜色与真实颜色存在一定程度的偏差；因此在本游戏过程中，由于外界光照条件的变化，所述步骤三中前置摄像头采集到的图像会出现偏色；因此，需要采用灰度世界的方法对偏色图片进行颜色校正，将偏色图片转化为从图像中消除环境光的影响的原始场景图像；

灰度世界算法是以灰度世界假设为基础，对于一幅有着大量色彩变化的图像，R、G、B三个分量的平均值趋于同一灰度值；从物理意义上讲，灰色世界算法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为灰色，具体步骤为：

1)计算所述步骤三中采集到的图像在R、G、B三个颜色通道上的强度平均值，具体公式为：

其中，分别表示步骤三中采集到的图像在R、G、B三个颜色通道上的强度平均值，N表示图像的像素总数，R_i、G_i、B_i分别表示步骤三中采集到的图像在第i个像素上的红、绿、蓝三通道的强度分量值；

2)根据所述步骤1)中计算得出的强度平均值，计算步骤三中采集到的图像的平均灰度值；

其中，表示图像的平均灰度值；

3)计算R、G、B三个颜色通道的增益系数，具体公式为：

其中，k_r、k_g、k_b分别表示R、G、B三个颜色通道的增益系数；

4)采用Von Kries对角模型对步骤三中采集到的图像涉及到的每个像素值，进而得到原始图像；

依据所述步骤3)中计算出的k_r、k_g、k_b分别计算出原始场景图像中每个通道的像素值，具体公式为：

C(R′)＝R_xy×k_r

C(G′)＝G_xy×k_g

C(B′)＝B_xy×k_b

其中，C(R′)、C(G′)、C(B′)分别表示原始场景图像在R、G、B三个颜色通道的像素值。

5.根据权利要求4所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤六的具体步骤为：

采用单面扫描模式时，对感兴趣区域ROI提取得到的色块边缘轮廓进行椭圆拟合，定位得到与魔方阶数平方相同数量的圆心，以椭圆拟合达到的圆心作为色块的中心点；采用双面扫描模式时，对感兴趣区域ROI提取得到的色块边缘轮廓进行椭圆拟合，定位得到圆心，圆心数量为魔方阶数平方的2倍。

6.根据权利要求5所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤七的具体步骤为：

A)当采用单面扫描模式时，以所述步骤六椭圆拟合得到的圆心作为色块的中心点，划定与魔方单面宫格数量相同的矩形区域；当采用双面扫描模式时，以所述步骤六椭圆拟合得到的圆心作为色块的中心点，划定与魔方双面宫格数量相同的矩形区域；

设定魔方的单面宫格数量为n，单面扫描时划定区域的集合表示为{Sec₁、Sec₂…Sec_n}，双面扫面时划定区域的集合表示为{Sec₁、Sec₂…Sec_2n}；

B)将步骤五中的原始场景图像转化为HSV颜色图像；

由于各种颜色在HSV颜色空间的H色调通道数值较为稳定，不同种类间的数值间隔大，因此将原始场景图像从RGB通道转化为HSV颜色空间，具体公式为：

V＝max{C(R′)、C(G＇)、C(B′)}；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间。

7.根据权利要求6所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤七中划定的区域为划定面积相等的矩形区域。

8.根据权利要求7所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，所述步骤八的具体步骤为：

由于魔方是六面体，因此魔方的全部宫格由六种颜色构成，首先设定六种颜色在H色调通道上的阈值区间α、β、γ、δ、θ、

进一步地，分别求出划定区域集合{Sec₁、Sec₂…Sec_n}或者{Sec₁、Sec₂…Sec_2n}在H色调通道上的像素平均值集合{h₁、h₂…h_n}或者{h₁、h₂…h_2n}；

进一步地，将像素平均值集合{h₁、h₂…h_n}或者{h₁、h₂…h_2n}分别与六种颜色在H色调通道上的阈值区间α、β、γ、δ、θ、进行比较，判断出魔方扫描区域内每个宫格的颜色。

9.根据权利要求1所述的一种教育玩具套件中基于HSV的魔方颜色识别方法中，其特征在于，还包括步骤九：将所述步骤八中的扫描区域中的每个颜色返回给游戏程序，如果颜色与游戏程序内预先设定游戏颜色图案一致，则转动魔方平面，重复所述步骤三至九，直至所有魔方平面的颜色都完成为止。