CN106097833B - 一种教育玩具套件及其数字识别方法 - Google Patents

Abstract

本发明涉及计算机视觉检测处理技术领域，提供了一种教育玩具套件及其数字识别方法，包括支架、头盔探测器和底垫，底垫上方具有2个控制凹槽，用于放置控制按键，下方具有数字凹槽，用于放置多种颜色的1‑9数字卡片；头盔探测器安装于支架上；头盔探测器还包括本体、第三凹槽、2个扇形块和凸面镜，并且第三凹槽位于本体内，在第三凹槽夹持平板电脑屏幕的端点处设置有凸面镜，凸面镜的另一端安装于头盔探测器边缘上，凸面镜与水平面夹角成锐角，2个扇形块位于凸面镜的2个边缘上。本发明能基于底垫轮廓信息，快速校正底垫位置，判定底垫下方的凹槽内放置的数字卡片摆放是否正确，增强趣味性、互动性，以及图像采集、分析结果的准确率。

Description

一种教育玩具套件及其数字识别方法

技术领域

本发明涉及计算机视觉检测处理技术领域，特别涉及一种教育玩具套件及其数字识别方法。

背景技术

现在平板电脑上有许多有趣的幼教游戏应用程序或者儿童游戏，但往往只是让小朋友在屏幕上指指画画，互动性欠缺，长时间看着屏幕容易对眼睛造成伤害；而当下一些互动性强的传统性游戏玩具已经脱离了时代的发展，形式上无法满足孩子学习、玩耍的需求，也不便于孩子和家长的互动沟通。

为了解决上述问题，计算机视觉与图像处理技术领域成功地开发了一种教育玩具套件，包括：支架、头盔探测器，底垫，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于平面上的底垫的图像。上述的教育玩具套件虽然解决了平板电脑中游戏的互动性欠缺的问题，但是底垫的摆放位置会出现偏差，导致摄像头不能采集到完整的图像，图像容易采集出错，分析结果不准确等问题的出现。

因此，计算机视觉与图像处理技术领域急需一种教育玩具套件及其数字的识别方法，能够基于底垫轮廓信息，快速校正底垫位置，利用相关性信息识别数字卡片的数字，颜色和位置信息，增强游戏的趣味性、以及互动性，提高图像采集以及分析结果的准确率。

发明内容

本发明为了解决上述问题，提供了一种教育玩具套件及其数字识别方法，技术方案如下：

一种教育玩具套件，包括：支架、头盔探测器，底垫，并且头盔探测器安装于支架上，底垫,上方具有第一控制凹槽和第二控制凹槽，第一控制凹槽和第二控制凹槽用于放置控制按键，下方具有9个数字凹槽，数字凹槽内用于放置具有多种颜色的1-9数字卡片；支架底部具有凸起，顶部具有第一凹槽和第二凹槽，第一凹槽用于放置平板电脑，平板电脑采集底垫信息；头盔探测器安装于第二凹槽内；

头盔探测器，还包括本体、第三凹槽、2个扇形块和反光镜，并且第三凹槽位于本体内，用于夹持不同型号的平板电脑，在第三凹槽夹持平板电脑屏幕的端点处设置有凸面镜，反光镜的另一端安装于头盔探测器边缘上，反光镜与水平面夹角成锐角，第三凹槽夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块位于反光镜的2个边缘上，用于固定反光镜和夹持平板电脑。

优选的，一种教育玩具套件，控制按键的颜色为紫色，数字卡片的颜色为红色、绿色和蓝色，数字卡片的颜色与字符颜色不一致。

一种教育玩具套件的数字识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底垫放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端，再将数字卡片放置于数字凹槽内；

步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；

步骤三，检测图像中数字卡片的数字、颜色和位置。

优选的，在上述的一种教育玩具套件的数字识别方法中，步骤二中前置摄像头采集的彩色图像为I_xy，I_xy＝f(x，y)＝(R_xy，G_xy，B_xy)，其中，(x，y)表示彩色图像像素点的位置坐标，f(x，y)表示图像在像素点坐标位置处的像素值，R_xv表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值。

优选的，在上述的一种教育玩具套件的数字识别方法中，步骤三的具体步骤为：

步骤1)，针对步骤二中的彩色图像I_xy，检测底垫的位置和角度，从彩色图像I_xy中提取底垫区域图像；

步骤2)，对步骤1)中得到的底垫图像进行再次提取，提取出数字凹槽区域做数字识别，提取出控制凹槽区域做控制凹槽状态识别。

优选的，在上述的一种教育玩具套件的数字识别方法中，步骤1)中从彩色图像I_xy中提取底垫区域图像的具体步骤为：

a)采用透视变换原理，将彩色图像I_xy转换成由上而下俯视的正视角图像；

b)根据先验知识，在正视角图像中提取出底垫感兴趣区域图像，即数字卡片放置的有效识别区域；

c)将步骤b)中的底垫感兴趣区域图像转换为灰度图像：

Gray(x，y)＝0.2989×R_xy+0.5870×G_xy+0.1140×B_xy

其中，Gray(x，y)表示灰度图像；

d)采用边缘检测算法检测图像中的强边缘；

图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示图像在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

由于待检测的底垫目标，在转换为灰度图后，底垫与平面背景存在色差，而不同颜色反差较大，因此可以将反差很大的底垫的轮廓视为当前图像的边缘，进而采用边缘检测算法提取出边缘点的梯度幅值集合，即为底垫的边缘轮廓；边缘提取算法包括Sobel算子、Roberts算子、Prewitt算子和Canny算子等，具体公式为：

其中，|G(x，y)|表示边缘点的梯度幅值；

e)对步骤d)中得出的底垫边缘轮廓进行膨胀处理，即从底垫边缘轮廓中提取出长方形的大块类矩形轮廓；

f)针对步骤e)中找到的矩形轮廓计算出底垫的位置区域和旋转角度，依据计算出的位置区域从步骤a)正视角图像中提取出彩色底垫区域位置。

优选的，在上述的一种教育玩具套件的数字识别方法中，步骤2)中提取出数字凹槽区域做数字识别，提取出控制凹槽区域做控制凹槽状态识别的具体步骤为：

步骤g)依据底垫上第一控制凹槽、第二控制凹槽和数字凹槽位置的先验知识提取出控制凹槽和数字凹槽内字符；

步骤h)根据控制凹槽内紫色像素的多少进行判断控制凹槽内是否放置了控制按键，根据数字凹槽里面红色、绿色、蓝色像素值的多少进行判断数字卡片上字符的颜色，如果数字凹槽里面的红、绿、蓝三种外的其它颜色像素值最多，则表明数字凹槽内没有放置任何数字卡片；

步骤i)将提取出来的字符转换成灰度图像，然后再采用OTSU大津算法进行阈值分割得到字符的二值化图像；

步骤j)从步骤i)的二值化图像中提取出字符的显著性轮廓；

步骤k)根据面积、中心点信息，过滤掉步骤j)的显著性轮廓中的干扰轮廓，得到字符的有效轮廓；

步骤l)根据步骤k)中字符的有效轮廓，计算有效轮廓的最小外接四边形，然后根据该四边形的位置从步骤i)字符的二值化字符图像内提取出相对应的二值图区域；

步骤m)将步骤l)中得到的二值图区域划分为四宫格，计算出该二值图区域内的白色像素比例，串联成一个1行4列的特征向量；

步骤o)分别计算步骤m)中特征向量与标准印刷体数字1-9特征向量的皮尔逊相关系数Pearson Correlation Coefficient，如果任一皮尔逊相关系数大于0.85，则认为二值图区域为该数字，具体的皮尔逊相关系数计算公式为：

其中，r表示皮尔逊相关系数,X变量表示印刷体标准像素比例，Y变量表示检测到的数字的像素比例，E表示数学期望值。

本发明的有益效果：

1、本发明游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。

2、本发明检测算法更加科学、成熟，将图像的透视变换、透视变换、色彩转换、皮尔逊相关系数等图像算法相结合使用，能够快速的判断出摆放的数字。

3、本发明计算速度快；每次定位检测耗时在90ms左右，为玩家提供流畅的使用体验。

4、本发明性能稳定，在对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。

附图说明

下面结合附图和具体实施方式来详细说明本发明：

图1是本发明一种教育玩具套件的结构示意图。

图2是本发明一种教育玩具套件中头盔探测器的结构示意图。

图3是本发明一种教育玩具套件的数字识别方法的流程图。

其中，图1-3中的附图标记与部件名称之间的对应关系为：

支架1，第一凹槽102，第二凹槽103，头盔探测器2，本体201，第三凹槽202，2个扇形块203，反光镜204，底垫3，第一控制凹槽301，第二控制凹槽302，数字凹槽303。

具体实施方式

为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1是本发明一种教育玩具套件的结构示意图。

图2是本发明一种教育玩具套件中头盔探测器的结构示意图。

如图1-2所示，一种教育玩具套件的数字识别方法，包括支架1、头盔探测器2和底垫3，并且头盔探测器2安装于支架1上；底垫3，上方具有第一控制凹槽301和第二控制凹槽302，第一控制凹槽301和第二控制凹槽302用于放置控制按键，下方具有9个数字凹槽303，数字凹槽303内用于放置具有多种颜色的1-9数字卡片；支架1，顶部具有第一凹槽102和第二凹槽103，第一凹槽102用于放置平板电脑，平板电脑采集底垫信息；头盔探测器2，安装于第二凹槽103内；头盔探测器2还包括：本体201、第三凹槽202、2个扇形块203和反光镜204，并且第三凹槽202位于本体201内，用于夹持不同型号的平板电脑，在第三凹槽202夹持平板电脑屏幕的端点处设置有反光镜204，反光镜204的另一端安装于头盔探测器2边缘上，反光镜204与水平面夹角成锐角，第三凹槽202夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块203位于反光镜204的2个边缘上，用于固定反光镜204和夹持平板电脑。

本实施例中，控制按键的颜色为紫色，数字卡片的颜色为红色、绿色和蓝色。

图3是本发明一种教育玩具套件的数字识别方法的流程图。

如图3所示，一种教育玩具套件的数字识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底垫放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端，再将数字卡片放置于数字凹槽内；

步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；

前置摄像头采集的彩色图像为I_xy，I_xy＝f(x，y)＝(R_xy，G_xy，B_xy)，其中，(x，y)表示彩色图像像素点的位置坐标，f(x，y)表示图像在像素点坐标位置处的像素值，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值；

步骤三，检测图像中数字卡片的数字、颜色和位置。

步骤1)，针对步骤二中的彩色图像I_xy，检测底垫的位置和角度，从彩色图像I_xy中提取底垫区域图像，具体步骤为：

a)采用透视变换原理，将彩色图像I_xy转换成由上而下俯视的正视角图像；

b)根据先验知识，在正视角图像中提取出底垫感兴趣区域图像，即数字卡片放置的有效识别区域；

c)将步骤b)中的底垫感兴趣区域图像转换为灰度图像：

Gray(x，y)＝0.2989×R_xy+0.5870×G_xy+0.1140×B_xy

其中，Gray(x，y)表示灰度图像；

d)采用边缘检测算法检测图像中的强边缘；

图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示图像在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

由于待检测的底垫目标，在转换为灰度图后，底垫与平面背景存在色差，而不同颜色反差较大，因此可以将反差很大的底垫的轮廓视为当前图像的边缘，进而采用边缘检测算法提取出边缘点的梯度幅值集合，即为底垫的边缘轮廓；边缘提取算法包括Sobel算子、Roberts算子、Prewitt算子和Canny算子等，具体公式为：

其中，|G(x，y)|表示边缘点的梯度幅值；

e)对步骤d)中得出的底垫边缘轮廓进行膨胀处理，即从底垫边缘轮廓中提取出长方形的大块类矩形轮廓；

如果没有检测出来矩形长方形，则卡片摆放不正确；如果检测出了大块矩形轮廓，则计算矩形轮廓长边与图像底边(宽轴)的角度是不是在预定义范围内(比如正负10度)，也认为卡片摆放不正确，反馈UI游戏界面来进行相应提醒。

f)针对步骤e)中找到的矩形轮廓计算出底垫的位置区域和旋转角度，依据计算出的位置区域从步骤a)正视角图像中提取出彩色底垫区域位置；

步骤2)，对步骤1)中得到的底垫图像进行再次提取，提取出数字凹槽区域做数字识别，提取出控制凹槽区域做控制凹槽状态识别，具体步骤为：

步骤g)依据底垫上第一控制凹槽、第二控制凹槽和数字凹槽位置的先验知识提取出控制凹槽和数字凹槽内字符；

步骤h)根据控制凹槽内紫色像素的多少进行判断控制凹槽内是否放置了控制按键，根据数字凹槽里面红色、绿色、蓝色像素值的多少进行判断数字卡片上字符的颜色，如果数字凹槽里面的红、绿、蓝三种外的其它颜色像素值最多，则表明数字凹槽内没有放置任何数字卡片；

步骤i)将提取出来的字符转换成灰度图像，然后再采用OTSU大津算法进行阈值分割得到字符的二值化图像；

步骤j)从步骤i)的二值化图像中提取出字符的显著性轮廓；

步骤k)根据面积、中心点信息，过滤掉步骤j)的显著性轮廓中的干扰轮廓，得到字符的有效轮廓；

步骤l)根据步骤k)中字符的有效轮廓，计算有效轮廓的最小外接四边形，然后根据该四边形的位置从步骤i)字符的二值化字符图像内提取出相对应的二值图区域；

步骤m)将步骤l)中得到的二值图区域划分为四宫格，计算出该二值图区域内的白色像素比例，串联成一个1行4列的特征向量；

步骤o)分别计算步骤m)中特征向量与标准印刷体数字1-9特征向量的皮尔逊相关系数Pearson Correlation Coefficient，如果任一皮尔逊相关系数大于0.85，则认为二值图区域为该数字，具体的皮尔逊相关系数计算公式为：

其中，r表示皮尔逊相关系数,X变量表示印刷体标准像素比例，Y变量表示检测到的数字的像素比例，E表示数学期望值。

印刷体字符的标准像比例X如下表所示：

此表格是0～9印刷字体的标准系数，应该与我们检测出来的当前图像的四宫格系数联系起来一起计算，它们之间的皮尔逊相关系数，从而判断它们的相关性是不是够大。例如：检测出的四个像素值Y分别为左上白色像素比例0.801，右上白色像素比例0.723，左下白色像素比例0.512，右下白色像素比例0.540；利用皮尔逊相关系数计算所得r5≈0.92，明显大于0.85，而其余数字都小于0.85的皮尔逊相关系数，则表现为与其余数字不相关，所以认为检测出来的数字为5。

本发明游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。

本发明检测算法更加科学、成熟，将图像的透视变换、透视变换、色彩转换、皮尔逊相关系数等图像算法相结合使用，能够快速的判断出摆放的数字。

本发明计算速度快；每次定位检测耗时在90ms左右，为玩家提供流畅的使用体验。

本发明性能稳定，在对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (1)

1.一种教育玩具套件的数字识别方法，其特征在于，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底垫放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端，再将数字卡片放置于数字凹槽内；

步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；

步骤三，检测图像中数字卡片的数字、颜色和位置；

所述步骤二中前置摄像头采集的彩色图像为，，其中，表示彩色图像像素点的位置坐标，表示图像在像素点坐标位置处的像素值，表示图像像素点在红色通道的色彩值，表示图像像素点在绿色通道的色彩值，表示图像像素点在蓝色通道的色彩值；

所述步骤三的具体步骤为：

步骤1），针对所述步骤二中的彩色图像，检测底垫的位置和角度，从彩色图像中提取底垫区域图像；

步骤2），对所述步骤1）中得到的底垫图像进行再次提取，提取出数字凹槽区域做数字识别，提取出控制凹槽区域做控制凹槽状态识别，

所述步骤1）中从彩色图像中提取底垫区域图像的具体步骤为：

a）采用透视变换原理，将彩色图像转换成由上而下俯视的正视角图像；

b）根据先验知识，在正视角图像中提取出底垫感兴趣区域图像，即数字卡片放置的有效识别区域；

c）将所述步骤b）中的底垫感兴趣区域图像转换为灰度图像：

其中，表示灰度图像；

d）采用边缘检测算法检测图像中的强边缘；

图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

其中，表示相邻像素在x方向上的差分，表示相邻像素在y方向上的差分，表示图像在第行第列的像素值，表示图像在第行第列的像素值；表示图像在第行第列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，表示图像在点上梯度值， 表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

由于待检测的底垫目标，在转换为灰度图后，底垫与平面背景存在色差，而不同颜色反差较大，因此可以将反差很大的底垫的轮廓视为当前图像的边缘，进而采用边缘检测算法提取出边缘点的梯度幅值集合，即为底垫的边缘轮廓；边缘提取算法包括Sobel算子、Roberts 算子、Prewitt算子和Canny算子，具体公式为：

其中，表示边缘点的梯度幅值；

e）对所述步骤d）中得出的底垫边缘轮廓进行膨胀处理，即从底垫边缘轮廓中提取出长方形的大块类矩形轮廓；

f）针对所述步骤e）中找到的矩形轮廓计算出底垫的位置区域和旋转角度，依据计算出的位置区域从步骤a）正视角图像中提取出彩色底垫区域位置；

所述步骤2）中提取出数字凹槽区域做数字识别，提取出控制凹槽区域做控制凹槽状态识别的具体步骤为：

步骤g）依据底垫上第一控制凹槽、第二控制凹槽和数字凹槽位置的先验知识提取出控制凹槽和数字凹槽内字符；

步骤h）根据控制凹槽内紫色像素的多少进行判断控制凹槽内是否放置了控制按键，根据数字凹槽里面红色、绿色、蓝色像素值的多少进行判断数字卡片上字符的颜色，如果数字凹槽里面的红、绿、蓝三种外的其它颜色像素值最多，则表明数字凹槽内没有放置任何数字卡片；

步骤i）将提取出来的字符转换成灰度图像，然后再采用OTSU大津算法进行阈值分割得到字符的二值化图像；

步骤j）从所述步骤i）的二值化图像中提取出字符的显著性轮廓；

步骤k）根据面积、中心点信息，过滤掉所述步骤j）的显著性轮廓中的干扰轮廓，得到字符的有效轮廓；

步骤l）根据所述步骤k）中字符的有效轮廓，计算有效轮廓的最小外接四边形，然后根据该四边形的位置从步骤i）字符的二值化字符图像内提取出相对应的二值图区域；

步骤m）将所述步骤l）中得到的二值图区域划分为四宫格，计算出该二值图区域内的白色像素比例，串联成一个1行4列的特征向量；

步骤o）分别计算所述步骤m）中特征向量与标准印刷体数字1-9特征向量的皮尔逊相关系数Pearson Correlation Coefficient，如果任一皮尔逊相关系数大于0.85，则认为二值图区域为该数字，具体的皮尔逊相关系数计算公式为：

其中，表示皮尔逊相关系数，X变量表示印刷体标准像素比例，Y变量表示检测到的数字的像素比例，E表示数学期望值。