CN215910930U - 一种结合形状与颜色信息的英语有声卡 - Google Patents

Abstract

一种结合形状与颜色信息的英语有声卡，它包含卡片本体，以及安装有与识字有声卡配套APP的智能设备；所述的卡片本体整体为矩形结构；卡片本体的底色为白色；卡片本体的上部设有长椭圆形区域，长椭圆形区域的中部设有水平矩形区域；水平矩形区域内设有数字编码；通过APP打开智能设备摄像头，启动实时摄像、扫卡过程，通过实时读取摄像头的每一帧画面，然后利用相关图像处理算法在画面中检测是否存在识字卡片，利用光学字符识别算法检测是否存在卡片对应的数字编号，然后根据编号播放对应的音频文件；本实用新型既可以解决老人发音不标准的问题，又可以保护幼儿的视力，在幼儿能够熟练使用之后，还可以自己单独学习，节约更多的人力。

Description

一种结合形状与颜色信息的英语有声卡

技术领域

本实用新型涉及一种识字卡，具体涉及一种结合形状与颜色信息的英语有声卡。

背景技术

针对儿童的卡片识字，是幼儿教育中很重要的方式。但是，由于广大用户，尤其是农村地区的老年人，普遍存在的口音问题，包括汉语与英语，导致很难提高教学质量。老人在对幼儿进行识字教育时，如何读英语单词、英语句子，如何把普通话中的字词准确读出来，是一个难度较大的问题。此外，手机上的APP直接进行识字教育，对幼儿视力有严重损害。

实用新型内容

本实用新型的目的在于针对现有技术的缺陷和不足，提供一种结构简单、设计合理、使用方便的结合形状与颜色信息的英语有声卡，既可以解决老人发音不标准的问题，又可以保护幼儿的视力，在幼儿能够熟练使用之后，还可以自己单独学习，节约更多的人力。

为实现上述目的，本实用新型采用的技术方案是：它包含卡片本体，以及安装有与识字有声卡配套APP的智能设备；所述的卡片本体整体为矩形结构；卡片本体的底色为白色；卡片本体上距顶部五分之一处设有一个水平的长椭圆形区域，长椭圆形区域的底色为纯绿色；长椭圆形区域的方向与卡片本体水平方向保持一致，长椭圆形区域的上下边界与卡片本体顶部边界平行；长椭圆形区域的中部设有水平矩形区域；水平矩形区域的中心与长椭圆形区域的中心重合；水平矩形区域的底色为白色；水平矩形区域内设有六个等间距、等大小的数字字符，形成数字编码；六个数字字符以不同的颜色显示；卡片本体的其余部分为展示区域；

进一步地，长椭圆形区域的顶部边界与卡片本体的顶部边界之间设有间隙；

进一步地，水平矩形区域的长宽比大于3；

进一步地，水平矩形区域内的数字字符可为0-9中的任一数字；0-9分别对应颜色：红橙黄绿青蓝紫黑灰棕；

进一步地，智能设备为智能手机或平板。

上述结合形状与颜色信息的英语有声卡的使用方法，包含如下步骤：

一、智能设备的放置：将预先装有与识字有声卡配套APP的智能设备放置于用户前方的支撑面上，智能设备背部的摄像头正对用户；智能设备与用户之间的距离为30-40cm；智能设备的屏幕表面方向与支撑面保持垂直；支撑面为桌子表面或茶几表面；

二、开启APP：打开APP，通过APP控制智能设备打开摄像头，启动实时摄像、扫卡过程；

三、卡片本体识别触发：将卡片本体放置于智能设备摄像头前方10-20cm的距离处，保持静止，触发APP的自动识别与读卡流程；

四、运动信息检测：APP通过实时读取摄像头的每一帧画面，利用图像处理算法在画面中检测是否存在识字卡片本体，并将处于运动模糊状态的视频帧过滤；

五、卡片本体上长椭圆形区域的定位与验证；

六、文字的提取与识别：在完成针对长椭圆形区域的定位与验证之后，对文字进行识别；

七、连续两帧的识别结果进行对比，判断是否播放音频文件；

八、智能设备根据卡片本体上的数字编码播放对应的音频文件。

进一步地，步骤三中用户放置卡片本体时，避免卡片本体倒置、左右侧翻，不要遮挡卡片本体顶部的长椭圆形区域，保证长椭圆形区域在卡片本体的顶部；

进一步地，步骤四中运动信息检测的具体步骤如下：

a、将当前图像帧，与前一帧图像帧计算帧差图，两张图相同位置的像素，逐一比较RGB的差值；

b、设定阈值为20，比较帧差图中的每一个像素值，是否高于该阈值；如果高于阈值，则将该像素作为前景，否则作为背景，得到帧差前景图；

c、设定面积阈值为30，对前景图提取连通域，过滤掉小面积连通域；

d、过滤掉小面积连通域之后，依然存在大面积连通域，说明此时存在较大的运动，不适合进行卡片识别，应该忽略当前帧；

e、过滤掉小面积连通域之后，前景图中不存在大面积连通域，说明前后两帧不存在运动，此时的图像帧处于用户已经将卡片本体正确放置、并且手部静止下来的情形，此时的图片帧可以用于进行后续步骤。

进一步地，步骤五中卡片本体上长椭圆形区域的定位的具体方法包含如下步骤：

a、基于颜色的连通域提取：利用偏色特性，将长椭圆形区域从图像中提取出来；

1)对图像中每一个像素点的，分析其RGB的值，如果满足如下条件，则判断为前景，提取出来：

abs(R-G)＞th或者abs(G-B)＞th或者abs(B-R)＞th

其中，th为阈值，th＝20；

2)对前景图进行连通域分析，去掉尺寸较小的连通域；

b、基于形状的候选区域提取：

在卡片本体没发生倾倒的现象时，长椭圆形区域是一个水平扁长形状的区域；对上述基于颜色的连通域提取步骤中的每一个连通域，提取其最小外接矩形，得到其长宽比与长轴水平夹角；如果不满足长宽比大于3、长轴与水平轴夹角小于30度这两个条件，则忽略该连通域，不认为其是长椭圆形区域；

c、轮廓分析与分叉点定位：

确定长椭圆形区域轮廓两端的半圆部分与中间矩形部分轮廓的四个交点，为分叉点，进行定位，具体过程如下：

1)利用上述基于形状的候选区域提取步骤筛选过后的连通域，提取其轮廓；

2)对轮廓点进行遍历，通过直线拟合，得到中间矩形部分的上侧和下侧两条直线段；

3)上方和下方直线段的左右端点，就是四个分叉点；

d、利用DLT变换进行校正：在得到四个分叉点之后，利用DLT变换消除视角的影响，具体过程如下：

1)将长椭圆的模板图实现存储好，用于制作卡片本体的长椭圆形区域的模板图，记录模板图中四个分叉点的坐标值；

2)将四个分叉点在当前帧图像中的坐标值，与模板图中的对应坐标值联系起来；

3)利用DLT变换，计算从当前图到模板图两个平面之间的映射矩阵H；

4)利用映射矩阵H，将当前图进行视角校正，使得长椭圆形区域的旋转角、视角都得到校正，变得横平竖直；

e、验证长椭圆形区域，验证合格条件如下：

1)长椭圆形区域中部存在水平矩形区域，且水平矩形区域的长宽比大于3：

2)水平矩形区域内的连通域数量为6；

3)所有连通域的中心点y坐标，彼此偏差不超过10个像素；

4)相邻两个连通域之间的间距，称为字符间距；矩形内部所有字符间距，彼此差距不超过5个像素；

5)每个连通域的宽度与高度，与模板图中的记录的字符宽高的差值不超过5个像素；

f、校正后的图，与椭圆模板图的逐像素对比：将校正后的长椭圆形区域的前景图，与模板图基础上得到的前景图，进行逐像素的比较，当95％以上的前景像素能够匹配时，认为该区域是长椭圆形区域，否则忽略。

进一步地，步骤六中文字的提取与识别的具体步骤如下：

a、文字像素提取；文字的颜色包括各种彩色，以及黑色、灰色，与背景的白色有着明显差异；在利用矩形区域的底色进行颜色校正之后，对矩形区域内的每一个像素，将其RGB值与底色进行比较，颜色与底色差距较大，即RGB三个值中只要有一个与底色差距较大，且颜色值属于字符候选颜色范围中作为前景提取出来，数字字符可能的颜色值，已经事先存储好，利用色相Hue进行比较；

b、基于神经网络的字符识别：从上述文字像素提取步骤中的得到的前景图基础上，提取每一个字符对应的连通域，进行尺寸归一化，然后将该字符子图输入到事先训练好的神经网络MLP中进行分类，得到数字类型，MLP事先利用大量的样本进行训练；

c、字符颜色识别：将上述基于神经网络的字符识别步骤中的字符识别结果，与当前字符的颜色信息进行匹配，通过查询事先记录的每一种字符的颜色值，分析该识别结果是否在其对应的颜色范围内，从而决定该字符识别结果是否正确，如果不正确，终止整个过程，进入下一帧；

d、利用颜色信息、数字识别结果，从候选列表中找到卡片数字编码：得到所有的六个数字的颜色、识别结果之后，将其与候选列表中的卡片数字编码进行比较；只有当所有字符的颜色、字符值，同时与记录的卡片信息对应上了，才算识别正确。

进一步地，步骤七中连续两帧的识别结果进行对比的具体方法如下：

a、将上一帧的识别结果保存下来；

b、若上一帧没有得到正确的识别结果，即没有出现卡片，或者是识别结果不存在于卡片列表中的情况，则记录当前帧的结果，并且等待下一帧出现有效识别结果；

c、比较前后两次的识别结果，是否数字编码完全一致；

d、如果不一致，则继续重复上述流程，当前帧的结果不能用于播放声音；

e、前后两次一致，说明识别结果正确，可以用于播放声音；

进一步地，步骤八中智能设备根据卡片本体上的数字编码播放对应的音频文件的具体步骤如下：

a、当前正在播放某个音频文件，且其对应的数字编码与当前识别结果相同，则不播放，忽略最新结果；

b、当前正在播放的音频文件，其数字编码跟当前识别结果不同，则需要中止播放，立即播放新的文件；

c、播放器播放完毕，则需清空记录，随时等待新的识别结果的到来。

采用上述方案后，本实用新型所述的一种结合形状与颜色信息的英语有声卡，具有以下优点：

1、与识字卡片配套的App，包含了读音信息，解决了老年人发音不标准的问题；

2、幼儿不需要直视手机等各种电子屏，不会损伤眼睛；

3、使用便捷，只需要将卡片本体对准智能设备摄像头，就能播放声音，幼儿可以独立使用；

4、同时结合形状和颜色，有效提高卡片本体的识别率。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本实用新型中卡片本体的结构示意图；

图2是长椭圆形区域上的分叉点的位置示意图。

附图标记说明：

1、卡片本体；2、长椭圆形区域；3、矩形区域；4、数字编码；5、展示区域；6、分叉点。

具体实施方式

下面结合附图，对本实用新型作进一步的说明。

本具体实施方式采用的技术方案是：参看图1所示，它包含卡片本体1，以及安装有与识字有声卡配套APP的智能设备；智能设备为智能手机或平板；APP采用阿卜丁听听APP；所述的卡片本体1整体为矩形结构；卡片本体1的底色为白色；卡片本体1上距顶部五分之一处设有一个水平的长椭圆形区域2，长椭圆形区域2的底色为纯绿色，RGB值为[0，255，0]；长椭圆形区域2的方向与卡片本体1水平方向保持一致，长椭圆形区域2的上下边界与卡片本体1顶部边界平行；长椭圆形区域2的顶部边界与卡片本体1的顶部边界之间设有间隙，形成一个空白区域；长椭圆形区域2的中部设有水平矩形区域3；水平矩形区域3的中心与长椭圆形区域2的中心重合；水平矩形区域3的长宽比大于3；水平矩形区域3的底色为白色；水平矩形区域3内设有六个等间距、等大小的数字字符，形成数字编码4；六个数字字符以不同的颜色显示；水平矩形区域内的数字字符可为0-9中的任一数字；0-9分别对应颜色：红橙黄绿青蓝紫黑灰棕；卡片本体1的其余部分为展示区域5，用来展示图形、单词、词语、句子等内容。

上述结合形状与颜色信息的英语有声卡的使用方法，包含如下步骤：

一、智能设备的放置：将预先装有阿卜丁听听APP的智能设备放置于用户前方的支撑面上，智能设备背部的摄像头正对用户；智能设备与用户之间的距离为30-40cm；智能设备的屏幕表面方向与支撑面保持垂直；支撑面为桌子表面或茶几表面；

二、开启APP：打开阿卜丁听听APP，通过APP控制智能设备打开摄像头，启动实时摄像、扫卡过程；

三、卡片本体1识别触发：将卡片本体1放置于智能设备摄像头前方10-20cm的距离处，保持静止，触发APP的自动识别与读卡流程；用户放置卡片本体1时，避免卡片本体1倒置、左右侧翻，不要遮挡卡片本体1顶部的长椭圆形区域2，保证长椭圆形区域2在卡片本体1的顶部；

四、运动信息检测：在用户将卡片本体1放到摄像头前的过程中，在手部急速运动时，很容易导致手机拍摄的图像出现运动模糊，尤其是旧手机，拍摄图像质量偏低，更加容易出现这种现象；当运动模糊出现时，卡片本体1上的数字编码将无法看清、无法识别，因此需要APP通过实时读取摄像头的每一帧画面，利用图像处理算法在画面中检测是否存在识字卡片本体1，并将处于运动模糊状态的视频帧过滤，具体步骤如下：

a、将当前图像帧，与前一帧图像帧计算帧差图，两张图相同位置的像素，逐一比较RGB的差值；

b、设定阈值为20，比较帧差图中的每一个像素值，RGB同时比较，是否高于该阈值，RGB只要有一个高于阈值就可以判断；如果高于阈值，则将该像素作为前景，否则作为背景，得到帧差前景图；

c、设定面积阈值为30，对前景图提取连通域，过滤掉小面积连通域；

d、过滤掉小面积连通域之后，依然存在大面积连通域，说明此时存在较大的运动，不适合进行卡片识别，应该忽略当前帧；

e、过滤掉小面积连通域之后，前景图中不存在大面积连通域，说明前后两帧不存在运动，此时的图像帧处于用户已经将卡片本体1正确放置、并且手部静止下来的情形，此时的图片帧可以用于进行后续步骤；

五、卡片本体1上长椭圆形区域的定位与验证，具体方法如下：

a、基于颜色的连通域提取：由于长椭圆形区域2是具有颜色的，因此可利用偏色特性，将长椭圆形区域2从图像中提取出来；

1)对图像中每一个像素点的，分析其RGB的值，如果满足如下条件，则判断为前景，提取出来：

abs(R-G)＞th或者abs(G-B)＞th或者abs(B-R)＞th；

其中，th为阈值，th＝20；

2)对前景图进行连通域分析，去掉尺寸较小的连通域；

b、基于形状的候选区域提取：

在卡片本体1没发生倾倒的现象时，长椭圆形区域2是一个水平扁长形状的区域；对上述基于颜色的连通域提取步骤中的每一个连通域，提取其最小外接矩形，得到其长宽比与长轴水平夹角；如果不满足长宽比大于3、长轴与水平轴夹角小于30度这两个条件，则忽略该连通域，不认为其是长椭圆形区域2；

c、轮廓分析与分叉点定位：

参看图2所示，确定长椭圆形区域2轮廓两端的半圆部分与中间矩形部分轮廓的四个交点，为分叉点6，进行定位，用于后面的视角校正，具体过程如下：

1)利用上述基于形状的候选区域提取步骤筛选过后的连通域，提取其轮廓；

2)对轮廓点进行遍历，通过直线拟合，得到中间矩形部分的上侧和下侧两条直线段；

3)上方和下方直线段的左右端点，就是四个分叉点6；

d、利用DLT变换进行校正：在得到四个分叉点6之后，利用DLT变换消除视角的影响，具体过程如下：

1)将长椭圆的模板图实现存储好，用于制作卡片本体1的长椭圆形区域2的模板图，记录模板图中四个分叉点6的坐标值；

2)将四个分叉点6在当前帧图像中的坐标值，与模板图中的对应坐标值联系起来；

3)利用DLT变换，计算从当前图到模板图两个平面之间的映射矩阵H；DLT变换即直接线性映射Direct Linear Transform；

4)利用映射矩阵H，将当前图进行视角校正，使得长椭圆形区域2的旋转角、视角都得到校正，变得横平竖直；

e、进一步验证长椭圆形区域2，验证合格条件如下：

1)长椭圆形区域2中部存在水平矩形区域3，且水平矩形区域3的长宽比大于3；

2)水平矩形区域3内的连通域数量为6；

3)所有连通域的中心点y坐标，彼此偏差不超过10个像素；

4)相邻两个连通域之间的间距，称为字符间距；矩形内部所有字符间距，彼此差距不超过5个像素；

5)每个连通域的宽度与高度，与模板图中的记录的字符宽高的差值不超过5个像素；

f、校正后的图，与椭圆模板图的逐像素对比：将校正后的长椭圆形区域2的前景图，与模板图基础上得到的前景图，进行逐像素的比较，当95％以上的前景像素能够匹配时，认为该区域是长椭圆形区域2，否则忽略；

为了提高识别的准确率，防止因为识别错误导致的错误播放，可以将长椭圆形区域2的颜色信息利用起来，具体如下：

a、为长椭圆形区域2设计多种颜色，比如：红橙黄绿青蓝紫等，这些有明显偏色的颜色，易于检测，黑色、灰色、白色，不能选择，没有偏色的区域不容易从图像中检测出来；

b、将识字卡片本体1分成多个系列，每个系列包含几十到几百张卡片，每个系列对应一种固定的颜色；

c、每种系列下包含的卡片本体的数字编码，都存储在内存中，供识别算法使用；

d、利用水平矩形区域3内部底色，进行颜色校正、亮度校正；

e、对长椭圆形区域2内的色彩进行识别：计算该区域内的RGB色彩的均值，然后计算色相H值，RGB颜色空间与HSV颜色空间的转换，在事先存储的各个系列的色相值中进行查询，H值差值小于阈值，则认为属于该系列；

f、后面的数字串识别，只在该系列中进行检索、核对，这样可以提高识别的准确率。

六、文字的提取与识别：在完成针对长椭圆形区域2的定位与验证之后，对文字进行识别，具体步骤如下：

a、文字像素提取；文字的颜色包括各种彩色，以及黑色、灰色，与背景的白色有着明显差异；在利用矩形区域3的底色进行颜色校正之后，对矩形区域3内的每一个像素，将其RGB值与底色进行比较，颜色与底色差距较大，即RGB三个值中只要有一个与底色差距较大，且颜色值属于字符候选颜色范围中作为前景提取出来，数字字符可能的颜色值，已经事先存储好，利用色相Hue进行比较；

b、基于神经网络的字符识别：从上述文字像素提取步骤中的得到的前景图基础上，提取每一个字符对应的连通域，进行尺寸归一化，然后将该字符子图输入到事先训练好的神经网络MLP中进行分类，得到数字类型，MLP事先利用大量的样本进行训练；

c、字符颜色识别：将上述基于神经网络的字符识别步骤中的字符识别结果，与当前字符的颜色信息进行匹配，通过查询事先记录的每一种字符的颜色值，分析该识别结果是否在其对应的颜色范围内，从而决定该字符识别结果是否正确，如果不正确，终止整个过程，进入下一帧；

d、利用颜色信息、数字识别结果，从候选列表中找到卡片数字编码：得到所有的六个数字的颜色、识别结果之后，将其与候选列表中的卡片数字编码进行比较；只有当所有字符的颜色、字符值，同时与记录的卡片信息对应上了，才算识别正确；

七、连续两帧的识别结果进行对比，判断是否播放音频文件；

任何文字识别算法，都存在识别错误的可能；尤其是本实用新型对应的场景，6个数字是独立的，前后都没有关联，整体识别正确的概率比单词要低；因此，为了进一步提高识别率，防止某一帧出现的错误，采用如下方法：

a、将上一帧的识别结果保存下来；

b、若上一帧没有得到正确的识别结果，即没有出现卡片，或者是识别结果不存在于卡片列表中的情况，则记录当前帧的结果，并且等待下一帧出现有效识别结果；

c、比较前后两次的识别结果，是否数字编码完全一致；

d、如果不一致，则继续重复上述流程，当前帧的结果不能用于播放声音；

e、前后两次一致，说明识别结果正确，可以用于播放声音；

八、智能设备根据卡片本体1上的数字编码播放对应的音频文件，具体步骤如下：

a、当前正在播放某个音频文件，且其对应的数字编码与当前识别结果相同，则不播放，忽略最新结果；

b、当前正在播放的音频文件，其数字编码跟当前识别结果不同，则需要中止播放，立即播放新的文件；

c、播放器播放完毕，则需清空记录，随时等待新的识别结果的到来。

当卡片本体1出现倒置、左右侧翻的现象时，当前帧图像不存在运动模糊，且没有检测到数字编码，则假设当前图向左倾倒；将该图右向旋转90度，继续检测；若还没有检测到数字编码，则假设当前图向右倾倒，将原图左向旋转90度，继续检测；若依旧没有检测到数字编码，则假设当前图上下倾倒，将原图旋转180度，继续检测；若依旧没有检测到数字编码，则说明此时确实不存在卡片；为了降低计算量，如果前一帧在某个方向上检测到了数字编码，则后续帧沿用该方向，不需要再往其余三个方向旋转尝试，以节约算力。

以上所述，仅用以说明本实用新型的技术方案而非限制，本领域普通技术人员对本实用新型的技术方案所做的其它修改或者等同替换，只要不脱离本实用新型技术方案的精神和范围，均应涵盖在本实用新型的权利要求范围当中。

Claims (5)

1.一种结合形状与颜色信息的英语有声卡，其特征在于它包含卡片本体，以及安装有与识字有声卡配套APP的智能设备；所述的卡片本体整体为矩形结构；卡片本体的底色为白色；卡片本体上距顶部五分之一处设有一个水平的长椭圆形区域，长椭圆形区域的底色为纯绿色；长椭圆形区域的方向与卡片本体水平方向保持一致，长椭圆形区域的上下边界与卡片本体顶部边界平行；长椭圆形区域的中部设有水平矩形区域；水平矩形区域的中心与长椭圆形区域的中心重合；水平矩形区域的底色为白色；水平矩形区域内设有六个等间距、等大小的数字字符，形成数字编码；六个数字字符以不同的颜色显示；卡片本体的其余部分为展示区域。

2.根据权利要求1所述的一种结合形状与颜色信息的英语有声卡，其特征在于长椭圆形区域的顶部边界与卡片本体的顶部边界之间设有间隙。

3.根据权利要求1所述的一种结合形状与颜色信息的英语有声卡，其特征在于水平矩形区域的长宽比大于3。

4.根据权利要求3所述的一种结合形状与颜色信息的英语有声卡，其特征在于水平矩形区域内的数字字符可为0-9中的任一数字；0-9分别对应颜色：红橙黄绿青蓝紫黑灰棕。

5.根据权利要求1所述的一种结合形状与颜色信息的英语有声卡，其特征在于智能设备为智能手机或平板。

Images