CN108734164A - 卡片、识别卡片的方法、绘本阅读机器人及存储设备 - Google Patents

Abstract

本申请公开了一种卡片、识别卡片的方法、绘本阅读机器人及存储设备。该卡片上具有标志，所述标志包括位置探测图形和卡片类别编码，所述位置探测图形为中心旋转对称图形；该方法包括：将卡片图像二值化；沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置；根据位置探测图形的位置、以及位置探测图形和卡片类别编码的相对位置识别出卡片类别。本申请利用卡片标志信息进行卡片定位和识别，不受限于卡片的外观形状变化影响，对于新增的卡片形状不需要重新训练检测器模型，同时由于位置定位图形的对称性，能够支持任意角度的卡片检测。

Description

卡片、识别卡片的方法、绘本阅读机器人及存储设备

技术领域

本申请涉及图像识别领域，尤其涉及一种卡片、识别卡片的方法、绘本阅读机器人及存储设备。

背景技术

图1为计算机组成结构框图，其中示出了计算机的主要部件。图1中，处理器110、内部存储器105、总线桥120以及网络接口115接入系统总线140，总线桥120用于桥接系统总线140和I/O总线145，I/O接口接入I/O总线145，USB接口以及外部存储器与I/O接口连接。图1中，处理器110可以为一个或多个处理器，每个处理可以具有一个或者多个处理器内核；内部存储器105为易失性存储器，例如寄存器、缓存器、各种类型的随机存取存储器等；在计算机开机运行的时候，内部存储器105中的数据包括操作系统和应用程序；网络接口115可以为以太网接口、光纤接口等；系统总线140可以用来传送数据信息、地址信息、以及控制信息；总线桥120可以用来进行协议转换，将系统总线协议转换为I/O协议或者将I/O协议转换为系统总线协议以实现数据传输；I/O总线145用来数据信息和控制信息，还可以总线终结电阻或电路来降低信号反射干扰；I/O接口130主要与各种外部设备连接，例如键盘、鼠标、传感器等等，闪存可以通过USB接口接入I/O总线，外部存储器为非易失性存储器，例如硬盘、光盘等。在计算机开机之后，处理器可以将存储于外部存储其中的数据读取到内部存储器中，并对内部存储其中的计算机指令进行处理，完成操作系统以及应用程序的功能。该示例计算机可以为台式机、笔记本电脑、平板电脑、智能手机、绘本阅读机器人等。

随着人工智能的发展，越来越多的绘本阅读机器人推向儿童早教市场，通过识别卡片上的物体，例如各种形状交通工具、乐器、动植物等内容进行语音播报或者屏幕显示，从而提升儿童的认知能力。

对卡片上物体的识别是对内容分类的过程。在物体识别时，主要用的分类方法包括adaboost算法、svm算法、深度学习算法等。在处理过程中，主要包括特征提取、目标检测、目标分类等步骤。随着深度学习技术的发展，在目标检测、分类评测中取得了较其他方法更好的性能，越来越多的应用于目标检测分类应用中。

尽管深度学习技术越来越多的应用于图像检测分类领域，但是训练一个实用的检测、分类模型需要大量的训练数据支撑。对于新增类别支持需要重新训练模型，可扩展性较差。同时由于计算量大，在嵌入式设备难以满足实时性处理要求。

发明内容

本申请实施例提供一种卡片、识别卡片的方法、绘本阅读机器人及存储设备，用以解决物体识别的问题。

本申请提供了一种识别卡片的方法，所述卡片上具有标志，所述标志包括位置探测图形和卡片类别编码，所述位置探测图形为中心旋转对称图形；

将卡片图像二值化；

沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置；

根据位置探测图形的位置、以及位置探测图形和卡片类别编码的相对位置识别出卡片类别。

可选地，沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置包括：

沿着X轴方向检测位置探测图形获得位置探测图形的X轴方向像素值；

沿着Y轴方向检测位置探测图形获得位置探测图形的Y轴方向像素值；

在所述X轴方向像素值和所述Y轴方向像素值所述符合位置探测图形特征的情况下，确定所述位置探测图形的位置为位置探测图形的中心坐标。

可选地，沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置包括：

沿着X轴方向检测位置探测图形获得位置探测图形的X轴方向像素值，得到位置探测图形X轴方向的中心坐标；

在所述X轴方向像素值符合位置探测图形特征的情况下，以位置探测图形X轴方向的中心坐标为中心沿着Y轴方向检测位置探测图形获得位置探测图形的Y轴方向像素值；

在所述Y轴方向像素值所述符合位置探测图形特征的情况下，确定所述位置探测图形的位置为位置探测图形的中心坐标。

可选地，所述标志至少包括第一标志、第二标志和第三标志。

可选地，根据探测图形的位置、以及位置探测图形和卡片类别编码的相对位置识别出卡片类别包括：

根据第一标志的位置探测图形的中心坐标、根据第二标志的位置探测图形的中心坐标、以及第三标志的位置探测图形的中心坐标对二值化后的卡片图像得到位置探测图形旋转和缩放参数；

根据位置探测图形和卡片类别编码的相对位置以及位置探测图形旋转和缩放参数，对所述第一标志、第二标志、以及第三标志中的至少一者的卡片类别编码进行解码，识别出卡片类别。

可选地，所述标志由黑色区域和白色区域组成。

本申请提供了一种卡片，所述卡片上具有标志，所述标志包括位置探测图形和卡片类别编码，所述位置探测图形为中心旋转对称图形。

所述标志由黑色区域和白色区域组成。

本申请提供了一种绘本阅读机器人，该绘本阅读机器人包括处理器以及存储设备；

所述存储设备存储有程序；

处理器，用于执行所述存储设备中的程序以实现所述的方法。

本申请提供了一种存储设备，其上存储有程序，所述程序用于被处理器执行时实现所述的方法。

本申请利用卡片标志信息进行卡片定位和识别，不受限于卡片的外观形状变化影响，对于新增的卡片形状不需要重新训练检测器模型，同时由于位置定位图形的对称性，能够支持任意角度的卡片检测；在分类时，只需要解析相应的类别编码，无需重新训练分类器模型。本申请只需要图像遍历操作，相对于深度学习的卷积操作，计算量明显减少，能够满足嵌入式设备实时性要求。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为现有技术中计算机系统示意图；

图2为本申请提供的卡片示意图；

图3是本申请提供的卡片识别方法示意图；

图4是本申请提供的位置定位图形示意图；

图5是卡片类别解析方向示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图2为本申请提供的卡片示意图，其上显示了4个标志。需要说明的是，为了通过位置定位图形的位置获得旋转和缩放参数，从而使得拍摄的图像处于正常的位置，即相邻两个标志中心的连线为等长的竖直线或水平线，以确定卡片类别信息所在的位置，需要至少提供3个标志。图2所示的标志上具有内容区域220，其上显示了椭圆的形状、椭圆的文字及拼音。每个标志包括位置探测图形105、位置探测图像分隔符110以及卡片类别编码115。位置探测图形105主要用于确定标志的位置，从而辅助对卡片类别编码进行解析得到卡片类别，位置探测图像分隔符用于隔离位置探测图形105和卡片类别编码115，以提高编码解析的准确度。位置探测图形呈中心旋转对称，可以为圆形或者正方形。

为了对图2所示的卡片进行识别，本申请通过识别标志，从而得到卡片分类，进一步地绘本阅读机器人可以根据卡片分类进行数据库检索，通过语音进行语音播报或者在屏幕显示，对儿童进行早期教育，从而提升儿童的认知能力。

本申请提供的卡片识别方法如图3所示：

步骤305，对拍摄的卡片图像进行矫正；由于绘本阅读机器人距离卡片较近，镜头畸变导致采集的卡片图像变形，图像矫正基于事先标定的矫正参数对图像进行矫正变换，使之恢复正常。需要说明的是，该步骤为可选的步骤，不对图像进行矫正也不影响本申请的方案，仅仅影响识别的正确率。

步骤310，将卡片图像二值化；二值化主要是便于对图像进行像素统计，根据二值化后的图像进行位置探测图形检测和卡片类别解码。卡片标志由黑白两种对比度最明显的两种颜色组成，为二值化带来了便利。考虑到光照不均匀的情况，本申请采用自适应的局部二值化方法对矫正后图像进行二值化处理，相对于全局二值化，该方法能有效处理光照不均匀的情况。

步骤315，沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值；

图4示出了一种位置探测图形，其为7*7像素的正方形，宽度为7个像素，4个边长均为7个黑色的像素，中心为3*3的正方形，均为黑色像素，3*3的正方形与7*7像素的正方形的边长之间为白色像素。位置探测图形的预先定义个像素格式为为1:1:3:1:1(黑点：白点：黑点：白点：黑点)。

基于位置探测图形格式定义，在二值图的水平方向(X轴方向)上寻找满足位置探测图形定义的区域，记录该区域的中心坐标(centerX，centerY)；在二值图的竖直方向(Y轴方向)上寻找满足位置探测图形定义的区域，记录该区域的中心坐标(centerX，centerY)；在二值图的水平方向和竖直方向均找到了满足位置探测图形定义的区域时，则中心坐标(centerX，centerY)即为位置探测图形的位置。

优选地，基于位置探测图形格式定义，在二值图的水平方向(X轴方向)上寻找满足位置探测图形定义的区域，记录该区域的中心坐标(centerX，centerY)；以(centerX，centerY)中心在垂直方向判断满足位置探测图形定义，如果满足则记录位置探测图形中心坐标为(centerX，centerY)。

根据上述的步骤检测出各个标识的位置探测图形的中心坐标。

步骤320，计算透视变换矩阵确定旋转和缩放参数。透视变换矩阵计算至少需要原图像中一组4个点坐标和目标图像中一组4个点坐标，通过两组坐标点可以计算出透视变换矩阵从而确定卡片旋转和缩放参数。根据检测到的位置探测图形的中心坐标确定卡片的旋转和缩放参数。旋转和缩放参数，可以使得位置探测图形通过旋转和缩放，变得规整地放置，例如其边与X轴、Y轴平行。在获得旋转和缩放后，根据类别编码信息与位置探测图形之间的相对位置，能够确定在解码时所需要遍历的坐标，从而解析出卡片分类信息。理论上，只需要三个位置探测图形的中心坐标，通过三者的位置关系可推算出第四个位置探测图像的位置后可计算透视变换矩阵，即可确定卡片旋转和缩放参数，但是考虑到被遮挡、污损等情况，本申请在卡片上定义了四个位置探测图形，从而提高算法的鲁棒性。

可选地，对于位置定位图形多于3个的情况，本申请可以根据找到位置定位图形，选取面积最接近的三个位置定位图形计算卡片旋转和缩放参数。

步骤325，识别卡片类别。按照位置探测图形旋转和缩放参数，对每个位置探测图形中包含的卡片类别编码信息按照顺时针方向由内到外进行解码。图5示出了卡片编码解析示意图，其中了示出了解析方向515，内部信息505以及外部信息510.

在解析时，同样地记录像素值。在二值图中白点记做1，黑点记做0，最终形成一种信息码如[0,1,1....,0,1]，将该信息码与数据库中定义的类别编码进行比对作为最终的卡片类别输出。

考虑到算法的鲁棒性，本申请对每个标志中的卡片分类信息都进行解析，选取类别命中次数最高的作为最终的输出。

通过本申请提供的技术方案，利用卡片上的卡片类别编码的识别，可以减少现有深度学习方法所存在的缺陷，具有适应性广的特性。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种识别卡片的方法，其特征在于，所述卡片上具有标志，所述标志包括位置探测图形和卡片类别编码，所述位置探测图形为中心旋转对称图形；该方法包括：

将卡片图像二值化；

沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置；

根据位置探测图形的位置、以及位置探测图形和卡片类别编码的相对位置识别出卡片类别。

2.根据权利要求1所述的方法，其特征在于，沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置包括：

沿着X轴方向检测位置探测图形获得位置探测图形的X轴方向像素值；

沿着Y轴方向检测位置探测图形获得位置探测图形的Y轴方向像素值；

在所述X轴方向像素值和所述Y轴方向像素值所述符合位置探测图形特征的情况下，确定所述位置探测图形的位置为位置探测图形的中心坐标。

3.根据权利要求2所述的方法，其特征在于，沿着X轴方向和Y轴方向检测位置探测图形获得位置探测图形的X轴方向像素值和Y轴方向像素值，确定位置探测图形的位置包括：

沿着X轴方向检测位置探测图形获得位置探测图形的X轴方向像素值，得到位置探测图形X方向的中心坐标；

在所述X轴方向像素值符合位置探测图形特征的情况下，以位置探测图形X方向的中心坐标为中心沿着Y轴方向检测位置探测图形获得位置探测图形的Y轴方向像素值；

在所述Y轴方向像素值所述符合位置探测图形特征的情况下，确定所述位置探测图形的位置为位置探测图形的中心坐标。

4.根据权利要求3所述的方法，其特征在于，所述标志至少包括第一标志、第二标志和第三标志。

5.根据权利要求4所述的方法，其特征在于，根据探测图形的位置、以及位置探测图形和卡片类别编码的相对位置识别出卡片类别包括：

根据第一标志的位置探测图形的中心坐标、根据第二标志的位置探测图形的中心坐标、以及第三标志的位置探测图形的中心坐标对二值化后的卡片图像得到位置探测图形旋转和缩放参数；

根据位置探测图形和卡片类别编码的相对位置以及位置探测图形旋转和缩放参数，对所述第一标志、第二标志、以及第三标志中的至少一者的卡片类别编码进行解码，识别出卡片类别。

6.根据权利要求1-4任意一项所述的方法，其特征在于，所述标志由黑色区域和白色区域组成。

7.一种卡片，其特征在于，所述卡片上具有标志，所述标志包括位置探测图形和卡片类别编码，所述位置探测图形为中心旋转对称图形。

8.根据权利要求7所述的卡片，其特征在于，所述标志由黑色区域和白色区域组成。

9.一种绘本阅读机器人，其特征在于，该绘本阅读机器人包括处理器以及存储设备；

所述存储设备存储有程序；

处理器，用于执行所述存储设备中的程序以实现权利要求1-8任一项所述的方法。

10.一种存储设备，其上存储有程序，其特征在于，所述程序用于被处理器执行时实现权利要求1-8任一项所述的方法。