CN106295644B - 符号识别方法及装置 - Google Patents

Abstract

本发明公开了一种符号识别方法及装置，属于图像识别领域。所述方法包括：获取目标图像；在目标图像中截取最小外接矩形包围的第一图像；从多个模板图像中获取至少一个目标模板图像，每个模板图像包括一个符号，且模板图像的边缘所形成的图形为符号的最小外接矩形，多个模板图像中存在包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍；获取第一图像与每个目标模板图像的相似度；将与第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像；将已识别模板图像包括的符号识别为待识别图形表示的符号。本发明提供的符号识别方法及装置可以显著地减小符号识别的计算量。

Description

符号识别方法及装置

技术领域

本发明涉及图像识别领域，特别涉及一种符号识别方法及装置。

背景技术

当前，终端中基于符号卡片的交互类游戏在人们的日常生活中已经越来越常见。在上述交互类游戏中，用户可以基于终端中显示的信息选择一张符号卡片，并令终端的摄像头拍摄该符号卡片，而后终端基于拍摄的该符号卡片的图像，识别该符号卡片中包含的符号，并基于识别出的符号展示信息，例如，在识字交互游戏中，终端可以展示图片和表述该图片内容的多个文字选项，每个文字选项与一个字母符号相对应，用户可以选择某一符号卡片，并令终端的摄像头拍摄该符号卡片并识别该符号卡片包含的字母符号，而后终端将识别的字母符号和正确文字选项对应的字母符号进行比较，若一致则终端可以展示鼓励页面。其中，在上述交互类游戏中，对符号卡片中包含的符号的识别是该交互类游戏能否顺利进行的关键步骤。

相关技术中，在识别符号卡片包含的符号时，终端需要先利用霍夫线检测技术在拍摄的符号卡片的图像中识别出卡片边缘线，而后基于该卡片边缘线将符号卡片的图像进行转正操作，使得符号卡片的图像中的符号卡片转正，也即是使得卡片边缘线与预设的模板图像的对应边平行，而后，终端将符号卡片的图像中卡片边缘线包围的图像与预设的模板图像进行对比，确定卡片边缘线包围的图像与每个模板图像的相似度，并将与卡片边缘线包围的图像相似度最高的模板图像中的符号识别为符号卡片包含的符号。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

在将卡片边缘线包围的图像与预设的模板图像进行对比时，终端需要将卡片边缘线包围的图像的每个像素的颜色值与模板图像中对应的像素的颜色值进行一一对比，而卡片边缘线包围的图像中包含卡片的背景区域，将背景区域的像素的颜色值与模板图像对应的像素的颜色值进行对比对识别符号没有任何贡献，反而会加大计算量，其中，上述模板图像中对应的像素指的是模板图像中与卡片边缘线包围的图像的像素在各自的图像坐标系中坐标值相同的像素。而且，终端在将卡片边缘线包围的图像与预设的模板图像进行对比时，通过一次转正操作后获取的卡片边缘线包围的图像与每个模板图像的相似度很可能都不满足识别的条件，也即是相似度均较低，此时，终端需要继续执行转正操作，将卡片边缘线包围的图像向另一方向转正后继续与每个模板图像进行对比，通常情况下，终端需要进行多次转正操作才能成功识别卡片中的符号，多次转正操作，势必会增加较多的计算量。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种符号识别方法及装置。所述技术方案如下：

一方面，提供了一种符号识别方法，所述方法包括：

获取包括待识别图形的目标图像，所述待识别图形的像素的颜色值在预设范围内；

在所述目标图像中截取所述待识别图形的最小外接矩形包围的第一图像；

从多个模板图像中获取至少一个目标模板图像，每个所述模板图像包括一个符号，且所述模板图像的边缘所形成的图形为所述符号的最小外接矩形，其中，所述多个模板图像中存在包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍；

获取所述第一图像与每个所述目标模板图像的相似度；

将与所述第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像；

将所述已识别模板图像包括的符号识别为所述待识别图形表示的符号。

另一方面，提供了一种符号识别装置，所述装置包括：

获取模块，用于获取包括待识别图形的目标图像，所述待识别图形的像素的颜色值在预设范围内；

截取模块，用于在所述目标图像中截取所述待识别图形的最小外接矩形包围的第一图像；

所述获取模块，还用于从多个模板图像中获取至少一个目标模板图像，每个所述模板图像包括一个符号，且所述模板图像的边缘所形成的图形为所述符号的最小外接矩形，其中，所述多个模板图像中包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍；

所述获取模块，还用于获取所述第一图像与每个所述目标模板图像的相似度；

确定模块，用于将与所述第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像；

识别模块，用于将所述已识别模板图像包括的符号识别为所述待识别图形表示的符号。

本发明实施例提供的技术方案带来的有益效果是：

通过在终端对目标图像包含的待识别图形进行识别时，在目标图像中截取待识别图形的最小外接矩形包围的第一图像，并获取上述第一图像和多个模板图像中目标模板图像的相似度，也即是终端将经过转正操作处理后的第一图像的每个像素的颜色值与目标模板图像中对应的像素的颜色值进行一一对比以获取上述相似度，由于第一图像中包括该待识别图形和少量的卡片背景，使得终端在对待识别图形的识别过程中，只需要对比少量的卡片背景的像素的颜色值，从而显著地减小了计算量，同时由于在上述多个模板图像中，对于一个符号存在多个模板图像，且一个符号的多个模板图像中的符号角度相差90度的整数倍，使得终端在对待识别图形进行识别时，只需要执行1次或者较少次转正操作，从而进一步显著地减小了计算量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种符号识别方法的流程图。

图2是根据一示例性实施例示出的一种符号识别方法的流程图。

图3是根据一示例性实施例示出的图像中像素的示意图。

图4是根据一示例性实施例示出的经过透视校正处理前的矩形图像。

图5是根据一示例性实施例示出的经过透视校正处理后的透视校正图像。

图6(A)是根据一示例性实施例示出的目标图像。

图6(B)是根据一示例性实施例示出的第一图像。

图6(C)是根据一示例性实施例示出的一个目标模板图像。

图7是根据一示例性实施例示出的符号为字母的部分模板图像。

图8是根据一示例性实施例示出的符号为数字的部分模板图像。

图9是根据一示例性实施例示出的一种符号识别装置900的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是根据一示例性实施例示出的一种符号识别方法的流程图，如图1所示，该符号识别方法包括以下步骤：

步骤101、终端获取包括待识别图形的目标图像，该待识别图形的像素的颜色值在预设范围内。

步骤102、终端在该目标图像中截取该待识别图形的最小外接矩形包围的第一图像。

步骤103、终端从多个模板图像中获取至少一个目标模板图像，每个该模板图像包括一个符号，且该模板图像的边缘所形成的图形为该符号的最小外接矩形，其中，该多个模板图像中存在包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍。

步骤104、终端获取该第一图像与每个该目标模板图像的相似度。

步骤105、终端将与该第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像。

步骤106、终端将该已识别模板图像包括的符号识别为该待识别图形表示的符号。

综上所述，本实施例提供的符号识别方法，通过在终端对目标图像包含的待识别图形进行识别时，在目标图像中截取待识别图形的最小外接矩形包围的第一图像，并获取上述第一图像和多个模板图像中目标模板图像的相似度，也即是终端将经过转正操作处理后的第一图像的每个像素的颜色值与目标模板图像中对应的像素的颜色值进行一一对比以获取上述相似度，由于第一图像中包括该待识别图形和少量的卡片背景，使得终端在对待识别图形的识别过程中，只需要对比少量的卡片背景的像素的颜色值，从而显著地减小了计算量，同时由于在上述多个模板图像中，对于一个符号存在多个模板图像，且一个符号的多个模板图像中的符号角度相差90度的整数倍，使得终端在对待识别图形进行识别时，只需要执行1次或者较少次转正操作，从而进一步显著地减小了计算量。

图2是根据一示例性实施例示出的一种符号识别方法的流程图，如图2所示，该符号识别方法包括以下步骤：

步骤201、终端获取包括待识别图形的目标图像，该待识别图形的像素的颜色值在预设范围内。

在日常生活中，基于符号卡片的交互类游戏已经越来越普遍，该基于符号卡片的交互类游戏通常可以为AR(Augmented Reality，扩增实境)互动游戏，如口袋妖怪go等。在基于符号卡片的交互类游戏中，用户可以根据终端中显示的信息选择一张符号卡片，并令终端的摄像头拍摄该符号卡片，拍摄到的符号卡片的图像即为上文所述的目标图像。上述符号卡片的图像中包含符号卡片中的符号，该符号即为上文所述的待识别图形，该符号可以为数字符号或字母符号中的至少一种。由于符号卡片中的符号的颜色是固定的，因此该待识别图形的像素的颜色值也应当是确定的。在实际应用中，考虑到终端拍摄符号卡片时外界的光线明暗等因素，上述待识别图形的像素的颜色值一般而言并不为某一确定值，而是在预设范围内。需要说明的是，上述颜色值在本发明的一些实施例中可以为RGB(红绿蓝)颜色值。

当然，在一些情况下，终端拍摄到的图像并不包含符号卡片，此时终端拍摄到的图像很可能不包含颜色值在预设范围内的像素，也即是不包含待识别图形，则终端可以不将拍摄到的图像获取为目标图像。

步骤202、终端在该目标图像中截取该待识别图形的最小外接矩形包围的第一图像。

现有技术中识别目标图像中待识别图形的方法是获取目标图像中符号卡片的边缘线，并获取该边缘线包围的图像，而后终端将该边缘线包围的图像与模板图像进行对比，以实现对待识别图形的识别。在实际应用中，在将该边缘线包围的图像与模板图像进行对比的过程中，终端将逐一对比该边缘线包围的图像的每一像素的颜色值与模板图像中对应像素的颜色值，由于该边缘线包围的图像包括符号卡片的背景区域，因此，终端在对待识别图形的识别过程中，需要进行大量无意义的对比运算。

为了减小识别上述待识别图形的计算量，终端可以在该目标图像中截取该待识别图形的最小外接矩形包围的第一图像。则该第一图像包含完整的待识别图形，且包含尽可能少的符号卡片的背景区域，则利用第一图像识别上述待识别图形可以显著地减小识别的计算量。此外，在识别待识别图形的过程中，终端需要将上述第一图像和本发明提供的多个模板图像中的目标模板图像进行对比，以确定与第一图像的相似程度较高的目标模板图像。由于待识别图形的最小外接矩形是唯一的，而本发明提供的模板图像的边缘形成的图形为模板图像中的符号的最小外接矩形，其对于模板图像中的符号也是唯一的，因此，本发明在后续步骤中可以通过对比待识别图形的最小外接矩形的尺寸比例和模板图像边缘形成的模板图像中符号的最小外接矩形的尺寸比例筛选出目标模板图像，以避免终端一一对比所有的模板图像和第一图像，以进一步减小计算量，而且，由于最小外接矩形的唯一性，本发明可以在满足对比需求的前提下对同一符号仅提供一个模板图像或仅提供一个初始模板图像及经过旋转的该初始模板图像，这使得模板图像的数量较少，不仅节省了制作模板的成本，同时由于模板图像数量较少，因此在识别待识别图形的过程中需要进行对比的次数也较少，从而还可以减少计算量。其中，上述最小外接矩形指的是在能够包围待识别图形的多个矩形中面积最小的矩形。

下面，本发明将对截取该待识别图形的最小外接矩形包围的第一图像的技术过程进行简要说明：

a、终端遍历上述目标图像，对上述目标图像中颜色值在预设范围内的像素赋予新的颜色值。

如上所述，由于终端拍摄符号卡片时外界的光线明暗等因素，会造成待识别图形的像素的颜色值在某一范围内，而不是一个确定值，为了后续步骤中方便处理以及减小计算量，本发明可以将目标图像中颜色值在预设范围内的像素赋予新的颜色值，也即是将待识别图形的像素赋予新的颜色值。该新的颜色值应当与符号卡片的背景区域的像素的颜色值有着明显的区别，因此，该新的颜色值可以为白色对应的颜色值(255，255，255)，或者黑色对应的颜色值(0，0，0)，本发明对此不作具体限定。

b、终端根据预设规则，减少目标图像中的像素个数，得到缩小目标图像。

为了减小计算量，终端可以按照预设规则减少目标图像中像素的个数以缩小目标图像，例如，终端可以在目标图像中隔行删去像素等，由于缩小后的图像可以保证与缩小前图像同样的分辨率，因此，上述缩小目标图像不会丢失目标图像中的信息，但是由于像素个数减少，则后续的计算量将会显著地减小。

c、在缩小目标图像的目标像素中确定多个连通像素，该连通像素指的是在最邻近的像素中至少有一个像素是目标像素的像素，该目标像素指的是颜色值为上述新的颜色值的像素，也即是待识别图形的像素。

连通像素首先是一个目标像素，其次，其最邻近的像素中至少有一个像素是目标像素，由于图像中的某一像素最临近的像素有8个，示例的，如图3所示，像素10最邻近的像素有8个，因此连通像素指的是在这8个像素中至少有一个是目标像素的像素。通过确定连通像素，本发明可以确定该目标像素的连通区域，该连通区域即为上述待识别符号。

d、获取连通区域在缩小目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，将在缩小目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标分别与放大系数相乘得到在目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，放大系数为目标图像中像素个数与缩小目标图像中像素个数的比值。

其中，连通区域的每一像素在缩小目标图像的图像坐标系中的坐标可以表示为(u，v)，其中u为该像素在缩小目标图像的像素矩阵中的列数，v为该像素在缩小目标图像的像素矩阵中的行数。终端可以获取该连通区域中每一像素在缩小目标图像的图像坐标系中的坐标，并从上述坐标中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，而后，终端基于上述放大系数，将缩小目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标映射为目标图像的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标。

e、终端基于上述目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标确定的四个点在目标图像中确定矩形轮廓。

目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标可以分别表示为u_max，V_max，u_min，V_min，则上述四个点的坐标可以为(u_max，V_max)、(u_max，V_min)、(u_min，V_max)和(u_min，V_min)，该四个点可以作为上述矩形轮廓的四个顶点。在实际应用中，为了保证该矩形轮廓包围的图像包含全部的上述待识别图形，该矩形轮廓可以比以该四个点为顶点的矩形略大，本发明实施例对此不作具体限定。

f、在未经过上述a步骤处理的目标图像中截取上述矩形轮廓包围的矩形图像。

终端截取上述矩形图像，该矩形图像中一定包含全部的待识别图形，而该矩形图像与目标图像相比像素个数少得多，从而使得终端在后续操作中可以显著地减小计算量。

g、终端对上述矩形图像进行透视校正处理，得到透视校正图像。

实际应用中，在终端对符号卡片拍摄的过程中，终端的摄像头平面与符号卡片的平面可能并不平行，而是存在一定的夹角，则符号卡片的一部分会距离摄像头较近而另一部分距离摄像头较远，在这种情况下，摄像头拍摄的目标图像会出现透视失真，也即是出现近大远小的现象。为了对透视失真进行校正，以保证后续截取的第一图像不出现透视失真的问题，终端可以对上述矩形图像进行透视校正处理以得到透视校正图像，示例的，如图4所示为经过透视校正处理前的矩形图像，如图5所示为经过透视校正处理后的透视校正图像。具体地，对于矩形图像中每一像素的坐标(该坐标为矩形图像的图像坐标系中的坐标)都基于预设的透视参数进行透视变换计算，得到新的坐标，该新的坐标对应像素的颜色值与未经过透视变换计算的像素的颜色值相同。其中，将矩形图像中像素的坐标根据预设的透视参数进行透视变换计算得到新的坐标可以根据下述计算公式(1)进行计算：

在计算公式(1)中，(x，y)为矩形图像中像素的坐标，(u，v)为新的坐标，m₀，m₁，m₂，m₃，m₄，m₅，m₆，m₇为预设的透视参数。

在本发明的一个实施例中，本发明还提供了获取上述透视参数的技术过程：具体地，技术人员可以在符号卡片上随机绘制一个正方形，并对该正方形的四个顶点进行标绘，而后技术人员利用终端的摄像头拍摄该符号卡片，终端在拍摄得到的图像中识别出标绘的四个顶点并获取该四个顶点在图像坐标系中的坐标。而后终端获取该四个顶点组成的四边形的两条对角线的交点在图像坐标系中的坐标，并在该四个顶点中任意两个顶点间的距离中获取最短距离。而后终端以该交点为中心，该最短距离为边长确定一个新的正方形，同时获取该新的正方形的四个顶点在图像坐标系中的坐标，利用标绘的四个顶点的坐标和新的正方形的四个顶点的坐标为已知量，以m₀，m₁，m₂，m₃，m₄，m₅，m₆，m₇为未知量解上述计算公式(1)的方程组即可得到m₀，m₁，m₂，m₃，m₄，m₅，m₆，m₇的值。此时，(x，y)为标绘的四个顶点任一顶点的坐标，(u，v)为新的正方形的四个顶点的任一顶点的坐标。

h、终端在上述透视校正图像中确定待识别图形的最小外接矩形，并截取待识别图形的最小外接矩形包围的第一图像。

终端可以使用大津法处理该透视校正图像，从而确定该透视校正图像中属于待识别图形的像素以确定该待识别图形，而后确定该待识别图形的最小外接矩形。其中，大津法是由日本学者大津于1979年提出的，它是一种确定图像二值化分割阈值的算法，根据大津法求得的阈值对上述透视校正图像进行二值化分割后，其前景与背景的类间方差最大，从而可以将上述透视校正图像分成前景、背景两个图像，即将待识别图形和背景区分开。在实际应用中，确定最小外接矩形的方法有很多种，例如格雷厄姆法、旋转投影法等，本发明在此不做具体限定。

步骤203、终端从多个模板图像中获取至少一个目标模板图像，每个模板图像包括一个符号，且该模板图像的边缘所形成的图形为该符号的最小外接矩形，其中，该多个模板图像中存在包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍。

终端截取该第一图像后，可以对比该第一图像和至少一个目标模板图像，并获取第一图像和每个目标模板图像的相似度，从而根据该相似度实现对第一图像中的待识别图形的识别，因此，终端需要执行上述步骤203的技术过程，为了更直观地对步骤202和步骤203的技术过程进行说明，本发明还提供了图6(A)、图6(B)和图6(C)，其中，图6(A)示出了目标图像，图6(B)示出了第一图像，图6(C)示出了步骤203中获取的一个目标模板图像，需要说明的是，在图6(C)中示出的目标模板图像与图6(B)示出的第一图像匹配，但这仅仅是示例性的，在实际应用中，步骤203获取的至少一个目标模板图像不一定与第一图像匹配，本发明实施例对此不作具体限定。

需要说明的是，上述至少一个目标模板图像可以为上述多个模板图像中所有的模板图像，其中，该多个模板图像包含所有的终端可以识别的符号，如图7所示为符号为字母的部分模板图像，如图8所示为符号为数字的部分模板图像。

当然，在实际应用中，上述至少一个目标模板图像可以不为所有的模板图像，也即是终端可以在多个模板图像中筛选掉一些明显与第一图像不匹配的模板图像，以避免对所有的模板图像都计算相似度，从而可以进一步减少识别的计算量。

在本发明的一个实施例中，上述目标模板图像可以为多个模板图像中边缘所形成的目标矩形与该待识别图形的最小外接矩形相似的模板图像。其中，“相似”指的是该目标模板图像的边缘所形成的目标矩形的长宽比与待识别图形的最小外接矩形的长宽比在预设长宽比范围内。实际应用中，不同符号的最小外接矩形的尺寸比例一般不同，例如，符号C的最小外接矩形较为“矮胖”，而符号L的最小外接矩形较为“瘦长”，也即是符号C和符号L的最小外接矩形的长宽比不同，因此可以根据最小外接矩形与目标模板图形的边缘所形成的目标矩形是否相似筛选掉一些明显与第一图像不匹配的模板图像。

在本发明的另一个实施例中，上述目标模板图像可以为多个模板图像中有效像素比与该第一图像的有效像素比的差值小于预设像素比阈值的模板图像，其中，任一图像的有效像素比为该任一图像中颜色值在该预设范围内的像素的个数与该任一图像中所有像素的个数的比值，也即是符号区域面积占图像总面积的比值。根据有效像素比，终端可以将一些与第一图像相比符号区域面积明显过小或过大的模板图像筛选掉。

还需要说明的是，上述多个模板图像中存在包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍。由于多个模板图像中存在包括相同符号的模板图像，则从多个模板图像中获取的至少一个目标模板图像也存在包括相同符号的模板图像，本发明对此不再赘述。

在后续获取第一图像和每个目标模板图像的相似度的过程中，需要对第一图像进行转正处理，也即是需要使转正后的第一图像中的四条边分别与任一目标模板图像的对应边平行，而后对比转正后的第一图像中每一像素的颜色值与每个目标模板图像中对应像素的颜色值。如果对于同一符号仅包含一个角度的模板图像的话，那么在最不利的情况下，终端需要对第一图像进行四次转正处理后才能确定相似度超过预设相似度阈值的目标模板图像，而进行转正处理需要对第一图像中的每一像素的坐标都进行坐标变换，其涉及的计算量较大。因此，为了进一步减少计算量，对于同一符号可以包括不同角度的模板图像，也即是上文所述的包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍。这样在后续获取第一图像和每个目标模板图像的相似度的过程中，终端对第一图像可以执行较少次数的转正处理，从而极大地减少了计算量。

进一步地，在实际应用中，该包括相同符号的模板图像可以包括4个不同角度的符号，该不同角度的符号对应的角度分别为0°、90°、180°和270°。其中，角度0°指的是包含某一符号的初始模板图像中符号的角度，该初始模板图像可以为包括相同符号的模板图像中的任一模板图像，角度90°指的是该初始模板图像旋转90°之后的图像中符号的角度，角度180°和270°依此类推，本发明在此不再赘述，例如，如图7所示，第一个包含符号“A”的模板图像中符号“A”的角度可以视为0°，第二个包含符号“A”的模板图像中符号“A”的角度可以视为90°，第三个包含符号“A”的模板图像中符号“A”的角度可以视为180°，第四个包含符号“A”的模板图像中符号“A”的角度可以视为270°。对于同一符号，通过设置符号的角度为0°、90°、180°和270°的模板图像，使得终端在后续获取第一图像和每个目标模板图像的相似度的过程中，可以对第一图像仅执行一次转正处理，从而进一步地减少了计算量。

步骤204、终端获取该第一图像与每个目标模板图像的相似度。

实际应用中，终端获取第一图像和每个目标模板图像的相似度的方法可以有很多种，下面，本发明将对终端获取第一图像与每个目标模板图像的相似度的一种方法的技术过程进行简要说明：

终端对该第一图像进行转正处理，得到转正图像，该转正图像中的四条边分别与任一该目标模板图像的对应边平行；对于每个该目标模板图像，将该转正图像中第一像素的颜色值与该目标模板图像中第二像素的颜色值相减，得到颜色值差值，当该颜色值差值大于预设色差阈值时，将该第一像素确定为未匹配像素，该第一像素在该转正图像的图像坐标系中的坐标与该第二像素在该目标模板图像的图像坐标系中的坐标相同；对于每个该目标模板图像，将该未匹配像素的个数与该转正图像中所有像素的个数的比值确定为该第一图像与该目标模板图像的相似度。

简而言之，对于每个目标模板图像，终端可以从获取第一图像像素矩阵中第一行，第一列的像素的颜色值与目标模板图像中素矩阵中第一行，第一列的像素的颜色值的颜色值差值开始，到获取第一图像像素矩阵中第n行，第m列的像素的颜色值与目标模板图像中素矩阵中第n行，第m列的像素的颜色值的颜色值差值为止，得到颜色值差值集合，并获取该颜色值差值集合中大于预设色差阈值的颜色值的个数，也即是未匹配像素的个数，并将该个数与颜色值差值集合中所有颜色值差值的个数(也即是转正图像中所有像素的个数)的比值获取为该第一图像与该目标模板图像的相似度。

步骤205、终端将与该第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像，并将该已识别模板图像包括的符号识别为该待识别图形表示的符号。

基于上述相似度的计算方式，与第一图像的相似度越小则与第一图像的匹配度越高，在实际应用中，示例的，终端可以将匹配度最高，也即是与第一图像的相似度最小的目标模板图像确定为上述已识别模板图像，本发明对此不做限定。

综上所述，本实施例提供的符号识别方法，通过在终端对目标图像包含的待识别图形进行识别时，在目标图像中截取待识别图形的最小外接矩形包围的第一图像，并获取上述第一图像和多个模板图像中目标模板图像的相似度，也即是终端将经过转正操作处理后的第一图像的每个像素的颜色值与目标模板图像中对应的像素的颜色值进行一一对比以获取上述相似度，由于第一图像中包括该待识别图形和少量的卡片背景，使得终端在对待识别图形的识别过程中，只需要对比少量的卡片背景的像素的颜色值，从而显著地减小了计算量，同时由于在上述多个模板图像中，对于一个符号存在多个模板图像，且一个符号的多个模板图像中的符号角度相差90度的整数倍，使得终端在对待识别图形进行识别时，只需要执行1次或者较少次转正操作，从而进一步显著地减小了计算量。

图9是根据一示例性实施例示出的一种符号识别装置900的框图。参照图9，该装置包括获取模块901、截取模块902、确定模块903和识别模块904。

该获取模块901，用于获取包括待识别图形的目标图像，该待识别图形的像素的颜色值在预设范围内。

该截取模块902，用于在该目标图像中截取该待识别图形的最小外接矩形包围的第一图像。

该获取模块901，还用于从多个模板图像中获取至少一个目标模板图像，每个该模板图像包括一个符号，且该模板图像的边缘所形成的图形为该符号的最小外接矩形，其中，该多个模板图像中包括相同符号的模板图像，包括相同符号的模板图像中任意两个模板图像包括的符号的角度相差90度的整数倍。

该获取模块901，还用于获取该第一图像与每个该目标模板图像的相似度。

确定模块903，用于将与该第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像。

识别模块904，用于将该已识别模板图像包括的符号识别为该待识别图形表示的符号。

在本发明的一个实施例中，该获取模块901，用于从该多个模板图像中筛选出该至少一个目标模板图像，该目标模板图像的边缘所形成的目标矩形与该待识别图形的最小外接矩形相似。

在本发明的一个实施例中，该获取模块901，用于从该多个模板图像中筛选出该至少一个目标模板图像，该目标模板图像的有效像素比与该第一图像的有效像素比的差值小于预设像素比阈值，任一图像的有效像素比为该任一图像中颜色值在该预设范围内的像素的个数与该任一图像中所有像素的个数的比值。

在本发明的一个实施例中，该获取模块901用于：

对该第一图像进行转正处理，得到转正图像，该转正图像中的四条边分别与任一该目标模板图像的对应边平行；

对于每个该目标模板图像，将该转正图像中第一像素的颜色值与该目标模板图像中第二像素的颜色值相减，得到颜色值差值，当该颜色值差值小于预设色差阈值时，将该第一像素确定为未匹配像素，该第一像素在该转正图像的图像坐标系中的坐标与该第二像素在该目标模板图像的图像坐标系中的坐标相同；

对于每个该目标模板图像，将该未匹配像素的个数与该转正图像中所有像素的个数的比值确定为该第一图像与该目标模板图像的相似度。

在本发明的一个实施例中，该包括相同符号的模板图像包括4个不同角度的符号，该不同角度的符号对应的角度分别为0°、90°、180°和270°。

综上所述，本实施例提供的符号识别装置，通过在终端对目标图像包含的待识别图形进行识别时，在目标图像中截取待识别图形的最小外接矩形包围的第一图像，并获取上述第一图像和多个模板图像中目标模板图像的相似度，也即是终端将经过转正操作处理后的第一图像的每个像素的颜色值与目标模板图像中对应的像素的颜色值进行一一对比以获取上述相似度，由于第一图像中包括该待识别图形和少量的卡片背景，使得终端在对待识别图形的识别过程中，只需要对比少量的卡片背景的像素的颜色值，从而显著地减小了计算量，同时由于在上述多个模板图像中，对于一个符号存在多个模板图像，且一个符号的多个模板图像中的符号角度相差90度的整数倍，使得终端在对待识别图形进行识别时，只需要执行1次或者较少次转正操作，从而进一步显著地减小了计算量。

需要说明的是：上述实施例提供的符号识别装置在进行符号识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的符号识别装置与符号识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种符号识别方法，其特征在于，应用于基于符号卡片的交互类游戏中，所述方法包括：

获取包括待识别图形的目标图像，所述待识别图形的像素的颜色值在预设范围内，所述目标图像为终端的摄像头拍摄的符号卡片的图像；

根据预设规则减少所述目标图像中的像素个数，得到缩小目标图像，在所述缩小目标图像的目标像素中确定多个连通像素，基于所述多个连通像素确定所述目标像素的连通区域，以将所述连通区域确定为所述待识别图形；其中，所述连通像素为在最邻近的像素中至少有一个像素是所述目标像素的像素，所述目标像素为所述待识别图形的像素；

将所述连通区域在所述缩小目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标分别与放大系数相乘，得到在所述目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，所述放大系数为所述目标图像中像素个数与所述缩小目标图像中像素个数的比值；

基于在所述目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标确定的四个点在所述目标图像中确定矩形轮廓，并在所述目标图像中截取所述矩形轮廓包围的矩形图像；

对所述矩形图像进行透视校正处理，得到透视校正图像；

在所述透视校正图像中确定所述待识别图形的最小外接矩形，并截取所述待识别图形的最小外接矩形包围的第一图像；

通过对比所述第一图像的边缘形成的最小外接矩形的尺寸比例和多个模板图像的边缘形成的符号的最小外接矩形的尺寸比例，从所述多个模板图像中筛选出最小外接矩形的长宽比与所述第一图像的最小外接矩形的长宽比在预设长宽比范围内的至少一个目标模板图像；

其中，每个所述模板图像包括一个符号，且所述模板图像的边缘所形成的图形为所述符号的最小外接矩形，不同符号的最小外接矩形的尺寸比例不同，所述多个模板图像中存在包括相同符号且符号角度分别为0°、90°、180°和270°的模板图像，包括相同符号的模板图像包括一个初始模板图像和对所述初始模板图像进行90度的整数倍旋转后的模板图像；

对所述第一图像进行一次转正处理，得到转正图像，所述转正图像中的四条边分别与任一所述目标模板图像的对应边平行；

通过对比所述转正图像中每一像素的颜色值与每个目标模板图像中对应像素的颜色值，获取所述第一图像与每个所述目标模板图像的相似度；

将与所述第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像；

将所述已识别模板图像包括的符号识别为所述待识别图形表示的符号。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像与每个所述目标模板图像的相似度，包括：

对于每个所述目标模板图像，将所述转正图像中第一像素的颜色值与所述目标模板图像中第二像素的颜色值相减，得到颜色值差值，当所述颜色值差值大于预设色差阈值时，将所述第一像素确定为未匹配像素，所述第一像素在所述转正图像的图像坐标系中的坐标与所述第二像素在所述目标模板图像的图像坐标系中的坐标相同；

对于每个所述目标模板图像，将所述未匹配像素的个数与所述转正图像中所有像素的个数的比值确定为所述第一图像与所述目标模板图像的相似度。

3.一种符号识别装置，其特征在于，应用于基于符号卡片的交互类游戏中，所述装置包括：

获取模块，用于获取包括待识别图形的目标图像，所述待识别图形的像素的颜色值在预设范围内，所述目标图像为终端的摄像头拍摄的符号卡片的图像；

截取模块，用于根据预设规则减少所述目标图像中的像素个数，得到缩小目标图像，在所述缩小目标图像的目标像素中确定多个连通像素，基于所述多个连通像素确定所述目标像素的连通区域，以将所述连通区域确定为所述待识别图形；其中，所述连通像素为在最邻近的像素中至少有一个像素是所述目标像素的像素，所述目标像素为所述待识别图形的像素；

所述截取模块，还用于将所述连通区域在所述缩小目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标分别与放大系数相乘，得到在所述目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，所述放大系数为所述目标图像中像素个数与所述缩小目标图像中像素个数的比值；

所述截取模块，还用于基于在所述目标图像的图像坐标系中的最大横坐标、最大纵坐标、最小横坐标和最小纵坐标确定的四个点在所述目标图像中确定矩形轮廓，并在所述目标图像中截取所述矩形轮廓包围的矩形图像；对所述矩形图像进行透视校正处理，得到透视校正图像；在所述透视校正图像中确定所述待识别图形的最小外接矩形，并截取所述待识别图形的最小外接矩形包围的第一图像；

所述获取模块，还用于通过对比所述第一图像的边缘形成的最小外接矩形的尺寸比例和多个模板图像的边缘形成的符号的最小外接矩形的尺寸比例，从所述多个模板图像中筛选出最小外接矩形的长宽比与所述第一图像的最小外接矩形的长宽比在预设长宽比范围内的至少一个目标模板图像；其中，每个所述模板图像包括一个符号，且所述模板图像的边缘所形成的图形为所述符号的最小外接矩形，不同符号的最小外接矩形的尺寸比例不同，所述多个模板图像中包括相同符号且符号角度分别为0°、90°、180°和270°的模板图像，包括相同符号的模板图像包括一个初始模板图像和对所述初始模板图像进行90度的整数倍旋转后的模板图像；

所述获取模块，还用于对所述第一图像进行转正处理，得到转正图像，所述转正图像中的四条边分别与任一所述目标模板图像的对应边平行；通过对比所述转正图像中每一像素的颜色值与每个目标模板图像中对应像素的颜色值，获取所述第一图像与每个所述目标模板图像的相似度；

确定模块，用于将与所述第一图像的相似度超过预设相似度阈值的目标模板图像确定为已识别模板图像；

识别模块，用于将所述已识别模板图像包括的符号识别为所述待识别图形表示的符号。

4.根据权利要求3所述的装置，其特征在于，所述获取模块用于：

对于每个所述目标模板图像，将所述转正图像中第一像素的颜色值与所述目标模板图像中第二像素的颜色值相减，得到颜色值差值，当所述颜色值差值大于预设色差阈值时，将所述第一像素确定为未匹配像素，所述第一像素在所述转正图像的图像坐标系中的坐标与所述第二像素在所述目标模板图像的图像坐标系中的坐标相同；

对于每个所述目标模板图像，将所述未匹配像素的个数与所述转正图像中所有像素的个数的比值确定为所述第一图像与所述目标模板图像的相似度。

Images