CN110414645A - 一种基于元素匹配的图案识别方法 - Google Patents

Abstract

本申请实施例提供一种基于元素匹配的图案识别方法，所述方法包括：从待识别图像中提取待识别图案。将所述待识别图案分解成多个待匹配图案元素。将所述待匹配图案元素分别与多个标准图案元素进行匹配，其中不同的所述标准图案元素对应于不同的编码。根据所述待匹配图案元素所匹配的所述标准图案元素对应的编码生成待匹配编码序列。将所述待匹配编码序列与多个标准图案的标准编码序列进行匹配，以确定所述待识别图案与所述标准图案的对应关系。通过上述方式，本申请能够丰富机器人的使用体验。

Description

一种基于元素匹配的图案识别方法

技术领域

本申请涉及机器人识别技术领域，特别是涉及一种基于元素匹配的图案识别方法。

背景技术

在现有技术中的图案识别技术中，大多数是识别类似“二维码或条形码”等单一的黑白相间形式来获取信息，图案设计局限性大，而且由于二维码或者条形码在人的视觉上不具备美感，而且对于用户来说，机器人识别方式单一，机器人的使用体验较差，在消费级机器人的使用上不具备趣味性。

发明内容

本申请主要解决的技术问题是提供一种基于元素匹配的图案识别方法，能够丰富机器人的使用体验。

为解决上述技术问题，本申请实施例提供一种基于元素匹配的图案识别方法，所述方法包括：

从待识别图像中提取待识别图案。

将所述待识别图案分解成多个待匹配图案元素。

将所述待匹配图案元素分别与多个标准图案元素进行匹配，其中不同的所述标准图案元素对应于不同的编码。

根据所述待匹配图案元素所匹配的所述标准图案元素对应的编码生成待匹配编码序列。

将所述待匹配编码序列与多个标准图案的标准编码序列进行匹配，以确定所述待识别图案与所述标准图案的对应关系。

与现有技术相比，本申请的有益效果是：本申请实施例通过将包括多个待匹配元素的待识别图案进行分解，将分解得到的多个待匹配元素与标准图案元素进行匹配生成待匹配编码序列，通过待匹配的编码序列与标准图案的编码序列进行匹配，从而是识别出待识别图案相对应的标准图案，如此能够丰富待识别图案的形式和设计，减少图案设计的局限性，增强图案识别的美学性能，同时不同于现有技术的识别方式，本实施例多个元素对应多个编码，相同的编码但不同的编码序列得到不同的标准图案，能够丰富机器人的识别方式，从而丰富趣味性和提高机器人的实用性。

附图说明

图1是本申请机器人控制图案的生成方法实施例中生成系统电路示意图；

图2是本申请机器人控制图案的生成方法实施例第一流程示意图；

图3是本申请机器人控制图案的生成方法实施例第二流程示意图；

图4是本申请机器人控制图案的生成方法实施例用户修改过程示意图；

图5是本申请机器人控制图案的生成方法实施例第三流程示意图；

图6是本申请机器人控制图案的生成方法实施例第四流程示意图；

图7是本申请机器人控制图案的生成方法实施例第五流程示意图；

图8是本申请机器人控制图案的生成方法实施例第六流程示意图；

图9是本申请机器人控制图案的生成方法实施例第七流程示意图；

图10是本申请机器人控制图案的生成方法实施例归一化过程示意图；

图11是本申请机器人控制图案的生成方法实施例第八流程示意图；

图12是本申请机器人控制图案的生成方法实施例噪声添加、透视变换过程示意图；

图13是本申请基于元素匹配的图案识别方法实施例第一流程示意图；

图14是本申请基于元素匹配的图案识别方法实施例第二流程示意图；

图15是本申请基于元素匹配的图案识别方法实施例第三流程示意图；

图16是本申请基于元素匹配的图案识别方法实施例筛选候选框过程示意图；

图17是本申请基于元素匹配的图案识别方法实施例多边形近似过程示意图；

图18是本申请基于元素匹配的图案识别方法实施例形态学滤波过程示意图；

图19是本申请基于元素匹配的图案识别方法实施例第四流程示意图；

图20是本申请基于元素匹配的图案识别方法实施例编码过程示意图；

图21是本申请基于元素匹配的图案识别方法实施例第五流程示意图；

图22是本申请基于元素匹配的图案识别方法实施例第六流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，消费级的机器人的视觉识别一般是通过识别二维码、条形码等图案来获取信息，但是二维码或条形码等图案需要符合特定的格式，而且元素单一，只有方块或条形黑白相间等形式，用户无法按照其意愿和审美对元素进行修改和定义，一旦修改就无法被进行识别，由于不同的用户的审美可能存在差别，因此现有的图案识别技术无法满足不同用户的需求，无法丰富用户在机器人使用的体验。为了解决上述现有技术存在的问题，本申请提供如下实施例：

本申请机器人控制图案的生成方法实施例，本实施例中的控制图案是指能被机器人识别的图案，进一步地，机器人识别到控制图案后匹配到相应的标准图案可以执行相应的反应策略。标准图案一般是存储于机器人内部或者本体服务器、云服务器等上，能够在机器人获取到外界的控制图案后与标准图案进行匹配，从而执行相应的反应策略，在本实施例中，控制图案可以由用户进行自定义，用户自定义图案在被机器人识别时与标准图案进行匹配。用户自定义图案由用户自定义生成的，通过图案自定义生成系统操作生成符合要求的自定义图案。

参阅图1，图案自定义生成系统例如包括输入装置11，供用户操作进行设计自定义图案，例如鼠标、键盘、触摸屏或者带有触摸屏的设备，比如手机、平板电脑、笔记本电脑等。还包括处理器12用于对控制整个系统的操作，以及进行图案编码、解码处理，还用于将自定义图案的编码与标准图案元素的编码进行匹配，判断自定义图案是否符合标准图案的要求等事项，处理器12具有逻辑和/或通信处理能力。还包括数据库13用于保存图案以及相关的编码信息，可以供系统进行搜索和调用，数据库13可以存储于本地服务器，或者系统的存储设备上例如硬盘，或者是云盘、云服务器上。例如数据库13可以包括标准图案数据库以及标准图案编码数据库，分别存储标准图案和编码信息，在本实施例中，标准图案数据库以及标准图案编码数据库是按照存储功能在称谓上进行区分，实际上数据库13并不一定区分为这两个数据库，或者可能不一定在软件或者硬件上区分，例如数据库13可以同时混合存储标准图案和编码信息。当然，数据库13还可以包括用户自定义数据库，用于存储满足条件的用户自定义图案。

继续参阅图1，当然，生成系统进一步可以包括显示部件14，用于显示用户当前的自定义的图案，使得用户实时看到自己设计的图案，此外，显示部件可以用于处理器12向用户反馈图案信息和匹配信息等。当用户使用手机、平板电脑、笔记本电脑作为输入设备时，显示部件14可以是手机、平板电脑、笔记本电脑的显示屏。生成系统还可以包括内存储器15，用于存储设计过程中所产生的中间文件以及其他数据，该些数据可以在设计完毕后被清除。

或者图案自定义生成系统通过在手机、电脑、平板电脑、笔记本电脑等上安装相应的应用程序而实现，用户可以在手机、电脑、平板电脑、笔记本电脑上进行操作，设计自定义图案。

参阅图2，本申请机器人控制图案的生成方法实施例包括：

S1：获取用户的用户自定义图案。

例如，用户通过输入设备11在设计好自定义图案之后，发送给系统内的其他部件例如处理器12，也就是说，生成系统获取用户设计的自定义图案。

S2：按照预定的编码识别算法对用户自定义图案进行编码识别，以获得待匹配编码序列。

例如生成系统获取了该用户自定义图案后，按照预定的编码识别算法对用户自定义图案进行编码识别，也就是将用户自定义图案转换成编码例如是数字编码，用户自定义图案编码后形成了待匹配的编码序列。

预定的编码识别算法，例如是将用户自定义图案中不同的元素分别对应不同的编码，用户自定义图案可以包括多个图案元素，可以按照预定顺序生成一个编码序列，也就是待匹配编码序列。

S3：判断待匹配编码序列与多个标准图案所对应的标准编码序列中的一个是否一致。

例如系统中预存有多个编码序列，每个编码序列可以对一个标准图案，生成系统进一步判断待匹配编码序列与多个标准图案所对应的标准编码序列中的一个是否一致，也就是判断用户自定义图案是否满足标准图案的要求，具体地可以通过处理器12进行判断。

S4：若一致，则保存用户自定义图案。

若用户自定义图案的编码序列与其中一个标准编码序列一致，那么系统则保存用户自定义图案，例如保存数据库13中，比如存储器例如硬盘的数据库，或者本地服务器的数据库中，也可以保存在云盘或者云服务器中的数据库中。

用户自定义图案在使用时，可以作为待识别图案，可以被机器人识别，机器人识别到用户自定义图案后，可以匹配将用户自定义图案跟标准图案是否一致。若一致，机器人执行与该标准图案相应的反应策略，比如执行一些动作，或者发送语音等。

在本实施例中，通过对用户自定义图案进行编码获得编码序列，并将该编码序列与标准编码序列进行对比，在两者一致的情况下，保存用户自定义图案，如此能够保证用户自定义图案在使用时能够被机器人有效地识别，而且由于用户可以自定义图案，能够满足不同使用者的不同的审美，同时提升用户体验和机器人的趣味性，解决了现有技术中机器人的视觉识别中的图案形式单一，图案单一等问题。

参阅图3和图4，可选的是，S1：获取用户的用户自定义图案的步骤包括：

S11：从标准图案编码数据库中获得未被占用的标准编码序列。

例如，生成系统的数据库13内包括多个编码序列，例如多个编码进行排列组合形成的多个编码序列。处理器12搜索标准图案编码数据库(在不细分数据库类型的情况下，搜索的是数据库13)中的所有编码序列，判断哪些编码序列并未被占用例如被别的用户自定义图案所占用，从而获得未被占用的标准编码序列。

举例如下：标准图案编码数据库中包括3个图案元素所对应的3个编码段，分别是0001、0002、0003，那么进行排列组合得到的编码序列为000100020003、000100030002、000200010003、000200030001、000300010002、000300020001。假设其中000100020003、000100030002、000300010002已经被别的用户自定义图案所占用，处理器12获取其余的3个编码序列，比如获取000200010003。

S12：向用户呈现与未被占用的标准编码序列相对应的标准图案，其中标准编码列包括多个编码段，每一编码段对应于一标准图案元素，标准图案划分成数量与编码段对应的多个子区域，多个子区域依次由标准编码列中的编码段所对应的标准图案元素进行填充。

在本实施例中，标准图案元素是机器人识别的最小单元。为了便于机器人的识别，标准图案元素一般由几何图像构成，例如规则或者不规则几何图像，如圆形、多边形、三角形等。

例如图4所示，处理器12控制显示部件14向用户呈现未被占用的编码序列所对应的标准图案，可供用户挑选。编码序列包括多个编码段，例如编码序列000200030001包括3个编码段，每个编码段对应一个图案元素，也即0002对应一个图案元素，0003对应一个图案元素，0001对应一个图案元素。例如标准图案包括一个基准框比如多边形框，基准框内可以划分多个子区域，标准图案划分的区域数量与编码段相对应，编码段000200030001所对应的标准图案的区域数量为3个子区域，依次填充编码段000200030001所对应的标准图案元素。

在本实施中，每个子区域一般填充一个图案元素，每个子区域的大小不一定相同。子区域的个数对应的编码段的个数，相同的图案划分的子区域不同，那么对应的编码段数量也不同。也就是说，每个子区域填充不超过一个图案元素，有的子区域可以不填充，留空白。空白也可以对应有编码，例如000。

S13：接收用户的修改指令对标准图案中的标准图案元素进行修改，以形成用户自定义图案。

例如，用户在被未被占用的编码序列所对应的标准图案中挑选出的标准图案，可以对该标准图案中的标准图案元素进行修改，可以形成用户自定义的图案。

在本实施例中，通过获取未被占用的编码序列，向用户呈现未被占用的编码序列所对应的标准图案，可供用户选择和修改形成用户自定图案，如此可以使得用户所设计的自定义图案更具有独特性，满足用户的需求，提高用户的使用体验。

当然在本实施例中，也可以获取被占用的编码序列，向用户呈现并供用户进行修改。当然，也可以同时向呈现被占用和未被占用的编码序列，供用户进行修改。

在本实施中，无论是未被占用的编码序列还是被占用的编码序列，还是全部的编码序列，如果序列数量过多，可以以随之的方式向用户呈现。每次随机呈现部分编码序列。用户若不满意当前随机呈现的部分编码序列可以进行下次随机。相邻两次随机所呈现的部分编码序列中部分不相同，或者全部不相同。

参阅图5，可选的是，S13：接收用户的修改指令对标准图案中的标准图案元素进行修改的步骤包括：

S131：判断用户修改后的标准图案元素是否满足预设的修改要求。

具体地，用户自定义图案需要保证能被机器人所识别，能够进行正常的编码和解码等，如此需要用户修改后的标准图案元素满足预设的修改要求，也即修改后的图案元素能够与修改前的标准图案元素所对应的编码序列进行对应。

S132：若不满足修改要求，则向用户产生相应提示信息。

具体地，如不满足修改要求，则通过显示部件向用户显示相应的提示信息，例如显示文字和/或图案，或者是通过语音进行提示，或者语音、文字和图案同步提示。

进一步地，可以在不满足修改要求的图案元素上，特别提示，例如打“X”，标注红色等。

参阅图6和图10，可选的是，S131：判断用户修改后的标准图案元素是否满足预设的修改要求的步骤包括：

S1311：判断修改后的标准图案元素是否超出对应的子区域的边界。

具体地，如果用户在修改标准图案元素得到的修改后的图案元素超出了对应的子区域的边界，例如处理器12通过计算进行检测，判断修改后的标准图案元素超出子区域的边界。

S1312：若超出子区域的边界，则不满足修改要求。

若处理器12判定修改后的标准图案元素其所在的子区域的边界，机器人可能无法识别到超出子区域的部分，或者将超出子区域的部分作为无效处理，可能导致编码不准确或者可能会出现处理器12无法对该修改后的标准图案元素进行编码等问题，此时可以判定该用户自定义图案不满足修改要求。

可选的是，S131：判断用户修改后的标准图案元素是否满足预设的修改要求的步骤包括：

S1313：计算修改后的标准图案元素与对应的修改前的标准图案元素的相似度。

具体地，若修改后的标准图案元素没有超出对应的子区域的边界，处理器12需要进一步判断修改后的标准图案元素与修改前的标准图案元素是否相似，计算相似度。

因为如果修改后的标准图案元素与修改前的标准图案元素不相似，处理器12可能无法对该修改后的标准图案元素进行编码或者编码出错，无法进行编码的用户自定义图案无法进行保存和使用。比如可以从结构、形状、面积等判断相似度。

S1314：判断相似度是否小于预设的相似度阈值。

例如，处理器12将所计算的得到的相似度与预设的相似度阈值进行比较，来判断修改后的标准图案元素与修改前的标准图案元素的相似是否满足要求。

本实施例通过一预设相似度阈值来判断修改后的标准图案元素是否满足修改要求，如此能够有效保证修改后的标准图案元素能够被有效识别并进行编码，从而保证了用户自定义图案的有效性。预设的相似度阈值可以大于或者等于机器人准确识别图案元素的最低相似度，当然不同的标准图案元素可以设置不同的相似度，机器人可能对不同的标准图案元素识别的准确率不同。

S1315：若小于预设的相似度阈值，则不满足修改要求。

具体地，修改后的标准图案元素与修改前的标准图案元素的相似度小于预设的相似度阈值，可以认为两者并不相似，从而机器人无法识别该修改后的标准图案元素并对其进行编码和匹配。

参阅图7和图10，可选的是，S1313：计算修改后的标准图案元素与相应的修改前的标准图案元素的相似度的步骤包括：

S1313a：获取修改后的标准图案元素的边缘。

例如处理器12检测修改后的标准图案元素的边缘，并获取该边缘的数据，例如边缘为构成该边缘的像素点的集合。那么边缘的数据为构成该边缘的像素点的坐标数据的集合。

S1313b：根据边缘上的边缘像素的位置坐标计算修改后的标准图案元素的中心坐标和面积。

具体地，通过将边缘像素的位置坐标进行求和再去平均值，得到该修改后的标准图案元素的几何中心坐标。其次，知道了边缘上的各像素的位置坐标，就可以计算边缘所围成范围内的内部像素数量，从而可以计算得到修改后的标准图案元素的面积。当然，如果修改后的标准图案元素没有围成一定范围，也可以通过其边缘像素的得到修改后的标准图案元素的面积。例如直线“—”。

S1313c：根据修改后的标准图案元素进行中心缩放，以使得修改后的标准图案元素的面积和边缘像素的位置坐标归一化。

在本实施例中，位置坐标归一化是指将每个边缘像素坐标减去几何中心坐标，得到边缘像素的新坐标。经过中心缩放，几何中心变为坐标原点。面积归一化是将修改后的标准图案的面积缩小至基准面积，例如是修改前的标准图案面积。

S1313d：将归一化后的修改后的标准图案元素与修改前的标准图案元素进行最大重合度计算，以将计算获得的最大重合度作为相似度。

具体地，可以以面积重合度最大作为最大重合度。也即将归一化后的修改后的标准图案元素与修改前的标准图案元素进行中心位置重合，以计算两者的最大面积重合度，从而进行最大重合度计算。

参阅图8和图10，可选的是，S1313c：根据修改后的标准图案元素进行中心缩放的步骤包括：

S1313c1：将边缘像素的位置坐标与中心坐标进行相减。

如上面所述，通过边缘像素的位置坐标减去几何中心的位置坐标得到边缘像素的新的位置坐标，此时几何中心在坐标中心，实现边缘像素位置坐标归一化。

S1313c2：以修改后的标准图案元素的面积与基准面积的比值作为比例因子，对相减后的位置坐标进行缩放，并去除重复像素，以获得一组新的边缘像素。

在本实施例中，由于面积归一化，要将修改后的标准图案元素缩小至基准面积，因此比例因子其实就是缩小的倍数。基准面积例如是修改前的标准图案像素的面积，也可以不等于修改前的标准图案像素的面积。以修改后的标准图案元素的面积与基准面积的比值作为比例因子，对相减后的位置坐标进行缩放，由于缩小之后，缩放前相邻的像素在缩缩放后可能进行重合，为了避免重复像素带来的处理上复杂程度，因此需要对重复的像素进行剔除，从而获得新的边缘像素。对重复像素进行剔除，能够减少像素的相关数据的存储，而且能够简化边缘像素，减少误差。

参阅图9和图10，可选的是，S1313d：将归一化后的修改后的标准图案元素与修改前的标准图案元素进行最大重合度计算的步骤包括：

S1313d1：将新的边缘像素所包围的区域与修改前的标准图案像素进行中心对齐。

具体地，将修改后的标准图案元素的几何中心与修改前的标准图案像素的几何中心进行对齐或者重合，以便能够对两者进行重合度的判断。

S1313d2：在不同旋转角度下计算新的边缘像素所包围的区域与修改前的标准图案像素的重合面积。

例如以一角度幅值进行旋转，例如每次旋转20°，或者在0°-20°的范围内随机以一个角度旋转，当然，还可以以其他角度继续旋转，具体可以根据实际情况进行设定。

设置不同的旋转角度，可以避免由于形状上的差异所导致的在不同面积下重合面积不同的问题，如此能够找出最大重合度，如此才能准确地判断两者是否相似。这也说明了，用户在自定义图案时，可以将图案元素进行任意角度旋转，这不影响机器人的识，如此可以进一步丰富了用户的自定义的自由度。

S1313d3：将最大重合面积与基准面积的比值作为相似度。

例如比值等于1时，说明两者完全重合。例如预设的相似度阈值为0.7，则最大重合面积与基准面积的比值大于0.7，则该用户自定义图案满足修改要求，若小于0.7则用户自定义图案不满足修改要求。

例如图10所示，对于某一标准图案元素G，获得元素的边缘E。边缘E为所有构成边缘的像素点的集合。E的表达式为：E＝{P₁,P₂…P_i…P_n}。其中P_i代表第i个像素点的位置坐标，其坐标表示为P_i(x_i,y_i)

计算G的几何中心以及通过边缘所围成的范围内的像素个数统计得到G的面积S。

对该图案像素进行中心缩放，使其面积、位置坐标归一化(即面积变为单位面积S_e，几何中心C为坐标原点)。首先进行几何中心归一化，将每个边缘像素坐标P_i减去其中心坐标C，得到新的边缘像素P′_i＝P_i-C。接着，将S/S_e作为比例因子f，对每个新的边缘像素归一化，并剔除重复像素，得到一组边缘像素为m的边缘E′＝{Q₁,Q₂…Q_i…Q_m}。将E′_i与某一标准图案元素T_i中心重叠，计算其重合面积A。接着以左右小角度(0-20°)旋转E′，每次都计算其重合面积A_i，将获得的最大面积A_max与单位面积S_e的比值A_max/S_e记为图形G与T_i相似度Sim(G，Ti)。同理，可以计算G与另外一种标准图案元素T_j相似度Sim(G，Tj)。

参阅图11和图12，可选的是，S2：按照预定的编码识别算法对用户自定义图案进行编码识别的步骤包括：

S21：对用户自定义图案进行噪音添加和/或透视旋转变换，以在噪音添加和/或透视旋转变换后的用户自定义图案的基础上进行编码识别。

对用户自定义图案进行噪声添加和/或透视旋转变换，能够进一步保证用户自定义图案的有效性。也就是说，用户自定义图案在有噪声和/或不同视角的情况下仍能够被有效识别，并能够对图案元素进行正常编码或者编码与标准图案元素一致，说明该用户自定义图案有效。当然，进行噪声添加和/或透视旋转变换，能够使得机器人在识别被污染或者破损的用户自定义图案时，用户自定义图案仍能够有效地被识别。

在本实施中，可以只进行噪声添加，或者只进行透视旋转变换，也可以进行两种操作。两者操作顺序不限定。

当然，在添加噪声和/或进行透视旋转变换之后，对用户自定义图案进行编码识别，从一方面能够说明，用户在设计的用户自定义图案的时候，也可以认为加入一些别的元素(类似噪声)，或者对图案可以进行一定程度的旋转变换，如此可以说明用户的自定义程度更高，能够使得丰富自定义图案的类型。

可选的是，S2：按照预定的编码识别算法对用户自定义图案进行编码识别的步骤包括：

S22：按照预定的顺序对用户自定义图案中的子区域进行遍历。

S23：将遍历到的子区域内的图案元素与标准图案元素进行匹配。

S24：按照遍历顺序也即预定的顺序将所匹配的标准图案元素的对应编码段进行组合，以获得待匹配编码序列。

具体地，若用户自定义图案与标准图案能够匹配成功，则按照预定的顺序遍历子区域依次识别子区域内的图案元素所生成的编码序列，与以同样的遍历顺序遍历标准图案的子区域，依次识别标准图案元素的所生成的标准编码序列一致。实际上标准图案所对应的标准编码序列是按照一定的遍历顺序或者预定的顺序进行生成的，可以说是标准图案元素所处的空间顺序。

预定的顺序在制定相应的识别规则时就设置好。比如在本实施例中，预定的顺序可以是“左-右，上-下”的顺序。当然，预定的顺序，在不同的识别规则下可以是不同的。

参阅图1，可选的是，方法进一步包括：

S5：将用户自定义图案与用户指定的控制指令进行关联，以使得在机器人识别到用户自定义图案后按照控制指令执行相应的动作。

具体地，用户可以在自定义图案内关联控制指令，也即自定义图案对应的标准图案，所对应的标准编码序列可以携带的一定的信息或者指令，当机器人识别到该用户自定义图案后，匹配到标准图案，按照用户关联的控制指令执行相应的动作，比如用户在一用户自定义图案内关联一控制命令，该控制命令控制机器人在识别到该用户自定义图案时播放歌曲。

上述实施例中的用户自定义的图案在匹配到标准图案后进行保存，说明用户自定义图案可以进行使用且能够被机器人有效地识别到。在现有的图案识别技术中，大多数图案识别技术是通过识别类似“二维码或条形码”等单一的黑白相间形式来获取信息，此类二维码或条形码组成元素单一，用户无法自行分辨，因此二维码或者条形码在人的视觉上不具备美感，而且在消费级机器人上不具备趣味性，同时二维码或条形码类的图案识别技术，无法实现对由不同元素构成的图案的识别，因此识别方式单一。

参阅图13，本申请基于元素匹配的图案识别方法实施例，可以应用在机器人例如消费级机器人，比如教育机器人、娱乐机器人、陪伴机器人、家庭机器人等或者其他具有机器识别装置上。以机器人为例，机器人可以包括用于采集图像的传感器(图未示)以及处理器(图未示)，方法包括：

T1：从待识别图像中提取待识别图案。

例如机器人的传感器采集原始图像，待识别图像可以是原始图像，也可以是原始图像进行一些图像处理例如二值化处理后的图像，处理器经过计算提取得到待识别图案。该待识别图案例如是上述实施例中的用户自定义图案。由于机器人在采集图像的时候，所采集的待识别图像一般除了待识别图案之外还包括其他一些图案，因此需要在待识别图像中提取待识别图案。

由于采集的原始图像上的各个地方可以存在不同的光照条件，同时也存在不同的颜色，包括待识别图案上的可能存在的不同颜色，如果待识别图像是进行二值化处理后的图像，在二值化过程时可以通过对比每个像素与其邻域内像素的亮度，颜色等信息，根据相似性将原始图像进行二值化，得到二值图像，也即待识别图像。

T2：将待识别图案分解成多个待匹配图案元素。

待识别图案包括多个待匹配的图案元素，例如根据上述本申请机器人控制图案的生成方法实施例中的用户自定义图案可以划分为多个子区域，依次填充多个图案元素。每个子区域填充不超过一个图案元素。可选的是，将待识别图案按照预定的顺序分解成多个待匹配的图案元素。图案元素可以包括多种，例如规则或者不规则的几何图形，比如三角形、直线、圆形、多边形等。待识别图案可以是不同图案元素的组合，也可以是相同元素的组合，或者是图案元素和空白的组合，即有些子区域可以留空白。

T3：将待匹配图案元素分别与多个标准图案元素进行匹配，其中不同的标准图案元素对应于不同的编码。

具体地，将待匹配图案元素分别与多个标准图案元素进行匹配，按照对应的子区域进行对应匹配或者按照预定的顺序进行匹配，以匹配到与待匹配图案元素相应的标准图案元素，从而可以对该待匹配图案元素进行编码。例如机器人的处理器将待匹配图案元素与标准图案元素进行匹配。

T4：根据待匹配图案元素所匹配的标准图案元素对应的编码生成待匹配编码序列。

具体地，例如按照预定的顺序遍历待识别图案的子区域内的待匹配图案元素并将其和标准图案元素进行匹配，依据标准图案元素对应的编码按照该预定的顺序生成待匹配编码序列。如此就能将由多个不同图案元素构成的待识别图案转化成编码序列。例如是由机器人的处理器将根据待匹配图案元素所匹配的标准图案元素对应的编码生成待匹配编码序列。

T5：将待匹配编码序列与多个标准图案的标准编码序列进行匹配，以确定待识别图案与标准图案的对应关系。

例如，处理器将待识别图案所对应的待匹配的编码序列与数据库中的多个标准图案的标准编码序列进行匹配，若编码序列一致，则确定待识别图案与其中一个标准图案相对应。

例如，待识别图案包括3个子区域，每个子区域上分别填充有一个图案元素，例如分别是“直线”、“三角形”、“圆形”。那么处理器器可以将该待识别图案分解成3个待识别图案元素，再将该3个待识别图案元素分别与多个标准图案元素进行匹配，生成的待匹配编码序列例如为000100030002，将该待匹配编码序列与数据库中的标准编码序列进行匹配，可以确定待识别图案所对应的标准图案。

本实施例通过将包括多个待匹配图案元素的待识别图案进行分解，将分解得到的多个待匹配图案元素与标准图案元素进行匹配生成待匹配编码序列，通过待匹配的编码序列与标准图案的编码序列进行匹配，从而在两者一致的情况下识别出待识别图案相对应的标准图案，如此能够丰富待识别图案的形式和设计，减少图案设计的局限性，增强图案识别的美学性能，同时不同于现有技术的单一识别方式，本实施例可以识别不同的图案元素得出多个编码，组成编码序列，可以丰富机器人的视觉识别的方式，相同的编码但不同的编码序列得到不同的标准图案，能够丰富机器人的趣味性和实用性。

参阅图14，可选的是，T1：从待识别图像中提取待识别图案的步骤包括：

T11：从待识别图像中识别出多边形基准框。

在本实施中，待识别图案外包围一个多边形基准框。由于待识别图像一般除了待识别图案外，还可能存在别的图案或者物体被采集进图像中，因此为了能够提取到待识别图案，需要首先识别出多边形基准框，通过基准框对待识别图案进行定位，以便下一步确定待识别图案。

T12：将多边形基准框内的图案作为待识别图案。

也即基准框包围待识别图案，多边形基准框可以说对识别图案起到一个定位的作用。

参阅图15-18，可选的是，T11：从待识别图像中识别出多边形基准框的步骤包括：

T111：对待识别图像进行边界提取，以获得多个轮廓。

待识别图像中可能采集有包括待识别图案在内的多个图案或者物体，因此可能包括多个轮廓，例如在一个正方体的一面上粘贴有待识别图案，待识别图案粘贴在正方体一面的中心部分，当采集原始图像得到待识别图像时，图像中至少包括正方体一面的轮廓，也包括基准框的轮廓。根据采集的实际情况，被采集的待识别图像包含的轮廓数量是不同的。轮廓的数量跟采集的实际情况相关。

为了能够识别出基准框，首先要对该识别图像进行边界提取，来获得多个轮廓。机器人在识别时，例如由处理器通过计算对该识别图像进行边界提取，来获得多个轮廓。

T112：根据多个轮廓的层次关系从多个轮廓中筛选出满足预设的层次标准的轮廓，其中层次关系为多个轮廓之间的包围和被包围关系。

在本实施例中，层次关系为多个轮廓之间的包围和被包围关系，包括包围、被包围，并列、部分重合等，例如是轮廓之间可以相互包围，也即存在包围和被包围关系，轮廓之间也可以是并列关系，不互相包围，也可能是部分包围或者说部分重合。

在本实施中，例如机器人的处理器通过计算根据多个轮廓之间的层次关系从多个轮廓中筛选出满足预设的层次要求的轮廓。

例如图16所示，其中轮廓0，1不包含任何轮廓，也不被任何轮廓包含，记录其层次关系{包含：0，被包含：0}。轮廓2至少包含4个轮廓，实际上还包括“笑脸”的眉毛部分的两个轮廓，应包含6个轮廓，且不被任何轮廓包含(最外面的框是整个图像的视野边界，不是轮廓)，记录其层次关系{包含：6，被包含：0}。以此类推。轮廓3,4,5的层次关系依次为{包含：4，被包含：1}，{包含：3，被包含：2}，{包含：0，被包含：3}。轮廓6的层次关系为{包含：0，被包含：1}，假设需要要搜索的基准框如图16所示的基准框，假设自定义图案的边框具备一定的厚度，那么在提取轮廓的时候会形成内外轮廓那么需要搜索的基准框(例如以内轮廓作为基准框)则需要满足{包含：>0，被包含：>0}，即轮廓3和轮廓4。

T113：对筛选出的轮廓进行多边形近似，以获得多个多边形候选框。

具体地，由于提取到的轮廓可能是不规则的，是像素点的集合，有时无法用数学形式表达，因此需要对其通过多边形近似，将筛选出的轮廓进行多边形近似，得到多边形的轮廓，例如根据轮廓的外形将其近似成由直线构成的轮廓，最后可以成为多边形。例如机器人的处理器对筛选出的轮廓进行多边形近似，以获得多个多边形候选框。

T114：根据预设的多边形标准从多边形候选框中筛选出多边形基准框。

预设的多边形标准例如为与多边形基准框相同的多边形标准，例如为平行四边形，或者正方形等。因此可以通过预设的多边形标准从多边形候选框中筛选出与多边形标准相符的多边形基准框。例如机器人的处理器通过计算根据预设的多边形标准从多边形候选框中筛选出多边形基准框。

参阅图17，以平行四边形的筛选为例。图a满足凸多边形，边数为4，对边平行的条件，故被存储为候选基准框。图b满足凸多边形，但边数为5，故不满足条件。图c满足凸多边形，边数为4，但有两条对边不平行，故不满足条件。图d满足边数为4，但不满足凸多边形，故不满足条件。

参阅图15和图18，可选的是，T111：对待识别图像进行边界提取的步骤之前进一步包括：

T110：对待识别图像进行形态学滤波，以在滤波后的待识别图像的基础上执行后续步骤。

在本实施中，形态学滤波可以包括膨、腐蚀、开、闭等处理。形态学滤波用于待识别图像处理中，可以使得待识别图像保持基本的形状，去除不相关的特征和噪声。无论是待识别图像是否是二值化处理的图像，还是待识别图案本身，都可能存在丢失一部分细节的情况，同时也可能产生一些噪声存在与待识别图像或者图案之中，对图案本身的识别造成干扰。因此需要进行形态学滤波处理。例如待识别图案外面的基准框存在断点，属于非连通域，或者待识别图案本身在设计时为了美观而故意丢失部分细节或者添加噪声或者使用者出现了破损、污染等丢失细节或者存在噪声，如果待识别图像是二值化处理的图像，那么二值化过程也会使得图像丢失部分细节或者产生噪声。例如膨胀处理，可以填充图案中的细小空洞例如丢失的细节，连接邻近物体，平滑边界，能够使得非连通域的边框进行连通，以便后续能够被有效识别。腐蚀处理能够将膨胀后的图像进行细化处理或者能够消除纤细点、噪声等，得到类似标准的框架，保留图案的边缘轮廓。例如处理器在对待识别图像进行形态学滤波后再进行边界提取，来获取多个轮廓。

参阅图18，具体地，以不同参数对待识别图像进行至少两次形态学滤波。

由于在实际获取待识别图像中，由于获取的角度和距离等不同，因此待识别图像存在尺度大小和角度等的不同，若采用单次滤波，甚至不采用滤波，很有可能提取不到多边形基准框与待识别图案。因此，一般需要采用一组以上的不同参数对待识别图像进行滤波，从而改善图案距离与角度不同等所带来的问题。

采用不同参数对待识别图像进行至少两次滤波后，每次滤波会产生的新的待识别图像，因此在进行至少两次滤波后会产生至少两张新的待识别图像。在滤波后的新的待识别图像进行后续步骤的时候一般只需要输出一张，而在滤波后，同一多边形基准框可能会被多张新的待识别图像所提取到，若不进行基准框合并，则在该输出的一张待识别图像就存在重复的基准框，使得计算效率和识别效率下降，因此需要对重复的同一基准框进行合并，避免重复输出。

例如利用函数morphology Ex，进行形态学滤波，该函数依次形态学滤波中包括设置多个参数，可以称为一组参数。进行多次滤波，则采用多组不同的参数进行多次滤波。

参阅图15和图18，可选的是，T114：根据预设的多边形标准从多边形候选框中筛选出多边形基准框的步骤之后进一步包括：

T115：对筛选出的多边形基准框进行合并。

具体地，判断至少两个多边形基准框的顶点之间的距离是否小于预设距离且至少两个多边形基准框的层次关系是否相同。

在多张新的待识别图像中，分别提取到多个基准框，在输出一张图像是需要对该张图像中重复的基准框进行合并。通过判断该至少两个多边形基准框的层次关系是否相同，且至少两个多边形基准框的顶点之间的距离是否小于预设距离，因此来判断该至少两个多边形基准框是否是重复的。

若判断结果为是，则将至少两个多边形基准框的顶点位置的平均值作为合并后的多边形基准框的顶点位置。

具体地，用合并后的多边形边框代替原来的边框，减少单次滤波的误差，减少重复边框造成的信息的冗余，提高边框提取的精度和稳定性。

参阅图14和图20，T12：将多边形基准框内的图案作为待识别图案的步骤之后进一步包括：

T13：根据多边形基准框和理论边框计算透视变换矩阵。

由于采集待识别图像时，存在角度和距离等差异，不一定能够采集从正面采集到与实际待识别图案等比例的待识别图案，因此需要对待识别的图案进行透视变换矩阵进行变换处理，具体地通过所识别到的多边形基准边框和理论边框进行计算该透视变换矩阵。透视变换矩阵，也可以称为透视旋转变换矩阵。

T14：根据透视变换矩阵对待识别图案进行透视变换，以在透视变换后的待识别图案基础上执行后续步骤。

具体地，通过透视变换矩阵对待识别图案进行透视变换，待识别图案的所有像素点，通过生成的变换矩阵，将其变换为新的像素点。如此使得待识别图案能够变换成与实际设计的待识别图像同样的视角的新的待识别图案，如此能够对待识别图案进行识别。例如图20所示的透视变换所展示的图像视觉变换。

参阅图19和图20，可选的是，待匹配图案元素包括线条元素，在本实施例中，线条元素是指图案元素由线条构成，例如由线条构成的圆形，或者由线条构成的三角形，或者直线等。T2：将待识别图案分解成多个待匹配图案元素的步骤包括：

T21：对待识别图案中的线条的宽度进行细化，并提取骨架线条。

例如通过对比线条每一像素与其邻域内像素的关系，将图案进行细化，得到图案的骨架线条。在骨架条线中，所有线条的像素宽度均为一个像素。

T22：对骨架线条进行分解，以形成多个待匹配线条元素。

例如，通过获取一条连续线段中的斜率突变点，将线条分解成线段单元。针对每个线段单元，选取与之最接近的标准长度线段代替。比如一条构成直角的连续线段“L”，在斜率突变点或者顶点分解或者划分为两个线段单元，每个线段单元使用标准长度的线段代替，形成待匹配线条元素。如果一条连续线段不存在斜率突变点，则不需要进行分解，或者可以视为两个端点为分解点，分解后仍为该连续线段。

对待识别图案中的所有骨架线条进行分解后，形成多个待匹配的线条元素。

当然，在本实施例中图案元素还可以包括非线条元素，例如是内部被填充的圆形整体，区别于由线条元素构成的圆形(圆环)。本实施中，待识别图案可以只有线条元素构成，也可以只由非线条元素构成，也可以同时由线条元素和非线条元素构成。

参阅图19-20，可选的是，T2：将待识别图案分解成多个待匹配图案元素的步骤包括：

T23：根据多个标准图案元素的类型对待匹配图案元素进行近似处理，以使得处理后的待匹配图案元素的类型与标准图案元素的类型相同。

例如一条连续弧线，可以近似成一条直线，假设直线是标准图案类型。例如一个闭合椭圆，可以近似成一个圆，假设圆是标准图案类型。

T24：根据多个标准图案元素的尺寸和角度对待匹配图案元素进行标准化处理，以使得处理后的待匹配图案元素的尺寸和角度与标准图案元素的尺寸和角度满足预设的对应关系。

例如近似处理得到的直线与水平呈一定角度，而标准图案元素为水平，则将近似处理得到的直线进行标准化处理，拉平到水平方向。当然，T24和T23可以同步进行，也可以依次进行。

可选的是，T3：将待匹配图案元素分别与多个标准图案元素进行匹配的步骤包括：

T31：按照预定的顺序对待识别图案中的待匹配图案元素进行遍历。

T32：将遍历到的待匹配图案元素与标准图案元素进行匹配。

具体地，按照预定的顺序对待识别图案的待匹配图案元素进行匹配，那么编码序列也是按照该预定顺序进行生成。例如图20所示，按照依次遍历图案元素1、2、3的遍历顺序，生成的编码则为00010001002。

参阅图22，可选的是，T4：根据待匹配图案元素所匹配的标准图案元素对应的编码生成待匹配编码序列的步骤包括：

T41：按照遍历顺序将匹配到的标准图案元素对应的编码或编码的衍生码进行组合，以形成待匹配编码序列。

在本实施例中，衍生码是以标准编码作为基础。例如待匹配的图案元素标准化后的一个元素例如为长度等于2的直线，标准图案元素中的直线长度标准为1，标准图案元素中的直线对应的编码是0001，那么长度2等于的直线所对应生成的就是编码的衍生码，例如0011。因此待匹配编码序列可以是编码和/或编码的衍生码的组合。例如编码和衍生码满足一定的编码规则。

可选的是，T4：根据待匹配图案元素所匹配的标准图案元素对应的编码生成待匹配编码序列的步骤包括：

T42：判断待匹配图案元素与标准图案元素是否满足预定的缩放关系。

预定的缩放关系，也就是说待匹配图案元素与标准图案元素例如在形态上具有大小、倍数关系。例如待匹配元素的长度是标准图案元素的两倍，或者待匹配图案元素的面积是标准图案元素的两倍，由于待匹配编码序列可以是编码和/或编码衍生码的组合，不一定全是标准的编码，满足缩放关系时可以生成衍生码。

T43：若满足预定的缩放关系，则根据标准图案元素的编码和预设的编码规则针对待匹配图案元素生成新的编码，其中新的编码不同于标准图案元素的编码。

在本实施中，新的编码是编码的衍生码。满足预定缩放关系，可以根据预定的缩放关系，可以生成新的编码，得到编码的衍生码。

T4：根据待匹配图案元素所匹配的标准图案元素的编码生成待匹配编码序列的步骤包括：

T44：将新的编码添加到待匹配编码序列。

具体地，待匹配编码序列可以是编码的组合、编码和编码的衍生码的组合、衍生码与衍生码的组合。

综上所述，本实施例通过将包括多个待匹配元素的待识别图案进行分解，将分解得到的多个待匹配元素与标准图案元素进行匹配生成待匹配编码序列，通过待匹配的编码序列与标准图案的编码序列进行匹配，从而是识别出待识别图案相对应的标准图案，如此能够丰富待识别图案的形式和设计，减少图案设计的局限性，增强图案识别的美学性能，同时不同于现有技术的识别方式，本实施例多个元素对应多个编码，相同的编码但不同的编码序列得到不同的标准图案，能够丰富机器人的趣味性和实用性。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于元素匹配的图案识别方法，其特征在于，所述方法包括：

从待识别图像中提取待识别图案；

将所述待识别图案分解成多个待匹配图案元素；

将所述待匹配图案元素分别与多个标准图案元素进行匹配，其中不同的所述标准图案元素对应于不同的编码；

根据所述待匹配图案元素所匹配的所述标准图案元素对应的编码生成待匹配编码序列；

将所述待匹配编码序列与多个标准图案的标准编码序列进行匹配，以确定所述待识别图案与所述标准图案的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述从待识别图像中提取待识别图案的步骤包括：

从所述待识别图像中识别出多边形基准框；

将所述多边形基准框内的图案作为所述待识别图案。

3.根据权利要求2所述的方法，其特征在于，所述从所述待识别图像中识别出多边形基准框的步骤包括：

对所述待识别图像进行边界提取，以获得多个轮廓；

根据所述多个轮廓的层次关系从所述多个轮廓中筛选出满足预设的层次标准的轮廓，其中所述层次关系为所述多个轮廓之间的包围和被包围关系；

对筛选出的轮廓进行多边形近似，以获得多个多边形候选框；

根据预设的多边形标准从所述多边形候选框中筛选出所述多边形基准框。

4.根据权利要求3所述的方法，其特征在于，所述对所述待识别图像进行边界提取的步骤之前进一步包括：

对所述待识别图像进行形态学滤波，以在滤波后的所述待识别图像的基础上执行后续步骤。

5.根据权利要求4所述的方法，其特征在于，所述对所述待识别图像进行形态学滤波的步骤包括：

以不同参数对所述待识别图像进行至少两次形态学滤波，以在至少两个滤波后的所述待识别图像的基础上执行后续步骤；

所述根据预设的多边形标准从所述多边形候选框中筛选出所述多边形基准框的步骤之后进一步包括：

对筛选出的所述多边形基准框进行合并，具体包括：

判断至少两个所述多边形基准框的顶点之间的距离是否小于预设距离且所述至少两个多边形基准框的层次关系是否相同；

若判断结果为是，则将所述至少两个多边形基准框的顶点位置的平均值作为合并后的多边形基准框的顶点位置。

6.根据权利要求2所述的方法，其特征在于，所述将所述多边形基准框内的图案作为所述待识别图案的步骤之后进一步包括：

根据所述多边形基准框和理论边框计算透视变换矩阵；

根据所述透视变换矩阵对所述待识别图案进行透视变换，以在透视变换后的所述待识别图案基础上执行后续步骤。

7.根据权利要求1所述的方法，其特征在于，所述待匹配图案元素为线条元素，所述将所述待识别图案分解成多个待匹配图案元素的步骤包括：

对所述待识别图案中的线条的宽度进行细化，并提取骨架线条；

对所述骨架线条进行分解，以形成多个待匹配线条元素。

8.根据权利要求1所述的方法，其特征在于，所述将所述待识别图案分解成多个待匹配图案元素的步骤包括：

根据所述多个标准图案元素的类型对所述待匹配图案元素进行近似处理，以使得处理后的所述待匹配图案元素的类型与所述标准图案元素的类型相同；

根据所述多个标准图案元素的尺寸和角度对所述待匹配图案元素进行标准化处理，以使得处理后的所述待匹配图案元素的尺寸和角度与所述标准图案元素的尺寸和角度满足预设的对应关系。

9.根据权利要求1所述的方法，其特征在于，所述将所述待匹配图案元素分别与多个标准图案元素进行匹配的步骤包括：

按照预定的顺序对所述待识别图案中的所述待匹配图案元素进行遍历；

将遍历到的所述待匹配图案元素与所述标准图案元素进行匹配；

所述根据所述待匹配图案元素所匹配的所述标准图案元素对应的编码生成待匹配编码序列的步骤包括：

按照遍历顺序将匹配到的所述标准图案元素对应的编码或所述编码的衍生码进行组合，以形成所述待匹配编码序列。

10.根据权利要求1所述的方法，其特征在于，所述根据所述待匹配图案元素所匹配的所述标准图案元素对应的编码生成待匹配编码序列的步骤包括：

判断所述待匹配图案元素与所述标准图案元素是否满足预定的缩放关系；

若满足预定的缩放关系，则根据所述标准图案元素的编码和预设的编码规则针对所述待匹配图案元素生成新的编码，其中所述新的编码不同于所述标准图案元素的编码；

所述根据所述待匹配图案元素所匹配的所述标准图案元素的编码生成待匹配编码序列的步骤包括：

将所述新的编码添加到所述待匹配编码序列。