CN115019069A - 模板匹配方法、模板匹配装置以及存储介质 - Google Patents

Abstract

本发明提供了一种模板匹配方法，包括：获得模板图像；通过对模板图像应用变换参数来生成至少一个模型图像；从至少一个模型图像中的每个模型图像中提取边缘点；针对每个模型图像，通过基于像素梯度大小的第一过滤对所提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；通过基于像素梯度方向和像素距离的第二过滤对第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；通过计算第二像素子集中的每个像素与待检测图像区域中的对应像素之间的相似度，得到每个模型图像的第一匹配度；以及基于第一匹配度，判断至少一个模型图像中的每个模型图像与待检测图像区域是否匹配。

Description

模板匹配方法、模板匹配装置以及存储介质

技术领域

一般地，本发明涉及图像处理领域，更具体地涉及一种模板匹配方法、 模板匹配装置以及计算机可读存储介质。

背景技术

在图像处理领域中，模板匹配(Template Matching)通常用于检测实际场 景中目标图像的位置和姿态等参数，并且对遮挡、杂乱、对比度反转、非线性 光照条件等场景具有一定的鲁棒性。因此，基于模板匹配的目标识别和定位 可以广泛应用于自动化检查、缺陷检测等实际应用中。例如，通过匹配模板 图像与待检测图像(如包含缺陷的图像)之间的像素点，能够找到图像之间 诸如平移、缩放和旋转之类的数值，从而利用已知的模板图像的参数来获得 目标图像的参数。因此，如何选取模板图像中用于匹配的像素点对于模板匹配至关重要。

然而，在现有的模板匹配方法中，由于对模板图像中用于匹配的像素点 选择不当，可能导致选取的像素点过多而造成匹配效率低，或者遗漏有效像 素点而造成匹配准确率低等问题。因此，需要提出一种改进的模板匹配方式， 通过合理的像素选取策略和匹配方式，在效率和准确率之间获得权衡。

发明内容

有鉴于此，根据本发明的其中一个方面，提供了一种模板匹配方法，包 括：获得模板图像；通过对模板图像应用变换参数来生成至少一个模型图像； 从至少一个模型图像中的每个模型图像中提取边缘点；针对每个模型图像， 通过基于像素梯度大小的第一过滤对所提取的边缘点进行过滤，得到对应于 每个模型图像的第一像素子集；通过基于像素梯度方向和像素距离的第二过 滤对第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；通 过计算第二像素子集中的每个像素与待检测图像区域中的对应像素之间的相 似度，得到每个模型图像的第一匹配度；以及基于第一匹配度，判断至少一 个模型图像中的每个模型图像与待检测图像区域是否匹配。

此外，根据本发明的一个实施例，其中，判断至少一个模型图像中的每 个模型图像与待检测图像区域是否匹配，包括：将第一匹配度与一阈值进行 比较；其中，若第一匹配度不小于该阈值，则确定与不小于该阈值的第一匹 配度相关联的特定模型图像与待检测图像区域正向匹配；以及若第一匹配度 小于该阈值，则确定与小于该阈值的第一匹配度相关联的特定模型图像与待 检测图像区域不匹配。

此外，根据本发明的一个实施例，其中，在确定特定模型图像与待检测 图像区域正向匹配后，还包括：从匹配的待检测图像区域中提取边缘点，并 且对匹配的待检测图像区域的边缘点进行第一过滤和第二过滤，以得到第三 像素子集，通过计算第三像素子集中的每个像素与匹配的特定模型图像中的 对应像素之间的相似度，得到特定模型图像的第二匹配度；以及基于第一匹 配度和第二匹配度两者，确定特定模型图像与待检测图像区域之间是否匹配。

此外，根据本发明的一个实施例，模板匹配方法还包括：基于第一匹配 度和第二匹配度两者中的最小者，确定特定模型图像与待检测图像区域之间 是否匹配。

此外，根据本发明的一个实施例，模板匹配方法还包括：计算第二像素 子集中的每个像素的锐度，锐度被定义为与像素和其相邻像素形成的角度相 关联的值；基于所计算出的每个像素的锐度，对第二像素子集中的每个像素 赋予权值；以及通过权值来加权计算第一匹配度。

此外，根据本发明的一个实施例，模板匹配方法还包括：计算第三像素 子集中的每个像素的锐度，基于所计算出的每个像素的锐度，对第三像素子 集中的每个像素赋予权值；以及通过权值来加权计算第二匹配度。

此外，根据本发明的一个实施例，其中，像素之间的相似度通过以下方 式计算：计算像素的梯度方向与对应像素的梯度方向之间的差异；以及利用 梯度方向之间的差异来表征像素之间的相似度。

根据本发明的另一个方面，提供了一种模板匹配装置，包括：生成单元， 配置为获得模板图像，并通过对模板图像进行姿态变换以生成至少一个模型 图像；提取单元，配置为提取至少一个模型图像中的每个模型图像的边缘点； 过滤单元，配置为针对每个模型图像，通过基于像素梯度方向和像素距离的 第二过滤对第一像素子集进行过滤，得到对应于每个模型图像的第二像素子 集，并且通过基于像素梯度方向和像素距离的第二过滤对第一像素子集进行 过滤，得到第二像素子集；以及匹配单元，配置为计算第二像素子集中的每 个像素与待检测图像区域中的对应像素之间的第一匹配度，并且基于所计算 出的第一匹配度，判断至少一个模型图像中的每个模型图像与待检测图像区 域是否匹配。

根据本发明的又一个方面，提供了一种模板匹配装置，包括处理器和存 储器，在存储器中存储有计算机程序指令，其中，在计算机程序指令被处理 器运行时，使得处理器执行以下步骤：获得模板图像；通过对模板图像应用 变换参数来生成至少一个模型图像；从至少一个模型图像中的每个模型图像 中提取边缘点；针对每个模型图像，通过基于像素梯度大小的第一过滤对所 提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；通过基 于像素梯度方向和像素距离的第二过滤对第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；通过计算第二像素子集中的每个像素与待 检测图像区域中的对应像素之间的相似度，得到每个模型图像的第一匹配度； 以及基于第一匹配度，判断至少一个模型图像中的每个模型图像与待检测图 像区域是否匹配。

根据本发明的又一个方面，提供了一种计算机可读存储介质，其上存储 有计算机程序指令，其中，计算机程序指令被处理器执行时实现以下步骤： 获得模板图像；通过对模板图像应用变换参数来生成至少一个模型图像；从 至少一个模型图像中的每个模型图像中提取边缘点；针对每个模型图像，通 过基于像素梯度大小的第一过滤对所提取的边缘点进行过滤，得到对应于每 个模型图像的第一像素子集；通过基于像素梯度方向和像素距离的第二过滤 对第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；通过计算第二像素子集中的每个像素与待检测图像区域中的对应像素之间的相似 度，得到每个模型图像的第一匹配度；以及基于第一匹配度，判断至少一个 模型图像中的每个模型图像与待检测图像区域是否匹配。

根据本发明的上述模板匹配方法、模板匹配装置以及存储介质，通过合 理的匹配像素选择策略，在不增加额外运算量的情况下，选择描述能力强的 像素以进行模板匹配，从而能够获得高效率且高准确率的模板匹配表现。并 且，还利用基于锐度的加权模型来进一步增强对于匹配模型的描述能力。此 外，还利用双向匹配测量进一步降低误匹配的概率。

附图说明

通过结合以下附图对本发明的实施例进行详细描述，本发明的上述和其 它目的、特征、优点将会变得更加清楚。在附图中，相同的附图标记通常代表 相同部件或步骤，其中：

图1是示出了模板匹配方法的一个示例的示意图；

图2(a)至图2(c)是示出了提取模型点的一个示例的示意图；

图3是示出了根据本发明实施例的模板匹配方法的流程图；

图4是示出了根据本发明实施例的锐度的定义的示意图；

图5是示出了根据本发明实施例的模板匹配装置的示例的框图；

图6是示出了根据本发明实施例的模板匹配装置的另一示例的框图。

应理解，这些附图用来提供对本发明实施例的进一步理解，并且构成说 明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的 限制。

具体实施方式

以下将参照以上附图描述根据本发明的图像处理方法、模板匹配装置和 计算机可读记录介质的实施例。应理解，基于本发明中描述的实施例，本领 域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落 入本发明的保护范围之内，并且本文描述的实施例仅是本发明的一部分实施 例，而不是本发明的全部实施例，这些实施例仅仅是说明性和示例性的，因 此不应被解释为限制本发明的范围。此外，为了使说明书更加清楚简洁，将 省略对本领域熟知的功能和构造的详细描述，并且还将省略对步骤和元件的 重复解释说明。

首先，结合图1来描述模板匹配方法的一个示例。如图1所示，左侧的 图形可以作为模板图像的示例，右侧为待检测图像，在该待检测图像中包含 了多个可作为检测目标的积木的图像，并且图像中的积木是以不同的姿态呈 现在图像之中，因此，为了从待检测图像中检测出处于特定姿态的积木，可 以采用如下的模板匹配方式。

例如，若以侧向摆放的积木作为检测目标，考虑到侧向摆放的积木在待 检测图像中呈现出的形状为矩形，因此可以使用左侧示例的矩形图形作为模 板图像进行匹配。可以理解，若以其他姿态的积木作为检测目标，可以选择 其他适合的形状作为模板图像。此外，考虑到待检测图像中的积木相对于水 平方向呈现出了不同的角度或尺寸，因此还需要对该模板图像应用一个变换 参数或变换参数集，以对其进行诸如旋转变换和/或缩放，然后使具有不同旋 转角度和/或尺寸的模板图像(在本发明中也可以称为“模型”或“模型图像”) 遍历整个待检测图像或待检测图像中指定的一部分，例如，可以从左至右、 从上至下遍历整个图像或其中一部分区域，在每个位置都进行一次相似度的 评估，从而与待检测图像中的各个积木的图像进行匹配。对于匹配的方法而 言，本发明可以采用诸如特征点匹配、NCC算法等本领域中现有的或未来的 适当方式来实现，并且依据所采用的匹配方式来计算针对相应参数的相似度， 以衡量模型图像的匹配程度，在此不再赘述。

经过上述遍历过程后，如图1所示，共得到四个匹配的结果，在右侧的 待检测图像中示出为四个实线框。然而，可以看到其中一个匹配结果是错误 的，也即一个平放的积木将被识别为是侧向摆放的积木，这将对自动化检查 等应用场景造成不利影响。造成这种错误匹配的原因可能在于：传统的模板 匹配方法对目标图像中新增结构不敏感，例如，矩形模板覆盖的区域虽然与 目标图像的一部分可以匹配，但矩形模板以外的目标图像区域实际上与模板 并不匹配，由此导致上述误检。因此，需要提出一种改进的匹配方式来降低 误匹配率。

此外，由于传统的选取模型点(即模型中用于模板匹配的像素点)的方 式容易丢失细节信息，例如，仅按距离提取模型点可能无法很好地描述模型 的内部细节，也可能导致在模板匹配过程中对于模型图像的内部细节不敏感 而造成误检。下面将结合图2对选取模型点的处理进行说明。

图2示出了提取模型点的一个示例。在进行模板匹配之前，需要先从模 型图像中提取/选取出用于进行匹配的像素点，以与待检测图像中的对应像素 进行模板匹配，为确保匹配的准确性，所提取的模型点优选地应对模型具有 较强的描述能力。如图2所示，图中的模板图像(或模型图像)由两个圆形 构成，常规的模型选择策略通常根据像素的固定距离来选取模型点，如此可 能导致位于边缘上接近位置处的模型点丢失，如图2(a)所示，由于内圆与 外圆边缘之间的距离接近，在该内圆靠近外圆的边缘处未选取任何模型点， 导致内圆边缘上仅保留了两个模型点，然而仅依据这两个模型点将很难将内 圆描述为一个圆形，这对于后续的模板匹配将是不利的。

另一方面，为确保匹配的效率，所提取的模型点的数量也不宜过多。因 此，还需要提出一种改进的模型点选取策略，以在匹配的效率和准确性之间 获得权衡。

因此，至少为解决上述问题之一，本发明提出一种改进的模板匹配方法， 以下将结合图3进行详细描述。

图3是示出根据本发明实施例的模板匹配方法的流程图。如图3所示， 所提出的模板匹配方法的流程300可以包括以下步骤：

在S301处，开始流程，获得模板图像。

根据本发明的实施例，获取模板图像的方式可以包括但不限于以下：通 过具有图像捕获功能的设备对被摄体进行拍摄、录制来直接获得。替代地， 还可以经由有线或者无线的方式从其他设备(诸如服务器或存储设备)处接 收而获得。

此外，为了提高模板匹配的表现，模板图像优选地至少包含能够描述目 标物体的特征，例如，目标物体的轮廓或其一部分、大致形状、颜色等。例 如，如图1的实施例所述，目标物体为侧向摆放的积木的情况下，将采用矩形 的模板图像，可以理解，目标物体为平放的积木时，可以采用正方形的模板 图像或者内部具有形似图案的模板图像，也即，取决于具体的应用场景，可 以获得适合的模板图像来进行后续的模板匹配。此后，流程进至步骤S302。

在S302处，通过对模板图像应用变换参数来生成至少一个模型图像。

根据本发明的实施例，可以对模板图像在尺寸、旋转角度以及位置等方 面进行变换，也即，变换参数可以包括以下中的至少一项：缩放参数、旋转参 数等，并且取决于应用场景为2D还是3D，所述旋转也可以相应地是平面的或 是3D的。此外，考虑到待检测图像本身可能存在畸变(如广角畸变等)而造 成部分图像扭曲，因此，变换参数还可以包括形变参数或类似参数。可以理 解，也可以将变换参数设置为适当的值而不对模板图像进行变换，即直接使 用未经变换的模板图像进行模板匹配。通过对模板图像进行变换来生成至少 一个经过变换的模板图像(即模型图像)，能够在待检测图像中的各个位置与 处于不同姿态下的目标物体进行匹配。此后，流程进至步骤S303。

在S303处，从至少一个模型图像中的每个模型图像中提取边缘点。

具体地，将首先提取在步骤S302处所生成的每个模型图像的边缘点，以 用于后续与待检测图像中的对应像素进行匹配。对于图像的边缘点的提取， 在本领域中已有许多已知的方法，例如，可以通过聚类的方式对模型图像的 边缘点进行提取，更具体地，可以按距离进行聚类得到图像的边缘点，诸如 利用Canny算子、K-均值聚类，或者其他本领域中现有的或未来的适当方式来 实现，在此不再赘述。

从每个模型图像中所提取的边缘点通常已经具有一定的对模型的描述能 力，这是因为位于图像的边缘相比其他位置处的像素往往包含了更多的特征。 因此，经过S303处的边缘点提取处理，能够显著去除图像中的描述能力较弱 的大部分像素，而仅保留边缘点，以用于后续的模板匹配，从而提高了匹配 的效率和准确性。此后，流程进至步骤S303。

在S304处，针对每个模型图像，通过基于像素梯度大小的第一过滤对所 提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集。

在本领域中，像素梯度表示图像中像素的灰度值的变化程度(即像素梯 度大小)及变化方向(即像素梯度方向)。图像的像素梯度大小和像素梯度方 向可通过诸如Sobel算子、Krisch算子等常规的梯度算子计算得到，在此不再 赘述。

具体地，将对步骤S303处提取的边缘点进行第一过滤，其中，所述第一 过滤是基于像素梯度大小对像素点进行的过滤，也即，基于边缘点的梯度大 小对边缘点进行过滤。通过对模型图像的边缘点进行第一过滤后，保留了像 素梯度大小在合理范围内的边缘点，得到对应于该模型图像的第一像素子集 作为模型点的候选。例如，考虑到像素灰度值未发生较大变化的像素点往往 不包含较多的有效信息，因此为了提取像素梯度大小在合理范围内的边缘点， 可以通过设置适当的像素梯度大小阈值，将低于该阈值的边缘点从模型点的 候选中去除。替代地，可以设置一个像素梯度大小的范围区间，仅提取像素 梯度大小的值落在该区间内边缘点。此后，流程进至步骤S305。

在S305处，通过基于像素梯度方向和像素距离的第二过滤对第一像素子 集进行过滤，得到对应于每个模型图像的第二像素子集。

具体地，将对步骤S304处过滤的第一像素子集进行第二过滤，也即，对 模型图像的边缘点进行第二轮过滤处理。其中，所述第二过滤是基于像素梯 度方向和像素距离两者对像素点进行的过滤，最终得到对应于该模型图像的 第二像素子集可以作为用于进行与待检测图像中的对应像素的后续匹配的模 型点。

返回参照图2，进一步说明在步骤S303和S304处分别进行的第一过滤和 第二过滤的处理。

如上所述，本领域惯用的方式是仅对固定距离接近的多个模型点进行过 滤，以去除冗余的模型点或噪声，如结合图2(a)描述的上述示例，但此方式 同时也会造成丢失关键模型点而无法完整描述模型的问题。

而根据本发明的实施例，对模型图像的边缘点首先进行基于像素梯度大 小的第一过滤(S304)，将保留梯度强度在合理范围内的部分边缘点，并且不 会由于仅基于固定距离选择模型点而造成丢失关键模型点的情形，如图2(b) 所示，经过第一过滤后，内圆边缘上也保留了足够描述模型的数量的边缘点。

在此基础上，进一步对经第一过滤后的边缘点进行基于像素梯度方向和 像素距离的第二过滤(S305)。具体而言，对于模型边缘的曲线部分，像素灰 度值的变化方向往往发生较大变化，因此梯度方向变化相差较大的边缘点将 更具有描述图形轮廓的能力，故将这些边缘点保留作为模型点将显著提高模 板匹配的准确性，而相对地，梯度方向变化相差较小的边缘点对描述模型的 贡献较少，这些边缘点将通过第二过滤被去除，从而在保证匹配准确性的同 时提高效率。如图2(c)所示，经过第二过滤后，内圆中像素梯度方向接近的边缘点被过滤；另一方面，对于边缘的直线部分，则可以通过基于像素距离 的方式去除冗余的边缘点。

由此可见，根据本发明的实施例，首先通过基于像素梯度大小的第一过 滤对提取的模型点进行初步过滤，在过滤的同时保证关键的模型点不会丢失， 在此基础上，进一步通过基于像素梯度方向和距离两者进行第二过滤，仅保 留在相应情形下具有较强描述能力的像素点作为模型点，对现有的模型点选 取策略作出了改进，显著地提高了模板匹配方法的效率和准确性。此后，流 程进至步骤S306。

在S306处，通过计算第二像素子集中的每个像素与待检测图像区域中的 对应像素之间的相似度，得到每个模型图像的第一匹配度。

具体地，在通过上述步骤生成模型图像并且选取了用于进行匹配的模型 点后，将对每个模型图像与待检测图像进行匹配。如结合图1所描述的示例， 模型图像将遍历整个待检测图像的各个位置，在匹配过程中，将计算每个模 型图像的模型点与对应位置处的待检测图像区域中的像素(即对应像素)之 间的相似度，所计算出的像素之间的相似度可以用于衡量对应的模型图像与 待检测图像区域的匹配度。例如，将计算出像素之间的相似度的总和作为模 型图像的匹配度。

可以理解，像素之间的相似度可以有多种表征方式。优选地，根据本发 明的实施例，像素之间的相似度可以通过以下方式计算：计算像素的梯度方 向与对应像素的梯度方向之间的差异；以及利用所述梯度方向之间的差异来 表征像素之间的相似度。例如，可以计算模型点的梯度方向与对应像素的梯 度方向之间差值的余弦值作为所述相似度，即相似度可以通过以下公式(1) 计算：

其中，

表示模型图像

中的模型点r处的梯度方向，

表示 待检测图像

中的对应像素t处的梯度方向，由该公式可知，像素之间的梯度 方向之间的差异越大，则相似度越小，反之，像素之间的梯度方向之间的差 异越小，则相似度越大。同样可以理解，上述利用梯度方向夹角的余弦值表 征像素之间的相似度的示例仅为一个优选方式，除此之外，本领域技术人员 可以预期多种利用梯度方向之间的差异来表征像素之间的相似度的方式，在 此不再赘述。

此外，根据本发明的实施例，还可以基于像素的特定参数对模型点赋予 权值，计算加权后的相似度作为模型图像的匹配度。例如，考虑到两个并不 匹配的图像在平坦的边缘上也可能存在大量匹配的模型点，这并不能有效地 对目标进行区分，而模型的角点或拐点位置处的边缘点实际上更具辨识度， 因此，在计算相似度时需要对这些位于角点处的边缘点赋予更大的权重。

优选地，可以基于模型点的锐度对相似度进行加权。在此，首先结合图 4对锐度的定义进行说明。如图4所示，对于任意一个像素点t，都可以基于上 述的聚类方法获得与其相邻的两个像素点t-1和t+1。然后，可以根据以下 公式(2)定义该像素点t的锐度：

其中，α表示像素点t-1与t之间的线段和像素点t与t+1之间的线段所 形成的夹角角度(单位为度)。由该公式可知，特定像素点的锐度越小，则该 点所在的位置越平滑，因此通过上述锐度的定义，可以描述特定像素点所处 的线段的平滑度。

在此基础上，可以计算模型图像中像素的锐度。优选地，可以仅计算所 提取的模型点中的每个像素的锐度，并且基于所计算出的每个像素的锐度对 每个模型点赋予相应的权值，例如，设置模型点的权值与锐度成正比，然后 加权计算模型的匹配度，即匹配度可以通过以下公式(3)计算：

其中，w_i表示对于每个模型点所赋予的权值。

以此方式，将进一步提高模型点对于模型细节的描述能力，突出边缘中 的角点在匹配过程中的作用，从而改善匹配的效率和准确性。

回到流程300，将进至步骤S307。

在S307处，基于第一匹配度，判断至少一个模型图像中的每个模型图像 与待检测图像区域是否匹配。

具体地，如上所述，在步骤S306处计算出的相似度可以用于衡量对应的 模型图像与待检测图像区域的匹配度，在此基础上，例如，可以通过将第一 匹配度与一阈值进行比较；其中，若第一匹配度不小于该阈值，则确定与不 小于该阈值的第一匹配度相关联的特定模型图像与待检测图像区域匹配；以 及若第一匹配度小于该阈值，则确定与小于该阈值的第一匹配度相关联的特 定模型图像与待检测图像区域不匹配。

此外，根据本发明的实施例，在确定特定模型图像与待检测图像区域匹 配后(即正向匹配)，还进行反向匹配，具体包括：先从匹配的待检测图像区 域中提取边缘点，并且对所述匹配的待检测图像区域的边缘点进行如上所述 的第一过滤和第二过滤，以得到第三像素子集，通过计算第三像素子集中的 每个像素与匹配的特定模型图像中的对应像素之间的相似度，得到该特定模 型图像的第二匹配度。

其中，在反向匹配的过程中，可以使用与正向匹配类似的方式进行边缘 点和像素梯度的提取，在此不再赘述。并且为了提高算法的效率，考虑到当 前的特定模型图像的像素梯度在正向匹配中已经计算过，因此在反相匹配过 程中可直接使用，从而避免重复计算。此外，考虑到匹配的特定模型图像已 经在正向匹配过程中通过应用变换参数而经过了诸如尺寸和旋转变换，因此 在反相匹配过程中可以无需再对匹配的待检测图像区域进行变换来生成模型 图像，直接将其与特定模型图像进行匹配即可。

在通过反向匹配得到特定模型图像的第二匹配度后，将基于正向匹配得 到的第一匹配度和第二匹配度两者，确定该特定模型图像与待检测图像区域 之间是否匹配。例如，可以将所述第一匹配度和第二匹配度求和或加权求和 作为该特定模型图像的匹配度。替代地，还可以取所述第一匹配度和第二匹 配度两者中的最小者作为该特定模型图像的匹配度，以确定该特定模型图像 与待检测图像区域之间是否匹配，也即，该特定模型图像与待检测图像区域 正向和反向均能够匹配才确定两者是匹配的。通过上述的双向匹配的方式， 能够解决图1所描述的示例中模板匹配对目标图像中新增结构不敏感的问题， 因此，对现有的匹配方式作出了改进，进一步降低了模板匹配的误检率。

此外，根据本发明的实施例，在步骤S307判断特定模型图像与待检测图 像区域是否匹配后，还可以对至少一个模型图像中的其它模型图像进行所述 匹配的判断，从而判断每个模型图像与待检测图像区域是否匹配。以此方式， 在对每个模型图像与待检测图像区域进行模板匹配后，将得到每个模型图像 的匹配度，因此可以从中选取具有期望匹配度的一个或多个特定模型图像作 为匹配结果，例如，可以通过选取具有高于特定阈值或具有在特定区间的匹 配度的特定模型图像、匹配度最高的若干个特定模型图像作为匹配结果。

此外，根据本发明的实施例，在获得匹配的模型图像后，可以利用所获 得的匹配的模型图像，进一步根据具体的应用场景进行期望的处理。例如， 由于在获得模型图像的过程中可以知道模板图像和每个模型图像的参数(诸 如尺寸、姿态、位置等)，因此可以基于模型图像的参数来获得匹配的待检测 图像区域的相应参数，以对待检测图像中的目标物体进行识别和检测。

由此可见，通过本发明的上述实施例，对现有的匹配方式作出了改进， 本发明所提出的模板匹配方法通过合理的模型点选取策略和匹配方式，不仅 能够显著模板匹配的准确性，同时还提高了算法的整体效率，从而能够在具 体应用中具有更好的表现。

接下来，将参照图6来描述根据本发明实施例的模板匹配装置。

图6示出了根据本发明实施例的模板匹配装置500的框图。如图6所示， 模板匹配装置500包括：生成单元501、提取单元502、过滤单元503和匹配 单元504。应理解，所示结构只是示例性的，而非限制性的，并且除了这些单 元以外，模板匹配装置1100还可以包括其他部件，由于其他部件与本发明实 施例的内容关联较少或已在本领域中较为熟知，因此将省略这些部件的图示 和具体描述。

此外，由于根据本发明实施例的模板匹配装置500执行的下述处理的具 体细节与在上文中参照图1至图5所描述的细节大致相同，因此，本文出于 简洁的目的而省略对相同处理的部分描述。下文将逐一介绍模板匹配装置500 中的各个单元或部件。

生成单元501，配置为获得模板图像，并通过对所述模板图像进行姿态变 换以生成至少一个模型图像。所述生成单元501执行的具体处理与上文描述的 步骤S301和S302的相应内容一致。

具体地，生成单元501可以包括诸如相机、摄像头等图像捕获模块，或 者包括用于接收图像的模块，以获得模板图像，其中这样的模块还可以具有 对模板图像进行姿态变换的功能，或者生成单元501还包括具有该功能的另 一模块。

此外，生成单元501可以与模板匹配装置500中的其他单元在物理上分 离，并且经由有线或者无线方式，由生成单元501将图像传输给模板匹配装 置500中的其他单元或模块。替代地，生成单元501可以与模板匹配装置500 中的其他模块或组件物理上位于同一位置，甚至位于同一壳体内部，模板匹 配装置500中的其他单元或模块经由内部总线接收由生成单元501传输的图 像。

提取单元502，配置为提取至少一个模型图像中的每个模型图像的边缘 点。所述提取单元502执行的具体处理与上文描述的步骤S303的相应内容一 致。

具体地，提取单元502将首先提取所生成的每个模型图像的边缘点，以 用于后续与待检测图像中的对应像素进行匹配。对于图像的边缘点的提取， 如上所述，可以通过本领域中现有的或未来的适当方式来实现边缘点的提取， 在此不再赘述。

过滤单元503，配置为针对每个模型图像，通过基于像素梯度方向和像素 距离的第二过滤对第一像素子集进行过滤，得到对应于每个模型图像的第二 像素子集，并且通过基于像素梯度方向和像素距离的第二过滤对第一像素子 集进行过滤，得到第二像素子集。所述过滤单元503执行的具体处理与上文描 述的步骤S304和S305的相应内容一致。

具体地，过滤单元503将对从模型图像中提取的边缘点进行第一过滤，其 中，所述第一过滤是基于像素梯度大小对像素点进行的过滤，通过对模型图 像的边缘点进行第一过滤后，保留了像素梯度大小在合理范围内的边缘点， 得到对应于该模型图像的第一像素子集作为模型点的候选。并且，过滤单元 503还对经第一过滤后的第一像素子集进行第二过滤，也即，对模型图像的边 缘点进行第二轮过滤处理。其中，所述第二过滤是基于像素梯度方向和像素 距离两者对像素点进行的过滤，最终得到对应于该模型图像的第二像素子集 可以作为用于进行与待检测图像中的对应像素的后续匹配的模型点。如上所 述，可以通过本领域中现有的或未来的适当方式来实现像素梯度的获取，在 此不再赘述。

匹配单元504，配置为计算第二像素子集中的每个像素与待检测图像区 域中的对应像素之间的第一匹配度，并且基于所计算出的第一匹配度，判断 至少一个模型图像中的每个模型图像与待检测图像区域是否匹配。所述匹配 单元504执行的具体处理与上文描述的步骤S306和S307的相应内容一致。

具体地，匹配单元504将对每个模型图像与待检测图像进行匹配，匹配处 理可以类似与如结合图1所描述的示例，在匹配过程中计算出的像素之间的相 似度可以用于衡量对应的模型图像与待检测图像区域的匹配度，如上所述， 像素之间的相似度可以有多种表征方式，并且还可以基于像素的特定参数对 模型点赋予权值，计算加权后的相似度作为模型图像的匹配度，从而改善匹 配的效率和准确性。在此基础上，匹配单元504可以通过将第一匹配度与一阈 值进行比较；其中，若第一匹配度不小于该阈值，则确定与不小于该阈值的 第一匹配度相关联的特定模型图像与待检测图像区域匹配；以及若第一匹配 度小于该阈值，则确定与小于该阈值的第一匹配度相关联的特定模型图像与 待检测图像区域不匹配。

此外，根据本发明的实施例，在匹配单元504确定特定模型图像与待检测 图像区域匹配后(即正向匹配)，还进行反向匹配，具体包括：先从匹配的待 检测图像区域中提取边缘点，并且对所述匹配的待检测图像区域的边缘点进 行如上所述的第一过滤和第二过滤，以得到第三像素子集，通过计算第三像 素子集中的每个像素与匹配的特定模型图像中的对应像素之间的相似度，得 到该特定模型图像的第二匹配度。所述反向匹配的处理与上文描述的实施例 一致，在此不再赘述。

此外，根据本发明的实施例，匹配单元504在判断特定模型图像与待检测 图像区域是否匹配后，还可以对至少一个模型图像中的其它模型图像进行所 述匹配的判断，从而判断每个模型图像与待检测图像区域是否匹配，并且选 取具有期望匹配度的一个或多个特定模型图像作为匹配结果，如上所述。

此外，根据本发明的实施例，在匹配单元504获得匹配的模型图像后，模 板匹配装置中的适当的单元或模块可以利用所获得的匹配的模型图像，进一 步根据具体的应用场景进行期望的处理，如上所述。

应理解，模板匹配装置中的上述各单元或模块所执行的处理并不限于以 上示例，例如，其中的一个或多个单元或模块可以具有其他单元或模块的功 能，并执行其他单元或模块的处理，或者这些单元或模块之间可以集成为一 个部件。

接下来，将参照图6来描述根据本发明实施例的模板匹配装置。

图6示出了根据本发明实施例的模板匹配装置600的框图。如图6所示， 模板匹配装置600包括：处理器601和存储器602。其中，该模板匹配装置 600可以是诸如计算机或服务器之类的装置。应理解，所示结构只是示例性 的，而非限制性的，并且除了这些单元以外，模板匹配装置600还可以包括 其他部件，然而，由于这些部件与本发明实施例的内容无关，因此本文中省 略其图示和描述。

此外，由于根据本发明实施例的模板匹配装置600执行的处理的具体细 节与在上文中参照图1至图5描述的细节大致相同，因此，本文出于简洁的 目的而省略对相同细节的部分描述。下文将逐一介绍模板匹配装置600中的 各个模块或部件。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指 令执行能力的其它形式的处理单元，并且可以利用存储器602中所存储的计 算机程序指令以执行期望的功能，其中，在所述计算机程序指令被所述处理 器601运行时，使得所述处理器执行以下步骤：获得模板图像；通过对模板 图像应用变换参数来生成至少一个模型图像；从至少一个模型图像中的每个 模型图像中提取边缘点；针对每个模型图像，通过基于像素梯度大小的第一 过滤对所提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；通过基于像素梯度方向和像素距离的第二过滤对第一像素子集进行过滤，得 到对应于每个模型图像的第二像素子集；通过计算第二像素子集中的每个像 素与待检测图像区域中的对应像素之间的相似度，得到每个模型图像的第一 匹配度；以及基于第一匹配度，判断至少一个模型图像中的每个模型图像与 待检测图像区域是否匹配。

所述处理器601执行的上述步骤与上文结合图1至图5描述的步骤S301 至S307的相应内容一致。

存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品 可以包括各种形式的计算机可读存储介质，例如，易失性存储器和/或非易失 性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指 令，使得处理器602可以运行所述程序指令，以实现上文所述的本发明的实 施例的图像处理装置的功能和/或其它期望的功能，并且/或者可以执行根据本 发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种 应用程序和各种数据。

接下来，将描述根据本发明实施例的计算机可读存储介质。本发明还提 供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算 机程序指令被处理器执行时实现以下步骤：获得模板图像；通过对模板图像 应用变换参数来生成至少一个模型图像；从至少一个模型图像中的每个模型 图像中提取边缘点；针对每个模型图像，通过基于像素梯度大小的第一过滤 对所提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；通 过基于像素梯度方向和像素距离的第二过滤对第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；通过计算第二像素子集中的每个像素 与待检测图像区域中的对应像素之间的相似度，得到每个模型图像的第一匹 配度；以及基于第一匹配度，判断至少一个模型图像中的每个模型图像与待 检测图像区域是否匹配。

上述步骤与上文结合图1至图5描述的步骤S301至S307的相应内容一 致。

此外应理解，上述图像处理装置中的各部件或模块均可以由硬件实现， 也可以由软件实现，并且还可以由硬件和软件的结合来实现。

上述各实施例仅是示例性的而非限制，且本领域技术人员可以根据本发 明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现 本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不 逐一描述这种合并和组合。注意，在本发明中提及的优点、优势、效果等仅是 示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必 须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作 用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的模块、装置、设备、系统的方框图仅作为例示性的例子 并且不希望要求或暗示必须按照方框图示出的方式进行连接、布置、配置。 如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些模块、 装置、设备、系统。另外，诸如“包括”、“包含”、“具有”等等的词语是开放 性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或” 和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。 这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不希 望要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人 员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其 后”、“然后”、“接下来”等等的词语不希望限制步骤的顺序；这些词语仅用于 引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”、 “所述”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中 实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的 部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明 的范围内。并且，本文公开的方法和功能包括用于实现所述的方法的一个或 多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说， 除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱 离权利要求的范围。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的 手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限 于电路、专用集成电路(ASIC)或处理器。可以利用被设计用于进行在此所 述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列 信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的 硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电 路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业 上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算 设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的 一个或多个微处理器或任何其他这样的配置。

结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执 行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形 存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、 只读存储器(ROM)、快闪(Flash)存储器、EPROM存储器、EEPROM存储 器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以 便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多 指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个 存储介质。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机 程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有 形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机 程序产品可以包括包装的材料。软件或指令也可以通过传输介质而传输。例 如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如 红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源 传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以 在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可 以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此 所述的各种方法可以经由存储部件(例如，RAM、ROM、诸如CD或软盘等 的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向 该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方 法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如， 由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或 这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个 位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此 使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用 的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着 A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞 “示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术 的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述 的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用 与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前 存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动 作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的 组成、手段、方法或动作。

提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者 使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易 见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。 因此，本发明不应被限制到在此示出的方面，而是按照与在此发明的原理和 新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。并且，此描述不应将本发 明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实 施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组 合。

Claims (10)

1.一种模板匹配方法，包括：

获得模板图像；

通过对所述模板图像应用变换参数来生成至少一个模型图像；

从所述至少一个模型图像中的每个模型图像中提取边缘点；

针对每个所述模型图像，通过基于像素梯度大小的第一过滤对所提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；

通过基于像素梯度方向和像素距离的第二过滤对所述第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；

通过计算所述第二像素子集中的每个像素与待检测图像区域中的对应像素之间的相似度，得到所述每个模型图像的第一匹配度；以及

基于所述第一匹配度，判断所述至少一个模型图像中的每个模型图像与待检测图像区域是否匹配。

2.如权利要求1所述的方法，其中，所述判断所述至少一个模型图像中的每个模型图像与待检测图像区域是否匹配，包括：

将所述第一匹配度与一阈值进行比较；其中，

若所述第一匹配度不小于该阈值，则确定与不小于该阈值的所述第一匹配度相关联的特定模型图像与待检测图像区域正向匹配；以及

若所述第一匹配度小于该阈值，则确定与小于该阈值的所述第一匹配度相关联的特定模型图像与待检测图像区域不匹配。

3.如权利要求2所述的方法，其中，在确定所述特定模型图像与待检测图像区域正向匹配后，还包括：

从匹配的待检测图像区域中提取边缘点，并且对所述匹配的待检测图像区域的边缘点进行所述第一过滤和所述第二过滤，以得到第三像素子集，

通过计算所述第三像素子集中的每个像素与匹配的特定模型图像中的对应像素之间的相似度，得到所述特定模型图像的第二匹配度；以及

基于所述第一匹配度和所述第二匹配度两者，确定所述特定模型图像与待检测图像区域之间是否匹配。

4.如权利要求3所述的方法，还包括：

基于所述第一匹配度和所述第二匹配度两者中的最小者，确定所述特定模型图像与待检测图像区域之间是否匹配。

5.如权利要求1或2所述的方法，还包括：

计算所述第二像素子集中的每个像素的锐度，所述锐度被定义为与像素和其相邻像素形成的角度相关联的值；

基于所计算出的每个像素的锐度，对所述第二像素子集中的每个像素赋予权值；以及

通过所述权值来加权计算所述第一匹配度。

6.如权利要求3所述的方法，还包括：

计算所述第三像素子集中的每个像素的锐度，所述锐度被定义为与像素和其相邻像素形成的角度相关联的值；

基于所计算出的每个像素的锐度，对所述第三像素子集中的每个像素赋予权值；以及

通过所述权值来加权计算所述第二匹配度。

7.如权利要求1至4所述的方法，其中，像素之间的相似度通过以下方式计算：

计算像素的梯度方向与对应像素的梯度方向之间的差异；以及

利用所述梯度方向之间的差异来表征所述像素之间的相似度。

8.一种模板匹配装置，包括：

生成单元，配置为获得模板图像，并通过对所述模板图像进行姿态变换以生成至少一个模型图像；

提取单元，配置为提取所述至少一个模型图像中的每个模型图像的边缘点；

过滤单元，配置为针对每个所述模型图像，通过基于像素梯度方向和像素距离的第二过滤对所述第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集，并且通过基于像素梯度方向和像素距离的第二过滤对所述第一像素子集进行过滤，得到第二像素子集；以及

匹配单元，配置为计算所述第二像素子集中的每个像素与待检测图像区域中的对应像素之间的第一匹配度，并且基于所计算出的第一匹配度，判断所述至少一个模型图像中的每个模型图像与待检测图像区域是否匹配。

9.一种模板匹配装置，包括：

处理器；

和存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

获得模板图像；

通过对所述模板图像应用变换参数来生成至少一个模型图像；

从所述至少一个模型图像中的每个模型图像中提取边缘点；

针对每个所述模型图像，通过基于像素梯度大小的第一过滤对所提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；

通过基于像素梯度方向和像素距离的第二过滤对所述第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；

通过计算所述第二像素子集中的每个像素与待检测图像区域中的对应像素之间的相似度，得到所述每个模型图像的第一匹配度；以及

基于所述第一匹配度，判断所述至少一个模型图像中的每个模型图像与待检测图像区域是否匹配。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：

获得模板图像；

通过对所述模板图像应用变换参数来生成至少一个模型图像；

从所述至少一个模型图像中的每个模型图像中提取边缘点；

针对每个所述模型图像，通过基于像素梯度大小的第一过滤对所提取的边缘点进行过滤，得到对应于每个模型图像的第一像素子集；

通过基于像素梯度方向和像素距离的第二过滤对所述第一像素子集进行过滤，得到对应于每个模型图像的第二像素子集；

通过计算所述第二像素子集中的每个像素与待检测图像区域中的对应像素之间的相似度，得到所述每个模型图像的第一匹配度；以及

基于所述第一匹配度，判断所述至少一个模型图像中的每个模型图像与待检测图像区域是否匹配。

Images