CN113361609B - 一种应用于人机协作的基于各向异性过滤的模板匹配方法 - Google Patents

Abstract

本发明公开了一种应用于人机协作的基于各向异性过滤的模板匹配方法，包括选择模板匹配算法；输入初始模板图片和源图片；根据输入的模板图片，通过各向异性过滤得到若干个层级模板图片集合；采用层级模板图片集合，通过模板匹配算法，计算集合中最佳匹配的层级；选择最佳匹配层级中所有模板图片作为输入，通过模板匹配算法，计算得到最佳匹配模板图片并输出匹配结果。本发明只需要提供一张待识别物体模板的图片，再采用各向异性过滤技术对此模板图片进行处理，自动生成多张各个角度、各种大小的模板图片。在人机协作过程中，能够对人手掌图片进行处理，高效、快捷，并且提高了工业生产的安全性和效率。

Description

一种应用于人机协作的基于各向异性过滤的模板匹配方法

技术领域

本发明属于电数字处理领域，具体涉及一种应用于人机协作的基于各向异性过滤的模板匹配方法。

背景技术

随着人工智能技术的提高，人机协作技术越来越多的应用到了智能制造、自动化工厂领域中。人与机器人共融协作，可以有效发挥机器人精度高和耐久性好的优势。为了实现人机协作，人体运动状态和运动意图预测是机器人关注的重点。

传感方法和识别算法是准确预测人体运动信息的关键环节。摄像头传感器在其中起到了举足轻重的作用。将摄像头采集的图片信息作为输入的计算机视觉算法也越来越多地应用到人机协作中，帮助机器人更好的预测人类动作意图。计算机视觉算法的任务往往是目标识别，即在图片帧中识别出某一个特定物体；此物体可以是装配零件，也可以是人类手掌。手掌的识别与定位在预测人类动作意图也起到了一定的作用。

模板匹配是目标识别中最常用的技术之一。经典的模板匹配方法通常使用平方和差(SSD)或标准化交叉相关(NCC)来计算模板和底层图像之间的相似性分数。经过Dekel、Jiaxin Cheng等人的研究，模板匹配算法的精度和速度都有了长足发展。该算法有两个必须的输入：源图片和模板图片(即为需要识别的物体图片)。根据模板图片的不同，模板匹配算法可以在源图片中检测出多个待识别物体和同一个物体的不同角度。在实时人机协作场景中，人类和机器人处于运动状态，而摄像头的位置是固定的；因此摄像头捕捉的图片信息中，人手的角度和人手的大小都是变化的。为了能够应对这种情况，传统做法是尽可能多地提供各种角度和大小的手掌图片作为模板匹配算法的输入。随着待识别物体的增加，这种做法将变得异常繁琐、得不偿失。

发明内容

本发明的目的在于提供一种应用于人机协作的基于各向异性过滤的模板匹配方法，该方法只需要提供一张待识别物体模板的正面俯视图，再利用各向异性过滤对此模板图片进行处理，自动生成多张各个角度、各种大小的模板图片；处理快速、高效。

本发明提供的这种应用于人机协作的基于各向异性过滤的模板匹配方法，包括如下步骤：

S1.选择模板匹配算法；

S2.输入初始模板图片和源图片；

S3.根据输入的模板图片，通过各向异性过滤得到若干个层级模板图片集合；

S4.采用层级模板图片集合，通过模板匹配算法，计算集合中最佳匹配的层级；

S5.选择最佳匹配层级中所有模板图片作为输入，通过模板匹配算法，计算得到最佳匹配模板图片并输出匹配结果。

所述的步骤S1，具体包括，模板匹配算法包括平方差匹配算法、相关匹配算法和标准相关匹配算法；其中，相关匹配算法将模板对均值的相对值和图像对均值的相对值进行匹配；1表示完美匹配，-1表示糟糕的匹配，0表示没有任何相关性；同时令t_i,j为模板图片，i为模板图片的长，j为模板图片的宽；S_I,J为源图片，I为源图片的长，J为源图片的宽，i＜I,j＜J；图片为像素点的集合，并计算像素点的灰度值θ。

计算像素点的灰度值θ，具体为：

其中，x和y为像素的坐标；令图片左上角像素点为原点(0,0)，图片右下角坐标为(i,j)或(I,J)。

所述的步骤S3，各向异性过滤具体为利用一个模板图片，生成长宽比不同的模板图片，形成一个模板图片集合T，具体包括如下步骤：

A1.维持图片长宽比k不变，对初始的模板图片进行等比例缩小，获得等比变换集合T_mip；

A2.从等比变换集合T_mip中任意组合两两层级，作为图片的长宽大小。

所述的步骤A1，具体为用r表示缩放比例，r＜1，新生成的缩小图片的长和宽是初始的模板图片的r倍，面积缩小为原图的r²；由于模板匹配算法的限制，当长宽的像素小于8/r时，停止变换；相对于初始图片的缩放次数表示层级L(α)，计算等比变换集合T_mip：

L(α)＝α

T_mip＝{β|β∈{i×r^L(α)|α＝{0,1,...,α}}}

其中，α为初始图片的缩放次数；β为缩放之后图片的长；i为模板图片的长。

所述的步骤A2，具体为模板图片集合T具体为：

T＝{t_α,β|α,β∈T_mip}

其中，α为初始图片的缩放次数；β为缩放之后图片的长；t_α,β为模板图片；

根据图片的大小，正方形模板图片为单级模板图片，除正方形模板图片之外的为双极模板图片，模板图片t_i,j的单双层级

用公式表示为：

其中，{L(α)}为单级模板图片，{L(α),L(β)}为双极模板图片，i为模板图片的长，j为模板图片的宽。

所述的步骤S4具体包括将单级模板图片从小到大依次计算模板最佳匹配度

其中，最佳匹配度

表示模板图片t_i,j在源图片S_I,J的坐标(X,Y)处，匹配度最大；R(X,Y)为匹配计算函数；

R(X,Y)具体为：

其中，x'表示模板图片横坐标；y'表示模板图片纵坐标；t'(x',y')表示模板图片此坐标像素的灰度相对值：

其中，i为模板图片的长，j为模板图片的宽；t(x',y')表示模板图片此坐标像素的灰度值；t(x”,y”)表示模板图片此坐标像素的灰度值；x”表示模板图片的横坐标；y”表示模板图片的纵坐标；

s'(X+x',Y+y')表示源图片在坐标X,Y上相对模板图片坐标x',y'偏移的像素相对灰度值：

其中，I为源图片的长；J为源图片的宽；s(X+x',Y+y')表示源图片在坐标X,Y上相对模板图片偏移(x',y')的像素灰度值；s(X+x”,Y+y”)表示源图片在坐标(X,Y)上相对模板图片偏移(x”,y”)的像素灰度值；x”表示模板图片的横坐标；y”表示模板图片的纵坐标。

步骤S4，集合中最佳匹配的层级具体为，若当前模板图片t_i',j'的最佳匹配度大于0.8，则当前模板图片最佳匹配层级为

并表示为Level'。

所述的步骤S5具体包括，获得与Level'交集非空的所有模板图片集合T'：

其中，

为模板图片t_i,j的单双层级，Level'为当前模板图片t_i',j'最佳匹配层级；

计算得到所有模板图片集合T'中匹配度最高的模板，并获得匹配结果(X,Y)：

其中，

为最佳匹配度；t_i,j为模板图片；T'为所有模板图片集合。

本发明提供的这种应用于人机协作的基于各向异性过滤的模板匹配方法，只需要提供一张待识别物体模板的正面俯视图，再基于MIP映射的各向异性过滤技术对此模板图片进行处理，自动生成多张各个角度、各种大小的模板图片。在人机协作场景中，能够实时对人手掌图片进行处理，高效、快捷，并且提高了工业生产的安全性和效率。

附图说明

图1为本发明方法的流程示意图。

图2为本发明方法实施例的生成的模板图片集合效果示意图。

具体实施方式

如图1为本发明系统的结构示意图：本发明提供的这种应用于人机协作的基于各向异性过滤的模板匹配方法，包括如下步骤：

S1.选择模板匹配算法；

S2.输入初始模板图片和源图片；

S3.根据输入的模板图片，通过各向异性过滤得到多个层级模板图片集合，包括单级模板图片集合和双级模板图片集合；

S4.采用单级模板图片集合，通过模板匹配算法，计算集合中最佳匹配的层级；

S5.选择最佳匹配层级中所有模板图片作为输入，通过模板匹配算法，计算得到最佳匹配模板图片并输出匹配结果。

所述的步骤S1，具体包括，模板匹配算法包括平方差匹配算法、相关匹配算法和标准相关匹配算法；本方法采用相关匹配(CV_TM_CCOEFF)算法，相关匹配算法将模板对均值的相对值和图像对均值的相对值进行匹配；1表示完美匹配，-1表示糟糕的匹配，0表示没有任何相关性(即随机数列)；同时令t_i,j为模板图片，i为模板图片的长，j为模板图片的宽；S_I,J为源图片，I为源图片的长，J为源图片的宽，i＜I,j＜J；图片为像素点的集合，并计算像素点的灰度值θ：

其中，x和y为像素的坐标；令图片左上角像素点为原点(0,0)，图片右下角坐标为(i,j)或(I,J)。

步骤S2，在本实施例中初始模板图片用t_256,256表示，下标表示图片的像素大小，为256*256；源图片用S_512,512表示，下标表示图片像素大小，为512*512。

所述的步骤S3，各向异性过滤具体为基于MIP映射(Mip-mapping)的各向异性图像处理技术，利用一个模板图片，生成一系列长宽比不同的模板图片，形成一个模板图片集合T，具体包括如下步骤：

A1.维持图片长宽比k不变，对初始的模板图片进行等比例缩小；用r表示缩放比例，r＜1，新生成的缩小图片的长和宽是初始的模板图片的r倍，面积缩小为原图的r²倍；由于模板匹配算法的限制，当长宽的像素小于8/r时，停止变换；令相对于初始图片的缩放次数表示层级L(α)，计算等比变换集合T_mip：

L(α)＝α

T_mip＝{β|β∈{i×r^L(α)|α＝{0,1,...,α}}}

其中，α为初始图片的缩放次数；β为缩放之后图片的长；i为模板图片的长；在本实施例中i取256，α取4。

在本实施例中，根据MIP映射的实际应用，初始图片的图片长宽比k为1，即初始图片为正方形，取缩放比例r＝0.5，等比变换集合T_mip包含5个层级，长宽大小分别为256、128、64、32和16。

A2.从等比变换集合T_mip中任意组合两两层级，作为图片的长宽大小。在本实施例中模板图片集合T包含25幅图片，模板图片集合T具体为：

T＝{t_α,β|α,β∈T_mip}

其中，α为初始图片的缩放次数；β为缩放之后图片的长；t_α,β为模板图片。

根据图片的大小，正方形模板图片为单级模板图片，除正方形模板图片之外的为双极模板图片，模板图片t_i,j的单双层级

用公式表示为：

其中，{L(α)}为单级模板图片，{L(α),L(β)}为双极模板图片，i为模板图片的长，j为模板图片的宽。

如图2为本发明方法实施例的生成的模板图片集合效果示意图。

所述的步骤S4，具体包括将单级模板图片从小到大(如L(0),L(1),L(2)……)依次计算模板最佳匹配度

其中，最佳匹配度

表示模板图片t_i,j在源图片S_I,J的坐标(X,Y)处，匹配度最大；R(X,Y)为匹配计算函数；

R(X,Y)具体为：

其中，x'表示模板图片横坐标；y'表示模板图片纵坐标；t'(x',y')表示模板图片此坐标像素的灰度相对值：

其中，i为模板图片的长，j为模板图片的宽；t(x',y')表示模板图片此坐标像素的灰度值；t(x”,y”)表示模板图片此坐标像素的灰度值；x”表示模板图片的横坐标；y”表示模板图片的纵坐标；

s'(X+x',Y+y')表示源图片在坐标X,Y上相对模板图片坐标x',y'偏移的像素相对灰度值：

其中，I为源图片的长；J为源图片的宽；s(X+x',Y+y')表示源图片在坐标X,Y上相对模板图片偏移(x',y')的像素灰度值；s(X+x”,Y+y”)表示源图片在坐标(X,Y)上相对模板图片偏移(x”,y”)的像素灰度值；x”表示模板图片的横坐标；y”表示模板图片的纵坐标。

在本实施例中，若当前模板图片t_i',j'的最佳匹配度大于0.8，即

则当前模板图片最佳匹配层级

并表示为Level'。

所述的步骤S5，具体包括，获得与Level'交集非空的所有模板图片集合T'：

其中，

为模板图片t_i,j的单双层级，Level'为当前模板图片t_i',j'最佳匹配层级。

计算得到所有模板图片集合T'中匹配度最高的模板，并获得匹配结果(X,Y)：

其中，

为最佳匹配度；t_i,j为模板图片；T'为所有模板图片集合。

在本实施例中，I取512，J取512。

Claims (4)

1.一种应用于人机协作的基于各向异性过滤的模板匹配方法，其特征在于包括如下步骤：

S1.选择模板匹配算法；

S2.输入初始模板图片和源图片；

S3.根据输入的模板图片，通过各向异性过滤得到若干个层级模板图片集合；

S4.采用层级模板图片集合，通过模板匹配算法，计算集合中最佳匹配的层级；

S5.选择最佳匹配层级中所有模板图片作为输入，通过模板匹配算法，计算得到最佳匹配模板图片并输出匹配结果；

所述的步骤S3，各向异性过滤具体为利用一个模板图片，生成长宽比不同的模板图片，形成一个模板图片集合T，具体包括如下步骤：

A1.维持图片长宽比k不变，对初始的模板图片进行等比例缩小，获得等比变换集合T_mip；

A2.从等比变换集合T_mip中任意组合两两层级，作为图片的长宽大小；

所述的步骤A2，具体为模板图片集合T具体为：

T＝{t_α,β|α,β∈T_mip}

其中，α为初始图片的缩放次数；β为缩放之后图片的长；t_α,β为模板图片；

根据图片的大小，正方形模板图片为单级模板图片，除正方形模板图片之外的为双极模板图片，模板图片t_i,j的单双层级

用公式表示为：

其中，{L(α)}为单级模板图片，{L(α),L(β)}为双极模板图片，i为模板图片的长，j为模板图片的宽；

所述的步骤S4具体包括将单级模板图片从小到大依次计算模板最佳匹配度

其中，最佳匹配度

表示模板图片t_i,j在源图片S_I,J的坐标(X,Y)处，匹配度最大；R(X,Y)为匹配计算函数；

R(X,Y)具体为：

其中，x'表示模板图片横坐标；y'表示模板图片纵坐标；t'(x',y')表示模板图片此坐标像素的灰度相对值：

其中，i为模板图片的长，j为模板图片的宽；t(x',y')表示模板图片此坐标像素的灰度值；t(x”,y”)表示模板图片此坐标像素的灰度值；x”表示模板图片的横坐标；y”表示模板图片的纵坐标；

s'(X+x',Y+y')表示源图片在坐标X,Y上相对模板图片坐标x',y'偏移的像素相对灰度值：

其中，I为源图片的长；J为源图片的宽；s(X+x',Y+y')表示源图片在坐标X,Y上相对模板图片偏移(x',y')的像素灰度值；s(X+x”,Y+y”)表示源图片在坐标(X,Y)上相对模板图片偏移(x”,y”)的像素灰度值；x”表示模板图片的横坐标；y”表示模板图片的纵坐标；

步骤S4，集合中最佳匹配的层级具体为，若当前模板图片t_i',j'的最佳匹配度大于0.8，则当前模板图片最佳匹配层级为

并表示为Level'；

所述的步骤S5具体包括，获得与Level'交集非空的所有模板图片集合T'：

其中，

为模板图片t_i,j的单双层级，Level'为当前模板图片t_i',j'最佳匹配层级；

计算得到所有模板图片集合T'中匹配度最高的模板，并获得匹配结果(X,Y)：

其中，

为最佳匹配度；t_i,j为模板图片；T'为所有模板图片集合。

2.根据权利要求1所述的应用于人机协作的基于各向异性过滤的模板匹配方法，其特征在于所述的步骤S1，具体包括，模板匹配算法包括平方差匹配算法、相关匹配算法和标准相关匹配算法；其中，相关匹配算法将模板对均值的相对值和图像对均值的相对值进行匹配；1表示完美匹配，-1表示糟糕的匹配，0表示没有任何相关性；同时令t_i,j为模板图片，i为模板图片的长，j为模板图片的宽；S_I,J为源图片，I为源图片的长，J为源图片的宽，i＜I,j＜J；图片为像素点的集合，并计算像素点的灰度值θ。

3.根据权利要求2所述的应用于人机协作的基于各向异性过滤的模板匹配方法，其特征在于计算像素点的灰度值θ，具体为：

其中，x和y为像素的坐标；令图片左上角像素点为原点(0,0)，图片右下角坐标为(i,j)或(I,J)。

4.根据权利要求3所述的应用于人机协作的基于各向异性过滤的模板匹配方法，其特征在于所述的步骤A1，具体为用r表示缩放比例，r＜1，新生成的缩小图片的长和宽是初始的模板图片的r，面积缩小为原图的r²；由于模板匹配算法的限制，当长宽的像素小于8/r时，停止变换；相对于初始图片的缩放次数表示层级L(α)，计算等比变换集合T_mip：

L(α)＝α

T_mip＝{β|β∈{i×r^L(α)|α＝{0,1,...,α}}}

其中，α为初始图片的缩放次数；β为缩放之后图片的长；i为模板图片的长。

Images