CN109801334A - 工件定位方法、标准点确定方法、装置及设备 - Google Patents

Abstract

本申请实施例提供一种工件定位方法、标准点确定方法、装置及设备。其中，工件定位方法包括如下的步骤：基于有工件影像的工作台图像，确定所述工件的影像区域；从所述工作台图像的所述影像区域内的像素块中，提取多个特征点；在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对；根据所述多个特征点对，确定所述工件的位姿。本申请实施例提供的技术方案，能够极大的优化算法资源，进而提高定位速度，且定位准确度高。

Description

工件定位方法、标准点确定方法、装置及设备

技术邻域

本申请涉及计算机技术邻域，尤其涉及一种工件定位方法、标准点确定方法、装置及设备。

背景技术

随着制造自动化的发展，越来越多的制造类公司都在考虑采用机械代替人工。而在许多场景中，需要机械进行工件的抓取和放置等操作，这就需要获取工件的位姿。

为了适应生产线设备上复杂的工况，视觉定位被广泛应用到生产线设备。但是在复杂的工况中，会涉及到旋转角度、平移等变换，致使现有视觉定位的准确度并不高，所以如何对流水线的工件进行准确定位是一个亟待解决的问题。

发明内容

本申请实施例提供一种解决或部分解决上述问题的工件定位方法、标准点确定方法、装置及设备。

在本申请的一个实施例中，提供了一种工件定位方法。该方法包括：

基于有工件影像的工作台图像，确定所述工件的影像区域；

从所述工作台图像的所述影像区域内的像素块中，提取多个特征点；

在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对；

根据所述多个特征点对，确定所述工件的位姿。

在本申请的另一个实施例中，提供了一种标准点确定方法。该方法包括：

获取有工件影像的模板图像；

根据所述模板图像，构建第二图像金字塔；

结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

在本申请的又一个实施例中，提供了一种工件定位装置。该工件定位装置包括：存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

基于有工件影像的工作台图像，确定所述工件的影像区域；

从所述工作台图像的所述影像区域内的像素块中，提取多个特征点；

在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对；

根据所述多个特征点对，确定所述工件的位姿。

在本申请的又一个实施例中，提供了一种标准点确定装置。该标准点确定装置包括：存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取有工件影像的模板图像；

根据所述模板图像，构建第二图像金字塔；

结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

在本申请的又一个实施例中，提供了一种生产线设备。该生产线设备包括：

工作台；

摄像头，设置在所述工作台的上方，以用于采集所述工作台的图像；以及

工件定位装置，包括存储器及处理器；其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于基于有工件影像的工作台图像，确定所述工件的影像区域；从所述工作台图像的所述影像区域内的像素块中，提取多个特征点；在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对；根据所述多个特征点对，确定所述工件的位姿。

本申请实施例提供的一个技术方案，先确定工件的影像区域，以实现粗定位；再从影像区域内的像素块中提取特征点，在多个标准点中找到与各特征点匹配的标准点后，即可根据多对匹配的特征点和标准点确定出工件的位姿，进而完成对工件的精定位；采用本实施例提供的技术方案，能够极大的优化算法资源，进而提高定位速度，且定位准确度高。

本申请实施例提供了另一个技术方案，结合深度图在第二图像金字塔的各层进行特征点提取以得到多个标准点；这些标准点的提取过程中因结合了深度图，使得标准点中融合有深度信息，有助于提高后续特征匹配的准确性，更有利于得到精确的定位位姿。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的工件定位方法的流程示意图；

图2为本申请实施例提供的角点提取过程的原理性示图；

图3为本申请实施例提供的特征点对的示意图；

图4为本申请一实施例提供的标准点确定方法的流程示意图；

图5为本申请一实施例提供的工件定位装置的结构示意图；

图6为本申请一实施例提供的生成线设备的结构示意图。

具体实施方式

视觉定位主要是依靠相机获取图像，通过图像处理技术获得工件的位姿。目前，工件定位主要应用模板匹配算法在图片中定位工件。模板匹配算法对简单的平移变换是可以准确定位出的，但在复杂的工况中，还会出现旋转变换。工件发生了旋转，如再采用模板匹配算法，是无法准确定位出工件的位姿。为此，本申请提供了如下各实施例以解决或部分解决现有技术存在的问题。

为了使本技术邻域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。另外，下述实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本邻域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了本申请一实施例提供的工件定位方法的流程示意图。如图1所示，所述方法包括：

101、基于有工件影像的工作台图像，确定所述工件的影像区域。

102、从所述工作台图像的所述影像区域内的像素块中，提取多个特征点。

103、在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对。

104、根据所述多个特征点对，确定所述工件的位姿。

上述101中，所述工作台图像可包含深度图和/或彩色图。工作台图像可通过深度摄像头，如单目摄像头、双目摄像头或RGB-D相机等采集。深度图类似于灰度图像，每个像素值是传感器(即深度摄像头)距离物体的实际距离，0值通常表示深度值不能确定，即黑色；像素越白表示距离越远。

在一种可实现的技术方案中，所述工作台图像包含有深度图，相应的，上述“基于有工件影像的工作台图像，确定所述工件的影像区域”，可具体采用如下步骤实现：

1011、获取无工件影像的工作台深度图；

1012、将所述深度图与所述工作台深度图进行像素比对；

1013、根据比对结果，确定所述工件的影像区域。

其中，上述1012中“将所述深度图与所述工作台深度图进行像素比对”，可具体为：将所述深度图与所述工作台深度图进行像素相减计算，得到深度差作为比对结果。具体的，深度差大的区域即为本实施例中要确定的影像区域。

当工作台图像包含有深度图和彩色图时，上述102“从所述工作台图像的所述影像区域内的像素块中，提取多个特征点”，的一种可实现的方案可包括如下步骤：

1021、对所述彩色图的所述影像区域内的第一像素块进行灰度化处理；

1022、根据灰度化处理后的所述第一像素块及所述深度图的所述影像区域内的第二像素块，构建第一图像金字塔；

1023、对所述第一图像金字塔进行特征提取，得到所述多个特征点。

其中，图像金字塔是图像中多尺度表达的一种。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合，其通过像素邻域的升采样或降采样的方式构建。图像金字塔的底部是原始图的高分辨率表示，而顶部是低分辨率的近似。图像金字塔中，层级越高，图像越小，分辨率越低。具体的，图像金字塔的构建可参见现有技术中的相关内容，此次不作赘述。

对彩色图的第一像素块进行灰度化处理的方法有很多种，例如，分量法、最值法、均值法、加权法等，本实施例对此不作具体限定。

具体实施时，上述1023“对所述第一图像金字塔进行特征提取，得到所述多个特征点”，包括：

在所述第一图像金字塔的各层进行角点提取，并为各角点选取多个邻域像素点；

根据各角点对应的多个邻域像素点的像素及深度，确定各角点的描述子；

其中，特征点包括角点及对应的描述子。

下面以从第一图像金字塔的第一层图像(如最底层)中提取出角点为例，对角点提取过程进行说明。参见图2，图2中最左侧的图为第一图像金字塔的示意图。具体的，角点提取过程包括：

A、顺序遍历第一层图像中的第一像素点，选取以第一像素点为中心，半径为r的圆上的N个像素点。

其中，r为一个预设值，如3、5等。N为大于零的正整数，r的大小会影响N的个数。例如，图2所示的例子，当r取3时，半径为3的圆上有16个像素点。可对着16个像素点(图2中围绕在黑色点周围的灰色点)进行编号，从1编到16。编号时，可将位于第一像素点(图2中的黑色点)正上方的像素点编为1，然后顺时针或逆时针顺序对各点进行编码。

B、从N个像素点中选取M个像素点，获取这M个像素点的亮度。

其中，M为小于N的数值。具体实施时，这M个像素点可以以第一像素点为中心的呈中心对称。例如，图2所示的16个像素点中，可选取4个像素点，以获取这4个像素点的亮度。比如，选取编号为1、5、9和13，这4个像素点的亮度。

C、判断所述M个像素中是否有m个像素亮度满足第一预设要求，若满足，则将所述第一像素点作为候选角点加入候选角点库。

其中，m为一个设定值，m可以小于或等于M。还以图2所示的例子，m可以取值为3。所述第一预设要求具体为：亮度大于I_p+T或小于I_p-T。其中，T为像素阈值，其可取值为T＝(0.2*I_p)；I_p为第一像素点的像素亮度。

D、继续遍历所述第一层图像中的第二像素点，直至遍历完所述像素点。

E、计算候选角点库中各候选角点的Harris响应值。

具体实施时，可采用如下公式进行计算Harris响应值：

R＝detM-k(traceM)²，

其中，k为经验值，一般为0.04～0.06。M为第一像素点的偏导数矩阵，w为汉明窗。

F、比较候选角点的Harris响应值与该候选角点的邻域内像素点的Harris响应值；若候选角点的Harris响应值最大，则该候选角点为需提取的角点并加入角点库。

其中，Harris响应值表征的是像素点的灰度变化程度，变化越大，值越高。此处邻域为圆邻域，例如以角点为圆心，以5个像素为半径的圆邻域，此时圆覆盖的所有的像素共同组成该像素的邻域。

为了方便理解，以从所述第一图像金字塔的第一层提取出第一角点为例，对上述确定角点描述子的过程进行说明。即根据第一角点对应的多个邻域像素点的像素及深度，确定用于描述所述第一角点的描述子，包括：

获取所述第一角点的第一像素及第一深度；

将所述多个邻域像素点中像素大于或等于所述第一像素的邻域像素点，用第一数值进行描述；

将所述多个邻域像素点中像素小于所述第一像素的邻域像素点，用第二数值进行描述；

将所述多个邻域像素点中深度大于或等于第一深度的邻域像素点，用第三数值进行描述；

将所述多个邻域像素点中深度小于第一深度的邻域像素点，用第四数值进行描述；

基于所述第一数值、所述第二数值、所述第三数值及所述第四数值，确定用于对所述角点的邻域像素点进行描述的描述子。

假设第一角点的像素亮度为I_p，深度为D_p，若邻域像素点的像素大于或等于I_p，则取1，否则取0。当邻域像素点的深度大于或等于D_p，则取1，否则取0。若第一角点对应的所有邻域像素点为64个，则通过对这64个邻域像素点进行描述可获得128bit的描述子。

以多个特征点中含有的第一特征点为例，说明上述步骤103的匹配标准点的过程。多个特征点的其他特征点的匹配均相同。即上述步骤103中“在多个标准点中，查找与所述第一特征点匹配的第一标准点组成第一特征点对”，包括：

1031、根据所述第一特征点中包含的第一描述子，在所述多个标准点中查找所述第一标准点；

1032、所述第一特征点与所述第一标准点组成第一特征点对；

其中，所述第一标准点中包含的第二描述子与所述第一描述子的汉明距离满足设定阈值。

具体实施时，可通过快速近似最近邻算法计算描述子的汉明距离，即求特征点与标准点的相似性，汉明距离为二进制描述子中不同位数的个数。其中，所述设定阈值可为一个经验值，或为一个基于理论计算得到的数值，本实施例对此不作具体限定。例如，图3所示的示例，左侧图中显示出提取出的多个特征点；右侧图显示出了多个标准点。图3中通过直线连接的两个点即为一个特征点对。

上述步骤104，“根据所述多个特征点对，确定所述工件的位姿”，包括：

1041、获取所述多个特征点对中特征点的方向和标准点的方向；

1042、通过比对两特征点的方向的夹角与各自对应的标准点的方向的夹角，确定所述多个特征点对中的异常特征点对；

1043、将所述异常特征点对剔除；

1044、根据剔除后剩余的特征点对，构建最小二乘法方程；

1045、基于所述最小二乘法方程，计算所述工件的位姿。

其中，特征点的方向均可通过灰度质心法获得，即在特征点邻域内(邻域大小可以设置，例如以特征点为中心以10个像素为半径的像素块)，把像素值看成该特征点的质量，这样可以把邻域看成有质量的像素块。通过物理求质心的方法即可求得质心的位置。由于特征点本身像素变化明显，质心不与角点重合，特征点与质心点的连线即为该特征点的方向。标准点的方向也可通过上述方法获得。

上述1042中，假设多个特征点中有特征点1、特征点2和特征点3；与特征点1成对的标准点1、与特征点2成对的标准点2、以及与特征点3成对的标准点3。特征点1的方向与特征点2的方向的夹角，与标准点1的方向与标准点2的方向的夹角，进行比较。若比较出的夹角误差大于一阈值，则特征点1和特征点2中有一个是异常特征点。再进行特征点1的方向与特征点3的方向的夹角，与标准点1的方向与标准点3的方向的夹角，的比较。若比较出的夹角误差小于一阈值，则说明特征点1和特征点2中无异常特征点，特征点2为异常特征点。

另外，上述1044和1045的具体实现过程可参见现有技术，本文不作赘述。

本实施例提供的技术方案，先确定工件的影像区域，以实现粗定位；再从影像区域内的像素块中提取特征点，在多个标准点中找到与各特征点匹配的标准点后，即可根据多对匹配的特征点和标准点确定出工件的位姿，进而完成对工件的精定位；采用本实施例提供的技术方案，能够极大的优化算法资源，进而提高定位速度，且定位准确度高。

进一步的，本实施例提供的所述工件定位方法还可包括如下步骤：

105、根据有工件影像的模板图像，构建第二图像金字塔。

106、结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

具体实施，在对第二图像金字塔进行特征提取时，结合模板图像的深度图，使得多个标准点中融合有深度信息，这样有助于提高后特征匹配的准确性，更有利于得到精确的定位位姿。具体的，如何结合深度图提取标准点，将在下述实施例中进行详细说明。

图4示出了本申请一实施例提供的标准点确定方法的流程示意图。在本实施例中将对标准点的提取过程进行说明。如图4所示，所述标准点确定方法，包括：

201、获取有工件影像的模板图像。

202、根据所述模板图像，构建第二图像金字塔。

203、结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

上述201中，模板图像可通过深度摄像头，如单目摄像头、双目摄像头或RGB-D相机等采集。该模板图像可包括：彩色图和深度图。具体实施时，可通过人工设定的方法标出模板位置(即采集图像中作为模板的区域)。

在一种可实现的技术方案中，上述步骤202具体为：

对所述模板图像中的彩色图进行灰度化处理；

根据灰度化处理后的彩色图及模板图像中的深度图，构建第二图像金字塔。

其中，构建第二图像金字塔的过程，可参见现有技术中的相关内容，本文不作赘述。

上述203中，“结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点”，包括：

2031、在所述第二图像金字塔的各层进行角点提取，并为各角点选取多个邻域像素点；

2032、结合所述模板图像中的深度图，获取各角点对应的多个邻域像素点的像素及深度；

2033、根据各角点对应的多个邻域像素点的像素及深度，确定各角点的描述子；

其中，标准点包括角点及对应的描述子。

具体的，以从所述第二图像金字塔的第一层提取出第二角点为例，对上述确定描述子的步骤进行说明，其他角点的描述子的确定方法相同。即“根据第二角点对应的多个邻域像素点的像素及深度，确定用于描述所述第二角点的描述子”，包括：

获取所述第二角点的第二像素及第二深度；

将所述多个邻域像素点中像素大于或等于所述第二像素的邻域像素点，用第一数值进行描述；

将所述多个邻域像素点中像素小于所述第二像素的邻域像素点，用第二数值进行描述；

将所述多个邻域像素点中深度大于或等于第二深度的邻域像素点，用第三数值进行描述；

将所述多个邻域像素点中深度小于第二深度的邻域像素点，用第四数值进行描述；

基于所述第一数值、所述第二数值、所述第三数值及所述第四数值，确定用于对所述角点的邻域像素点进行描述的描述子。

这里需要说明的是：在所述第二图像金字塔的各层进行特征点提取的过程与上述实施例中从第一图像金字塔的各层提取特征点相同，具体可参见上述实施例中的内容。

本实施例提供的技术方案，结合深度图在第二图像金字塔的各层进行特征点提取以得到多个标准点；这些标准点的提取过程中因结合了深度图，使得标准点中融合有深度信息，有助于提高后续特征匹配的准确性，更有利于得到精确的定位位姿。

下面将结合具体的应用场景，对本申请各实施例提供的技术方案进行说明。本申请实施例提供的技术方案包括两大部分：第一部分：模板预处理，即确定用于后续特征点匹配的标准点；第二部分：工件定位。第一部分是为第二部分做的数据准备。以下将分别对两个部分进行说明。

通过工作台上的深度摄像头(单目、双目和RGB-D相机)采集到彩色图像和深度图像。深度图像类似于灰度图像，每个像素值是传感器距离物体的实际距离，0值通常表示深度值不能确定，即黑色，像素越白表示距离越远。

第一部分模板预处理

首先，采集模板的彩色图和深度图，通过人工设定的方法标出模板的位置。

然后，对模板的彩色图像进行灰度化处理，将灰度化处理后的彩色图和模板的深度图通过升采样或降采样的方式构建第一图像金字塔。

随后，结合深度图，在每层金字塔进行特征提取；

最后，将提取到的特征进行存储存，以备后续使用。

特征提取包括角点提取和描述子提取，下面分别讲述角点和描述子提取过程。

角点检测主要是检测局部像素灰度变化明显的像素。为了防止角点出现扎堆的现象，需要计算Harris响应值，进行非极大值抑制。

参见图2所示，图像金字塔的一层中角点的提取过程如下：

S11、顺序遍历图像中的像素点p，选取以像素p为中心，半径为3的圆上的16个像素，并进行编号。

假设，该像素点的像素为I，设置像素阈值为T＝(0.2*I)。此处像素阈值的设定为经验值，需要根据工作台的光线进行调整。

S12、检测图中的第1，5，9，13个像素的亮度。

第1个像素点一般位于像素点p的正上方(如图5中围绕在像素点p周围的一圈像素点)。第1个像素点可以在圆上随便选取，但需保证1，5，9，13的相对位置。

S13、当其中有3个像素亮度同时大于I_p+T或小于I_p-T时，该像素点p可能为角点将其加入候选角点库(作为候选点)；并计算该像素点p的Harris响应值。

S14、计算像素点p的Harris响应值：

R＝detM-k(traceM)²，

其中，k为经验值，一般为0.04～0.06。M为该像素点的偏导数矩阵，w为汉明窗。

循环S11～S14，直到遍历完所有像素点，获得所有候选点。

S15、遍历候选角点库，比较候选角点的Harris响应值与邻域内像素点的Harris响应值。若该候选角点的Harris响应值最大，则该候选角点为真正要提取的角点，加入角点库。

其中，Harris响应值表征的是像素点的灰度变化程度，变化越大，值越高。此处邻域为圆邻域，例如以角点为圆心，以5个像素为半径的圆邻域，此时圆覆盖的所有的像素共同组成该像素的邻域。

角点对应的描述子提取过程如下：

S21、遍历角点库，确定每个角点的方向。

由灰度质心法获得，即在角点的某一邻域内像素值看为质量，求得质心。角点的方向是通过灰度质心法获得，即在角点邻域内(邻域大小可以设置，例如以角点为中心以10个像素为半径的像素块)，把像素值看成该像素的质量，这样可以把邻域看成有质量的像素块。通过物理求质心的方法即可求得质心的位置。由于角点本身像素变化明显，质心不与角点重合，角点与质心的连线即为该角点的方向。

此处，用第一图像金字塔保证图片的尺度不变性，就是通过像素邻域的升采样和降采样的方式构建金字塔，在每层金字塔进行角点检测。用灰度质心法保证图片的旋转不变性，就是通过连接角点和邻域的质心确定角点的方向，在该方向的相对位置进行描述子提取。

S22、在角点的方向附近邻域随机的选取64个像素点进行描述。

假设关键点像素为I_p深度为D_p，若选取的点的像素大于等于I_p，则取1,否则取0。当选取的点的深度大于等于D_p，取1，否则取0。通过对64个像素进行描述可获得128bit的描述子。

第二部分：工件定位

2.1工件粗定位。

预先采集无工件的工作台的彩色图和深度图，作为对照图。采集有工件的工作台的彩色图和深度图，将采集到的深度图与对照的深度图进行像素相减，即可得到深度差，从而可确定工件影像的影像区域(可简单理解为：粗略轮廓)。

2.2、工件精定位。

该部分的思路是：对工件的粗略轮廓的像素块进行灰度化，并进行特征提取。为了获取待定位工件的位姿变换，需要进行特征点匹配得到模板和待定位工件的对应关系。通过快速近似最近邻算法计算描述子的汉明距离，即可求出两特征点的相似性(汉明距离为二进制描述子中不同位数的个数)。可以通过距离阈值的方式减少误匹配的情况。根据匹配到的每对特征点，分别计算每对特征点的方向的夹角。当夹角误差超过一定阈值，则认为误差过大，剔除掉。因为特征点的方向具有旋转不变性，所以其夹角只与旋转变换相关。通过剩下每对特征点构建最小二乘法方程，进行姿态解算，即可求得图像的旋转和平移变换。

该本部分的具体实现可参见上述各实施例中的相关内容。

综上，本申请实施例提供的技术方案，根据深度信息进行粗定位，将匹配范围缩小到一定范围，能够极大的优化算法资源，再通过对图像进行关键点和描述子提取，对匹配进行了有效的简化，融合深度信息的描述子可以提高了特征信息的鲁棒性，能够有效的提高特征点匹配的准确性，更有利于得到精确的定位位姿。

图5示出了本申请一实施例提供的工件定位装置的原理性结构示意图。如图5所示，所述工件定位装置可包括：存储器11及处理器12；其中，存储器11可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在工件定位装置上操作的任何应用程序或方法的指令。存储器11可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

所述处理器12，与所述存储器11耦合，用于执行所述存储器11中存储的所述程序，以用于：

基于有工件影像的工作台图像，确定所述工件的影像区域；

从所述工作台图像的所述影像区域内的像素块中，提取多个特征点；

在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对；

根据所述多个特征点对，确定所述工件的位姿。

本实施例提供的技术方案，先确定工件的影像区域，以实现粗定位；再从影像区域内的像素块中提取特征点，在多个标准点中找到与各特征点匹配的标准点后，即可根据多对匹配的特征点和标准点确定出工件的位姿，进而完成对工件的精定位；采用本实施例提供的技术方案，能够极大的优化算法资源，进而提高定位速度，且定位准确度高。

其中，处理器12在执行存储器11中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步的，如图5所示，工件定位装置还可包括：显示器14、通信组件13、电源组件15等其它组件。图5中仅示意性给出部分组件，并不意味着工件定位装置只包括图5所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的工件定位方法的步骤或功能。

本申请实施例还提供一种标准点确定装置。同样的，该标准点确定装置可包括：存储器及处理器。本实施例提供的所述标准点确定装置的结构类同于上述图5所示的结构。具体的，所述存储器可被配置为存储其它各种数据以支持在标准点确定装置上的操作。这些数据的示例包括用于在标准点确定装置上操作的任何应用程序或方法的指令。所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取有工件影像的模板图像；

根据所述模板图像，构建第二图像金字塔；

结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

本实施例提供的技术方案，结合深度图在第二图像金字塔的各层进行特征点提取以得到多个标准点；这些标准点的提取过程中因结合了深度图，使得标准点中融合有深度信息，有助于提高后续特征匹配的准确性，更有利于得到精确的定位位姿。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的标准点确定方法的步骤或功能。

图6示出了本申请一实施例提供的生产线设备的结构示意图。如图6所示，所述生产线设备，其特征在于，包括：工作台23、摄像头22及工件定位装置21。其中，摄像头22，设置在所述工作台23的上方，以用于采集所述工作台23的图像。所述工件定位装置21可直接选用上述实施例提供的工件定位装置实现，具体实现方案可参见上文中的相应内容，此次不再赘述。工作台23上用于放置待定位工件24。

本实施例提供的技术方案，先确定工件的影像区域，以实现粗定位；再从影像区域内的像素块中提取特征点，在多个标准点中找到与各特征点匹配的标准点后，即可根据多对匹配的特征点和标准点确定出工件的位姿，进而完成对工件的精定位；采用本实施例提供的技术方案，能够极大的优化算法资源，进而提高定位速度，且定位准确度高。

进一步的，本申请实施例提供的所述生产线设备还可包括：标准点确定装置。该标准点确定装置可直接选用上述实施例提供的标准点确定装置实现，具体实现方案可参见上文中的相应内容，此次不再赘述。

当然，在具体实施时，所述生产线设备也可不具备标准点确定装置。工件定位装置中需用于进行特征点匹配的标准点可人工导入，或由服务端提供，本实施例对此不作具体限定。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本邻域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本邻域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本邻域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种工件定位方法，其特征在于，包括：

基于有工件影像的工作台图像，确定所述工件的影像区域；

从所述工作台图像的所述影像区域内的像素块中，提取多个特征点；

在多个标准点中，查找分别与所述多个特征点匹配的标准点组成多个特征点对；

根据所述多个特征点对，确定所述工件的位姿。

2.根据权利要求1所述的方法，其特征在于，所述工作台图像包含深度图；以及

基于有工件影像的工作台图像，确定所述工件的影像区域，包括：

获取无工件影像的工作台深度图；

将所述深度图与所述工作台深度图进行像素相减计算，得到深度差作为比对结果；

根据比对结果，确定所述工件的影像区域。

3.根据权利要求1或2所述的方法，其特征在于，所述工作台图像包括：深度图和彩色图；以及

从所述工作台图像的所述影像区域内的像素块中，提取多个特征点，包括：

对所述彩色图的所述影像区域内的第一像素块进行灰度化处理；

根据灰度化处理后的所述第一像素块及所述深度图的所述影像区域内的第二像素块，构建第一图像金字塔；

对所述第一图像金字塔进行特征提取，得到所述多个特征点。

4.根据权利要求3所述的方法，其特征在于，对所述第一图像金字塔进行特征提取，得到所述多个特征点，包括：

在所述第一图像金字塔的各层进行角点提取，并为各角点选取多个邻域像素点；

根据各角点对应的多个邻域像素点的像素及深度，确定各角点的描述子；

其中，特征点包括角点及对应的描述子。

5.根据权利要求4所述的方法，其特征在于，从所述第一图像金字塔的第一层提取出第一角点；以及

根据第一角点对应的多个邻域像素点的像素及深度，确定第一角点对应的描述子，包括：

获取所述第一角点的第一像素及第一深度；

将所述多个邻域像素点中像素大于或等于所述第一像素的邻域像素点，用第一数值进行描述；

将所述多个邻域像素点中像素小于所述第一像素的邻域像素点，用第二数值进行描述；

将所述多个邻域像素点中深度大于或等于第一深度的邻域像素点，用第三数值进行描述；

将所述多个邻域像素点中深度小于第一深度的邻域像素点，用第四数值进行描述；

基于所述第一数值、所述第二数值、所述第三数值及所述第四数值，确定所述第一角点对应的描述子。

6.根据权利要求4所述的方法，其特征在于，所述多个特征点中含有第一特征点；以及

在多个标准点中，查找与所述第一特征点匹配的第一标准点组成第一特征点对，包括：

根据所述第一特征点中包含的第一描述子，在所述多个标准点中查找所述第一标准点；

其中，所述第一标准点中包含的第二描述子与所述第一描述子的汉明距离满足设定阈值。

7.根据权利要求1或2所述的方法，其特征在于，根据所述多个特征点对，确定所述工件的位姿，包括：

获取所述多个特征点对中特征点的方向和标准点的方向；

通过比对两特征点的方向的夹角与各自对应的标准点的方向的夹角，确定所述多个特征点对中的异常特征点对；

将所述异常特征点对剔除；

根据剔除后剩余的特征点对，构建最小二乘法方程；

基于所述最小二乘法方程，计算所述工件的位姿。

8.根据权利要求1或2所述的方法，其特征在于，还包括：

根据有工件影像的模板图像，构建第二图像金字塔；

结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

9.一种标准点确定方法，其特征在于，包括：

获取有工件影像的模板图像；

根据所述模板图像，构建第二图像金字塔；

结合所述模板图像中的深度图，在所述第二图像金字塔的各层进行特征点提取，得到用于进行特征匹配的多个标准点。

10.一种工件定位装置，其特征在于，包括：存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现上述权利要求1至8中任一项所述的工件定位方法。

11.一种标准点确定装置，其特征在于，包括：存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现上述权利要求9所述的标准点确定方法。

12.一种生产线设备，其特征在于，包括：

工作台；

摄像头，设置在所述工作台的上方，以用于采集所述工作台的图像；以及

如上述权利要求10所述的工件定位装置。

13.根据权利要求12所述的生产线设备，其特征在于，还包括：如上述权11所述的标准点确定装置。