CN115564837A - 一种视觉定位方法、装置和系统 - Google Patents

Abstract

本公开提供了一种视觉定位方法、装置和系统，所述方法包括：控制相机对待定位的物料进行拍摄，得到物料图像；其中，所述物料包括至少两组特征线，每组特征线包括至少两条特征线；查找所述物料图像中所包含的第一组特征线；判断所述物料图像中的所述第一组特征线是否符合预设的定位限制条件；在所述物料图像中的所述第一组特征线不符合所述定位限制条件的情况下，查找所述物料图像中所包含的第二组特征线；判断所述物料图像中的所述第二组特征线是否符合预设的定位限制条件；在所述物料图像中的所述第二组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第二组特征线对所述物料进行定位。

Description

一种视觉定位方法、装置和系统

技术领域

本公开涉及产线控制技术领域，更具体地，本公开涉及一种视觉定位方法、一种视觉定位装置和一种视觉定位系统。

背景技术

视觉定位技术，是利用相机对待定位的物体进行拍摄，根据拍摄得到的图像对物体进行定位。

在自动化生产中，通常利用视觉定位技术，对物料在生产线中的位置进行定位。

但是，在现有技术中，如果物料成型状态不好，可能会导致选取的用于对物料进行定位的特征边有瑕疵，导致物料的定位结果不准确。

发明内容

本公开的一个目的是提供一种至少能够解决上述问题之一的新的技术方案。

根据本公开的第一方面，提供了一种视觉定位方法，包括：

控制相机对待定位的物料进行拍摄，得到物料图像；其中，所述物料包括至少两组特征线，每组特征线包括至少两条特征线；

查找所述物料图像中所包含的第一组特征线；

判断所述物料图像中的所述第一组特征线是否符合预设的定位限制条件；

在所述物料图像中的所述第一组特征线不符合所述定位限制条件的情况下，查找所述物料图像中所包含的第二组特征线；

判断所述物料图像中的所述第二组特征线是否符合预设的定位限制条件；

在所述物料图像中的所述第二组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第二组特征线对所述物料进行定位。

可选的，查找所述物料图像中所包含的任一条特征线，包括：

获取所述物料图像的灰度图；

获取所述灰度图的多个预设像素区域中每个像素点的灰度值；其中，所述预设像素区域是根据所述物料中对应的特征线预先设定好的；

根据所述灰度值，确定每个所述预设像素区域中符合所述特征线的像素点，作为目标像素点；

根据所述目标像素点，拟合得到所述物料图像中的所述任一条特征线。

可选的，根据所述灰度值，确定任一个预设像素区域中符合所述特征线的像素点，作为目标像素点，包括：

确定所述任一个预设像素区域中每两个相邻的像素点之间的第一灰度值差值；

选取所述任一个预设像素区域中与相邻的像素点之间的第一灰度值差值最大的像素点，作为所述目标像素点。

可选的，所述方法还包括：

确定每两个相邻的目标像素点之间的距离；

根据每两个相邻的目标像素点之间的距离，剔除与相邻的目标像素点之间的距离大于等于预设的距离阈值的目标像素点。

可选的，所述方法还包括：

确定每两个相邻的目标像素点之间的第二灰度值差值；

根据每两个相邻的目标像素点之间的第二灰度值差值，剔除与相邻的目标像素点之间的第二灰度值差值大于等于预设的灰度值阈值的目标像素点。

可选的，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线中相互平行的特征线之间的间距；

判断所述任一组特征线中相互平行的特征线之间的间距是否在对应的预设间距范围内；

在所述相互平行的特征线之间的间距在对应的预设间距范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述相互平行的特征线之间的间距在对应的预设间距范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

可选的，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线中所包含的相交的特征线的夹角；

判断所述任一组特征线中相交的特征线的夹角是否均在对应的预设角度范围内；

在所述任一组特征线中相交的特征线的夹角均在对应的预设角度范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述任一组特征线中任意两条相交的特征线的夹角在对应的预设角度范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

可选的，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线的每条特征线所对应的目标像素点的灰度值的平均值，作为平均灰度值；

判断所述任一组特征线的每条特征线所对应的平均灰度值，是否均在对应的预设灰度值范围内；

在所述任一组特征线中每条特征线所对应的平均灰度值，均在对应的预设灰度值范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述任一组特征线中任一条特征线所对应的平均灰度值在对应的预设灰度值范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

根据本公开的第二方面，提供了一种视觉定位装置，包括：

拍摄控制模块，用于控制相机对待定位的物料进行拍摄，得到物料图像；其中，所述物料包括至少两组特征线，每组特征线包括至少两条特征线；

第一查找模块，用于查找所述物料图像中所包含的第一组特征线；

第一判断模块，用于判断所述物料图像中的所述第一组特征线是否符合预设的定位限制条件；

第二查找模块，用于在所述物料图像中的所述第一组特征线不符合所述定位限制条件的情况下，查找所述物料图像中所包含的第二组特征线；

第二判断模块，用于判断所述物料图像中的所述第二组特征线是否符合预设的定位限制条件；

定位模块，用于在所述物料图像中的所述第二组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第二组特征线对所述物料进行定位。

根据本公开的第三方面，提供了一种视觉定位系统，包括相机、及根据本公开第二方面所述的视觉定位装置。

通过本公开的实施例，可以更加精准地对物料进行定位，可以避免由于物料拉伸、变形或者是第一组特征线有阴影时导致对物料定位失败或定位出现偏差的问题，这样，可以减少物料在组装过程中的浪费，提高使用该物料所生产的产品的合格率。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。

图1为根据本公开实施例的视觉定位系统结构示意图；

图2为根据本公开实施例的视觉定位方法的流程示意图；

图3为根据本公开实施例的物料的特征线的示意图；

图4为根据本公开实施例的视觉定位方法的一个例子的流程示意图；

图5为根据本公开实施例的视觉定位装置的方框原理图；

图6为根据本公开实施例的视觉定位系统的方框原理图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<系统配置>

图1是示出可以实现本公开的实施例的视觉检测系统1000的结构示意图。

该视觉检测系统1000可以包括相机1100和视觉定位装置1200。相机1100可以对待定位的物料进行拍摄，得到物料图像。视觉定位装置1200可以根据物料图像对物料进行定位。本实施例中的物料上设置有至少两组特征线，每组特征线可以包括至少两条特征线。

<方法实施例>

在本实施例中，提供一种视觉定位方法。该方法可以是由视觉定位系统实施，具体的可以是由图1中的视觉定位系统1000中的视觉定位装置1200实施。

图2为根据本公开实施例的视觉定位方法的流程图。

根据图2所示，该方法包括如下所示的步骤S2100～S2700：

步骤S2100，控制相机对待定位的物料进行拍摄，得到物料图像。

其中，物料上设置有至少两组特征线，每组特征线可以包括至少两条特征线。每组特征线可以构成一个封闭区域，两组特征线所构成的封闭区域之间可以相交，也可以不相交。

在一个例子中，物料可以是膜片，膜片上的至少两组特征线可以是外折环和内折环，其中，外折环和内折环可以均为矩形（可以是直角矩形，也可以是圆角矩形，在此不做限定）。

步骤S2200，查找物料图像中所包含的第一组特征线。

在本实施例中，可以预先根据应用场景或具体需求从物料中的至少两组特征线中选定第一组特征线和第二组特征线。

在本公开的一个实施例中，查找物料图像中的任一条特征线的方式，可以包括如下所示的步骤S3100～S3400：

步骤S3100，获取物料图像的灰度图。

步骤S3200，获取该灰度图在多个预设像素区域中每个像素点的灰度值。

其中，预设像素区域可以是根据物料的所述任一条特征线预先设定好的。

在本实施例中，可以是预先根据物料中每条特征线的大致位置和走向，预先设置与每条特征线对应的多个预设像素区域。即在物料正常放置的情况下，该物料图像的每个预设像素区域内均可以具有至少一个位于特征线上的像素点，以便于根据预设像素区域查找到对应的特征线。

本实施例中预设像素区域的范围可以是根据物料图像的成像效果进行调整。在物料图像中特征线周围的干扰点较多时，可以是按照第一倍数扩大预设像素区域的范围，使得相邻的预设像素区域相交。在物料图像中特征线较为清晰时，可以是按照第二倍数缩小预设像素区域的范围，以提高目标像素点的搜索精度。

其中，第一倍数和第二倍数可以是预先根据应用场景或具体需求所设定的。在按照第一倍数或第二倍数对预设像素区域的范围进行调整时，可以是保持预设像素区域的中心或任一个顶点的位置不变。

步骤S3300，根据灰度值，确定每个预设像素区域中符合所述任一条特征线的像素点，作为目标像素点。

通过本实施例，可以得到与每个预设像素区域一一对应的目标像素点。

本实施例中，特征线位于预设像素区域内的部分，可以是该预设像素区域内的明暗分界线。那么，目标像素点可以是位于预设像素区域内的明暗分界线上的像素点。也就是说，预设像素区域内显示特征线对应部分的概率最大的像素点，即为目标像素点。

在本公开的一个实施例中，可以是将任一条特征线对应的预设像素区域内的搜索方向统一，按照该搜索方向设置灰度对比边界，通过灰度对比边界从预设像素区域中搜索到目标像素点。例如，该搜索方向可以是由预设像素区域内灰度对比相对稳定的一侧向不稳定的一侧寻找。

其中，灰度对比相对稳定表示像素点之间的灰度值差异较小，灰度对比相对不稳定则表示像素点之间的灰度值差异较大。

在本实施例中，按照搜索方向所设置的灰度对比边界，可以认为是对应的特征线的边界。在此基础上，可以是再继续按照搜索方向从靠近灰度对比边界的像素点中，搜索与灰度对比相对稳定的一侧的像素点之间灰度值差异最大的像素点，作为目标像素点。

在本公开的另一个实施例中，对于任一个预设像素区域，根据灰度值，确定该预设像素区域中符合特征线的像素点，作为目标像素点，可以包括如下所示的步骤S3310～S3320：

步骤S3310，确定该预设像素区域中每两个相邻的像素点之间的第一灰度值差值。

具体的，可以是确定该预设像素区域中每两个相邻的像素点的灰度值之间的差值，作为第一灰度差值。

步骤S3320，选取该预设像素区域中与相邻的像素点之间的第一灰度值差值最大的像素点，作为目标像素点。

在预设像素区域内的任一个像素点具有多个相邻的像素点的情况下，可以是确定该像素点与相邻的多个像素点之间的第一灰度值差值的最大值，作为该像素点对应的第一灰度值差值。再对每个像素点对应的第一灰度值差值进行比较，选取对应的第一灰度值差值最大的像素点，作为目标像素点。

通过本实施例，即可以得到每个预设像素区域中最符合特征线的目标像素点。

步骤S3400，根据目标像素点，拟合得到物料图像中的所述任一条特征线。

本实施例中，可以是按照对应预设像素区域的预设顺序，顺次连接目标像素点，得到对应的特征线。

在本公开的一个实施例中，在执行完步骤S3300之后、执行步骤S3400之前，该方法还可以包括：确定每两个相邻的目标像素点之间的距离；根据每两个相邻的像素点之间的距离，剔除与相邻的目标像素点之间的距离大于等于预设的距离阈值的目标像素点。

其中，距离阈值可以是预先根据应用场景或具体需求所设定的，也可以是根据对应特征线的实际宽度所设定的。在一个例子中，该距离阈值可以是由像素点的数量来表示。

本实施例中，与相邻的目标像素点之间的距离大于等于距离阈值的目标像素点，可能并不是位于对应特征线上的像素点，因此，可以是将其剔除，以提高得到的特征线的准确性。

在本公开的一个实施例中，在执行完步骤S3300之后、执行步骤S3400之前，该方法还可以包括：确定每两个相邻的目标像素点之间的第二灰度值差值；根据每两个相邻的目标像素点之间的第二灰度值差值，剔除与相邻的目标像素点之间的第二灰度值差值大于等于预设的灰度值阈值的目标像素点。

具体的，可以是确定每两个相邻的目标像素点的灰度值之间的差值，作为第二灰度值差值。

其中，灰度值阈值可以是预先根据应用场景或具体需求所设定的，也可以是根据对应特征线的实际颜色所设定的。

本实施例中，与相邻的目标像素点之间的第二灰度值差值大于等于灰度值阈值的目标像素点，可能并不是位于对应特征线上的像素点，因此，可以是将其剔除，以提高得到的特征线的准确性。

步骤S2300，判断物料图像中的第一组特征线是否符合预设的定位限制条件；如否，则执行步骤S2400；如是，则执行步骤S2700。

在本实施例中，定位限制条件可以是预先根据应用场景或具体需求所设定的。例如，该定位限制条件可以包括以下至少一项：

第一项，第一组特征线中相互平行的特征线之间的间距在对应的预设间距范围内；

第二项，第一组特征线中相交的特征线的角度均在对应的预设角度范围内；

第三项，第一组特征线的每条特征线所对应的目标像素点的平均灰度值，均在对应的预设灰度值范围内。

在物料图像中的第一组特征线符合定位限制条件的情况下，可以是根据第一组特征线对物料进行定位；在物料图像中的第一组特征线不符合定位限制条件的情况下，可以是继续查找物料图像中的第二组特征线。

在本公开的一个实施例中，在第一组特征线包含两条相互平行的特征线的情况下，判断物料图像中的第一组特征线是否符合预设的定位限制条件，可以包括如下所示的步骤S2311～S2314：

步骤S2311，确定相互平行的特征线之间的间距。

本实施例中，特征线之间的间距可以是由像素点的数量来表示。

步骤S2312，判断相互平行的特征线之间的间距是否在对应的预设间距范围内，如是，则执行步骤S2313，如否，则执行步骤S2314。

其中，预设间距范围可以是基于物料中第一组特征线中相互平行的特征线之间的实际距离，预先根据应用场景或具体需求所设定的。在步骤S2311得到的间距是由像素点的数量来表示的情况下，该预设间距范围可以也是由像素点的数量来表示。例如，该预设间距范围可以是45～50（含45和50）个像素点。

步骤S2313，判定第一组特征线符合定位限制条件。

在本实施例中，可以是在第一组特征线中相互平行的特征线之间的间距均在对应的预设间距范围内的情况下，判定第一组特征线符合定位限制条件。

步骤S2314，判定第一组特征线不符合定位限制条件。

在本实施例中，可以是在第一组特征线中任意两条相互平行的特征线之间的间距均在对应的预设间距范围外的情况下，表示物料有拉伸，因此，可以判定第一组特征线不符合定位限制条件。

在本公开的另一个实施例中，判断物料图像中的第一组特征线是否符合预设的定位限制条件，可以包括如下所示的步骤S2321～S2324：

步骤S2321，确定第一组特征线中所包含的相交的特征线的夹角。

本实施例中的夹角可以是锐角或直角。

步骤S2322，判定第一组特征线中相交的特征线的夹角是否均在对应的预设角度范围内，如是，则执行步骤S2323，如否，则执行步骤S2324。

其中，预设角度范围可以是基于物料中第一组特征线中相交的特征线之间的实际夹角，预先根据应用场景或具体需求所设定的。例如，该预设角度范围可以是85～90（含85和90）度。

步骤S2323，判定第一组特征线符合定位限制条件。

在本实施例中，可以是在第一组特征线中所包含的所有相交的特征线的夹角均在对应的预设角度范围内的情况下，判定第一组特征线符合定位限制条件。

步骤S2324，判定第一组特征线不符合定位限制条件。

在本实施例中，可以是在第一组特征线中所包含的任意两条相交的特征线的夹角均在对应的预设角度范围外的情况下，表示物料发生形变，因此，可以判定第一组特征线不符合定位限制条件。

在本公开的再一个实施例中，判断物料图像中的第一组特征线是否符合预设的定位限制条件，可以包括如下所示的步骤S2331～S2334：

步骤S2331，确定第一组特征线的每条特征线所对应的目标像素点的灰度值的平均值，作为平均灰度值。

在本实施例中，在查找每条特征线时，预先获取了每条特征线对应的多个预设像素区域中每个像素点的灰度值。在执行本步骤时，可以是针对第一组特征线中的每条特征线，分别确定其所对应的目标像素点的灰度值的平均值，作为平均灰度值。

进一步地，对于任一条特征线，在查找该特征线时剔除掉至少一个目标像素点的情况下，可以是确定剔除目标像素点后，剩余的目标像素点的灰度值的平均值，作为该特征线对应的平均灰度值。

步骤S2332，判定第一组特征线的每条特征线所对应的平均灰度值，是否均在对应的预设灰度值范围内，如是，则执行步骤S2333，如否，则执行步骤S2334。

其中，预设灰度值范围可以是基于物料中第一组特征线中对应特征线的颜色，预先根据应用场景或具体需求所设定的。例如，该预设灰度值范围可以是211～240（含211和240）。

步骤S2333，判定第一组特征线符合定位限制条件。

在本实施例中，可以是在第一组特征线的每条特征线所对应的平均灰度值均在对应的预设灰度值范围内的情况下，判定第一组特征线符合定位限制条件。

步骤S2334，判定第一组特征线不符合定位限制条件。

在本实施例中，可以是在第一组特征线的任一条特征线所对应的平均灰度值均在对应的预设灰度值范围外的情况下，表示物料的所述任一条特征线的边缘出现阴影，因此，可以判定第一组特征线不符合定位限制条件。

步骤S2400，查找物料图像中所包含的第二组特征线。

在物料图像中的第一组特征线不符合定位限制条件的情况下，可以是查找物料图像中所包含的第一组特征线。

在本实施例中，查找第二组特征线的方式可以参照前述步骤中查找第一组特征线的方式，具体可以参照前述的步骤S3100～S3400，在此不再赘述。

步骤S2500，判断物料图像中的第二组特征线是否符合预设的定位限制条件；如是，则执行步骤S2600。

在物料图像中的第二组特征线不符合预设的定位限制条件的情况下，如果物料图像中还有未查找的第三组特征线，可以是继续查找第三组特征线；如果物料图像中没有未查找的其他组特征线，可以是结束本实施例的方法，输出无法定位的提示信息，以供通知用户。其中，该提示信息可以是文字信息，也可以是语音信息，在此不做限定。

在本实施例中，判断物料图像中的第二组特征线是否符合定位限制条件的方式，可以参照前述步骤中判断物料图像中的第一组特征线是否符合定位限制条件的方式。

在本公开的一个实施例中，在第二组特征线包含两条相互平行的特征线的情况下，判断物料图像中的第二组特征线是否符合预设的定位限制条件，可以包括如下所示的步骤S2511～S2514：

步骤S2511，确定第二组特征线中相互平行的特征线之间的间距。

本实施例中，特征线之间的间距可以是由像素点的数量来表示。

步骤S2512，判断第二组特征线中相互平行的特征线之间的间距是否在对应的预设间距范围内，如是，则执行步骤S2513，如否，则执行步骤S2514。

其中，预设间距范围可以是基于物料中第二组特征线中相互平行的特征线之间的实际距离，预先根据应用场景或具体需求所设定的。在步骤S2511得到的间距是由像素点的数量来表示的情况下，该预设间距范围可以也是由像素点的数量来表示。例如，该预设间距范围可以是25～30（含25和30）个像素点。

步骤S2513，判定第二组特征线符合定位限制条件。

在本实施例中，可以是在第二组特征线中相互平行的特征线之间的间距均在对应的预设间距范围内的情况下，判定第二组特征线符合定位限制条件。

步骤S2514，判定第二组特征线不符合定位限制条件。

在本实施例中，可以是在第二组特征线中任意两条相互平行的特征线之间的间距均在对应的预设间距范围外的情况下，表示物料有拉伸，因此，可以判定第二组特征线不符合定位限制条件。

在本公开的另一个实施例中，判断物料图像中的第二组特征线是否符合预设的定位限制条件，可以包括如下所示的步骤S2521～S2524：

步骤S2521，确定第二组特征线中所包含的相交的特征线的夹角。

本实施例中的夹角可以是锐角或直角。

步骤S2522，判定第二组特征线中相交的特征线的夹角是否均在对应的预设角度范围内，如是，则执行步骤S2523，如否，则执行步骤S2524。

其中，预设角度范围可以是基于物料中第二组特征线中相交的特征线之间的实际夹角，预先根据应用场景或具体需求所设定的。例如，该预设角度范围可以是0～5（含0和5）度。

步骤S2523，判定第二组特征线符合定位限制条件。

在本实施例中，可以是在第二组特征线中所包含的所有相交的特征线的夹角均在对应的预设角度范围内的情况下，判定第二组特征线符合定位限制条件。

步骤S2524，判定第二组特征线不符合定位限制条件。

在本实施例中，可以是在第二组特征线中所包含的任意两条相交的特征线的夹角均在对应的预设角度范围外的情况下，表示物料发生形变，因此，可以判定第二组特征线不符合定位限制条件。

在本公开的再一个实施例中，判断物料图像中的第二组特征线是否符合预设的定位限制条件，可以包括如下所示的步骤S2531～S2534：

步骤S2531，确定第二组特征线的每条特征线所对应的目标像素点的灰度值的平均值，作为平均灰度值。

在本实施例中，在查找每条特征线时，预先获取了每条特征线对应的多个预设像素区域中每个像素点的灰度值。在执行本步骤时，可以是针对第二组特征线中的每条特征线，分别确定其所对应的目标像素点的灰度值的平均值，作为平均灰度值。

进一步地，对于任一条特征线，在查找该特征线时剔除掉至少一个目标像素点的情况下，可以是确定剔除目标像素点后，剩余的目标像素点的灰度值的平均值，作为该特征线对应的平均灰度值。

步骤S2532，判定第二组特征线的每条特征线所对应的平均灰度值，是否均在对应的预设灰度值范围内，如是，则执行步骤S2533，如否，则执行步骤S2534。

其中，预设灰度值范围可以是基于物料中第二组特征线中对应特征线的颜色，预先根据应用场景或具体需求所设定的。例如，该预设灰度值范围可以是211～240（含211和240）。

步骤S2533，判定第二组特征线符合定位限制条件。

在本实施例中，可以是在第二组特征线的每条特征线所对应的平均灰度值均在对应的预设灰度值范围内的情况下，判定第二组特征线符合定位限制条件。

步骤S2534，判定第二组特征线不符合定位限制条件。

在本实施例中，可以是在第二组特征线的任一条特征线所对应的平均灰度值均在对应的预设灰度值范围外的情况下，表示物料的所述任一条特征线的边缘出现阴影，因此，可以判定第二组特征线不符合定位限制条件。

步骤S2600，根据物料图像中的第二组特征线对物料进行定位。

在本实施例中，可以是预先记录有物料的目标点与第二组特征线之间的相对位置关系。该目标点的位置即表示物料的位置。例如，该相对位置关系可以表示为该目标点位于第二组特征线的中心。

在本实施例中，根据第二组特征线对物料进行定位，可以是根据第二组特征线在物料图像中的位置，得到目标点在物料图像中的位置；再基于预设的相机的拍摄视野与基于物料所在空间构建的空间坐标系之间的关联关系，根据目标点在物料图像中的位置，得到目标点在空间坐标系中的位置，即物料在空间坐标系中的实际位置。

在本实施例中，可以是预先基于物料所在的空间构建空间坐标系，空间坐标系的X轴、Y轴和Z轴两两垂直，且X轴和Y轴均平行于物料的特征点所在的特征平面，Z轴垂直于特征平面。

进一步地，相机的镜头可以是平行于空间坐标系中X轴、Y轴所构成的平面。

步骤S2700，根据物料图像中的第一组特征线对物料进行定位。

在本实施例中，可以是预先记录有物料的目标点与第一组特征线之间的相对位置关系。该目标点的位置即表示物料的位置。例如，该相对位置关系可以表示为该目标点位于第一组特征线的中心。

在本实施例中，根据第一组特征线对物料进行定位，可以是根据第一组特征线在物料图像中的位置，得到目标点在物料图像中的位置；再基于预设的相机的拍摄视野与基于物料所在空间构建的空间坐标系之间的关联关系，根据目标点在物料图像中的位置，得到目标点在空间坐标系中的位置，即物料在空间坐标系中的实际位置。

在本实施例中，可以是预先获取物料所在空间中的至少两个标识点在相机的拍摄视野中的第一位置、以及在空间坐标系中的第二位置；根据至少两个标识点的第一位置和第二位置，得到相机的拍摄视野与空间坐标系之间的关联关系。

在本实施例中，相机的拍摄视野和空间坐标系之间的关联关系，可以是相机的拍摄视野和空间坐标系中X轴、Y轴所构成的平面坐标系之间的关联关系。对应的，本实施例中的第二位置，可以是包括对应标识点相对于空间坐标系中X轴的坐标、以及对应标识点相对于空间坐标系中Y轴的坐标。

该关联关系，可以是由至少两个标识点中每个标识点的第一位置和第二位置表示。

例如，目标点在物料图像中的位置为第n1行、第m1列的像素点，第一个标识点在相 机的拍摄视野中的第一位置为第n21行、第m21列的像素点，第二个标识点在相机的拍摄视 野中的第一位置为第n22行、第m22列的像素点，第一个标识点相对于空间坐标系中X轴的坐 标为x21，第一个标识点相对于空间坐标系中Y轴的坐标为y21，第二个标识点相对于空间坐 标系中X轴的坐标为x22，第二个标识点相对于空间坐标系中Y轴的坐标为y22，那么，目标点 相对于空间坐标系中X轴的坐标可以表示为x1，目标点相对于空间坐标系中Y轴的坐标可以 表示为y1，其中，

，

。

在一个例子中，可以是根据物料的实际情况，预先设定好物料的目标点在空间坐标系中相对于Z轴的坐标，这样，即可以得到目标点在空间坐标系中坐标位置，并将目标点在空间坐标系中的坐标位置，作为物料在空间坐标系中的实际位置。

例如，目标点相对于空间坐标系中X轴的坐标可以表示为x1，目标点相对于空间坐标系中Y轴的坐标可以表示为y1，预先设定好的目标点在空间坐标系中相对于Z轴的坐标表示为z1，那么，目标点在空间坐标系中的坐标位置可以表示为（x1，y1，z1）。

通过本公开的实施例，可以更加精准地对物料进行定位，可以避免由于物料拉伸、变形或者是第一组特征线有阴影时导致对物料定位失败或定位出现偏差的问题，这样，可以减少物料在组装过程中的浪费，提高使用该物料所生产的产品的合格率。

在本公开的一个实施例中，在对物料进行定位，得到物料在空间坐标系中的实际位置的基础上，该方法还可以包括：基于该实际位置，控制机械轴将物料抓取至指定位置上。

<例子>

图3为根据本公开实施例的物料的特征线的示意图。如图3所示，该物料可以包括4组特征线，包括一组外环长边301、一组外环短边302、一组内环长边303、一组内环短边304，其中，每组特征线包括两条特征线。

图4为对如图3所示的物料进行定位，所执行的视觉定位方法的一个例子的流程示意图。

根据图4所示，该视觉定位方法可以包括：

步骤S4001，控制相机对待定位的物料进行拍摄，得到物料图像。

步骤S4002，查找物料图像中所包含的一组外环长边和一组外环短边。

步骤S4003，判断一组外环长边是否符合定位限制条件，如是，则执行步骤S4004；如否，则执行步骤S4005。

步骤S4004，输出一组外环长边。

步骤S4005，查找物料图像中所包含的一组内环长边。

步骤S4006，判断一组内环长边是否符合定位限制条件，如是，则执行步骤S4007；如否，则结束。

步骤S4007，输出一组内环长边。

步骤S4008，判断一组外环短边是否符合定位限制条件，如是，则执行步骤S4009；如否，则执行步骤S4010。

步骤S4009，输出一组外环短边。

步骤S4010，查找物料图像中所包含的一组内环短边。

步骤S4011，判断一组内环短边是否符合定位限制条件，如是，则执行步骤S4012；如否，则结束。

步骤S4012，输出一组内环短边。

步骤S4013，根据输出的一组长边和一组短边得到物料的目标点在物料图像中的位置。

步骤S4014，根据目标点在物料图像中的位置，得到物料在空间坐标系中的实际位置。

<装置实施例>

与上述方法相对应的，本公开还提供了一种视觉定位装置5000。如图5所示，该视觉定位装置5000可以包括拍摄控制模块5100、第一查找模块5200、第一判断模块5300、第二查找模块5400、第二判断模块5500和定位模块5600。

所述拍摄控制模块5100用于控制相机对待定位的物料进行拍摄，得到物料图像；其中，所述物料包括至少两组特征线，每组特征线包括至少两条特征线。

所述第一查找模块5200用于查找所述物料图像中所包含的第一组特征线。

所述第一判断模块5300用于判断所述物料图像中的所述第一组特征线是否符合预设的定位限制条件。

所述第二查找模块5400用于在所述物料图像中的所述第一组特征线不符合所述定位限制条件的情况下，查找所述物料图像中所包含的第二组特征线。

所述第二判断模块5500用于判断所述物料图像中的所述第二组特征线是否符合预设的定位限制条件。

所述定位模块5600用于在所述物料图像中的所述第二组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第二组特征线对所述物料进行定位。

在本公开的一个实施例中，所述定位模块5600还用于在所述物料图像中的所述第一组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第一组特征线对所述物料进行定位。

在本公开的一个实施例中，查找所述物料图像中所包含的任一条特征线，包括：

获取所述物料图像的灰度图；

获取所述灰度图的多个预设像素区域中每个像素点的灰度值；其中，所述预设像素区域是根据所述物料中对应的特征线预先设定好的；

根据所述灰度值，确定每个所述预设像素区域中符合所述特征线的像素点，作为目标像素点；

根据所述目标像素点，拟合得到所述物料图像中的所述任一条特征线。

在本公开的一个实施例中，根据所述灰度值，确定任一个预设像素区域中符合所述特征线的像素点，作为目标像素点，包括：

确定所述任一个预设像素区域中每两个相邻的像素点之间的第一灰度值差值；

选取所述任一个预设像素区域中与相邻的像素点之间的第一灰度值差值最大的像素点，作为所述目标像素点。

在本公开的一个实施例中，所述视觉定位装置5000还包括：

用于确定每两个相邻的目标像素点之间的距离的模块；

用于根据每两个相邻的目标像素点之间的距离，剔除与相邻的目标像素点之间的距离大于等于预设的距离阈值的目标像素点的模块。

在本公开的一个实施例中，所述视觉定位装置5000还包括：

用于确定每两个相邻的目标像素点之间的第二灰度值差值的模块；

用于根据每两个相邻的目标像素点之间的第二灰度值差值，剔除与相邻的目标像素点之间的第二灰度值差值大于等于预设的灰度值阈值的目标像素点的模块。

在本公开的一个实施例中，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线中相互平行的特征线之间的间距；

判断所述任一组特征线中相互平行的特征线之间的间距是否在对应的预设间距范围内；

在所述相互平行的特征线之间的间距在对应的预设间距范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述相互平行的特征线之间的间距在对应的预设间距范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

在本公开的一个实施例中，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线中所包含的相交的特征线的夹角；

判断所述任一组特征线中相交的特征线的夹角是否均在对应的预设角度范围内；

在所述任一组特征线中相交的特征线的夹角均在对应的预设角度范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述任一组特征线中任意两条相交的特征线的夹角在对应的预设角度范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

在本公开的一个实施例中，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线的每条特征线所对应的目标像素点的灰度值的平均值，作为平均灰度值；

判断所述任一组特征线的每条特征线所对应的平均灰度值，是否均在对应的预设灰度值范围内；

在所述任一组特征线中每条特征线所对应的平均灰度值，均在对应的预设灰度值范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述任一组特征线中任一条特征线所对应的平均灰度值在对应的预设灰度值范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

<系统实施例>

本实施例还提供了一种视觉定位系统。如图6所示，该视觉定位系统6000可以包括相机6100和前述实施例所述的视觉定位装置5000。

通过本公开的实施例，可以更加精准地对物料进行定位，可以避免由于物料拉伸、变形或者是第一组特征线有阴影时导致对物料定位失败或定位出现偏差的问题，这样，可以减少物料在组装过程中的浪费，提高使用该物料所生产的产品的合格率。

上述各实施例主要重点描述与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边界服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如python、java、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种视觉定位方法，其特征在于，包括：

控制相机对待定位的物料进行拍摄，得到物料图像；其中，所述物料包括至少两组特征线，每组特征线包括至少两条特征线；

查找所述物料图像中所包含的第一组特征线；

判断所述物料图像中的所述第一组特征线是否符合预设的定位限制条件；

在所述物料图像中的所述第一组特征线不符合所述定位限制条件的情况下，查找所述物料图像中所包含的第二组特征线；

判断所述物料图像中的所述第二组特征线是否符合预设的定位限制条件；

在所述物料图像中的所述第二组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第二组特征线对所述物料进行定位。

2.根据权利要求1所述的方法，其特征在于，查找所述物料图像中所包含的任一条特征线，包括：

获取所述物料图像的灰度图；

获取所述灰度图的多个预设像素区域中每个像素点的灰度值；其中，所述预设像素区域是根据所述物料中对应的特征线预先设定好的；

根据所述灰度值，确定每个所述预设像素区域中符合所述特征线的像素点，作为目标像素点；

根据所述目标像素点，拟合得到所述物料图像中的所述任一条特征线。

3.根据权利要求2所述的方法，其特征在于，根据所述灰度值，确定任一个预设像素区域中符合所述特征线的像素点，作为目标像素点，包括：

确定所述任一个预设像素区域中每两个相邻的像素点之间的第一灰度值差值；

选取所述任一个预设像素区域中与相邻的像素点之间的第一灰度值差值最大的像素点，作为所述目标像素点。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定每两个相邻的目标像素点之间的距离；

根据每两个相邻的目标像素点之间的距离，剔除与相邻的目标像素点之间的距离大于等于预设的距离阈值的目标像素点。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定每两个相邻的目标像素点之间的第二灰度值差值；

根据每两个相邻的目标像素点之间的第二灰度值差值，剔除与相邻的目标像素点之间的第二灰度值差值大于等于预设的灰度值阈值的目标像素点。

6.根据权利要求1所述的方法，其特征在于，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线中相互平行的特征线之间的间距；

判断所述任一组特征线中相互平行的特征线之间的间距是否在对应的预设间距范围内；

在所述相互平行的特征线之间的间距在对应的预设间距范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述相互平行的特征线之间的间距在对应的预设间距范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

7.根据权利要求1所述的方法，其特征在于，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线中所包含的相交的特征线的夹角；

判断所述任一组特征线中相交的特征线的夹角是否均在对应的预设角度范围内；

在所述任一组特征线中相交的特征线的夹角均在对应的预设角度范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述任一组特征线中任意两条相交的特征线的夹角在对应的预设角度范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

8.根据权利要求2所述的方法，其特征在于，判断所述物料图像中的任一组特征线是否符合预设的定位限制条件，包括：

确定所述任一组特征线的每条特征线所对应的目标像素点的灰度值的平均值，作为平均灰度值；

判断所述任一组特征线的每条特征线所对应的平均灰度值，是否均在对应的预设灰度值范围内；

在所述任一组特征线中每条特征线所对应的平均灰度值，均在对应的预设灰度值范围内的情况下，判定所述任一组特征线符合所述定位限制条件；

在所述任一组特征线中任一条特征线所对应的平均灰度值在对应的预设灰度值范围外的情况下，判定所述任一组特征线不符合所述定位限制条件。

9.一种视觉定位装置，其特征在于，包括：

拍摄控制模块，用于控制相机对待定位的物料进行拍摄，得到物料图像；其中，所述物料包括至少两组特征线，每组特征线包括至少两条特征线；

第一查找模块，用于查找所述物料图像中所包含的第一组特征线；

第一判断模块，用于判断所述物料图像中的所述第一组特征线是否符合预设的定位限制条件；

第二查找模块，用于在所述物料图像中的所述第一组特征线不符合所述定位限制条件的情况下，查找所述物料图像中所包含的第二组特征线；

第二判断模块，用于判断所述物料图像中的所述第二组特征线是否符合预设的定位限制条件；

定位模块，用于在所述物料图像中的所述第二组特征线符合所述定位限制条件的情况下，根据所述物料图像中的第二组特征线对所述物料进行定位。

10.一种视觉定位系统，其特征在于，包括相机、及根据权利要求9所述的视觉定位装置。

Images