CN116071361A - 针对工件的视觉定位方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种针对工件的视觉定位方法、装置、计算机设备和存储介质。方法包括：获取对未放入工件的工件容器进行图像采集得到的第一图像；第一图像中包括工件容器的多个工件放置区；获取输入的参考区域位置信息；参考区域位置信息包括多个工件放置区中的参考工件放置区在第一图像中的参考区域位置；根据参考区域位置，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置；获取对已放入工件的工件容器进行图像采集得到的第二图像；确定放入的工件在第二图像中的工件位置，并根据与工件位置相匹配的区域位置，确定工件的工件放置区；根据工件的工件放置区在真实空间中的物理位置，确定工件的物理位置。采用本方法能够节约计算资源。

Description

针对工件的视觉定位方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种针对工件的视觉定位方法、装置、计算机设备和存储介质。

背景技术

在传统的工业流水线上，工人们使用自己的双眼定位工件，手动地对工件进行加工、组装等一系列操作。但是工人们长期进行这样的枯燥、机械式的操作，无法保证生产的产品质量。

随着计算机视觉技术的发展，出现了视觉定位技术，通过视觉定位方法能够实现工业流水线的自动化。但是，传统的视觉定位方法需要提前进行相机标定，如果需要移动相机的位置，同样的相机标定必须重做一遍，会消耗大量的计算资源。

发明内容

基于此，有必要针对上述技术问题，提供一种能够节约计算资源的视觉定位方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种针对工件的视觉定位方法。所述方法包括：

获取第一图像；所述第一图像是对未放入工件的工件容器进行图像采集得到；所述第一图像中包括工件容器中的多个工件放置区；

获取输入的参考区域位置信息；所述参考区域位置信息包括所述多个工件放置区中的参考工件放置区在所述第一图像中的参考区域位置；

根据所述参考区域位置，预测除所述参考工件放置区之外的工件放置区在所述第一图像中的区域位置；

获取第二图像；所述第二图像是对已放入工件的工件容器进行图像采集得到；

确定放入的工件在所述第二图像中的工件位置，并根据与所述工件位置相匹配的区域位置，确定所述工件的工件放置区；

根据所述工件的工件放置区在真实空间中的物理位置，确定所述工件的物理位置。

在其中一个实施例中，所述根据所述参考区域位置，预测除所述参考工件放置区之外的工件放置区在所述第一图像中的区域位置包括：

根据所述参考区域位置进行插值处理，得到区域位置阵列；所述区域位置阵列包括所述工件容器中的每个工件放置区在所述第一图像中的区域位置。

在其中一个实施例中，所述确定放入的工件在所述第二图像中的工件位置包括：

获取输入的预设缩放系数；

根据所述预设缩放系数对所述第二图像进行缩放处理，得到缩放图像；

通过对所述缩放图像进行对象测量处理，得到放入的工件在所述第二图像中的工件位置。

在其中一个实施例中，所述确定放入的工件在所述第二图像中的工件位置包括：

获取输入的二值化参数；所述二值化参数与所述工件在所述第二图像中对应的像素范围相匹配；

根据所述二值化参数和所述第二图像进行二值化处理，得到二值化图像；

对所述二值化图像进行连通域分析处理，得到连通域分析结果；

基于所述连通域分析结果确定放入的工件在所述第二图像中的工件位置。

在其中一个实施例中，所述连通域分析结果包括各连通域在所述二值化图像中的域轮廓特征和连通域位置；所述基于所述连通域分析结果确定放入的工件在所述第二图像中的工件位置包括：

获取输入的所述工件在所述第二图像中的工件轮廓特征；

对所述域轮廓特征与所述工件轮廓特征进行匹配，得到轮廓匹配结果；

根据所述轮廓匹配结果，从所述各连通域中筛选出目标连通域；

基于所述目标连通域的所述连通域位置确定放入的工件在所述第二图像中的工件位置。

在其中一个实施例中，所述根据所述轮廓匹配结果，从所述各连通域中筛选出目标连通域包括：

根据所述轮廓匹配结果，从所述各连通域中筛选出第一连通域；

从各个所述工件放置区的区域位置中确定与所述第一连通域的连通域位置相匹配的区域位置；

根据所述第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个所述第一连通域中筛选出目标连通域。

在其中一个实施例中，所述根据所述第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个所述第一连通域中筛选出目标连通域包括：

根据所述第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个所述第一连通域中筛选出第二连通域；

从所述二值化图像中确定所述第二连通域处于的待分离区域；

对所述待分离区域进行腐蚀操作，得到腐蚀后的区域；

根据所述腐蚀后的区域中连通域数量，从多个所述第二连通域中筛选出目标连通域。

在其中一个实施例中，所述方法还包括：

确定所述工件容器对应的工件抓取器，以及所述工件抓取器对应的抓取区域；所述工件抓取器具备多个抓取部件；所述抓取区域包括多个所述抓取部件的重叠区域和非重叠区域；

根据所述工件的物理位置，控制所述工件抓取器通过各个所述抓取部件优先抓取非重叠区域处的所述工件。

第二方面，本申请还提供了一种针对工件的视觉定位装置。所述装置包括：

获取模块，用于获取第一图像；所述第一图像是对未放入工件的工件容器进行图像采集得到；所述第一图像中包括工件容器中的多个工件放置区；获取输入的参考区域位置信息；所述参考区域位置信息包括所述多个工件放置区中的参考工件放置区在所述第一图像中的参考区域位置；获取第二图像；所述第二图像是对已放入工件的工件容器进行图像采集得到；

预测模块，用于根据所述参考区域位置，预测除所述参考工件放置区之外的工件放置区在所述第一图像中的区域位置；

确定模块，用于确定放入的工件在所述第二图像中的工件位置，并根据与所述工件位置相匹配的区域位置，确定所述工件的工件放置区；根据所述工件的工件放置区在真实空间中的物理位置，确定所述工件的物理位置。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法中的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

上述针对工件的视觉定位方法、装置、计算机设备、存储介质和计算机程序产品，获取第一图像；第一图像是对未放入工件的工件容器进行图像采集得到；第一图像中包括工件容器中的多个工件放置区；获取输入的参考区域位置信息；参考区域位置信息包括多个工件放置区中的参考工件放置区在第一图像中的区域位置；根据参考区域位置，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置；获取第二图像；第二图像是对已放入工件的工件容器进行图像采集得到；根据与工件在第二图像中的工件位置匹配的区域位置，确定工件的工件放置区；根据工件的工件放置区在真实空间中的物理位置，确定工件的物理位置。通过第二图像中工件放置区与工件的匹配情况，确定工件的工件放置区，进而通过确定工件的工件放置区的物理位置，就可以确定工件的物理位置，无需进行额外繁琐的相机标定过程，能够节约计算资源。

附图说明

图1为一个实施例中针对工件的视觉定位方法的流程示意图；

图2为一个实施例中筛盘的立体图形和第一图像；

图3为一个实施例中的可视化结果；

图4为一个实施例中的二值化图像；

图5为一个实施例中二值化图像中待分离区域的示意图；

图6为一个实施例中抓取区域的示意图；

图7为一个实施例中针对工件的视觉定位装置的结构框图；

图8为一个实施例中计算机设备的内部结构图；

图9为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种针对工件的视觉定位方法，以该方法应用于计算机设备为例进行说明。可以理解的是，计算机设备可以包括终端或服务器中的至少一种，该方法可以单独应用于服务器或终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

S102，获取第一图像。

其中，第一图像是对未放入工件的工件容器进行图像采集得到。第一图像中包括工件容器中的多个工件放置区。工件容器是用于容纳工件的器具，比如用于容纳胶钉的筛盘。工件是指制造过程中的产品部件，比如胶钉、螺丝、五金件等。工件放置区是工件容器中用于放置工件的区域，比如筛盘中用于放置工件的筛孔。

示例性地，计算机设备可以获取图像采集设备采集的第一图像。图像采集设备可以通过俯视视角正对未放入工件的工件容器进行图像采集，得到第一图像。

在一个实施例中，计算机设备可以调整图像采集设备的图像采集参数，使得图像采集设备采集的第一图像中包括整个工件容器。

在一个实施例中，图像采集参数可以包括图像采集设备的俯视视角、焦距和物理位置。

在一个实施例中，工件容器具有等间距规则分布的工件放置区。可以理解，工件容器可以包括工件放置区阵列。

在一个实施例中，工件放置区可以在工件容器上水平分布。

在一个实施例中，工件容器可以是筛盘，工件放置区可以是筛孔。如图2所示提供了筛盘的立体图形和第一图像。可以理解，图像采集设备可以是畸变较小的相机。相机可以通过俯视视角正对未放入工件的筛盘进行图像采集得到第一图像。需要说明的是，筛盘具有等间距规则分布的筛孔，筛孔本身的构造使得工件能以垂直的角度落入。筛孔的形状不限于是图2中的三角形，也可以是矩形或圆形等中的至少一种。

在一个实施例中，工件可以是胶钉。可以理解，胶钉的材质和样式可以不限于是圆柱形物体。

在一个实施例中，计算机设备可以包括终端或服务器中的至少一种。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

S104，获取输入的参考区域位置信息。

其中，参考区域位置信息包括多个工件放置区中的参考工件放置区在第一图像中的参考区域位置。

示例性地，区域位置可以通过工件放置区的中心在第一图像中的像素坐标指示。计算机设备可以获取输入的参考区域像素坐标。参考区域像素坐标是参考工件放置区的中心在第一图像中的像素坐标，用于指示参考工件放置区的区域位置。

在一个实施例中，参考工件放置区可以包括工件容器边缘处的边缘工件放置区。比如，参考工件放置区可以是位于工件容器顶点处的顶点工件放置区。在工件容器的水平截面为矩形的情况下，参考工件放置区可以包括四个顶点工件放置区。

在一个实施例中，参考区域位置信息可以包括参考区域位置和工件放置区分布参数等信息。参考区域位置是指参考工件放置区在第一图像中的区域位置。工件放置区分布参数用于指示多个工件放置区在工件容器中的分布情况。

在一个实施例中，计算机设备可以获取输入的工件放置区分布参数。工件放置区分布参数与多个工件放置区在工件容器上的分布情况相匹配，能够指示每个工件放置区的物理位置。

在一个实施例中，工件放置区分布参数可以包括工件放置区阵列的行列信息。行列信息可以包括各行工件放置区的间距、各列工件放置区的间距、工件放置区的行数和列数等。

S106，根据参考区域位置，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置。

示例性地，计算机设备可以根据参考区域像素坐标，预测除参考工件放置区之外的工件放置区的中心在第一图像中的区域像素坐标。

在一个实施例中，计算机设备可以根据参考区域位置信息进行插值处理，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置。

在一个实施例中，计算机设备可以对参考区域位置进行双线性插值处理，生成除参考工件放置区之外的工件放置区在第一图像中的区域位置。

S108，获取第二图像。

其中，第二图像是对已放入工件的工件容器进行图像采集得到。第二图像中包括放入的工件。

示例性地，计算机设备获取第一图像之后，可以固定图像采集参数，并获取图像采集设备对已放入工件的工件容器进行图像采集得到的第二图像。可以理解，工件容器在第二图像和第一图像中的位置是一致的。

S110，确定放入的工件在第二图像中的工件位置，并根据与工件位置相匹配的区域位置，确定工件的工件放置区。

示例性地，计算机设备可以确定放入的工件在第二图像中的工件像素坐标，并根据与工件像素坐标相匹配的区域像素坐标，确定工件的工件放置区。可以理解，工件的工件放置区是指工件在工件容器中处于的工件放置区。比如，胶钉垂直落入的筛孔就是该胶钉的筛孔。

在一个实施例中，计算机设备可以基于第二图像中的连通域确定放入的工件在第二图像中的工件位置。可以理解，对于放入工件的工件容器，工件会覆盖工件容器中的区域，该工件所覆盖的区域在第二图像中会形成连通域。

在一个实施例中，工件位置最接近的区域位置为与该工件位置相匹配的区域位置。

在一个实施例中，与工件位置相邻的区域位置为与该工件位置相匹配的区域位置。

S112，根据工件的工件放置区在真实空间中的物理位置，确定工件的物理位置。

示例性地，计算机设备可以根据工件放置区分布参数确定工件的工件放置区在真实空间中的物理位置，并将工件的工件放置区在真实空间中的物理位置，确定为工件的物理位置。可以理解，工件放置区分布参数可以指示工件容器中各个工件放置区处于的行列位置，每个行列位置映射到真实空间中就得到了工件放置区的物理位置。

在一个实施例中，计算机设备可以根据真实空间中的坐标系和工件放置区分布参数，确定工件的工件放置区在真实空间中的坐标系中映射至的物理坐标，得到工件的物理位置。可以理解，通过真实空间中工件放置区在工件容器的分布情况，实现工件放置区在图像中的位置到真实空间中的物理位置的映射，以得到工件的物理位置，无需进行相机标定，节约了计算资源。

在一个实施例中，真实空间中的坐标系可以是工件抓取器的坐标系。可以理解，真实空间中的坐标系也可以是能够与工件抓取器的坐标系实现坐标转换的其他坐标系。

在一个实施例中，工件容器与工件抓取器的坐标系设置了同一坐标原点。计算机设备可以根据上述坐标原点以及工件放置区阵列的行列信息，确定工件的工件放置区在工件抓取器的坐标系中映射的物理坐标，得到工件的物理位置。

上述针对工件的视觉定位方法中，获取第一图像；第一图像是对未放入工件的工件容器进行图像采集得到；第一图像中包括工件容器中的多个工件放置区；获取输入的参考区域位置信息；参考区域位置信息包括多个工件放置区中的参考工件放置区在第一图像中的区域位置；根据参考区域位置，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置；获取第二图像；第二图像是对已放入工件的工件容器进行图像采集得到；根据与工件在第二图像中的工件位置匹配的区域位置，确定工件的工件放置区；根据工件的工件放置区在真实空间中的物理位置，确定工件的物理位置。通过第二图像中工件放置区与工件的匹配情况，确定工件的工件放置区，进而通过确定工件的工件放置区的物理位置，就可以确定工件的物理位置，无需进行额外繁琐的相机标定过程，能够节约计算资源。

在一个实施例中，根据参考区域位置，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置包括：根据参考区域位置进行插值处理，得到区域位置阵列；区域位置阵列包括工件容器中的每个工件放置区在第一图像中的区域位置。

示例性地，计算机设备可以对参考区域位置进行双线性插值处理，生成除参考工件放置区之外的工件放置区在第一图像中的区域位置，得到区域位置阵列。

在一个实施例中，计算机设备可以对顶点工件放置区的区域像素坐标进行双线性插值处理，得到区域像素坐标阵列。区域像素坐标为工件放置区的中心在第一图像中的像素坐标。区域像素坐标阵列包括每个工件放置区的区域像素坐标。

在一个实施例中，工件容器可以是筛盘。计算机设备可以对四个顶点筛孔的区域像素坐标进行双线性插值处理，生成每个筛孔的区域像素坐标。

在一个实施例中，计算机设备可以在第一图像中的每个区域像素坐标处进行标记，得到可视化结果。计算机设备可以展示可视化结果，用户可以观察可视化结果中的标记是否与工件容器中每个工件放置区的位置一致。对于区域位置不准确的情况，用户可以通过计算机设备对顶点工件放置区的区域像素坐标进行调整，使得可视化结果中标记出每个工件放置区的区域位置。

在一个实施例中，如图3所示提供了可视化结果。可视化结果中标记为十字。

本实施例中，根据参考区域位置进行插值处理，得到区域位置阵列，无需执行图像标定流程或模型推理，就能得到每个工件放置区的区域位置，节约了计算资源。

在一个实施例中，确定放入的工件在第二图像中的工件位置包括：获取输入的预设缩放系数；根据预设缩放系数对第二图像进行缩放处理，得到缩放图像；通过对缩放图像进行对象测量处理，得到放入的工件在第二图像中的工件位置。

示例性地，预设缩放系数用于指示第二图像的缩放比例。计算机设备可以按照预设缩放系数对第二图像进行等比例缩放处理，得到缩放图像。可以理解，缩放图像是按照预设缩放系数等比例缩小后的图像。计算机设备可以对缩放图像进行对象测量处理，得到对象测量结果。计算机设备可以按照预设缩放系数对对象测量结果进行等比例还原处理，得到放入的工件在第二图像中的工件位置。

本实施例中，根据预设缩放系数对第二图像进行缩放处理，得到缩放图像；通过对缩放图像进行对象测量处理，得到放入的工件在第二图像中的工件位置，通过进行缩放操作能够降低计算工件位置的时间，节约计算资源。

在一个实施例中，确定放入的工件在第二图像中的工件位置包括：获取输入的二值化参数；二值化参数与工件在第二图像中对应的像素范围相匹配；根据二值化参数和第二图像进行二值化处理，得到二值化图像；对二值化图像进行连通域分析处理，得到连通域分析结果；基于连通域分析结果确定放入的工件在第二图像中的工件位置。

示例性地，二值化参数包括用于进行图像二值化的阈值。由于工件容器上上可能存在划痕、缺陷、灰尘或反光等，二值化参数应尽可能地与工件在第二图像中对应的像素范围一致，从而使得二值化图像中的干扰尽可能少。计算机设备可以根据第二图像和二值化参数进行单阈值二值化处理、双阈值二值化处理或自适应阈值二值化处理等中的任意一种二值化处理，得到二值化图像。计算机设备可以分析二值化图像中连通域的轮廓特征和连通域位置，得到连通域分析结果。计算机设备可以基于连通域分析结果从二值化图像中的多个连通域筛选出目标连通域。计算机设备可以基于目标连通域的连通域位置确定放入的工件在第二图像中的工件位置。

在一个实施例中，计算机设备可以通过分水岭算法对二值化图像进行连通域分析处理，得到连通域分析结果。需要说明的是，不限于分水岭算法，通过其他的对象测量算法也能够进行连通域分析处理。

在一个实施例中，对象测量结果为连通域分析结果。计算机设备可以根据二值化参数对缩放图像进行二值化处理，得到二值化图像。

在一个实施例中，计算机设备可以对第二图像进行二值化处理，得到二值化图像。

在一个实施例中，二值化参数中包括双阈值。计算机设备可以根据二值化参数中的双阈值和第二图像进行双阈值二值化处理，得到二值化图像。

在一个实施例中，计算机设备可以按照二值化参数中的双阈值对第二图像进行双阈值二值化处理，得到二值化图像。

在一个实施例中，计算机设备可以按照二值化参数中的双阈值对缩放图像进行双阈值二值化处理，得到二值化图像。

本实施例中，获取输入的二值化参数；二值化参数与工件在第二图像中对应的像素范围相匹配；根据二值化参数和第二图像进行二值化处理，得到二值化图像；对二值化图像进行连通域分析处理，得到连通域分析结果；基于连通域分析结果确定放入的工件在第二图像中的工件位置，二值化图像中包括与工件接近的连通域，通过这些连通域能够实现工件的定位，节约了计算资源。

在一个实施例中，连通域分析结果包括各连通域在二值化图像中的域轮廓特征和连通域位置；基于连通域分析结果确定放入的工件在第二图像中的工件位置包括：获取输入的工件在第二图像中的工件轮廓特征；对域轮廓特征与工件轮廓特征进行匹配，得到轮廓匹配结果；根据轮廓匹配结果，从各连通域中筛选出目标连通域；基于目标连通域的连通域位置确定放入的工件在第二图像中的工件位置。

示例性地，域轮廓特征包括连通域的圆度和面积。工件轮廓特征包括工件俯视面的圆度和面积。计算机设备可以通过比对连通域的圆度和工件俯视面的圆度，以及连通域的面积和工件俯视面的面积，得到轮廓匹配结果。可以理解，轮廓匹配结果指示了与工件匹配的连通域，即域轮廓特征与工件轮廓特征匹配的连通域。计算机设备可以根据轮廓匹配结果，从各连通域中筛选出目标连通域。计算机设备可以将目标连通域的连通域位置确定为放入的工件在第二图像中的工件位置。

在一个实施例中，连通域分析结果中包括每个连通域的面积、圆度和连通域像素坐标。连通域像素坐标是连通域的中心在二值化图像中的像素坐标，能够指示连通域在二值化图像中的连通域位置。

在一个实施例中，如图4所示提供了二值化图像。图4中包括多个填充区域，这些填充区域是连通域。这些连通域的面积和大小不同，图4中圈出的连通域的域轮廓特征与工件轮廓特征相匹配。

本实施例中，获取输入的工件在第二图像中的工件轮廓特征；对域轮廓特征与工件轮廓特征进行匹配，得到轮廓匹配结果；根据轮廓匹配结果，从各连通域中筛选出目标连通域；基于目标连通域的连通域位置确定放入的工件在第二图像中的工件位置，无需进行数据采集和训练或者任何的图像标定操作，就能实现工件的视觉定位，节约了计算资源。

在一个实施例中，根据轮廓匹配结果，从各连通域中筛选出目标连通域包括：根据轮廓匹配结果，从各连通域中筛选出第一连通域；从各个工件放置区的区域位置中确定与第一连通域的连通域位置相匹配的区域位置；根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出目标连通域。

示例性地，计算机设备可以通过比对域轮廓特征和工件轮廓特征，从二值化图像中的多个连通域中筛选出域轮廓特征与工件轮廓特征相匹配的第一连通域。计算机设备可以从各个工件放置区的区域位置中确定与第一连通域的连通域位置最接近的区域位置。计算机设备可以获取输入的容忍度阈值。计算机设备可以通过比对第一连通域的连通域位置与相匹配的区域位置之间的差异和容忍度阈值，从多个第一连通域中筛选出目标连通域。可以理解，通过比对域轮廓特征和工件轮廓特征对连通域进行一轮筛选后，通过比对连通域位置与区域位置进行进一步筛选。

在一个实施例中，计算机设备可以通过判断第一连通域的连通域像素坐标与最接近的区域像素坐标之间的差异是否符合容忍度阈值。在符合容忍度阈值的情况下，计算机设备可以确定该连通域对应一个在工件放置区中的工件。可以理解，符合容忍度阈值可以是不大于容忍度阈值。

在一个实施例中，计算机设备可以获取输入的轮廓匹配条件。计算机设备可以通过比对域轮廓特征和工件轮廓特征，确定满足轮廓匹配条件的第一连通域。可以理解，轮廓匹配条件用于限定相匹配的工件轮廓特征与域轮廓特征之间的差异大小。

本实施例中，根据轮廓匹配结果，从各连通域中筛选出第一连通域；从各个工件放置区的区域位置中确定与第一连通域的连通域位置相匹配的区域位置；根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出目标连通域，后续能够基于目标连通域的连通域位置实现工件的定位，相较于基于深度学习的视觉定位方法，能够节约计算资源。

在一个实施例中，根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出目标连通域包括：根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出第二连通域；从二值化图像中确定第二连通域处于的待分离区域；对待分离区域进行腐蚀操作，得到腐蚀后的区域；根据腐蚀后的区域中连通域数量，从多个第二连通域中筛选出目标连通域。

示例性地，计算机设备可以从多个第一连通域中筛选出连通域位置与相匹配的区域位置之间的差异符合容忍度阈值的第二连通域。计算机设备可以获取输入的分离距离。计算机设备可以根据第二连通域的连通域位置和分离距离从二值化图像中确定第二连通域处于的待分离区域。计算机设备可以对第二连通域处于的待分离区域进行腐蚀操作，得到该第二连通域对应的腐蚀后的区域。计算机设备可以从多个第二连通域中，筛选出对应的腐蚀后的区域中连通域数量符合数量阈值的第二连通域，得到目标连通域。比如，数量阈值可以为1，能够防止确定的工件的物理位置附近有别的工件聚集，不利于进行单独抓取。腐蚀操作是为了去除可能的粘连。

在一个实施例中，计算机设备可以根据第二连通域的连通域像素坐标和分离距离从二值化图像中确定第二连通域处于的待分离区域。

在一个实施例中，腐蚀后的区域中连通域数量能够指示相应的第二连通域的分离度。待分离区域是指以连通域位置为圆心，分离距离为半径的区域。

在一个实施例中，如图5所示提供了二值化图像中待分离区域的示意图。图5中左上方两个第二连通域（虚线所示区域内的填充区域）距离过近，这两个第二连通域的待分离区域（虚线所示的区域）存在重叠，这两个第二连通域不作为目标连通域。右下方第二连通域附近没有其他的连通域，该第二连通域的待分离区域未与另外的第二连通域的待分离区域存在重叠，能够作为目标连通域。

本实施例中，根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出第二连通域；从二值化图像中确定第二连通域处于的待分离区域；对待分离区域进行腐蚀操作，得到腐蚀后的区域；根据腐蚀后的区域中连通域数量，从多个第二连通域中筛选出目标连通域，通过腐蚀操作是为了去除可能的粘连，能够保证定位的工件附近没有别的工件聚集，利于进行单独抓取。

在一个实施例中，方法还包括：确定工件容器对应的工件抓取器，以及工件抓取器对应的抓取区域；工件抓取器具备多个抓取部件；抓取区域包括多个抓取部件的重叠区域和非重叠区域；根据工件的物理位置，控制工件抓取器通过各个抓取部件优先抓取非重叠区域处的工件。

其中，工件抓取器用于控制抓取部件对工件容器中的工件进行抓取。工件抓取器可以是机械臂。抓取部件可以是机械臂上的抓钩。

示例性地，计算机设备可以获取输入的抓取区域。每个工件容器对应一个工件抓取器。计算机设备可以将工件的物理位置发送至工件抓取器，控制工件抓取器通过各个抓取部件优先抓取非重叠区域处的工件。可以理解，工件抓取器可以优先移动抓钩至非重叠区域中工件的物理位置处，以进行工件的抓取。

在一个实施例中，计算机设备可以将工件与该工件的工件放置区进行绑定。计算机设备可以根据和机械臂坐标系约定的坐标原点以及工件放置区阵列的行列信息，确定工件放置区的物理位置。计算机设备可以将与工件绑定的工件放置区的物理位置确定为工件的物理位置。

在一个实施例中，计算机设备可以通过绑定工件对应的连通域与该工件的工件放置区的区域像素坐标，实现工件与工件放置区的绑定。

在一个实施例中，如图6所示提供了抓取区域的示意图。图6中左侧的虚线框圈出第一个抓钩的区域，右侧的虚线框圈出了第二个抓钩的区域。虚线框重叠部分圈出的区域是重叠区域。虚线框非重叠部分圈出的区域是非重叠区域。图6中第一个抓钩和第二个抓钩优先抓取非重叠区域中的工件，比如左侧圈出的工件为第一个抓钩优先抓取的工件，右侧圈出的工件为第二个抓钩优先抓取的工件。

本实施例中，确定工件容器对应的工件抓取器，以及工件抓取器对应的抓取区域；工件抓取器具备多个抓取部件；抓取区域包括多个抓取部件的重叠区域和非重叠区域；根据工件的物理位置，控制工件抓取器通过各个抓取部件优先抓取非重叠区域处的工件。由于重叠区域中工件与抓取部件的对应关系不够明确，重叠区域中容易发生抓取混淆的问题，通过优先抓取非重叠区域中的工件，能够避免抓取混淆对非重叠区域的工件抓取的影响，使得非重叠区域中工件的抓取不受限于重叠区域易产生的抓取混淆问题，保证工件抓取的效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的针对工件的视觉定位方法的针对工件的视觉定位装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个针对工件的视觉定位装置实施例中的具体限定可以参见上文中对于针对工件的视觉定位方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种针对工件的视觉定位装置700，包括：获取模块702、预测模块704和确定模块706，其中：

获取模块702，用于获取第一图像；第一图像是对未放入工件的工件容器进行图像采集得到；第一图像中包括工件容器中的多个工件放置区；获取输入的参考区域位置信息；参考区域位置信息包括多个工件放置区中的参考工件放置区在第一图像中的参考区域位置；获取第二图像；第二图像是对已放入工件的工件容器进行图像采集得到；

预测模块704，用于根据参考区域位置，预测除参考工件放置区之外的工件放置区在第一图像中的区域位置；

确定模块706，用于确定放入的工件在第二图像中的工件位置，并根据与工件位置相匹配的区域位置，确定工件的工件放置区；根据工件的工件放置区在真实空间中的物理位置，确定工件的物理位置。

在其中一个实施例中，预测模块704，用于根据参考区域位置进行插值处理，得到区域位置阵列；区域位置阵列包括工件容器中的每个工件放置区在第一图像中的区域位置。

在其中一个实施例中，确定模块706，用于获取输入的预设缩放系数；根据预设缩放系数对第二图像进行缩放处理，得到缩放图像；通过对缩放图像进行对象测量处理，得到放入的工件在第二图像中的工件位置。

在其中一个实施例中，确定模块706，用于获取输入的二值化参数；二值化参数与工件在第二图像中对应的像素范围相匹配；根据二值化参数和第二图像进行二值化处理，得到二值化图像；对二值化图像进行连通域分析处理，得到连通域分析结果；基于连通域分析结果确定放入的工件在第二图像中的工件位置。

在其中一个实施例中，连通域分析结果包括各连通域在二值化图像中的域轮廓特征和连通域位置；确定模块706，用于获取输入的工件在第二图像中的工件轮廓特征；对域轮廓特征与工件轮廓特征进行匹配，得到轮廓匹配结果；根据轮廓匹配结果，从各连通域中筛选出目标连通域；基于目标连通域的连通域位置确定放入的工件在第二图像中的工件位置。

在其中一个实施例中，确定模块706，用于根据轮廓匹配结果，从各连通域中筛选出第一连通域；从各个工件放置区的区域位置中确定与第一连通域的连通域位置相匹配的区域位置；根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出目标连通域。

在其中一个实施例中，确定模块706，用于根据第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个第一连通域中筛选出第二连通域；从二值化图像中确定第二连通域处于的待分离区域；对待分离区域进行腐蚀操作，得到腐蚀后的区域；根据腐蚀后的区域中连通域数量，从多个第二连通域中筛选出目标连通域。

在其中一个实施例中，确定模块706，用于确定工件容器对应的工件抓取器，以及工件抓取器对应的抓取区域；工件抓取器具备多个抓取部件；抓取区域包括多个抓取部件的重叠区域和非重叠区域；根据工件的物理位置，控制工件抓取器通过各个抓取部件优先抓取非重叠区域处的工件。

上述针对工件的视觉定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储参考区域位置信息和工件放置区的物理位置。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种针对工件的视觉定位方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种针对工件的视觉定位方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种针对工件的视觉定位方法，其特征在于，所述方法包括：

获取第一图像；所述第一图像是对未放入工件的工件容器进行图像采集得到；所述第一图像中包括工件容器中的多个工件放置区；

获取输入的参考区域位置信息；所述参考区域位置信息包括所述多个工件放置区中的参考工件放置区在所述第一图像中的参考区域位置；

根据所述参考区域位置，预测除所述参考工件放置区之外的工件放置区在所述第一图像中的区域位置；

获取第二图像；所述第二图像是对已放入工件的工件容器进行图像采集得到；

确定放入的工件在所述第二图像中的工件位置，并根据与所述工件位置相匹配的区域位置，确定所述工件的工件放置区；

根据所述工件的工件放置区在真实空间中的物理位置，确定所述工件的物理位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述参考区域位置，预测除所述参考工件放置区之外的工件放置区在所述第一图像中的区域位置包括：

根据所述参考区域位置进行插值处理，得到区域位置阵列；所述区域位置阵列包括所述工件容器中的每个工件放置区在所述第一图像中的区域位置。

3.根据权利要求1所述的方法，其特征在于，所述确定放入的工件在所述第二图像中的工件位置包括：

获取输入的预设缩放系数；

根据所述预设缩放系数对所述第二图像进行缩放处理，得到缩放图像；

通过对所述缩放图像进行对象测量处理，得到放入的工件在所述第二图像中的工件位置。

4.根据权利要求1所述的方法，其特征在于，所述确定放入的工件在所述第二图像中的工件位置包括：

获取输入的二值化参数；所述二值化参数与所述工件在所述第二图像中对应的像素范围相匹配；

根据所述二值化参数和所述第二图像进行二值化处理，得到二值化图像；

对所述二值化图像进行连通域分析处理，得到连通域分析结果；

基于所述连通域分析结果确定放入的工件在所述第二图像中的工件位置。

5.根据权利要求4所述的方法，其特征在于，所述连通域分析结果包括各连通域在所述二值化图像中的域轮廓特征和连通域位置；所述基于所述连通域分析结果确定放入的工件在所述第二图像中的工件位置包括：

获取输入的所述工件在所述第二图像中的工件轮廓特征；

对所述域轮廓特征与所述工件轮廓特征进行匹配，得到轮廓匹配结果；

根据所述轮廓匹配结果，从所述各连通域中筛选出目标连通域；

基于所述目标连通域的所述连通域位置确定放入的工件在所述第二图像中的工件位置。

6.根据权利要求5所述的方法，其特征在于，所述根据所述轮廓匹配结果，从所述各连通域中筛选出目标连通域包括：

根据所述轮廓匹配结果，从所述各连通域中筛选出第一连通域；

从各个所述工件放置区的区域位置中确定与所述第一连通域的连通域位置相匹配的区域位置；

根据所述第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个所述第一连通域中筛选出目标连通域。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个所述第一连通域中筛选出目标连通域包括：

根据所述第一连通域的连通域位置与相匹配的区域位置之间的差异，从多个所述第一连通域中筛选出第二连通域；

从所述二值化图像中确定所述第二连通域处于的待分离区域；

对所述待分离区域进行腐蚀操作，得到腐蚀后的区域；

根据所述腐蚀后的区域中连通域数量，从多个所述第二连通域中筛选出目标连通域。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述方法还包括：

确定所述工件容器对应的工件抓取器，以及所述工件抓取器对应的抓取区域；所述工件抓取器具备多个抓取部件；所述抓取区域包括多个所述抓取部件的重叠区域和非重叠区域；

根据所述工件的物理位置，控制所述工件抓取器通过各个所述抓取部件优先抓取非重叠区域处的所述工件。

9.一种针对工件的视觉定位装置，其特征在于，所述装置包括：

获取模块，用于获取第一图像；所述第一图像是对未放入工件的工件容器进行图像采集得到；所述第一图像中包括工件容器中的多个工件放置区；获取输入的参考区域位置信息；所述参考区域位置信息包括所述多个工件放置区中的参考工件放置区在所述第一图像中的区域位置；获取第二图像；所述第二图像是对已放入工件的工件容器进行图像采集得到；

预测模块，用于根据所述参考区域位置，预测除所述参考工件放置区之外的工件放置区在所述第一图像中的区域位置；

确定模块，用于确定放入的工件在所述第二图像中的工件位置，并根据与所述工件位置相匹配的区域位置，确定所述工件的工件放置区；根据所述工件的工件放置区在真实空间中的物理位置，确定所述工件的物理位置。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images