CN114289332A

CN114289332A - 工件分拣的视觉识别与定位方法、装置及分拣系统

Info

Publication number: CN114289332A
Application number: CN202210068595.9A
Authority: CN
Inventors: 黄金; 冀春锟; 刘欢
Original assignee: Hunan Shibite Robot Co Ltd
Current assignee: Hunan Shibite Robot Co Ltd
Priority date: 2022-01-20
Filing date: 2022-01-20
Publication date: 2022-04-08

Abstract

本发明公开了一种工件分拣的视觉识别与定位方法、装置及分拣系统，所述方法包括：确定桁架观测区域内的多个拍照点位；获取对应于多个所述拍照点位的多个图像；将多个所述图像进行拼接，得到桁架坐标系下的拼接全景图；根据所述拼接全景图，确定工件的位置和姿态信息，以对所述桁架观测区域内的工件进行识别和定位，并根据位置信息获取抓取点，引导桁架机械臂完成工件的自动抓取，能够有效地解决工业嘈杂环境下，工件定位精度不高且运行成本高、执行效率低的问题，具有广泛的实用价值。

Description

工件分拣的视觉识别与定位方法、装置及分拣系统

技术领域

本发明涉及机械自动化技术领域，尤其是涉及一种工件分拣的视觉识别与定位方法、装置及分拣系统。

背景技术

近年来，随着国家政策的引导和产业变革的持续深入，工程机械行业开始逐渐向智能化、自动化转型。但是，大型工厂中的工件分拣环节作为各类生产线自动化中极其重要的一环，一直面临如下问题：(1)工件种类多，(2)工件摆放范围大且摆放杂乱，(3)工件尺寸大且分类放置要求的精度高。并且，现有的人工工件分拣效率低下，且很难达到较高的分类摆放精度。目前尚未存在完善的工件分拣系统可以解决上述问题。在各型分拣场景中，特别是超大视野下的工件识别和分拣又尤为困难。而在重工领域中，又经常面临超大视野下工件的自动分拣问题，一方面是因为生产效率的需要，一次性获取到完整分拣区域的视野图像，再对其处理能够极大提高工件的识别速度和抓取节拍；另一方面，由于待分拣的工件中存在不少尺寸长、重量大的工件；其中工件的长度最长可达9米，甚至更长，重量最大可达500kg，甚至更重。因此，对这些工件进行自动化分拣需要获取超大视野且拍摄完整的工件的图像数据。

由于常用的工业相机设备往往受视野的物理限制，采集到的图像不能满足宽视角、高分辨率的要求，难以解决超大分拣区域的视野覆盖问题。现有相关技术中，一般通过可获取到超大视野的全景相机或者线扫描激光相机采集图像，但是全景相机价格昂贵，对安装操作要求较高，且在工业嘈杂环境下的多图拼接效果难以保证；线扫相机对移动模组依赖较高，大场景下安装困难，成本高昂，而且实施效率较低，长期维护代价高，上述因素导致超大视野下工件的识别和分拣迟迟无法实现自动化。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的在于提出一种工件分拣的视觉识别与定位方法、装置及分拣系统。

本发明提出的一种工件分拣的视觉识别与定位方法，所述方法包括以下步骤：

确定桁架观测区域内的多个拍照点位；

获取对应于多个所述拍照点位的多个图像；

将多个所述图像进行拼接，得到桁架坐标系下的拼接全景图；

根据所述拼接全景图，确定工件的位置和姿态信息，以对所述桁架观测区域内的工件进行识别和定位。

另外，根据本发明实施例的工件分拣的视觉识别与定位方法，还可以具有如下附加的技术特征：

进一步地，对应于多个所述拍照点位的多个所述图像覆盖整个所述桁架观测区域，且相邻的所述图像之间相互重叠。

进一步地，将多个所述图像进行拼接，得到桁架坐标系下的拼接全景图，包括：

利用标定的相机内参和畸变系数对多个所述图像分别进行校正；

利用对应于多个所述图像的转换矩阵将校正后的多个所述图像的坐标转换到所述桁架坐标系下，得到初始的全景拼接图；

提取所述初始的全景拼接图中相邻图像重叠区域上的特征点；

基于所述特征点，利用特征匹配和光束平差法对所述重叠区域进行优化和调整，得到完整的全景拼接图。

进一步地，所述转换矩阵的获取方法，包括：

确定标定机位的位置；

获取对应于所述位置上的标定板上的所有特征点在所述桁架坐标系下的坐标；

根据所述坐标和对应于所述位置上当前图像中所述标定板的特征点之间的对应关系，得到对应于所述标定机位位置的转换矩阵；

根据对应于所述标定机位位置的转换矩阵和多个所述拍照点位相对于所述标定机位位置的坐标，确定对应于多个所述拍照点位的多个所述图像到桁架坐标系平面的多个转换矩阵。

进一步地，所述工件分拣的视觉识别与定位方法，还包括：

利用图像融合算法，对所述完整的全景拼接图的拼接处进行融合处理，以消除接缝与亮度差异。

进一步地，根据所述拼接全景图，确定工件的位置和姿态信息，以对所述桁架观测区域内的工件进行识别和定位，包括：

采用数据增强的方法，对对应于多个所述拍照点位的多个所述图像进行数据扩充；以及，利用虚拟数据合成技术对多个所述图像中的环境背景数据进行处理，生成大量的场景数据；

对扩充后的多个所述图像进行分块，并基于深度学习网络模型获取对应于所述工件的工件框；

对所述工件框对应的区域进行特征点计算和匹配，确定所述工件的位置和姿态信息。

进一步地，所述工件分拣的视觉识别与定位方法，还包括：根据所述位置信息和所述转换矩阵，确定所述桁架坐标系下的所有抓取点坐标，以对所述工件进行精确抓取和分类码放。

根据本发明实施例的工件分拣的视觉识别与定位方法，具有如下有益效果：

(1)通过指定多个拍照点位，将获取到的对应于多个拍照点位的多张图像拼接在一起，来覆盖任意大小的视野范围，从而保证将工件所在的平面区域全部包括在视野内。同时，当工件所在的区域大小和位置发生变化时，本发明可以简单地通过增加或修改拍照点来保证新的工件所在的平面区域被完全覆盖。相比于其他方法，本发明在执行流程上无需重新进行标定操作，更加简易和灵活。

(2)基于桁架坐标，采用多图拼接的方式完成全景拼接图的合成，得到超大视野下的高分辨率全景拼接图，且全景拼接图质量高；通过视觉特征点匹配和联合优化技术完成全景拼接图的局部精细化微调，解决全景拼接图临界区域的错位问题；采用图像融合算法对全景拼接图的接缝处进行优化，使得拼接后的图像在全景拼接图临界区域内的亮度变化均匀。

(3)通过数据增强和虚拟数据合成技术扩充训练数据，同时基于改进的深度学习网络模型对大尺寸的全景拼接图进行物体检测，解决了应对大尺寸图像的模型训练数据少和检测性能低的问题，能够准确地识别出工件在大尺寸图像中的位置，同时通过特征匹配算法的后处理，能够精准地计算出工件的姿态和抓取点。此外，本发明为大尺寸图像的数据训练提供了一种新颖的处理方法，为超大尺寸图像中物体的检测提供了一种新的解决方案。

(4)在得到工件的姿态和抓取点后，通过转换矩阵将抓取点从图像像素坐标转换到桁架坐标下，进而引导桁架机械臂完成工件的自动抓取，能够有效地改善工业嘈杂环境下，工件定位精度不高且运行成本高、执行效率低的问题，具有广泛的实用价值。

针对上述存在的问题，本发明还提出一种工件分拣的视觉识别与定位装置，所述装置包括：

第一确定模块，用于确定桁架观测区域内的多个拍照点位；

获取模块，用于获取对应于多个所述拍照点位的多个图像；

拼接模块，用于将多个所述图像进行拼接，得到桁架坐标系下的拼接全景图；

第二确定模块，用于根据所述拼接全景图，确定工件的位置和姿态信息，以对所述桁架观测区域内的工件进行识别和定位。

根据本发明实施例的工件分拣的视觉识别与定位装置，具有如下有益效果：

针对上述存在的问题，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有工件分拣的视觉识别与定位程序，所述工件分拣的视觉识别与定位程序被处理器执行时实现如上述任一实施例所述的工件分拣的视觉识别与定位方法。

根据本发明实施例的计算机可读存储介质，其上存储的工件分拣的视觉识别与定位程序被处理器执行时，具有如下有益效果：

针对上述存在的问题，本发明还提出一种分拣系统，所述分拣系统包括：2D工业相机、打光装置、桁架机械臂、标定板、视觉系统、端拾器、输送线、物料框；

其中，所述标定板放置在对应于标定机位的位置，用于建立相机坐标系和桁架坐标系之间的转换矩阵；

所述2D工业相机通过相机支架与所述桁架机械臂连接，用于采集对应于多个拍照点位的多个图像，并输出至所述视觉系统；

所述打光装置安装在所述2D工业相机的周围，用于在采集所述图像时进行打光；

所述端拾器安装在所述桁架机械臂的末端法兰上，以配合所述桁架机械臂吸取工件；

所述输送线用于将所述工件输送到指定的抓取区域；

所述物料框用于存放所述桁架机械臂抓取和码放的工件；

所述桁架机械臂与所述视觉系统连接，所述视觉系统采用如上述任一实施例所述的工件分拣的视觉识别与定位方法对桁架观测区域内的所述工件进行识别和定位，并控制所述桁架机械臂在所述桁架坐标系下对所述工件进行精确抓取和分类码放。

根据本发明实施例的分拣系统，具有如下有益效果：

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的工件分拣的视觉识别与定位方法的流程图；

图2是根据本发明一个实施例的桁架观测区域内拍照点位设置的示意图；

图3是根据本发明一个实施例的获取桁架坐标系下的拼接全景图的示意图；

图4是根据本发明一个实施例的获取图像转换矩阵的结构示意图；

图5是根据本发明一个实施例的拼接全景图经融合处理后的效果示意图；

图6是根据本发明一个实施例的对全景拼接图中的工件框进行网络模型预测后的效果示意图；

图7是根据本发明一个实施例的工件分拣的视觉识别与定位装置的结构示意图；

图8是根据本发明一个实施例的高质量多图拼接效果示意图；

图9是根据本发明一个实施例的基于改进的深度学习网络预测后的检测效果示意图；

图10是根据本发明一个实施例的工件位姿计算效果示意图；

图11是根据本发明一个实施例的分拣系统的结构示意图；

图12是根据本发明另一个实施例的分拣系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面参考图1-图12描述根据本发明实施例的工件分拣的视觉识别与定位方法、装置及分拣系统。

图1是根据本发明一个实施例的工件分拣的视觉识别与定位方法的流程图。如图1所示，一种工件分拣的视觉识别与定位方法，所述方法包括以下步骤：

步骤S1:确定桁架观测区域内的多个拍照点位。

具体而言，本发明实施例通过在桁架观测区域内设置多个拍照点位，来覆盖任意大小的视野范围，从而保证工件所在的平面区域被全部包括在视野范围内。当工件所在的平面区域的大小和位置发生变化时，可以简单地通过增加或修改拍照点位来保证工件所在的新的平面区域被完全覆盖，即可以方便地通过调整拍照点位来修改视野范围。相比于其他方法，当工件所在的平面区域发生变化时，无需重新进行标定操作，具有在执行流程上更加简易和灵活的优点，且该方法能够覆盖的视野范围大，待分拣工件所在的平面区域可达到3m×12m，甚至更大，远远超过单个相机的视野范围，可以解决超大分拣区域的视野覆盖问题。

步骤S2:获取对应于多个拍照点位的多个图像。

在具体实施例中，可以通过设置在多个拍照点位上的相机获取对应于多个拍照点位的多个图像。

步骤S3:将多个图像进行拼接，得到桁架坐标系下的拼接全景图。

具体而言，高质量的全景图对工件的识别至关重要，本发明实施例通过将获取到的对应于多个拍照点位的多个图像进行拼接，得到桁架坐标系下的拼接全景图，从而通过拼接全景图对工件进行识别和定位。

在具体实施例中，由于桁架运行时的机械误差较小，可以基于桁架坐标来完成对应于多个拍照点位的多个图像的拼接，从而得到高质量的拼接全景图。

步骤S4：根据拼接全景图，确定工件的位置和姿态信息，以对桁架观测区域内的工件进行识别和定位。

具体而言，桁架观测区域内包括需要观测的工件所在的平面区域，由于拼接全景图可以覆盖整个桁架观测区域，因此，可以通过拼接全景图对桁架观测区域内的工件进行检测和识别，从而确定工件的位置和姿态信息。

在本发明的一个实施例中，对应于多个拍照点位的多个图像覆盖整个桁架观测区域，且相邻的图像之间相互重叠。

具体而言，为使拼接全景图覆盖整个桁架观测区域，相邻拍照点位获取的图像之间需要相互重叠，且保证从多个拍照点位获取的多个图像能够覆盖整个桁架观测区域。

在具体实施例中，如图2所示，工件输送到桁架下的摆放范围，桁架观测区域(即零件所在的区域)例如记为区域A，然后根据摆放范围计算各个拍照点位，即记录好拍照点位的桁架坐标。示例性地，以四个拍照点位为例，例如记为P₁、P₂、P₃、P₄，即1号拍照点、2号拍照点、3号拍照点、4号拍照点，则所计算得到的拍照点位应该满足以下两点：一是将从所有拍照点位获取到的图像拼接后，得到的拼接全景图能够完整覆盖区域A；二是从相邻拍照点位获取的图像之间需要有一定的重叠区域，从而使拼接全景图能够覆盖整个桁架观测区域，以进一步根据拼接全景图，确定工件的位置和姿态信息。

在本发明的一个实施例中，将多个图像进行拼接，得到桁架坐标系下的拼接全景图，包括：利用标定的相机内参和畸变系数对多个图像分别进行校正；利用对应于多个图像的转换矩阵将校正后的多个图像的坐标转换到桁架坐标系下，得到初始的全景拼接图；提取初始的全景拼接图中相邻图像重叠区域上的特征点；基于所述特征点，利用特征匹配和光束平差法对重叠区域进行优化和调整，得到完整的全景拼接图。与目前基于特征点匹配的多图拼接方法相比，本发明实施例利用桁架坐标系提供了较好的初始拼接位置，然后融入了特征点匹配和光束平差算法对重叠区域进行精细优化和微调，拼接效果远好于仅基于特征点匹配多图拼接方法。

在具体实施例中，如图3所示，桁架观测区域内的多个拍照点位例如记为P₁、P₂、P₃、P₄，相机在P₁、P₂、P₃、P₄拍照点位获取的图像，即原图例如记为I_r1、I_r2、I_r3、I_r4，则将图像I_r1、I_r2、I_r3、I_r4进行拼接，得到桁架坐标系下的拼接全景图，具体流程如下：

(1)利用标定的相机内参和畸变系数对图像I_r1、I_r2、I_r3、I_r4分别进行校正，即使用标定好的相机内参和畸变系数对图像去畸变，得到校正后的图像I_i(i＝1，2，3，4)，即拍照点1拍得的图I1，拍照点2拍得的图I2，拍照点3拍得的图I3，拍照点4拍得的图I4；需要说明的是，对相机进行内参标定，计算出相机的内部参数和畸变系数是现有技术，此处不做赘述。

(2)利用对应于图像I_r1、I_r2、I_r3、I_r4的转换矩阵例如记为H_i(i＝1，2，3，4)，将校正后的图像I_i(i＝1，2，3，4)的坐标转换到桁架坐标平面中，转换后得到的图像便是初始的拼接全景图。

(3)提取初始的拼接全景图中相邻图像重叠区域上的特征点；基于所述特征点，采用特征匹配和光束平差法对拼接全景图中相邻图像重叠的区域进行联合优化调整，以对初始拼接全景图进行优化和微调，从而解决临界区域局部错位的问题，得到完整的拼接全景图。

在本发明的一个实施例中，转换矩阵的获取方法，包括：确定标定机位的位置；获取对应于所述位置上的标定板上的所有特征点在桁架坐标系下的坐标；根据所述坐标和对应于所述位置上当前图像中标定板的特征点之间的对应关系，得到对应于标定机位位置的转换矩阵；根据对应于标定机位位置的转换矩阵和多个拍照点位相对于标定机位位置的坐标，确定对应于多个拍照点位的多个图像到桁架坐标系平面的多个转换矩阵，利用转换矩阵可轻松实现将图像从图像坐标系转换到桁架坐标系，从而引导桁架机械臂完成工件的自动抓取动作。

在具体实施例中，如图4所示，计算将各个拍照点位获取到的图像转换到桁架坐标平面的转换矩阵，具体操作为：找一个标定机位(其桁架坐标例如记为P₀)，并把桁架移动到P₀拍照。在该拍照点位下放置一块标定板，利用桁架机械臂物理走点，以获取标定板上所有特征点在桁架坐标系下坐标例如记为S_i，同时通过视觉算法计算该拍照点位下当前图像中的标定板的特征点

则通过S_i和

的对应关系，可计算得到将P₀拍照点获取到的图像转换到桁架坐标平面的转换矩阵例记为H₀；然后根据各个拍照点位例如P₁、P₂、P₃、P₄与标定机位P₀的相对坐标差(分别记为T₁ ⁰，T₂ ⁰，T₃ ⁰，T₄ ⁰)，即可计算出将1～4号拍照点(即P₁、P₂、P₃、P₄对应的拍照点位)各自获取的图像转换到桁架坐标平面的转换矩阵例如记为H₁、H₂、H₃、H₄。其中，H_i＝T_i ⁰*H₀，i＝1，2，3，4。

在本发明的一个实施例中，该工件分拣的视觉识别与定位方法，还包括：利用图像融合算法，对完整的拼接全景图的拼接处进行融合处理，以消除接缝与亮度差异。

具体而言，如图3所示，由于拼接会导致图像拼接处的光照过度不自然，导致桁架坐标系下的拼接全景图存在明显的接缝，本发明实施例对拼接全景图的接缝进行图像融合处理，可以消除接缝与亮度差异，实现拼接边界的平滑过渡。

在具体实施例中，采用图像融合算法，对拼接全景图的拼接处进行融合处理，得到的拼接图如图5所示，可以看出，拼接处更加平滑和自然，不存在很明显的接缝。

在本发明的一个实施例中，根据拼接全景图，确定工件的位置和姿态信息，以对桁架观测区域内的工件进行识别和定位，包括：采用数据增强的方法，对对应于多个拍照点位的多个图像进行数据扩充；以及，利用虚拟数据合成技术对多个图像中的环境背景数据进行处理，生成大量的场景数据；对扩充后的多个图像进行分块，并基于深度学习网络模型获取对应于工件的工件框；对工件框对应的区域进行特征点计算和匹配，确定工件的位置和姿态信息。

具体而言，本发明实施例采用数据增强和虚拟数据合成技术对目前主流的深度学习检测模型所需的训练数据进行了扩充，解决了训练数据量少的问题，能够有效应对工业环境下数据采集困难的问题，使得深度学习网络快速适应目标场景；然后对深度学习网络模型进行改进，能够有效解决高分辨率、尺寸比例差异大的图像中的物体识别问题。示例性的，基于改进后的深度学习网络模型对原始的拼接全景图进行处理，可以获取拼接全景图中对应于工件的工件框，然后对工件框区域进行特征点计算和匹配，即可精确得到工件的位置和姿态信息。需要说明的是，由于本发明的桁架观测区域覆盖的视野范围大，获取到的拼接全景图尺寸大，该工件识别和定位方法也适用于超大尺寸图像中物体的检测，即为超大尺寸图像中物体的检测提供了一种解决方案，为大尺寸图像的训练提供了一种新颖的处理方法。

在具体实施例中，根据拼接全景图，确定工件的位置和姿态信息，以对桁架观测区域内的工件进行识别和定位的具体步骤如下：

(1)数据预处理和数据生成。采用数据增强的方法对桁架观测区域内多个拍照点位采集的图像进行数据扩充，比如进行尺度变换、旋转等操作；同时在采集图像中的环境背景上利用虚拟数据合成技术生成大量的场景数据，通过这两种方式可以解决训练数据量少的问题。

(2)改进深度学习网络模型。对目前主流的深度学习网络模型YOLO5进行改进，使得模型能够适应大尺寸图像数据。具体来说，将原始的拼接全景图进行分块，然后输入深度学习网络模型，使YOLO5模型在特征提取层保持不变，在特征提取层结束之后将各个分块的特征图合并在一起，然后喂给后续的物体框预测模块。通过这种方式可以提高模型检测的性能，使得训练过程变得容易。采用改进深度学习网络模型对拼接全景图中的工件框进行网络模型预测后的示例图如图6所示。

(3)工件位姿精定位。对于经改进深度学习网络模型检测出来的工件框，对其区域内的工件进行特征点计算和匹配，即可精确得到工件的位置和姿态信息。

在本发明的一个实施例中，该工件分拣的视觉识别与定位方法，还包括：根据位置信息和转换矩阵，确定桁架坐标系下的所有抓取点坐标，以对工件进行精确抓取和分类码放。

具体而言，在经过深度学习网络预测出工件的位置后，即采用特征匹配的方式计算出工件的姿态和抓取点，此时得到的工件抓取点是在图像像素上，需要将图像像素转换到桁架坐标下，从而引导桁架机械臂完成工件的自动抓取。具体而言，即利用上述实施例中的图像转换矩阵H_i，将其作用于对应的抓取点像素，将工件抓取点从图像坐标系转换到桁架坐标系下。然后将桁架坐标系下的所有抓取点坐标一起发送给桁架控制程序，即可引导桁架完成工件的精确抓取和分类码放，实现工件的自动化分拣。

本发明的进一步实施例还公开了一种工件分拣的视觉识别与定位装置，图7是根据本发明一个实施例的工件分拣的视觉识别与定位装置的结构示意图，如图7所示，所述装置10包括：第一确定模块11、获取模块12、拼接模块13、第二确定模块14。

其中，第一确定模块11用于确定桁架观测区域内的多个拍照点位；获取模块12用于获取对应于多个拍照点位的多个图像；拼接模块13用于将多个图像进行拼接，得到桁架坐标系下的拼接全景图；第二确定模块14用于根据拼接全景图，确定工件的位置和姿态信息，以对桁架观测区域内的工件进行识别和定位。

在本发明的一个实施例中，拼接模块13将多个图像进行拼接，得到桁架坐标系下的拼接全景图，包括：利用标定的相机内参和畸变系数对多个图像分别进行校正；利用对应于多个图像的转换矩阵将校正后的多个图像的坐标转换到桁架坐标系下，得到初始的全景拼接图；提取初始的全景拼接图中相邻图像重叠区域上的特征点；基于所述特征点，利用特征匹配和光束平差法对重叠区域进行优化和调整，得到完整的全景拼接图。

在本发明的一个实施例中，转换矩阵的获取方法，包括：确定标定机位的位置；获取对应于所述位置上的标定板上的所有特征点在桁架坐标系下的坐标；根据所述坐标和对应于所述位置上当前图像中标定板的特征点之间的对应关系，得到对应于标定机位位置的转换矩阵；根据对应于标定机位位置的转换矩阵和多个拍照点位相对于标定机位位置的坐标，确定对应于多个拍照点位的多个图像到桁架坐标系平面的多个转换矩阵。

在本发明的一个实施例中，该工件分拣的视觉识别与定位装置还包括融合模块，用于利用图像融合算法，对完整的全景拼接图的拼接处进行融合处理，以消除接缝与亮度差异。

在本发明的一个实施例中，第二确定模块14根据拼接全景图，确定工件的位置和姿态信息，以对桁架观测区域内的工件进行识别和定位，包括：采用数据增强的方法，对对应于多个拍照点位的多个图像进行数据扩充；以及，利用虚拟数据合成技术对多个图像中的环境背景数据进行处理，生成大量的场景数据；对扩充后的多个图像进行分块，并基于深度学习网络模型获取对应于工件的工件框；对工件框对应的区域进行特征点计算和匹配，确定工件的位置和姿态信息。

在本发明的一个实施例中，该工件分拣的视觉识别与定位装置还包括第三确定模块，用于根据位置信息和转换矩阵，确定桁架坐标系下的所有抓取点坐标，以对工件进行精确抓取和分类码放。

本发明的进一步实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有工件分拣的视觉识别与定位程序，所述工件分拣的视觉识别与定位程序被处理器执行时实现如上述任一实施例所述的工件分拣的视觉识别与定位方法。

本发明的进一步实施例还公开了一种分拣系统，如图11-图12所示，该分拣系统包括：打光装置1、2D工业相机2、端拾器3、输送线4、待分拣工件5、桁架机械臂6、标定板(图中未示出)、视觉系统(图中未示出)、物料框7。

其中，标定板放置在对应于标定机位的位置，用于建立相机坐标系和桁架坐标系之间的转换矩阵；2D工业相机2通过相机支架与桁架机械臂6连接，用于采集对应于多个拍照点位的多个图像，并输出至视觉系统；打光装置1安装在2D工业相机2的周围，用于在采集图像时进行打光，以提高图像的拍摄质量；端拾器3是一种磁吸装置，安装在桁架机械臂6的末端法兰上，以配合桁架机械臂6吸取待分拣工件5；输送线4用于将工件输送到指定的抓取区域；物料框7用于存放桁架机械臂6抓取和码放的工件；桁架机械臂6与视觉系统连接，视觉系统采用如上述任一实施例所述的工件分拣的视觉识别与定位方法对桁架观测区域内的待分拣工件5进行识别和定位，并控制桁架机械臂6在桁架坐标系下对待分拣工件5进行精确抓取和分类码放。

具体而言，重工行业中超大视野下工件的自动化分拣可表述如下：首先，待分拣工件5通过输送线4移动到指定的抓取区域，即桁架观测区域，到位后装有2D工业相机2的桁架机械臂6依次移动到预先设定好的各个拍照坐标点拍照；然后，视觉系统将各个拍照点位获取的图像通过多图拼接和联合优化技术得到一张高质量的超大视野高分辨率的拼接全景图；接着，在拼接后的全景图中通过深度学习网络和特征匹配算法精确识别和定位各个待分拣工件5所在的位置及姿态；最后，把计算得到的工件抓取点的图像坐标转换成在桁架坐标系下的坐标，进而引导桁架机械臂6进行工件抓取。

在具体实施例中，本发明实施例使用2D工业相机2和桁架机械臂6作为硬件设备，获取超大视野下桁架观测区域的全景图像。即通过在桁架机械臂6的固定位置安装相机支架，并将2D工业相机2装在支架上，由桁架移动到指定拍照点位后引导2D工业相机2拍照，然后将多个拍照点位获取到的图像进行拼接即可。基于2D工业相机2和桁架机械臂6的拍照过程原理简单且无需其他硬件辅助，相比于其他类似方案如线扫描相机加编码器加桁架，该方案的硬件设备简单，成本更低，运行效率更高。

在具体实施例中，本发明实施例的分拣系统中的视觉系统采用如上述任一实施例所述的工件分拣的视觉识别与定位方法对桁架观测区域内的待分拣工件5进行识别和定位，并控制桁架机械臂6在桁架坐标系下对工件进行精确抓取和分类码放，能够完成对3*12m超大区域的工件的自动化分拣。工件长度可涉及1-10m范围内的工件，抓取重复精度可达毫米级。高质量多图拼接的效果、基于改进的深度学习网络预测后的检测效果及工件位姿计算效果展示如图8-图10所示。

根据本发明实施例分拣系统，具有如下有益效果：

(1)通过指定多个拍照点位，将获取到的对应于多个拍照点位的多张图像拼接在一起，来覆盖任意大小的视野范围，从而保证将待分拣工件5所在的平面区域全部包括在视野内。同时，当待分拣工件5所在的区域大小和位置发生变化时，本发明可以简单地通过增加或修改拍照点来保证新的工件所在的平面区域被完全覆盖。相比于其他方法，本发明在执行流程上无需重新进行标定操作，更加简易和灵活。

(3)通过数据增强和虚拟数据合成技术扩充训练数据，同时基于改进的深度学习网络模型对大尺寸的全景拼接图进行物体检测，解决了应对大尺寸图像的模型训练数据少和检测性能低的问题，能够准确地识别出待分拣工件5在大尺寸图像中的位置，同时通过特征匹配算法的后处理，能够精准地计算出待分拣工件5的姿态和抓取点。此外，本发明为大尺寸图像的数据训练提供了一种新颖的处理方法，为超大尺寸图像中物体的检测提供了一种新的解决方案。

(4)在得到待分拣工件5的姿态和抓取点后，通过转换矩阵将抓取点从图像像素坐标转换到桁架坐标下，进而引导桁架机械臂6完成工件的自动抓取，能够有效地改善工业嘈杂环境下，工件定位精度不高且运行成本高、执行效率低的问题，具有广泛的实用价值。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims

1.一种工件分拣的视觉识别与定位方法，其特征在于，所述方法包括：

确定桁架观测区域内的多个拍照点位；

获取对应于多个所述拍照点位的多个图像；

2.根据权利要求1所述的工件分拣的视觉识别与定位方法，其特征在于，对应于多个所述拍照点位的多个所述图像覆盖整个所述桁架观测区域，且相邻的所述图像之间相互重叠。

3.根据权利要求1所述的工件分拣的视觉识别与定位方法，其特征在于，将多个所述图像进行拼接，得到桁架坐标系下的拼接全景图，包括：

4.根据权利要求3所述的工件分拣的视觉识别与定位方法，其特征在于，所述转换矩阵的获取方法，包括：

确定标定机位的位置；

5.根据权利要求3所述的工件分拣的视觉识别与定位方法，其特征在于，还包括：

6.根据权利要求1所述的工件分拣的视觉识别与定位方法，其特征在于，根据所述拼接全景图，确定工件的位置和姿态信息，以对所述桁架观测区域内的工件进行识别和定位，包括：

7.根据权利要求3所述的工件分拣的视觉识别与定位方法，其特征在于，还包括：根据所述位置信息和所述转换矩阵，确定所述桁架坐标系下的所有抓取点坐标，以对所述工件进行精确抓取和分类码放。

8.一种工件分拣的视觉识别与定位装置，其特征在于，包括：

第一确定模块，用于确定桁架观测区域内的多个拍照点位；

获取模块，用于获取对应于多个所述拍照点位的多个图像；

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有工件分拣的视觉识别与定位程序，所述工件分拣的视觉识别与定位程序被处理器执行时实现如权利要求1-7任一项所述的工件分拣的视觉识别与定位方法。

10.一种分拣系统，其特征在于，包括：2D工业相机、打光装置、桁架机械臂、标定板、视觉系统、端拾器、输送线、物料框；

所述输送线用于将所述工件输送到指定的抓取区域；

所述物料框用于存放所述桁架机械臂抓取和码放的工件；

所述桁架机械臂与所述视觉系统连接，所述视觉系统采用如权利要求1-7中任一项所述的工件分拣的视觉识别与定位方法对桁架观测区域内的所述工件进行识别和定位，并控制所述桁架机械臂在所述桁架坐标系下对所述工件进行精确抓取和分类码放。