CN113506314B - 一种复杂背景下对称四边形工件的自动抓取方法及装置 - Google Patents

Abstract

一种复杂背景下对称四边形工件的自动抓取方法，首先在图像中将前景目标物体信息从复杂变化的背景中分割出来，得到对称四边形形式的目标区域R；然后对目标区域轮廓线进行拟合，得到拟合后的目标区域轮廓；筛选出目标区域轮廓四个角的顶点；确定目标区域的中心线；控制抓取装置移动，使抓取装置中心对准目标区域的中心线，控制抓取装置对前景目标物体进行自动抓取。本发明同时提供了一种自动抓取装置。本发明可用于在露天开放的环境或者厂房半开放的环境中；无需设置标志物，可应用于对非合作目标的自动化抓取。

Description

一种复杂背景下对称四边形工件的自动抓取方法及装置

技术领域

本发明涉及一种复杂背景下对称四边形工件的自动抓取方法及装置，属于工业自动化领域。

背景技术

在室外开放的环境，或者在工厂厂房半开放的环境中，经常需要对物体进行抓取、移动等操作。随着信息技术、智能技术的发展，这些需要人来进行操作的工作逐渐朝自动化、智能化的方向发展。目前常用的自动化抓取技术有以下两种：技术1：通过控制视觉的场景，如工业生产线中的作业台，通过前景光、背景光、侧面光源等特殊光源的设计和控制，使得物体呈现出明显的特征或者轮廓特征，而把背景排除在外，很容易做到识别物体的分割，实现自动化识别与抓取；技术2：在物体表面贴上标志物，通过识别标志物的方法来定位和对中物体，实现自动化的识别与抓取。

由于室外开放的环境或者工厂厂房半开放的环境比较复杂、其所处的场景、光源等经常发生不可控的变化，对物体的自动智能定位造成了严重的影响；另外，一些非合作的抓取对象不能设置标志物；上述情况造成抓取工作难以智能自动化完成。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种复杂背景下对称四边形工件的自动抓取方法及装置。

本发明的技术解决方案：

一种复杂背景下对称四边形工件的自动抓取方法，包括如下步骤：

S1：在图像中将前景目标物体信息从复杂变化的背景中分割出来，得到对称四边形形式的目标区域R，所述图像通过工业相机采集，图像为包含前景目标物体和背景的场景图像；

S2：对目标区域轮廓线进行拟合，得到拟合后的目标区域轮廓；

S3：筛选出目标区域轮廓四个角的顶点；

S4：确定目标区域的中心线；

S5：控制抓取装置移动，使抓取装置中心对准目标区域的中心线，控制抓取装置对前景目标物体进行自动抓取。

所述步骤S1的实现方式如下：

1.1)通过前景检测算法在图像中获得n个前景区域Rⁿ，其中n是检测到的前景目标物体个数，Rⁱ定义为图像中第i个前景目标物体的候选区域，其中i∈n；

1.2)获取Rⁱ的大小Sⁱ，Sⁱ表示落在第i个前景目标物体的候选区域内的点数，按下式计算Sⁱ的统计参考计数f_i(m,n):

其中(m,n)是图像中某个像素的坐标，f_i(m,n)是(m,n)是否属于第i个前景目标物体的候选区域的判断函数；

M,N分别表示图像的宽和高；

1.3)计算n个前景目标物体候选区域的大小，将得到的值从大到小排序，设排序好的前景目标物体候选区域的大小依次为SS¹,SS²,SS³,...,SSⁿ,目标区域S按下式确定：

若S为0说明检测目标失败，未找到目标区域，说明目标轮廓不存在，返回步骤S1；若S为SS¹,则SS¹所对应的候选区域为初步确定的目标区域R′；

1.4)判断初步确定的目标区域是否为对称四边形区域，若是，则所述初步确定的目标区域为最终目标区域R，否则说明目标轮廓不存在，返回步骤S1。

所述步骤1.4)的实现方式如下：

1.4.1)在初步确定的目标区域R′轮廓上依次相邻的点组成的首尾相连的点集中，选取其中的一个点(x_j,y_j)，j＝1,2,3,…,p，p为点集中点的总数，取其后面第10个点(x_j+10,y_j+10)以及第20个点(x_j+20,y_j+20)，计算这三个点所在曲线的曲率r_j值；

遍历初步确定的目标区域R′上每一个点，得到集合{r_j|j＝1,2,3,…,p}，求其平均值r_min,如果集合{r_j|j＝1,2,3,…,p}中恰有4个大于2r_min的峰值，则这4个峰值对应的点即为目标区域R′轮廓上的四个顶点，所述四个顶点把目标区域R′轮廓上的点划分为4条连续的轮廓线C₁,C₂,C₃,C₄，进入1.4.2)；如果集合{r_j|j＝1,2,3,…,p}中大于2r_min的峰值不是4个，则说明初步确定的目标区域不是对称四边形区域，目标轮廓不存在，返回步骤S1；

1.4.2)在图像坐标系中初步计算4条轮廓线C₁,C₂,C₃,C₄所对应的斜率k₁,k₂,k₃,k₄；

1.4.3)若满足如下情况A或情况B，则认为目标区域为对称四边形区域；

情况A：

此时C₁和C₃为平行的两条轮廓线，C₂和C₄为其余的两条轮廓线；

情况B：

此时C₂和C₄为平行的两条轮廓线，C₁和C₃为其余的两条轮廓线；

若既不满足情况A，也不满足情况B，则认为目标区域为非对称四边形区域,说明目标轮廓不存在，返回步骤S1。

所述步骤1.4.1)中，r_j的计算公式如下：

所述步骤S2的实现方式如下：

设{(x_k,y_k)|k＝1,2,3,…,q}为一条轮廓线上的点的坐标，则根据下式计算出该条轮廓线上横坐标的平均值和纵坐标的平均值/>进而计算出拟合后直线的截距/>和斜率/>

本条轮廓线拟合后的直线为按此方法分别对4条轮廓线C₁,C₂,C₃,C₄进行拟合，得到拟合后的目标区域轮廓。

所述步骤S3的实现方式如下：

相邻两条轮廓线拟合后的直线的交点即为目标区域轮廓一个角的顶点。

所述步骤S4的实现方式如下：

根据目标区域轮廓四个角的顶点，计算目标区域平行轮廓线的中点；

两条相互平行的轮廓线的中点连线即为目标区域的中心线。

一种复杂背景下对称四边形工件的自动抓取装置，包括抱夹机构、平移机构、相机、图像处理器和系统控制器；

平移机构安装在轨道上，抱夹机构和相机安装在平移机构上，抱夹机构包括两个对称的抱爪，相机位于两个抱爪的对称线上；

相机采集的图像发送给图像处理器，图像处理器按照步骤S1-S4方法确定目标区域的中心线，发送给系统控制器；

系统控制器控制平移机构移动，使抱夹机构两个抱爪的对称线对准目标区域的中心线，控制两个抱爪对前景目标物体进行自动抓取。

本发明与现有技术相比的优点在于：

1、因为本发明采用的是前景分割结合轮廓线拟合方法，不需要对成像的场景及光源进行特殊的布置，因此可用于在露天开放的环境或者厂房半开放的环境中；2、因为本发明方法可以自动识别前景物体，而无需设置标志物，因此本方法可应用于对非合作目标的自动化抓取。

附图说明

图1为本发明方法流程图；

图2为前景目标包围轮廓示意图；

图3为前景目标包围轮廓拟合示意图；

图4为对称四边形目标中心线示意图；

图5为自动抓取装置示意图。

具体实施方式

本发明的目的在于提供一种在复杂变化背景下对称四边形目标的自动抓取方法，排除环境变化干扰对目标准确识别与定位的影响，调整抓取设备实现对目标的准确抓取。

针对复杂变化背景下对称四边形目标的中心线识别需求，把目标从复杂的背景中分割出来；对分割出来的目标轮廓进行拟合、提取特征点；最后根据特征点及目标的对称性计算出目标的中心线。

如图1所示，一种复杂背景下对称四边形工件的中心线确定方法，包括如下步骤：

S1：在图像中将前景目标物体信息从复杂变化的背景中分割出来，得到对称四边形形式的目标区域R，所述图像通过工业相机采集，图像为包含前景目标物体和背景的场景图像；

1)通过前景检测算法在图像中获得n个前景区域Rⁿ，其中n是检测到的前景目标物体个数，Rⁱ定义为图像中第i个前景目标物体的候选区域，其中i∈n；

2)获取Rⁱ的大小Sⁱ，Sⁱ表示落在第i个前景目标物体的候选区域内的点数，按下式计算Sⁱ的统计参考计数f_i(m,n):

其中(m,n)是图像中某个像素的坐标，f_i(m,n)是(m,n)是否属于第i个前景目标物体的候选区域的判断函数；

M,N分别表示图像的宽和高；

3)计算n个前景目标物体候选区域的大小，将得到的值从大到小排序，设排序好的前景目标物体候选区域的大小依次为SS¹,SS²,SS³,...,SSⁿ,目标区域S按下式确定：

若S为0说明检测目标失败，未找到目标区域；若S为SS¹,则SS¹所对应的候选区域为初步确定的目标区域R′；

4)判断初步确定的目标区域R′是否为对称四边形区域，若是，则所述初步确定的目标区域为最终目标区域R，如图2所示。否则未找到目标区域。

4.1把初步确定的目标区域R′轮廓上的点划分为4条连续的轮廓线C₁,C₂,C₃,C₄；

在初步确定的目标区域R′轮廓上依次相邻的点组成的首尾相连的点集中，选取其中的一个点(x_j,y_j)，j＝1,2,3,…,p，p为点集中点的总数，取其后面第10个点(x_j+10,y_j+10)以及第20个点(x_j+20,y_j+20)，按下式计算这三个点所在曲线的曲率r_j值：

遍历初步确定的目标区域R′上每一个点，得到集合{r_j|j＝1,2,3,…,p}，求其平均值r_min,如果集合{r_j|j＝1,2,3,…,p}中恰有4个大于2r_min的峰值，则这4个峰值对应的点即为目标区域R′轮廓上的四个顶点，所述四个顶点把目标区域R′轮廓上的点划分为4条连续的轮廓线C₁,C₂,C₃,C₄，进入1.4.2)；如果集合{r_j|j＝1,2,3,…,p}中大于2r_min的峰值不是4个，则说明初步确定的目标区域不是对称四边形区域，目标轮廓不存在，返回步骤S1；

4.2在图像坐标系中初步计算4条轮廓线的斜率k₁,k₂,k₃,k₄；

4.3若满足如下情况A或情况B，则认为目标区域为对称四边形区域；

情况A：

此时C₁和C₃为平行的两条轮廓线，C₂和C₄为其余的两条轮廓线；

情况B：

此时C₂和C₄为平行的两条轮廓线，C₁和C₃为其余的两条轮廓线；

若既不满足情况A，也不满足情况B，则认为目标区域为非对称四边形区域,说明目标轮廓不存在，返回步骤S1。

S3：筛选出目标区域轮廓四个角的顶点；

设{(x_k,y_k)|k＝1,2,3,…,q}为一条轮廓线上的点的坐标，则根据下式计算出该条轮廓线上横坐标的平均值和纵坐标的平均值/>进而计算出拟合后直线的截距/>和斜率/>

本条轮廓线拟合后的直线为按此方法分别对4条轮廓线C₁,C₂,C₃,C₄进行拟合，得到拟合后的目标区域轮廓，如图3所示。相邻两条轮廓线拟合后的直线的交点即为目标区域轮廓一个角的顶点。

S4：确定目标区域的中心线；

根据目标区域轮廓四个角的顶点，计算目标区域平行轮廓线的中点；

两条相互平行的轮廓线的中点连线即为目标区域的中心线，如图4所示。

设一条轮廓线上的两个顶点坐标分别为(X₁,Y₁)和(X₂,Y₂)，那么此轮廓线的中点(X_c,Y_c)通过几何中心法进行计算，公式如下：

通过上述步骤，获得了目标区域的中心线，控制抓取装置移动，使抓取装置中心对准目标区域的中心线，控制抓取装置对前景目标物体进行自动抓取。

如图5所示，一种复杂背景下对称四边形工件的自动抓取装置，包括抱夹机构、平移机构、相机、图像处理器和系统控制器。

平移机构安装在轨道上，抱夹机构和相机安装在平移机构上，抱夹机构包括两个对称的抱爪，相机位于两个抱爪的对称线上；

相机采集的图像发送给图像处理器，图像处理器按照本发明方法步骤S1-S4方法确定目标区域的中心线，发送给系统控制器；

系统控制器控制平移机构移动，使抱夹机构两个抱爪的对称线对准目标区域的中心线，控制两个抱爪对前景目标物体进行自动抓取。

本发明提出了一种复杂变化背景下的对称四边形目标自动抓取方法。可用以下两种特殊情况同时存在的场景中：1、可用于在开放的环境中，因为不能对识别的场景进行特殊的光源布置，从而不能稳定地控制摄像机所成的图像；2、可用于不能对识别的目标设置合作的标志物中。

本发明技术方案与现有国内外现有方案相比，可实现复杂变化背景下对称四边形目标的中心线的识别，能够实现可靠地自动抓取，在可靠性指标上会有跨越性的提高，且基础技术较成熟，易实现。

本发明未详细说明部分属于本领域技术人员公知常识。

Claims (6)

1.一种复杂背景下对称四边形工件的自动抓取方法，其特征在于包括如下步骤：

S1：在图像中将前景目标物体信息从复杂变化的背景中分割出来，得到对称四边形形式的目标区域R，所述图像通过工业相机采集，图像为包含前景目标物体和背景的场景图像；

S2：对目标区域轮廓线进行拟合，得到拟合后的目标区域轮廓；

S3：筛选出目标区域轮廓四个角的顶点；

S4：确定目标区域的中心线；

S5：控制抓取装置移动，使抓取装置中心对准目标区域的中心线，控制抓取装置对前景目标物体进行自动抓取；

所述步骤S1的实现方式如下：

1.1)通过前景检测算法在图像中获得n个前景区域Rⁿ，其中n是检测到的前景目标物体个数，Rⁱ定义为图像中第i个前景目标物体的候选区域，其中i∈n；

1.2)获取Rⁱ的大小Sⁱ，Sⁱ表示落在第i个前景目标物体的候选区域内的点数，按下式计算Sⁱ的统计参考计数f_i(m,n):

其中(m,n)是图像中某个像素的坐标，f_i(m,n)是(m,n)是否属于第i个前景目标物体的候选区域的判断函数；

M,N分别表示图像的宽和高；

1.3)计算n个前景目标物体候选区域的大小，将得到的值从大到小排序，设排序好的前景目标物体候选区域的大小依次为SS¹,SS²,SS³,...,SSⁿ,目标区域S按下式确定：

若S为0说明检测目标失败，未找到目标区域，说明目标轮廓不存在，返回步骤S1；若S为SS¹,则SS¹所对应的候选区域为初步确定的目标区域R′；

1.4)判断初步确定的目标区域是否为对称四边形区域，若是，则所述初步确定的目标区域为最终目标区域R，否则说明目标轮廓不存在，返回步骤S1；

所述步骤1.4)的实现方式如下：

1.4.1)在初步确定的目标区域R′轮廓上依次相邻的点组成的首尾相连的点集中，选取其中的一个点(x_j,y_j)，j＝1,2,3,…,p，p为点集中点的总数，取其后面第10个点(x_j+10,y_j+10)以及第20个点(x_j+20,y_j+20)，计算这三个点所在曲线的曲率r_j值；

遍历初步确定的目标区域R′上每一个点，得到集合{r_j|j＝1,2,3,…,p}，求其平均值r_min,如果集合{r_j|j＝1,2,3,…,p}中恰有4个大于2r_min的峰值，则这4个峰值对应的点即为目标区域R′轮廓上的四个顶点，所述四个顶点把目标区域R′轮廓上的点划分为4条连续的轮廓线C₁,C₂,C₃,C₄，进入1.4.2)；如果集合{r_j|j＝1,2,3,…,p}中大于2r_min的峰值不是4个，则说明初步确定的目标区域不是对称四边形区域，目标轮廓不存在，返回步骤S1；

1.4.2)在图像坐标系中初步计算4条轮廓线C₁,C₂,C₃,C₄所对应的斜率k₁,k₂,k₃,k₄；

1.4.3)若满足如下情况A或情况B，则认为目标区域为对称四边形区域；

情况A：

此时C₁和C₃为平行的两条轮廓线，C₂和C₄为其余的两条轮廓线；

情况B：

此时C₂和C₄为平行的两条轮廓线，C₁和C₃为其余的两条轮廓线；

若既不满足情况A，也不满足情况B，则认为目标区域为非对称四边形区域,说明目标轮廓不存在，返回步骤S1。

2.根据权利要求1所述的一种复杂背景下对称四边形工件的自动抓取方法其特征在于：所述步骤1.4.1)中，r_j的计算公式如下：

3.根据权利要求1所述的一种复杂背景下对称四边形工件的自动抓取方法，其特征在于：所述步骤S2的实现方式如下：

设{(x_k,y_k)|k＝1,2,3,…,q}为一条轮廓线上的点的坐标，则根据下式计算出该条轮廓线上横坐标的平均值和纵坐标的平均值/>进而计算出拟合后直线的截距/>和斜率/>

本条轮廓线拟合后的直线为按此方法分别对4条轮廓线C₁,C₂,C₃,C₄进行拟合，得到拟合后的目标区域轮廓。

4.根据权利要求1所述的一种复杂背景下对称四边形工件的自动抓取方法，其特征在于：所述步骤S3的实现方式如下：

相邻两条轮廓线拟合后的直线的交点即为目标区域轮廓一个角的顶点。

5.根据权利要求1所述的一种复杂背景下对称四边形工件的自动抓取方法，其特征在于：所述步骤S4的实现方式如下：

根据目标区域轮廓四个角的顶点，计算目标区域平行轮廓线的中点；

两条相互平行的轮廓线的中点连线即为目标区域的中心线。

6.一种复杂背景下对称四边形工件的自动抓取装置，其特征在于：包括抱夹机构、平移机构、相机、图像处理器和系统控制器；

平移机构安装在轨道上，抱夹机构和相机安装在平移机构上，抱夹机构包括两个对称的抱爪，相机位于两个抱爪的对称线上；

相机采集的图像发送给图像处理器，图像处理器按照权利要求1步骤S1-S4方法确定目标区域的中心线，发送给系统控制器；

系统控制器控制平移机构移动，使抱夹机构两个抱爪的对称线对准目标区域的中心线，控制两个抱爪对前景目标物体进行自动抓取。