CN117649449A - 一种基于计算机视觉的机械臂抓取定位系统 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的机械臂抓取定位系统，尤其涉及机械臂抓取定位技术领域，包括，信息获取模块，用以获取参数信息；区域构建模块，用以构建待定区域，并获取区域图像；区域分析模块，用以分析第一抓取区域和区域定位；第一定位模块，用以控制旋转底座旋转，获取方位图像和目标距离，还用以调整区域定位，对控制旋转底座旋转迭代；距离分析模块，用以分析角度定位；第二定位模块，用以控制旋转轴旋转，获取抓取图像和抓取距离；抓取分析模块，用以分析抓取定位，还用以分析相对位置参数，还用以优化区域定位并调整抓取定位；第三定位模块，用以控制机械臂。本发明实现了对机械臂抓取的精确定位。

Description

一种基于计算机视觉的机械臂抓取定位系统

技术领域

本发明涉及机械臂抓取定位技术领域，尤其涉及一种基于计算机视觉的机械臂抓取定位系统。

背景技术

基于计算机视觉的机械臂抓取定位技术，是现代制造和自动化领域的关键技术之一。随着图像处理和机器学习的发展，计算机视觉在识别、定位和抓取物体方面取得了显著成果。机械臂通过计算机视觉系统识别目标物体，实现精准定位和快速抓取，提高了生产效率和自动化水平。

中国专利公开号：CN104217441B公开了一种一种基于机器视觉的机械臂定位抓取方法，包括S1：对摄像机及机械臂进行参数标定，建立图像坐标系与传送带坐标系、机械臂坐标系与传送带坐标系的关系；S2：对图像中的目标工件进行识别，计算目标工件的形心及偏转角度；S3：将S2中计算出的目标工件的形心及偏转角度信息发送给机械臂，并计算目标工件在机械臂坐标系下的位置坐标，完成目标工件的抓取。该发明实现了对抓取目标形态的分析以控制机械臂进行抓取，未实现对机械臂抓取过程中各结构的定位分析，存在对机械臂抓取定位分析效率低，分析不准确的问题。

发明内容

为此，本发明提供一种基于计算机视觉的机械臂抓取定位系统，用以克服现有技术中对机械臂抓取定位分析效率低，分析不准确的问题。

为实现上述目的，本发明提供一种基于计算机视觉的机械臂抓取定位系统，包括：

信息获取模块，用以获取机械臂的参数信息；

区域构建模块，用以根据参数信息构建待定区域，并获取各待定区域的区域图像；

区域分析模块，用以根据区域图像对区域定位进行分析；

第一定位模块，用以根据区域定位控制机械臂的旋转底座旋转，并获取旋转后的方位图像和目标距离，还用以根据方位图像对区域定位的分析过程进行调整；

距离分析模块，用以根据目标距离和参数信息对角度定位进行分析；

第二定位模块，用以根据角度定位控制机械臂的第一旋转轴和第二旋转轴旋转，并获取旋转后的抓取图像和抓取距离；

抓取分析模块，用以根据抓取图像、抓取距离、目标距离和参数信息对抓取定位进行分析，并对相对位置参数进行分析，还用以根据相对位置参数对区域定位的调整过程进行优化，还用以根据相对位置参数对抓取定位的分析过程进行调整；

第三定位模块，用以根据抓取定位控制机械臂第一旋转轴和第三旋转轴旋转，以对抓取目标物。

进一步地，所述区域分析模块设有区域分析单元，其用以根据第一目标区域中各像素点的坐标对第一抓取区域进行分析，所述区域分析单元计算第一目标区域中各像素点横坐标的平均值，记做ax=∑x1/na，其中，ax表示第一目标区域中各像素点横坐标的平均值，x1表示第一目标区域中各像素点的横坐标，na表示第一目标区域中像素点的数量，并根据第一目标区域中各像素点横坐标的平均值对第一抓取区域进行分析，其中：

当ax/X≤1时，所述区域分析单元将第一待定区域作为第一抓取区域；

当1＜ax/X≤2时，所述区域分析单元将第二待定区域作为第一抓取区域；

当2＜ax/X≤3时，所述区域分析单元将第三待定区域作为第一抓取区域；

当ax/X＞3时，所述区域分析单元将第四待定区域作为第一抓取区域；

其中，X表示区域图像x轴方向上的像素点数量；

所述区域分析模块还设有第一定位分析单元，其用以根据第一抓取区域和第一目标区域对区域定位进行分析，设定区域定位为由第一抓取区域和第一旋转角度组成的集合，记做A={S,θ1},其中，A表示区域定位，S表示第一抓取区域，θ1表示第一旋转角度，设定θ1=X/90×(ax mod X)，其中，mod表示数学运算符号中的取余运算符号，ax mod X表示计算ax除以X的余数。

进一步地，所述第一定位模块根据区域定位控制机械臂的旋转底座旋转，所述第一定位模块将机械臂的旋转底座旋转至第一抓取区域S的初始分界位置，并按顺时针方向旋转机械臂的旋转底座，旋转的角度与第一旋转角度相等。

进一步地，所述第一定位模块根据第二目标区域对第一旋转角度的分析过程进行调整，其中：

当|(∑x2/nb)×2/X-1|≤α时，所述第一定位模块判定目标位置正常，不对第一旋转角度的分析过程进行调整；

当|(∑x2/nb)×2/X-1|＞α时，所述第一定位模块判定目标位置异常，对第一旋转角度对的分析过程进行调整，调整后的第一旋转角度为θ1＇，设定θ1＇=θ1×(∑x2/nb)×2/X；

其中，x2表示第二目标区域中各像素点的横坐标，nb表示第二目标区域中像素点的数量，α表示比对阈值。

进一步地，所述距离分析模块根据目标距离和参数信息通过余弦定理公式对角度定位进行分析，设定角度定位为由第二旋转角度和第三旋转角度组成的集合，记做B={θ2,θ3}，所述距离分析模块设有余弦定理公式如下：

θ2=arccos[(M²+D1²-D2²)/(2×M×D1)]

θ3=arccos[(D2²+D1²-M²)/(2×D1×D2)]

其中，θ2表示第二旋转角度，θ3表示第三旋转角度，M表示目标距离，D1表示第一连接杆的长度，D2表示第二连接杆的长度。

进一步地，所述第二定位模块根据角度定位控制机械臂的旋转轴旋转，所述第二定位模块控制第一旋转轴旋转直到第一连接杆与垂直方向的夹角的角度等于第二旋转角度，并控制第二旋转轴旋转直到第二连接杆与第一连接杆的夹角的角度等于第三旋转角度。

进一步地，所述抓取分析模块设有第一旋转分析单元，其用以根据抓取距离、目标距离通过余弦定理公式对第四旋转角度进行分析，所述第一旋转分析单元设有余弦定理公式如下：

θ4=arccos[(2×M²-N²)/(2×M²)]

所述抓取分析模块还设有第二旋转分析单元，其用以根据第四旋转角度和第二抓取区域通过旋转角度分析公式计算第五旋转角度，所述第二旋转分析单元设有旋转角度分析公式如下：

θ5=(∑x3/nc-NX/2)×90/NX-θ4

其中，θ5表示第五旋转角度，x3表示第二抓取区域中各像素点的横坐标，nc表示第二抓取区域中像素点的数量，NX表示抓取图像x轴方向上的像素点数量；

所述抓取分析模块还设有第二定位分析单元，其用以将第四旋转角度和第五旋转角度作为抓取定位，记做C={θ4,θ5}，其中，C表示抓取定位，其为由第四旋转角度和第五旋转角度构成的集合。

进一步地，所述抓取分析模块设有参数分析单元，其用以根据抓取图像、抓取距离、方位图像和目标距离通过位置参数分析公式计算相对位置参数，所述参数分析单元设有位置参数分析公式如下：

H=[(x2_max-x2_min)/(y3_max-y3_min)×M/N]^1/2

其中，H表示相对位置参数，x2_max表示第二目标区域中像素点横坐标的最大值，x2_min表示第二目标区域中像素点横坐标的最小值，y3_max表示第二抓取区域中像素点纵坐标的最大值，y3_min表示第二抓取区域中像素点纵坐标的最小值。

进一步地，所述抓取分析模块还设有区域优化单元，其用以根据相对位置参数、第二目标区域和第二抓取区域对第一旋转角度的调整过程进行优化，其中：

当H≤1+α时，所述区域优化单元判定相对位置参数符合阈值，不对第一旋转角度的调整过程进行优化；

当H＞1+α时，所述区域优化单元判定相对位置参数不符合阈值，对第一旋转角度的调整过程进行优化，优化后的第一旋转角度为θ1＂，设定θ1＂=θ1＇×[(∑x2/nb)/X]/[(∑y3/nc)/NY]；

其中，y3表示第二抓取区域中各像素点的横坐标，NY表示抓取图像y轴方向上的像素点数量；

所述抓取分析模块还设有抓取调整单元，其用以根据相对位置参数对第四旋转角度的分析过程进行调整，其中：

当H=1时，所述抓取调整单元判定相对位置参数符合阈值，不对第四旋转角度的分析过程进行调整；

当H≠1时，所述抓取调整单元判定相对位置参数不符合阈值，对第四旋转角度的分析过程进行调整，调整后的第四旋转角度为θ4＇，设定θ4＇=θ4/H。

进一步地，所述第三定位模块根据抓取定位对机械臂进行控制，其中：

当θ5＞0时，所述第三定位模块控制第三旋转轴逆时针旋转，逆时针旋转角度与第五旋转角度相等；

当θ5=0时，所述第三定位模块不控制第三旋转轴旋转；

当θ5＜0时，所述第三定位模块控制第三旋转轴顺时针旋转，顺时针旋转角度与第五旋转角度的绝对值相等；

所述第三定位模块在控制第三旋转轴旋转后，控制第一旋转轴顺时针旋转，第一旋转轴顺时针旋转的旋转角度与第四旋转角度相等。

与现有技术相比，本发明的有益效果在于，通过所述信息获取模块对机械臂参数信息的获取，以提高信息获取的准确度，从而提高信息获取的准确度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域构建模块对参数信息的分析，以构建出待定区域，用待定区域表示机械臂四周的区域划分情况，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域构建模块对待定区域的区域图像的获取，用区域图像表示机械臂四周区域，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域分析模块对区域图像和待定区域的分析，以分析出第一抓取区域，用第一抓取区域表示抓取目标所在的区域位置，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域分析模块对区域图像的分析，以分析出区域定位，用区域定位表示机械臂与抓取目标之间的关系，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第一定位模块对区域定位的分析，以控制机械臂的旋转底座旋转，使机械臂旋转至抓取目标所在的区域，实现水平方向上抓取目标的定位，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第一定位模块对方位图像和目标距离的获取，以提高信息获取的准确度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第一定位模块对方位图像的分析，以对区域定位的分析过程进行调整，判断出抓取目标与机械臂抓取方向是否存在偏差，使调整后的区域定位更加精确，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述距离分析模块对目标距离和参数信息的分析，以分析出角度定位，用角度定位表示机械臂中各连接杆之间的角度关系，保证机械臂的可抓取距离和抓取距离相同，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第二定位模块对角度定位的分析，以控制机械臂的旋转轴旋转，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第二定位模块对抓取图像和抓取距离的分析，以提高信息获取的准确度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述抓取分析模块对抓取图像、抓取距离、目标距离和参数信息的分析，以对抓取定位进行分析，用抓取定位表示机械臂在进行抓取时机械爪的位置和第一旋转轴的旋转角度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述抓取分析模块对抓取图像、抓取距离、方位图像和目标距离的分析，以分析出相对位置参数，用相对位置参数表示出获取的各信息的差异，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第三定位模块对抓取定位的分析，以对控制机械臂进行控制，从而实现对目标物的抓取，进而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

附图说明

图1为本实施例基于计算机视觉的机械臂抓取定位系统的结构框图；

图2为本实施例区域分析模块的结构框图；

图3为本实施例抓取分析模块的结构框图；

图4为本实施例机械臂俯视图的区域构建图；

图5为本实施例机械臂的结构图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本实施例一种基于计算机视觉的机械臂抓取定位系统，包括：

信息获取模块，用以获取机械臂的参数信息，所述参数信息包括臂长信息和关节信息，所述机械臂由一个旋转底座、三个旋转轴、两个连接杆以及一个机械爪构成，所述臂长信息为各连接杆的长度，所述关节信息为各旋转轴与连接杆和机械爪的连接信息，所述参数信息的获取方式为用户交互输入；

区域构建模块，用以根据参数信息构建待定区域，并获取各待定区域的区域图像，区域构建模块与所述信息获取模块连接，所述区域图像为机械臂四周的图像，所述区域图像的获取方式为通过安装于机械臂的旋转底座上的摄像装置拍摄上传，本实施例中各拍摄装置拍摄的图像的视场角为90度；

区域分析模块，用以根据区域图像对区域定位进行分析，区域分析模块与所述区域构建模块连接；

第一定位模块，用以根据区域定位控制机械臂的旋转底座旋转，并获取旋转后的方位图像和目标距离，还用以根据方位图像对区域定位的分析过程进行调整，并对控制机械臂的旋转底座旋转进行迭代，第一定位模块与所述区域分析模块连接，所述方位图像为旋转底座旋转后机械臂抓取方向上的图像，所述方位图像的获取方式为通过安装于机械臂的旋转底座上的摄像装置拍摄上传，所述目标距离为机械臂的旋转底座与抓取目标之间的距离，其获取方式为通过安装于机械臂的旋转底座上的红外传感器获取；

距离分析模块，用以根据目标距离和参数信息对角度定位进行分析，距离分析模块与所述第一定位模块连接；

第二定位模块，用以根据角度定位控制机械臂的第一旋转轴和第二旋转轴旋转，并获取旋转后的抓取图像和抓取距离，第二定位模块与所述距离分析模块连接，所述抓取图像为机械臂的连接杆旋转后机械爪抓取方向上拍摄的图像，所述图像信息的获取方式为通过安装于机械爪上的摄像装置拍摄上传，所述抓取距离为机械臂的机械爪与抓取目标之间的距离，其获取方式为通过安装于机械臂的机械爪上的红外传感器获取；

抓取分析模块，用以根据抓取图像、抓取距离、目标距离和参数信息对抓取定位进行分析，还用以根据抓取图像、抓取距离、方位图像和目标距离对相对位置参数进行分析，还用以根据相对位置参数对区域定位的调整过程进行优化，还用以根据相对位置参数对抓取定位的分析过程进行调整，抓取分析模块与所述第二定位模块连接；

第三定位模块，用以根据抓取定位控制机械臂第一旋转轴和第三旋转轴旋转，以对抓取目标物，第三定位模块与所述抓取分析模块连接。

请参阅图2所示，所述区域分析模块包括：

图像拼接单元，用以根据待定区域对区域图像进行拼接，以形成环绕图像；

区域分析单元，用以根据预设目标轮廓和环绕图像对第一目标区域进行分析，并根据第一目标区域对第一抓取区域进行分析，区域分析单元与所述图像拼接单元连接；

第一定位分析单元，用以根据第一抓取区域和第一目标区域对区域定位进行分析，第一定位分析单元与所述区域分析单元连接。

请参阅图3所示，所述抓取分析模块包括：

第一旋转分析单元，用以根据抓取距离、目标距离对第四旋转角度进行分析；

目标识别单元，用以根据预设目标轮廓对抓取图像进行分析，以得到第二抓取区域，目标识别单元与所述第一旋转分析单元连接；

第二旋转分析单元，用以根据第四旋转角度和第二抓取区域对第五旋转角度进行分析，第二旋转分析单元与所述目标识别单元连接；

第二定位分析单元，用以将第四旋转角度和第五旋转角度作为抓取定位，第二定位分析单元与所述第二旋转分析单元连接；

参数分析单元，根据抓取图像、抓取距离、方位图像和目标距离对相对位置参数进行分析，参数分析单元与所述第二定位单元连接；

区域优化单元，用以根据相对位置参数、方位图像和抓取图像对区域定位的调整过程进行优化，区域优化单元与所述参数分析单元连接；

抓取调整单元，用以根据相对定位对抓取定位的分析过程进行调整，抓取调整单元与所述参数分析单元连接。

具体而言，本实施例中通过所述信息获取模块对机械臂参数信息的获取，以提高信息获取的准确度，从而提高信息获取的准确度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域构建模块对参数信息的分析，以构建出待定区域，用待定区域表示机械臂四周的区域划分情况，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域构建模块对待定区域的区域图像的获取，用区域图像表示机械臂四周区域，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域分析模块对区域图像和待定区域的分析，以分析出第一抓取区域，用第一抓取区域表示抓取目标所在的区域位置，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域分析模块对区域图像的分析，以分析出区域定位，用区域定位表示机械臂与抓取目标之间的关系，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第一定位模块对区域定位的分析，以控制机械臂的旋转底座旋转，使机械臂旋转至抓取目标所在的区域，实现水平方向上抓取目标的定位，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第一定位模块对方位图像和目标距离的获取，以提高信息获取的准确度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第一定位模块对方位图像的分析，以对区域定位的分析过程进行调整，判断出抓取目标与机械臂抓取方向是否存在偏差，使调整后的区域定位更加精确，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述距离分析模块对目标距离和参数信息的分析，以分析出角度定位，用角度定位表示机械臂中各连接杆之间的角度关系，保证机械臂的可抓取距离和抓取距离相同，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第二定位模块对角度定位的分析，以控制机械臂的旋转轴旋转，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第二定位模块对抓取图像和抓取距离的分析，以提高信息获取的准确度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述抓取分析模块对抓取图像、抓取距离、目标距离和参数信息的分析，以对抓取定位进行分析，用抓取定位表示机械臂在进行抓取时机械爪的位置和第一旋转轴的旋转角度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述抓取分析模块对抓取图像、抓取距离、方位图像和目标距离的分析，以分析出相对位置参数，用相对位置参数表示出获取的各信息的差异，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述第三定位模块对抓取定位的分析，以对控制机械臂进行控制，从而实现对目标物的抓取，进而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

请参阅图4所示，其为本实施例机械臂俯视图的区域构建图，包括，第一待定区域401，第二待定区域402，第三待定区域403，第四待定区域404和机械臂的旋转底座1，本实施例中所述区域构建模块根据参数信息构建待定区域，将机械臂位置四周的区域划分为大小相等四个区域。

具体而言，本实施例中所述图像拼接单元将各待定区域的区域图像按待定区域编号顺序，依次对区域图像进行拼接，将拼接后的图像作为环绕图像。

具体而言，本实施例中所述图像拼接单元对各待定区域和区域图像的分析，以对拼接出环绕图像，用环绕图像表示出机械臂四周的图像，保证分析图像的完整性，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中在对各图像进行分析时，将图像左下角像素点作为坐标原点，将与坐标原点相邻的两条边作为x轴和y轴，建立平面直角坐标系，x轴从左向右依次增大，y轴由下向上依次增大，用坐标点表示图像中各像素点的位置。

具体而言，本实施例中所述区域分析单元将环绕图像各像素点的灰度值与其上下左右四个方向相邻的像素点灰度值进行比对，统计L(x,y)/L(x*,y*)≥1+P的数量作为第一差异参数，记做nL1(x,y)，所述区域单元统计L(x,y)/L(x*,y*)＜1-P的数量作为第二差异参数，记做nL2(x,y)，并根据第一差异参数和第二差异参数对差异数量进行分析，其中：

当nL1(x,y)≥nL2(x,y)时，所述区域分析单元将第一差异参数作为差异数量；

当nL1(x,y)＜nL2(x,y)时，所述区域分析单元将第二差异参数作为差异数量；

其中，L(x,y)表示环绕图像中各像素点的灰度值，L(x*,y*)表示与当前分析像素点上下左右四个方向相邻的像素点灰度值，L(x*,y*)={L(x-1,y),L(x,y-1),L(x+1,y),L(x,y+1)}，L(x-1,y)表示与当前分析像素点左边相邻的像素点灰度值，L(x,y-1)表示与当前分析像素点下边相邻的像素点灰度值，L(x+1,y)表示与当前分析像素点右边相邻的像素点灰度值，L(x,y+1)表示与当前分析像素点上边相邻的像素点灰度值。

具体而言，本实施例中所述区域分析单元根据差异数量对图像轮廓进行分析，所述区域分析单元提取环绕图像中差异数量大于等于3的像素点作为图像轮廓。

具体而言，本实施例中所述区域分析单元将预设目标轮廓与图像轮廓进行形态学分析，将预设目标轮廓按等比例放大或缩小，并与图像轮廓进行匹配，将图像轮廓中与目标轮廓形状特征相似的区域作为第一目标区域。

可以理解的是，本实施例中不对第一目标区域的提取过程进行具体限定，本领域技术人员可自由设置，如还可设置提取图像中的曲率特征、向量特征和灰度特征等方式进行图像分析，只需满足对图像中抓取目标的识别提取即可。

具体而言，本实施例中所述区域分析单元根据第一目标区域中各像素点的坐标对第一抓取区域进行分析，所述区域分析单元计算第一目标区域中各像素点横坐标的平均值，记做ax=∑x1/na，其中，ax表示第一目标区域中各像素点横坐标的平均值，x1表示第一目标区域中各像素点的横坐标，na表示第一目标区域中像素点的数量，并根据第一目标区域中各像素点横坐标的平均值对第一抓取区域进行分析，其中：

当ax/X≤1时，所述区域分析单元将第一待定区域作为第一抓取区域；

当1＜ax/X≤2时，所述区域分析单元将第二待定区域作为第一抓取区域；

当2＜ax/X≤3时，所述区域分析单元将第三待定区域作为第一抓取区域；

当ax/X＞3时，所述区域分析单元将第四待定区域作为第一抓取区域；

其中，X表示区域图像x轴方向上的像素点数量。

具体而言，本实施例中通过所述区域分析单元对环绕图像的分析，以识别出第一目标区域，实现对环绕图像中抓取目标的提取，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度，通过所述区域分析单元对第一目标区域的分析，以分析出第一抓取区域，用第一抓取区域表示抓取目标所在的与机械臂的相对位置，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述第一定位分析单元根据第一抓取区域和第一目标区域对区域定位进行分析，设定区域定位为由第一抓取区域和第一旋转角度组成的集合，记做A={S,θ1},其中，A表示区域定位，S表示第一抓取区域，θ1表示第一旋转角度，设定θ1=X/90×(ax mod X)，其中，mod表示数学运算符号中的取余运算符号，ax mod X表示计算ax除以X的余数。

具体而言，本实施例中通过所述第一定位分析单元对抓取区域和第一目标区域的分析，以分析出区域定位，用区域定位表示出抓取目标与机械臂的位置关系，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述第一定位模块根据区域定位控制机械臂的旋转底座旋转，所述第一定位模块将机械臂的旋转底座旋转至第一抓取区域S的初始分界位置，并按顺时针方向旋转机械臂的旋转底座，旋转的角度与第一旋转角度相等，所述初始分界位置为待定区域和其其相邻的待定区域按顺时针方向的第一个分界线位置，如第一待定区域的初始分界位置为第一待定区域与第四待定区域的分界线，第二待定区域的初始分界位置为第二待定区域与第一待定区域的分界线，第三待定区域的初始分界位置为第三待定区域与第二待定区域的分界线，第四待定区域的初始分界位置为第四待定区域与第三待定区域的分界线。

具体而言，本实施例中所述第一定位模块根据预设目标轮廓和方位图像对第二目标区域进行分析，本实施例中，对第二目标区域的分析过程和对第一目标区域的分析过程相同，本实施例中不对此作具体阐述。

具体而言，本实施例中所述第一定位模块根据第二目标区域对第一旋转角度的分析过程进行调整，其中：

当|(∑x2/nb)×2/X-1|≤α时，所述第一定位模块判定目标位置正常，不对第一旋转角度的分析过程进行调整；

当|(∑x2/nb)×2/X-1|＞α时，所述第一定位模块判定目标位置异常，对第一旋转角度对的分析过程进行调整，调整后的第一旋转角度为θ1＇，设定θ1＇=θ1×(∑x2/nb)×2/X；

其中，x2表示第二目标区域中各像素点的横坐标，nb表示第二目标区域中像素点的数量，α表示比对阈值，0＜α≤0.05。可以理解的是，本实施例中不对比对阈值的取值作具体限定，本领域技术人员可自由设置，只需满足对第一旋转角度的调整即可，比对阈值的最佳取值为α=0.03。

具体而言，本实施例中所述距离分析模块根据目标距离和参数信息通过余弦定理公式对角度定位进行分析，设定角度定位为由第二旋转角度和第三旋转角度组成的集合，记做B={θ2,θ3}，所述距离分析模块设有余弦定理公式如下：

θ2=arccos[(M²+D1²-D2²)/(2×M×D1)]

θ3=arccos[(D2²+D1²-M²)/(2×D1×D2)]

其中，θ2表示第二旋转角度，θ3表示第三旋转角度，M表示目标距离，D1表示第一连接杆的长度，D2表示第二连接杆的长度。

具体而言，本实施例中所述第二定位模块根据角度定位控制机械臂的旋转轴旋转，所述第二定位模块控制第一旋转轴旋转直到第一连接杆与垂直方向的夹角的角度等于第二旋转角度，并控制第二旋转轴旋转直到第二连接杆与第一连接杆的夹角的角度等于第三旋转角度。

具体而言，本实施例中所述第一旋转分析单元根据抓取距离、目标距离通过余弦定理公式对第四旋转角度进行分析，所述第一旋转分析单元设有余弦定理公式如下：

θ4=arccos[(2×M²-N²)/(2×M²)]

其中，θ4表示第四旋转角度，N表示抓取距离。

具体而言，本实施例中通过所述第一旋转分析对抓取距离、目标距离的分析，以分析出第四旋转角度，用第四旋转角度表示机械臂的第一旋转轴的旋转角度，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述目标识别单元根据预设目标轮廓和抓取图像对第二抓取区域进行分析，本实施例中，对第二抓取区域的分析过程和对第一目标区域的分析过程相同，本实施例中不对此作具体阐述。

具体而言，本实施例中所述第二旋转分析单元根据第四旋转角度和第二抓取区域通过旋转角度分析公式计算第五旋转角度，所述第二旋转分析单元设有旋转角度分析公式如下：

θ5=(∑x3/nc-NX/2)×90/NX-θ4

其中，θ5表示第五旋转角度，x3表示第二抓取区域中各像素点的横坐标，nc表示第二抓取区域中像素点的数量，NX表示抓取图像x轴方向上的像素点数量。

具体而言，本实施例中通过所述第二旋转分析单元对第四旋转角度和第二抓取区域的分析，以分析出第五旋转角度，用第五旋转角度表示机械臂的第三旋转轴应旋转角度，保证机械臂进行抓取时机械爪与抓取目标相对水平，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述第二定位分析单元将第四旋转角度和第五旋转角度作为抓取定位，记做C={θ4,θ5}，其中，C表示抓取定位，其为由第四旋转角度和第五旋转角度构成的集合。

具体而言，本实施例中所述参数分析单元根据抓取图像、抓取距离、方位图像和目标距离通过位置参数分析公式计算相对位置参数，所述参数分析单元设有位置参数分析公式如下：

H=[(x2_max-x2_min)/(y3_max-y3_min)×M/N]^1/2

其中，H表示相对位置参数，x2_max表示第二目标区域中像素点横坐标的最大值，x2_min表示第二目标区域中像素点横坐标的最小值，y3_max表示第二抓取区域中像素点纵坐标的最大值，y3_min表示第二抓取区域中像素点纵坐标的最小值。

具体而言，本实施例中通过所述参数分析单元对抓取图像、抓取距离、方位图像和目标距离的分析，以分析出相对位置参数，用相对位置参数表示出获取的各信息的差异，保证系统分析中各数据数值比例的统一，减少分析数据的偏差，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述区域优化单元根据相对位置参数、第二目标区域和第二抓取区域对第一旋转角度的调整过程进行优化，其中：

当H≤1+α时，所述区域优化单元判定相对位置参数符合阈值，不对第一旋转角度的调整过程进行优化；

当H＞1+α时，所述区域优化单元判定相对位置参数不符合阈值，对第一旋转角度的调整过程进行优化，优化后的第一旋转角度为θ1＂，设定θ1＂=θ1＇×[(∑x2/nb)/X]/[(∑y3/nc)/NY]；

其中，y3表示第二抓取区域中各像素点的横坐标，NY表示抓取图像y轴方向上的像素点数量。

具体而言，本实施例中通过所述区域优化单元对相对位置参数的分析，以对第一旋转角度的调整过程进行优化，使优化后的第一旋转角度与各图像中抓取目标所在的相对位置相关，保证数据分析的统一性，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述抓取调整单元根据相对位置参数对第四旋转角度的分析过程进行调整，其中：

当H=1时，所述抓取调整单元判定相对位置参数符合阈值，不对第四旋转角度的分析过程进行调整；

当H≠1时，所述抓取调整单元判定相对位置参数不符合阈值，对第四旋转角度的分析过程进行调整，调整后的第四旋转角度为θ4＇，设定θ4＇=θ4/H。

具体而言，本实施例中通过所述抓取调整单元对相对位置参数的分析，以对第四旋转角度的分析过程进行调整，使调整后的第四旋转角度与相对位置参数呈反比例相关，从而提高系统对机械臂抓取定位的分析效率，提高机械臂抓取定位的准确度。

具体而言，本实施例中所述第三定位模块根据抓取定位对机械臂进行控制，其中：

当θ5＞0时，所述第三定位模块控制第三旋转轴逆时针旋转，逆时针旋转角度与第五旋转角度相等；

当θ5=0时，所述第三定位模块不控制第三旋转轴旋转；

当θ5＜0时，所述第三定位模块控制第三旋转轴顺时针旋转，顺时针旋转角度与第五旋转角度的绝对值相等；

所述第三定位模块在控制第三旋转轴旋转后，控制第一旋转轴顺时针旋转，第一旋转轴顺时针旋转的旋转角度与第四旋转角度相等。

请参阅图5所示，其为本实施例中机械臂的结构图，包括：

旋转底座1，用以水平方向旋转机械臂；

第一旋转轴2，用以垂直方向旋转机械臂控制机械臂抓取时的抓取高度，第一旋转轴2设置于所述旋转底座1的上方；

第一连接杆3，用以连接旋转轴2和第二旋转轴4，第一连接杆3的一端与第一旋转轴2连接；

第二旋转轴4，用以垂直方向旋转机械臂控制机械臂抓取时的抓取距离，第一连接杆3远离第一旋转轴2的一端与第二旋转轴4连接；

第二连接杆5，用以连接第二旋转轴4和第三旋转轴6，第二连接杆5的一端与第二旋转轴4连接；

第三旋转轴6，用以垂直方向旋转机械臂控制机械臂抓取时机械爪的角度，第二连接杆5远离第二旋转轴4的一端与第三旋转轴6连接；

机械爪7，用以抓取目标物，机械爪7与第三旋转轴6连接；

第一红外传感器8，其设置于旋转底座1靠近机械爪7的一侧，用以获取旋转底座1与抓取目标之间的距离；

第一摄像装置9，用以获取区域图像和方位图像，第一摄像装置9设置于旋转底座1的一侧，并位于第一红外传感器8的下方；

第二红外传感器10，用以获取机械爪7与抓取目标之间的距离，第二红外传感器10设置于机械爪7与第三旋转轴6的连接处；

第二摄像装置11，用以获取抓取图像，第二摄像装置11相邻设置于第二红外传感器10的一侧。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于计算机视觉的机械臂抓取定位系统，其特征在于，包括：

信息获取模块，用以获取机械臂的参数信息；

区域构建模块，用以根据参数信息构建待定区域，并获取各待定区域的区域图像；

区域分析模块，用以根据区域图像对区域定位进行分析；

第一定位模块，用以根据区域定位控制机械臂的旋转底座旋转，并获取旋转后的方位图像和目标距离，还用以根据方位图像对区域定位的分析过程进行调整；

距离分析模块，用以根据目标距离和参数信息对角度定位进行分析；

第二定位模块，用以根据角度定位控制机械臂的第一旋转轴和第二旋转轴旋转，并获取旋转后的抓取图像和抓取距离；

抓取分析模块，用以根据抓取图像、抓取距离、目标距离和参数信息对抓取定位进行分析，并对相对位置参数进行分析，还用以根据相对位置参数对区域定位的调整过程进行优化，还用以根据相对位置参数对抓取定位的分析过程进行调整；

第三定位模块，用以根据抓取定位控制机械臂第一旋转轴和第三旋转轴旋转，以对抓取目标物。

2.根据权利要求1所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述区域分析模块设有区域分析单元，其用以根据第一目标区域中各像素点的坐标对第一抓取区域进行分析，所述区域分析单元计算第一目标区域中各像素点横坐标的平均值，记做ax=∑x1/na，其中，ax表示第一目标区域中各像素点横坐标的平均值，x1表示第一目标区域中各像素点的横坐标，na表示第一目标区域中像素点的数量，并根据第一目标区域中各像素点横坐标的平均值对第一抓取区域进行分析，其中：

当ax/X≤1时，所述区域分析单元将第一待定区域作为第一抓取区域；

当1＜ax/X≤2时，所述区域分析单元将第二待定区域作为第一抓取区域；

当2＜ax/X≤3时，所述区域分析单元将第三待定区域作为第一抓取区域；

当ax/X＞3时，所述区域分析单元将第四待定区域作为第一抓取区域；

其中，X表示区域图像x轴方向上的像素点数量；

所述区域分析模块还设有第一定位分析单元，其用以根据第一抓取区域和第一目标区域对区域定位进行分析，设定区域定位为由第一抓取区域和第一旋转角度组成的集合，记做A={S,θ1},其中，A表示区域定位，S表示第一抓取区域，θ1表示第一旋转角度，设定θ1=X/90×(ax mod X)，其中，mod表示数学运算符号中的取余运算符号，ax mod X表示计算ax除以X的余数。

3.根据权利要求2所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述第一定位模块根据区域定位控制机械臂的旋转底座旋转，所述第一定位模块将机械臂的旋转底座旋转至第一抓取区域S的初始分界位置，并按顺时针方向旋转机械臂的旋转底座，旋转的角度与第一旋转角度相等。

4.根据权利要求3所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述第一定位模块根据第二目标区域对第一旋转角度的分析过程进行调整，其中：

当|(∑x2/nb)×2/X-1|≤α时，所述第一定位模块判定目标位置正常，不对第一旋转角度的分析过程进行调整；

当|(∑x2/nb)×2/X-1|＞α时，所述第一定位模块判定目标位置异常，对第一旋转角度对的分析过程进行调整，调整后的第一旋转角度为θ1＇，设定θ1＇=θ1×(∑x2/nb)×2/X；

其中，x2表示第二目标区域中各像素点的横坐标，nb表示第二目标区域中像素点的数量，α表示比对阈值。

5.根据权利要求1所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述距离分析模块根据目标距离和参数信息通过余弦定理公式对角度定位进行分析，设定角度定位为由第二旋转角度和第三旋转角度组成的集合，记做B={θ2,θ3}，所述距离分析模块设有余弦定理公式如下：

θ2=arccos[(M²+D1²-D2²)/(2×M×D1)]

θ3=arccos[(D2²+D1²-M²)/(2×D1×D2)]

其中，θ2表示第二旋转角度，θ3表示第三旋转角度，M表示目标距离，D1表示第一连接杆的长度，D2表示第二连接杆的长度。

6.根据权利要求5所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述第二定位模块根据角度定位控制机械臂的旋转轴旋转，所述第二定位模块控制第一旋转轴旋转直到第一连接杆与垂直方向的夹角的角度等于第二旋转角度，并控制第二旋转轴旋转直到第二连接杆与第一连接杆的夹角的角度等于第三旋转角度。

7.根据权利要求1所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述抓取分析模块设有第一旋转分析单元，其用以根据抓取距离、目标距离通过余弦定理公式对第四旋转角度进行分析，所述第一旋转分析单元设有余弦定理公式如下：

θ4=arccos[(2×M²-N²)/(2×M²)]

所述抓取分析模块还设有第二旋转分析单元，其用以根据第四旋转角度和第二抓取区域通过旋转角度分析公式计算第五旋转角度，所述第二旋转分析单元设有旋转角度分析公式如下：

θ5=(∑x3/nc-NX/2)×90/NX-θ4

其中，θ5表示第五旋转角度，x3表示第二抓取区域中各像素点的横坐标，nc表示第二抓取区域中像素点的数量，NX表示抓取图像x轴方向上的像素点数量；

所述抓取分析模块还设有第二定位分析单元，其用以将第四旋转角度和第五旋转角度作为抓取定位，记做C={θ4,θ5}，其中，C表示抓取定位，其为由第四旋转角度和第五旋转角度构成的集合。

8.根据权利要求7所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述抓取分析模块设有参数分析单元，其用以根据抓取图像、抓取距离、方位图像和目标距离通过位置参数分析公式计算相对位置参数，所述参数分析单元设有位置参数分析公式如下：

H=[(x2_max-x2_min)/(y3_max-y3_min)×M/N]^1/2

其中，H表示相对位置参数，x2_max表示第二目标区域中像素点横坐标的最大值，x2_min表示第二目标区域中像素点横坐标的最小值，y3_max表示第二抓取区域中像素点纵坐标的最大值，y3_min表示第二抓取区域中像素点纵坐标的最小值。

9.根据权利要求4或8所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述抓取分析模块还设有区域优化单元，其用以根据相对位置参数、第二目标区域和第二抓取区域对第一旋转角度的调整过程进行优化，其中：

当H≤1+α时，所述区域优化单元判定相对位置参数符合阈值，不对第一旋转角度的调整过程进行优化；

当H＞1+α时，所述区域优化单元判定相对位置参数不符合阈值，对第一旋转角度的调整过程进行优化，优化后的第一旋转角度为θ1＂，设定θ1＂=θ1＇×[(∑x2/nb)/X]/[(∑y3/nc)/NY]；

其中，y3表示第二抓取区域中各像素点的横坐标，NY表示抓取图像y轴方向上的像素点数量；

所述抓取分析模块还设有抓取调整单元，其用以根据相对位置参数对第四旋转角度的分析过程进行调整，其中：

当H=1时，所述抓取调整单元判定相对位置参数符合阈值，不对第四旋转角度的分析过程进行调整；

当H≠1时，所述抓取调整单元判定相对位置参数不符合阈值，对第四旋转角度的分析过程进行调整，调整后的第四旋转角度为θ4＇，设定θ4＇=θ4/H。

10.根据权利要求9所述的基于计算机视觉的机械臂抓取定位系统，其特征在于，所述第三定位模块根据抓取定位对机械臂进行控制，其中：

当θ5＞0时，所述第三定位模块控制第三旋转轴逆时针旋转，逆时针旋转角度与第五旋转角度相等；

当θ5=0时，所述第三定位模块不控制第三旋转轴旋转；

当θ5＜0时，所述第三定位模块控制第三旋转轴顺时针旋转，顺时针旋转角度与第五旋转角度的绝对值相等；

所述第三定位模块在控制第三旋转轴旋转后，控制第一旋转轴顺时针旋转，第一旋转轴顺时针旋转的旋转角度与第四旋转角度相等。