CN106485746A - 基于图像无标定的视觉伺服机械手及其控制方法 - Google Patents

Abstract

本发明公开了一种基于图像无标定的视觉伺服机械手及其控制方法，其通过直接根据在初始位姿拍摄的图像，获取目标的形状特征以及机械手应当抓取的位置，同时根据目标的形状特征，调整机械手的位姿为抓取位姿，再结合距离传感器测得的机械手与目标的距离，完成对目标的抓取，从而使机械手的工作效率更高，对环境的适应性更强。

Description

基于图像无标定的视觉伺服机械手及其控制方法

技术领域

本发明涉及自动化设备领域，特别涉及一种基于图像无标定的视觉伺服机械手及其控制方法。

背景技术

机器人到现在已经有几十年的历史,其高度灵活性特点使其得以广泛应用到各行各业之中，特别在自动化设备。随着物联网技术的成熟，机器人的发展方向将向着与网络连接的方向，届时将实现更便利更强大的功能。机械手作为机器人的一个重要分支，加上具有可编程应用的特点，可以适应于各种工作环境，完成预期的工作。机器人发展至今，不仅拥有机器本身的优点，还兼有了人的优点，尤其在人的智能性和适应性上到了充分的体现。

随着科技发展，机器人的研究由原始简单的机械控制，已经进入了智能化阶段。更高层次的智能，意味着更复杂的控制以及获取外界信息多样化。经过信息融合阶段，然后到自主判断阶段，再到决策阶段，最后到执行阶段，实现相应的动作的人类智能，但这更高的层次的智能研发难度大，工程实际应用环境相对较少。相反，通过更多的传感器，特别是加入视觉传感器来获取外界环境信息，使机电系统或机器人完成指定作业，这一层次智能化在实际应用中更有可实行性和更多的应用价值。

相关研究表明人类获取外界的信息百分之八十是通过视觉获取的。机器人作为代替人类劳动的工具,也应该通过视觉来从外界获取信息。随着硬件处理系统性价比的不断提高以及电子技术的迅猛发展，将机械手与视觉结合起来，越来越具有可行性。

发明内容

本发明的目的在于：针对单一机械手无法获得外界信息的机械手，当面对陌生环境时，无法自主控制工作的技术问题。

本发明提供一种基于图像无标定的视觉伺服机械手的控制方法，其技术方案包括以下步骤，

S1：建立一个包含机械手活动区域的空间坐标系，并设定一个初始位姿，使机械手每完成抓取任务后，返回至所述初始位姿；

S2：在机械手处于初始位姿的状态下，通过位于机械手末端关节上的摄像元件拍摄工作台的图像；

S3：根据所述摄像元件拍摄的图像，获取图像中目标的重心坐标()以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2；

S4：根据重心坐标()以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，调整机械手的位姿，并根据位于机械手上的距离传感器检测所与目标的距离，控制机械手向目标移动的距离，从而所述机械手完成对抓取目标的抓取。

根据一种具体的实施方式，S3包括，

S301：根据工作台所设置颜色的灰度值，区分图像中的背景和目标；

S302：根据图像中构成目标的像素点的坐标和灰度值，计算出相应的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2。

根据一种具体的实施方式，计算重心坐标的方法为，

其中M,N分别表示图像的行和列，ρ(x,y)为(x,y)坐标处的灰度值；

计算分别表示水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2的方法为，

其中，p+q＝2，且p和q为正整数。

根据一种具体的实施方式，S3还包括，

S303：以背景颜色的灰度值为二值化阈值，对图像进行二值化，并且二值化图像中背景的像素点为黑色，目标的像素点为白色；

S304：根据二值化图像中的黑、白像素点，获取图像中目标的面积S和周长L，并计算出目标的形状复杂度

S305：计算和的值，其中，e_n表示模板图形的形状复杂度，n表示模板图形的编号，μ_n,2,0、μ_n,1,1和μ_n,0,2分别表示模板图形水平、对角和垂直方向的几何不变矩值；

S306：判断最接近1的值所对应的模板图形与最大的值所对应的模板图形是否一致；若一致，则成功识别目标的形状，并继续执行S4，否则，对所述摄像元件拍摄的图像进行一定放大倍数处理，再重新执行S303～S306。

根据一种具体的实施方式，S304中，通过扫描二值化图像每个像素点的值而构建建立一个矩阵，使所述矩阵的元素与图像的像素点一一对应，并且所述矩阵元素的值与其对应的像素点的值一致，其中黑像素点的值为0，白像素点的值为1；

根据所述矩阵中值为0的元素与值为1的元素的边界，得出目标图像区域的周长L，以及根据所述矩阵中值为1的元素的个数，得出目标图像区域的面积S。

根据一种具体的实施方式，S306中，当对所述摄像元件拍摄的图像的放大倍数超过设定值，则发送报警信息，并回到初始位姿。

根据一种具体的实施方式，S4中，根据目标的重心坐标调整机械手末端关节前的各个关节的状态，使末端关节对准目标的重心坐标，以及根据水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，调整机械手末端关节的旋转角度，并与目标的中轴线对齐。

根据一种具体的实施方式，机械手末端关节的旋转角度θ₁的计算方式为，

其中，

根据一种具体的实施方式，S4中，还根据机械手上的力矩传感器检测的力矩，判断机械手是否成功夹取目标，若未成功，则返回至初始位姿，重新执行S2～S4。

基于同一发明构思，本发明还提供一种用于实施本发明控制方法的机械手，其包括机械臂、夹取装置、摄像元件、运动控制单元和图像处理单元；其中，

所述机械臂具有至少四个关节，并且所述摄像元件和所述夹取装置设置在所述机械臂的末端关节上；

所述图像处理单元，用于根据所述摄像元件拍摄的图像，获取图像中目标的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，并输出相应的数据给所述运动控制单元；

所述运动控制单元，用于在每次完成抓取任务后，控制所述机械臂返回至初始位姿，以及根据所述图像处理单元输出的数据，调整所述机械臂的位姿为抓取位姿，同时根据所述夹取装置上距离传感器所检测的与目标的距离，控制机械手向目标移动的距离，从而所述机械手完成对抓取目标的抓取。

与现有技术相比，本发明的有益效果：本发明基于图像无标定的视觉伺服机械手及其控制方法，与采用图像标定的方式相比，直接根据在初始位姿拍摄的图像，获取目标的形状特征以及机械手应当抓取的位置，同时根据目标的形状特征，调整机械手的位姿为抓取位姿，再结合距离传感器测得的机械手与目标的距离，完成对目标的抓取，机械手的工作效率更高，而且对环境的适应性更强。

附图说明：

图1是本发明的流程示意图；

图2是本发明一种实施的流程示意图；

图3是本发明机械手的示意框图。

具体实施方式

下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

结合图1所示的本发明的流程示意图；其中，本发明基于图像无标定的视觉伺服机械手的控制方法包括以下步骤，

S1：建立一个包含机械手活动区域的空间坐标系，并设定一个初始位姿，使机械手每完成抓取任务后，返回至初始位姿。建立的空间坐标系是以工作台的水平面为xy平面，垂直于水平面的方向则是z轴方向；机械手的运动控制通过初始位姿的坐标，结合机械手的运动数据如位移量、旋转量等，计算出机械手的实时坐标。

S2：在机械手处于初始位姿的状态下，通过位于机械手末端关节上的摄像元件拍摄工作台的图像。

S3：根据摄像元件拍摄的图像，获取图像中目标的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2。

S4：根据重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，调整机械手的位姿，并根据位于机械手上的距离传感器所检测与目标的距离，控制机械手向目标移动的距离，从而机械手完成对抓取目标的抓取。

本发明中，根据机械手连杆D-H参数，建立T_i齐次变换矩阵，即建立机械手的运动学模型，而每个齐次变换矩阵，即是每相邻的两个关节之间的旋转和平移：

在机械手的坐标系中，机械手的初始位姿确定，通过图像识别出目标的xy的坐标，而且通过距离传感器求出与目标的距离，相当于确定终点位置的z坐标，因此，终点位置和初始位置均已知，通过对上面的齐次变换矩阵求逆，得到各个关节的旋转量和平移量，以实现机械手的运动控制。

此外，由于实时计算从图像矩阵到关节矩阵的逆雅可比矩阵，需要硬件具有较高的运算能力，而为进一步简化实施过程，同时节省硬件成本，本发明通过预设轨迹库，并从轨迹库中调用预先求解好的运动轨迹(即变换矩阵)的求逆后的各轴电机的旋转量和平移量，按预设运动轨迹运动到目标位置处，从而完成目标抓取的动作。

结合图2所示的本发明一种实施的流程示意图；其中，S3包括，

S301：根据工作台所设置颜色的灰度值，区分图像中的背景和目标。

S302：根据图像中构成目标的像素点的坐标和灰度值，计算出相应的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2。

其中，计算重心坐标的方法为，

其中M,N分别表示图像的行和列，ρ(x,y)为(x,y)坐标处的灰度值。

而计算分别表示水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2的方法为，

其中，p+q＝2，且p和q为正整数。

在实施时，S3还包括，

S303：以背景颜色的灰度值为二值化阈值，对图像进行二值化，并且二值化图像中背景的像素点为黑色，目标的像素点为白色。

S304：根据二值化图像中的黑、白像素点，获取图像中目标的面积S和周长L，并计算出目标的形状复杂度

S305：计算和的值，其中，e_n表示模板图形的形状复杂度，n表示模板图形的编号，μ_n,2,0、μ_n,1,1和μ_n,0,2分别表示模板图形水平、对角和垂直方向的几何不变矩值。

S306：判断最接近1的值所对应的模板图形与最大的值所对应的模板图形是否一致；若一致，则成功识别目标的形状，并继续执行S4，否则，对摄像元件拍摄的图像进行一定放大倍数处理，再重新执行S303～S306。

具体的，S304中，通过扫描二值化图像每个像素点的值而构建建立一个矩阵，使矩阵的元素与图像的像素点一一对应，并且矩阵元素的值与其对应的像素点的值一致，其中黑像素点的值为0，白像素点的值为1。

再根据矩阵中值为0的元素与值为1的元素的边界，得出目标图像区域的周长L，以及根据矩阵中值为1的元素的个数，得出目标图像区域的面积S。

另外，S306中，当对摄像元件拍摄的图像的放大倍数超过设定值，则发送报警信息，并回到初始位姿。

此外本发明中，S4中，根据目标的重心坐标调整机械手末端关节前的各个关节的状态，使末端关节对准目标的重心坐标，以及根据水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，调整机械手末端关节的旋转角度，与目标的中轴线对齐。

具体的，机械手末端关节的旋转角度θ₁的计算方式为，

其中，

在实施时，S4中，还根据机械手上的力矩传感器检测的力矩，判断机械手是否成功夹取目标，若未成功，则返回至初始位姿，重新执行S2～S4。

结合图3所示的本发明机械手的示意框图；其中，本发明用于实施本发明控制方法的机械手，其包括机械臂、夹取装置、摄像元件、运动控制单元和图像处理单元。

其中，机械臂具有至少四个关节，并且摄像元件和夹取装置设置在机械臂的末端关节上；

图像处理单元，用于根据摄像元件拍摄的图像，获取图像中目标的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，并输出相应的数据给运动控制单元。

运动控制单元，用于在每次完成抓取任务后，控制机械臂返回至初始位姿，以及根据图像处理单元输出的数据，调整机械臂的位姿为抓取位姿，同时根据夹取装置上距离传感器所检测的与目标的距离，控制机械手向目标移动的距离，从而机械手完成对抓取目标的抓取。

在实施时，本发明的夹取装置上还设置力矩传感器，通过力矩传感器检测力矩，以判断夹取装置是否成功夹取到目标。

上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (10)

1.一种基于图像无标定的视觉伺服机械手的控制方法，其特征在于，包括以下步骤，

S1：建立一个包含机械手活动区域的空间坐标系，并设定一个初始位姿，使机械手每完成抓取任务后，返回至初始位姿；

S2：在机械手处于初始位姿的状态下，通过位于机械手末端关节上的摄像元件拍摄工作台的图像；

S3：根据所述摄像元件拍摄的图像，获取图像中目标的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2；

S4：根据重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，调整机械手的位姿为抓取位姿，并根据位于机械手夹取装置上的距离传感器检测与目标的距离，控制机械手向目标移动的距离，从而所述机械手完成对抓取目标的抓取。

2.如权利要求1所述的控制方法，其特征在于，S3包括，

S301：根据工作台所设置颜色的灰度值，区分图像中的背景和目标；

S302：根据图像中构成目标的像素点的坐标和灰度值，计算出相应的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2。

3.如权利要求1或2所述的控制方法，其特征在于，计算重心坐标的方法为，

$\stackrel{\‾}{x}=\frac{\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}\mathrm{\ρ}(x,y)\·x}{\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}\mathrm{\ρ}(x,y)},\stackrel{\‾}{y}=\frac{\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}\mathrm{\ρ}(x,y)\·y}{\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}\mathrm{\ρ}(x,y)}$

其中M,N分别表示图像的行和列，ρ(x,y)为(x,y)坐标处的灰度值；

计算分别表示水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2的方法为，

${\mathrm{\μ}}_{p,q}=\underset{x}{\Σ}\underset{y}{\Σ}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^q\mathrm{\ρ}(x,y)$

其中，p+q＝2，且p和q为正整数。

4.如权利要求2所述的控制方法，其特征在于，S3还包括，

S303：以背景颜色的灰度值为二值化阈值，对图像进行二值化，并且二值化图像中背景的像素点为黑色，目标的像素点为白色；

S304：根据二值化图像中的黑、白像素点，获取图像中目标的面积S和周长L，并计算出目标的形状复杂度

S305：计算和的值，其中，e_n表示模板图形的形状复杂度，n表示模板图形的编号，μ_n,2,0、μ_n,1,1和μ_n,0,2分别表示模板图形水平、对角和垂直方向的几何不变矩值；

S306：判断最接近1的值所对应的模板图形与最大的值所对应的模板图形是否一致；若一致，则成功识别目标的形状，并继续执行S4，否则，对所述摄像元件拍摄的图像进行一定放大倍数处理，再重新执行S303～S306。

5.如权利要求4所述的控制方法，其特征在于，S304中，

通过扫描二值化图像每个像素点的值而构建建立一个矩阵，使所述矩阵的元素与图像的像素点一一对应，并且所述矩阵元素的值与其对应的像素点的值一致，其中黑像素点的值为0，白像素点的值为1；

根据所述矩阵中值为0的元素与值为1的元素的边界，得出目标图像区域的周长L，以及根据所述矩阵中值为1的元素的个数，得出目标图像区域的面积S。

6.如权利要求4所述的控制方法，其特征在于，S306中，当对所述摄像元件拍摄的图像的放大倍数超过设定值，则发送报警信息，并回到初始位姿。

7.如权利要求1所述的控制方法，其特征在于，S4中，根据目标的重心坐标，调整机械手末端关节前的各个关节的状态，使末端关节对准目标的重心坐标，以及根据水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，调整机械手末端关节的旋转角度，使夹取装置与目标的中轴线对齐。

8.如权利要求7所述的控制方法，其特征在于，机械手末端关节的旋转角度θ₁的计算方式为，

其中，

9.如权利要求1所述的控制方法，其特征在于，S4中，还根据夹取装置上的力矩传感器检测的力矩，判断机械手是否成功夹取目标，若未成功，则返回至初始位姿，重新执行S2～S4。

10.一种用于实施如权利要求1～9之一所述的控制方法的机械手，其特征在于，包括机械臂、夹取装置、摄像元件、运动控制单元和图像处理单元；其中，

所述机械臂具有至少四个关节，并且所述摄像元件和所述夹取装置设置在所述机械臂的末端关节上；

所述图像处理单元，用于根据所述摄像元件拍摄的图像，获取图像中目标的重心坐标以及水平、对角和垂直方向的几何不变矩值μ_2,0、μ_1,1和μ_0,2，并输出相应的数据给所述运动控制单元；

所述运动控制单元，用于在每次完成抓取任务后，控制所述机械臂返回至初始位姿，以及根据所述图像处理单元输出的数据，调整所述机械臂的位姿为抓取位姿，同时根据所述夹取装置上距离传感器所检测的与目标的距离，控制机械手向目标移动的距离，从而所述机械手完成对抓取目标的抓取。