CN107901041A - 一种基于图像混合矩的机器人视觉伺服控制方法 - Google Patents
一种基于图像混合矩的机器人视觉伺服控制方法 Download PDFInfo
- Publication number
- CN107901041A CN107901041A CN201711345292.2A CN201711345292A CN107901041A CN 107901041 A CN107901041 A CN 107901041A CN 201711345292 A CN201711345292 A CN 201711345292A CN 107901041 A CN107901041 A CN 107901041A
- Authority
- CN
- China
- Prior art keywords
- msub
- robot
- image
- mrow
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000000203 mixture Substances 0.000 title claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000005484 gravity Effects 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 239000012636 effector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于图像混合矩的机器人视觉伺服控制方法。先给出机器人期望位姿下对目标物成像后与空间姿态一一对应的混合矩特征构建；然后在任意姿态下获取目标物图像，计算当前的混合矩特征信息值，并根据期望图像与当前图像的信息计算混合矩特征值的偏差，如果偏差小于预设阈值，说明机器人已经到达期望位姿，否则推导与混合矩特征相关的图像雅克比矩阵，利用视觉伺服控制器使得机器人朝向期望的位姿运动，直到特征偏差小于预设阈值，结束控制流程。本发明通过引入与机器人空间运动轨迹相对应的图像域混合矩特征作为控制输入，完成对眼在手机器人系统在工作空间模型未知情形下的视觉伺服控制，可以广泛应用基于机器视觉的机器人智能控制。
Description
技术领域
本发明涉及一种机器人视觉伺服控制方法，属于机器人学、机器视觉与控制领域。
背景技术
近二十年来工业机器人在诸多工业环境中得到了广泛的应用。为满足复杂的作业要求，机器人的研究已经从原始简单的机械控制转变成多传感器信息融合的智能设备。传统的机器人在面对单一作业要求、系统参数给定的情况下，可以采用常规的控制策略进行重复的生产工作，但面临作业环境复杂且系统参数不确定时，末端执行器会因为目标姿态的不确定性而无法满足高速、高精度、智能化作业的需求。为提高工业机器人控制系统的鲁棒性，视觉传感器提供了有效的解决方案，为工作状态不确定性的目标对象提供丰富的信息反馈。机器人视觉伺服控制系统利用视觉感知建立图像坐标系和空间坐标系间的映射关系，然后利用视觉算法和图像处理的相关知识对工作空间进行三维描述，最后根据识别定位结果进行目标对象的处理。
常见的视觉控制方法分为基于位置的视觉伺服方法(PBVS)和基于图像的视觉伺服方法(IBVS)。PBVS利用从图像信息中提取出的目标位置，使用坐标变换、位姿估计算法得到目标与机器人末端执行器的相对位置关系，并据此设计视觉伺服控制引导机器人进行运动；IBVS将控制误差定义在图像平面，利用图像特征进行视觉信息反馈控制，构造图像特征变化与机器人动作之间非线性映射关系的雅克比矩阵，并在系统运行过程中连续更新，从而实现视觉伺服控制。
发明内容
本发明的目的在于针对当前IBVS中主要从图像中提取点、线段、圆弧等简单几何特性使系统鲁棒性和通用性较差的技术问题，提供一种提取图像新特征的机器人视觉伺服控制方法。本发明方法针对目标物在相机不同位姿下成像可能产生畸变的特点，通过引入图像中目标物的混合矩信息，将改进后的图像特征以及雅克比矩阵用于机器人视觉伺服控制。
本发明所述的控制方法涉及一种图像无标定的眼在手机器人控制系统，包括视觉传感器及图像处理单元，运动控制器，机器人本体。其中视觉传感器及图像处理单元用于图像采集和提取目标的混合矩特征；运动控制器完成视觉伺服控制器发出的运动指令，即通过逆运动学解算将末端关节的位姿变化映射到机器人本体各个关节的运动情况。
为了实现上述技术目的，本发明的技术方案是，
一种基于图像混合矩的机器人视觉伺服控制方法，包括以下步骤：
S1：建立一个包含眼在手机器人活动区域的空间坐标系，通过图像处理识别目标物在机器人末端所持相机运动过程中的实时成像位置，并提取图像中的目标物轮廓，给出机器人任意位姿下目标图像的特征信息；
S2：根据机器人期望位姿下目标图像的特征信息得到期望混合矩s*，再根据步骤S1中得到的机器人当前任意位姿下目标图像的特征信息构建实时混合矩s，并计算图像偏差Δs＝(s-s*)，如果Δs小于预设阈值δ，则机器人末端所持相机对目标物成图已达到期望混合矩值，也即机器人达到期望位姿，控制流程结束，否则执行步骤S3；
S3：利用步骤S2中得到的混合矩信息s，构建基于当前混合矩的雅克比矩阵Ls；
S4：根据步骤S2中得到的混合矩偏差信息Δs和步骤S3中得到的雅克比矩阵Ls，结合视觉伺服控制器调整机器人末端的位姿；
S5：获取调整姿态后的机器人末端相机拍摄到的目标物图像特征信息，返回步骤S2。
所述的基于图像混合矩的机器人视觉伺服控制方法，所述步骤S2中构建混合矩的方法为：
S201：根据步骤S1中提取的由一系列像素点组成的目标物轮廓及灰度值，计算目标物成像区域的重心点坐标O(xg,yg)以及轮廓拟合边线的一般表达式θi：aixi+biyi+ci＝0，其中i＝1,2,3,…,n；(xi,yi)表示位于第i条拟合边线上的像素点坐标，ai,bi,ci为第i条拟合边的一般式直线方程参数，且有以重心点O为圆心，重心点到多条边框线的最短距离为半径在图像面目标物投射区域轮廓内作圆，计算圆面积ag＝πd2；
S202：将机器人调整到期望位姿下对目标物成图，并根据步骤S201中所述方法得到目标物期望图像的重心坐标和内切圆面积，记作和据此构建期望混合矩和机器人任意位姿下对目标物成图的实时混合矩s＝[βxg/f,βyg/f,β]，其中f为相机焦距，
所述的基于图像混合矩的视觉伺服控制方法，所述的步骤S201中，计算重心坐标o(xg,yg)的方法为：
其中，Ω为目标在相机中的成像区域，(x,y)为Ω中的像素点坐标，f(x,y)为(x,y)像素坐标处的灰度值。
所述的基于图像混合矩的机器人视觉伺服控制方法，所述步骤S3中与混合矩相关的雅克比矩阵计算方法为：
S401：根据步骤S201中获得的重心坐标o(xg,yg)特征和轮廓内圆面积ag特征，构建相关的图像雅克比矩阵
S402：根据混合矩特征s＝[βxg/f,βyg/f,β]，则有图像雅克比矩阵
因此有
所述的基于图像混合矩的机器人视觉伺服控制方法，根据步骤S202中构建的混合矩和步骤S402中推导的雅克比矩阵，通过视觉伺服控制器计算机器人末端相机的运动速度vcamera用于指导机器人的瞬时运动，其中λ为控制器增益，为Ls的广义逆矩阵。
所述的基于图像混合矩特征的机器人视觉伺服控制方法，所述的眼在手机器人包括设有多个机械臂和用于连接机械臂的关节的机器人、工业相机、运动控制单元和图像处理单元，其中所述的机器人末端安装工业相机，所述的运动控制单元将机器人末端位移速度和方向指令映射到各个关节的旋转速度和角度，所述的图像处理单元用于计算图像中目标的重心坐标和最小内切圆面积。
本发明的技术效果在于，与现有视觉伺服控制系统相比，本发明利用混合矩信息而不是点、线等简单的几何信息作为图像特征，且不需要对机器人手眼关系进行标定，能够在相机空间坐标中深度信息时变的情况下实现较好的控制性能，使控制器对图像噪声不敏感，提高了系统的鲁棒性，从而能根据目标在相机中成像的特点，调整机器人末端执行器的位姿，实现机器人空间姿态与图像信息的唯一对应关系。因此，可通过目标在相机移动中的成像轨迹间接完成机器人末端在空间中的路径规划，使机械手的工作效率更高，对环境的适应性更强。
附图说明
图1为本发明所述控制方法的流程示意图。
图2为本发明具体实施方式中在Matlab\Simulink环境下视觉伺服控制系统的结构框图。
图3为本发明具体实施方式中所述工业机器人视觉伺服系统组成示意图。
图4a)为本发明具体实施方式中所述方形目标物平面垂直于相机光轴下成像混合矩信息提取示意图；b)为本发明具体实施方式中所述方形目标物平面倾斜于相机光轴下成像混合矩信息提取示意图。
具体实施方式
下面结合具体实施例，并参照附图，对本发明作进一步详细说明。
本发明基于以下原理：对于关节末端安装相机的工业机器人，可以通过视觉信息控制机器人各关节运动，从而实现机器人避障、接近目标物等一系列动作。由于目标物与机器人本体的相对位姿关系是隐含在图像特征中，机器人的移动会引起目标物在图像中的成像发生变化。图像雅克比矩阵描述了机器人末端的移动与目标在图像中的成像变化之间的关系，即其中，为图像特征矢量变化率，为机器人末端执行器的速度矢量，则图像雅克比矩阵Ls可表示为：
其中f1,f2,…,fm表示图像特征矢量，r1,r2,…,rn表示机器人末端执行器在机器人任务空间中的位姿向量。显然机器人在空间中的移动和目标在图像中成像的变化是一个复杂的非线性映射关系，传统视觉伺服控制系统将这种基于图像的非线性控制进行分段线性化处理，单位时间内机器人的移动与视觉信息变化视为线性关系，每运行一次伺服控制器都要重新计算一次图像雅克比矩阵，确保机器人在运行过程中实时根据图像信息自主调整位姿。在所述的控制系统中，图像雅克比矩阵的计算通过相机特有的投影方程，将相机速度与归一化图像坐标形式的特征速度联系在一起，从而推导出图像空间与机器人操作空间的映射关系矩阵。因不同的相机模型的投影模型不尽相同，本实施例均采用针孔模型的相机作为研究对象。已知Z为空间点的深度信息，则归一化图像平面坐标上任意一点(x,y)的图像雅克比矩阵
根据发明中所述的控制方法，对相机拍摄到的图像进行二值化处理，将方形目标从背景中区分开来，设Ω为目标在相机中的成像区域，(x,y)为Ω中的像素点坐标，f(x,y)为(x,y)像素坐标处的灰度值，则目标物的i+j阶几何矩与中心矩分别定义为：
mij＝∫∫Ωxiyjf(x,y)dxdy，
μij＝∫∫Ω(x-xg)i(y-yg)jf(x,y)dxdy。
重心坐标且面积a＝m00。方形物体在相机下的成像可以看成是物体和另一个包含重心点的平面相交后形成的投影，设重心点在相机坐标系下的三维坐标为O′(Xg,Yg,Zg)，则该平面的表达式为α(X-Xg)+β(Y-Yg)+γ(Z-Zg)＝0,存在1/Zg＝Axg+Byg+C,其中A＝α/(αXg+βYg+γZg)，B＝β/(αXg+βYg+γZg),C＝γ/(αXg+βYg+γZg),推导出重心和面积的雅克比矩阵：
La＝[-aA-aB a(3/Zg-C)3ayg-3ayg 0]，
其中
基于以上所述的机器人视觉伺服控制方法原理，本发明方法采用的技术方案如图1所示，包括以下步骤：
S1：建立一个包含眼在手机器人活动区域的空间坐标系，通过图像处理识别目标物在机器人末端所持相机运动过程中的实时成像位置，并提取图像中的目标物轮廓，给出机器人任意位姿下目标图像的特征信息；
S2：根据机器人期望位姿下目标图像的特征信息得到期望混合矩s*，再根据S1中得到的机器人当前任意位姿下目标图像的特征信息构建实时混合矩s，并计算图像偏差Δs＝(s-s*)，如果Δs小于预设阈值δ，则机器人末端所持相机对目标物成图已达到期望混合矩值，也即机器人达到期望位姿，控制流程结束，否则执行S3；
S3：利用S2中的混合矩信息s，构建基于当前混合矩的雅克比矩阵Ls；
S4：根据S2得到的混合矩图像偏差信息Δs和S3中的雅克比矩阵Ls，结合视觉伺服控制器调整机器人末端的位姿；
S5：获取调整姿态后的机器人末端相机拍摄到的目标物的图像特征信息，返回S2。
其中S2中提取的混合矩信息方法为，
S201：根据S1中提取的由一系列像素点组成的目标物轮廓及灰度值，计算目标物成像区域的重心点坐标O(xg,yg)以及轮廓拟合边线的一般表达式θi：aixi+biyi+ci＝0，其中i＝1,2,3,…,n；(xi,yi)表示位于第i条拟合边线上的像素点坐标，ai,bi,ci为第i条拟合边的一般式直线方程参数，且有以重心点O为圆心，重心点到多条边框线的最短距离d＝min{di},为半径在图像面目标物投射区域轮廓内作圆，计算圆面积ag＝πd2；
S202：将机器人调整到期望位姿下对目标物成图，并根据S201中所述方法得到目标物期望图像的重心坐标和内切圆面积，记作和据此构建期望混合矩和机器人任意位姿下对目标物成图的实时混合矩s＝[βxg/f,βyg/f,β]，其中f为相机焦距，
S3中计算的图像雅克比矩阵方法为，
S301：根据S201中获得的重心坐标O(xg,yg)特征和内切圆面积ag，构建相关的图像雅克比矩阵
S302：根据混合矩特征s＝[βxg/f,βyg/f,β]，则有图像雅克比矩阵
因此有
相机运动Δv与图像混合矩特征变化Δs有LsΔv＝Δs，根据S202中构建的混合矩和S402中推导的雅克比矩阵，通过视觉伺服控制器 计算机器人末端相机的运动速度vcamera用于指导机器人的瞬时运动，其中λ为控制器增益，为Ls的广义逆矩阵。
本实施例中提及的眼在手机器人，包括设有多个机械臂和用于连接机械臂的关节的机器人、工业相机、运动控制单元和图像处理单元，其中所述的机器人末端安装工业相机，所述的运动控制单元将机器人末端位移速度和方向指令映射到各个关节的旋转速度和角度，所述的图像处理单元用于计算图像中目标的重心坐标和最小内切圆面积。
本实施例的硬件部分如图3所示，包括一台基座固定的工业机器人，相机固定在机器人的末端。本实施例所采用的图像处理识别目标物是工作台上放置的方形物体，在目标物为其他形状的情况下，也同样可以采用本发明的方法进行识别。控制方法的任务是通过相机拍摄的目标成像信息与期望图像作对比，利用混合矩特征偏差控制机器人移动，直到特征偏差小于预设阈值，机器人到达理想位姿。
采用本发明提出的机器人伺服控制方法进行实际控制，其步骤如下：
S1：如图3所示，建立一个包含眼在手的机器人活动区域空间坐标系，以工作台水平面为xy平面，垂直于水平面的方向为z轴方向，在工作台上放置一个方形目标物，设定机器人末端初始位置(确保初始位置相机能拍摄到目标物)；
S2：根据发明中所述的控制方法，对相机拍摄到的图像进行二值化处理，将方形目标从背景中区分开来。提取目标在图像中的轮廓，并计算目标的i+j阶几何矩与中心矩，其计算方法为：
mij＝∫∫Ωxiyjf(x,y)dxdy，μij＝∫∫Ω(x-xg)i(y-yg)jf(x,y)dxdy，
其中i，j为非负整数。如图4所示计算机器人在不同位姿下目标在图像中的重心点O(xg,yg)和重心到各边框的垂足距离d1,d2,d3,d4。计算方法为：
求出并以重心点O为圆心，d为半径作四边形轮廓的内切圆，计算内切圆面积a＝πd2。通过先验得到期望图像重心坐标内切圆面积a*，期望混合矩信息计算当前位姿下混合矩s＝[βxg/f,βyg/f,β]，其中f为相机焦距，β＝a*/a。计算图像偏差Δs＝(s-s*)，如果Δs小于预设阈值，则机器人末端所持相机对目标物成图已达到期望混合矩值，也即机器人达到期望位姿，控制流程结束，否则执行S3；
S3：利用S2中的混合矩信息s，构建基于当前混合矩的雅克比矩阵Ls，其计算方式为：
设重心点在相机坐标系下的三维坐标为O′(Xg,Yg,Zg)，则该平面的表达式为α(X-Xg)+β(Y-Yg)+γ(Z-Zg)＝0,存在1/Zg＝Axg+Byg+C,其中A＝α/(αXg+βYg+γZg)，B＝β/(αXg+βYg+γZg)，C＝γ/(αXg+βYg+γZg)，推导出重心和面积的雅克比矩阵：
La＝[-aA-aB a(3/Zg-C)3ayg-3ayg 0]，
其中
则
S4：根据实时混合矩s，计算图像误差Δs＝s-s*(s*为期望混合矩)以及图像雅克比矩阵的广义逆矩阵由视觉伺服控制器 (λ为控制器增益)得到末端执行器的移动方向和速率vcamera，并把指令发送至运动控制单元。运动控制单元通过解算机器人的雅克比矩阵将末端的移动指令映射到各个关节上，控制相应关节角的旋转速度和角度。在控制机器人进行相应移动后返回至S2，重新更新图像信息并计算下一时刻的图像雅克比矩阵，进行视觉伺服控制，直到图像误差Δs小于预设阈值。
本实施例中，利用基于图像混合矩的机器人视觉伺服控制方法，使得当前图像中提取的混合矩特征信息与期望的混合矩特征信息偏差收敛到小于预设阈值，即默认目标在图像中的位置和期望的一致，机器人通过视觉伺服控制器达到了理想位姿。
Claims (6)
1.一种基于图像混合矩的机器人视觉伺服控制方法，其特征在于，包括以下步骤：
S1：建立一个包含眼在手机器人活动区域的空间坐标系，通过图像处理识别目标物在机器人末端所持相机运动过程中的实时成像位置，并提取图像中的目标物轮廓，给出机器人任意位姿下目标图像的特征信息；
S2：根据机器人期望位姿下目标图像的特征信息得到期望混合矩s*，再根据步骤S1中得到的机器人当前任意位姿下目标图像的特征信息构建实时混合矩s，并计算图像偏差Δs＝(s-s*)，如果Δs小于预设阈值δ，则机器人末端所持相机对目标物成图已达到期望混合矩值，也即机器人达到期望位姿，控制流程结束，否则执行步骤S3；
S3：利用步骤S2中得到的混合矩信息s，构建基于当前混合矩的雅克比矩阵Ls；
S4：根据步骤S2中得到的混合矩偏差信息Δs和步骤S3中得到的雅克比矩阵Ls，结合视觉伺服控制器调整机器人末端的位姿；
S5：获取调整姿态后的机器人末端相机拍摄到的目标物图像特征信息，返回步骤S2。
2.根据权利要求1中所述的基于图像混合矩的机器人视觉伺服控制方法，其特征在于，所述步骤S2中构建混合矩的方法为：
S201：根据步骤S1中提取的由一系列像素点组成的目标物轮廓及灰度值，计算目标物成像区域的重心点坐标O(xg,yg)以及轮廓拟合边线的一般表达式li：aixi+biyi+ci＝0，其中i＝1,2,3,…,n；(xi,yi)表示位于第i条拟合边线上的像素点坐标，ai,bi,ci为第i条拟合边的一般式直线方程参数，且有以重心点O为圆心，重心点到多条边框线的最短距离d＝min{di},为半径在图像面目标物投射区域轮廓内作圆，计算圆面积ag＝πd2；
S202：将机器人调整到期望位姿下对目标物成图，并根据步骤S201中所述方法得到目标物期望图像的重心坐标和内切圆面积，记作和据此构建期望混合矩和机器人任意位姿下对目标物成图的实时混合矩s＝[βxg/f,βyg/f,β]，其中f为相机焦距，
3.根据权利要求2所述的基于图像混合矩的视觉伺服控制方法，其特征在于，所述的步骤S201中，计算重心坐标O(xg,yg)的方法为：
<mrow>
<msub>
<mi>x</mi>
<mi>g</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&Integral;</mo>
<msub>
<mo>&Integral;</mo>
<mi>&Omega;</mi>
</msub>
<mi>x</mi>
<mo>&CenterDot;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>x</mi>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mrow>
<mo>&Integral;</mo>
<msub>
<mo>&Integral;</mo>
<mi>&Omega;</mi>
</msub>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>x</mi>
<mi>d</mi>
<mi>y</mi>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>g</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&Integral;</mo>
<msub>
<mo>&Integral;</mo>
<mi>&Omega;</mi>
</msub>
<mi>y</mi>
<mo>&CenterDot;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>x</mi>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mrow>
<mo>&Integral;</mo>
<msub>
<mo>&Integral;</mo>
<mi>&Omega;</mi>
</msub>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>x</mi>
<mi>d</mi>
<mi>y</mi>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中，Ω为目标在相机中的成像区域，(x,y)为Ω中的像素点坐标，f(x,y)为(x,y)像素坐标处的灰度值。
4.根据权利要求3中所述的基于图像混合矩的机器人视觉伺服控制方法，其特征在于，所述步骤S3中与混合矩相关的雅克比矩阵计算方法为：
S401：根据步骤S201中获得的重心坐标O(xg,yg)特征和轮廓内圆面积ag特征，构建相关的图像雅克比矩阵
S402：根据混合矩特征s＝[βxg/f,βyg/f,β]，则有图像雅克比矩阵
<mrow>
<msub>
<mi>L</mi>
<mrow>
<msub>
<mi>&beta;x</mi>
<mi>g</mi>
</msub>
<mo>/</mo>
<mi>f</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<mi>g</mi>
</msub>
<msub>
<mi>L</mi>
<mi>&beta;</mi>
</msub>
<mo>/</mo>
<mi>f</mi>
<mo>+</mo>
<msub>
<mi>&beta;L</mi>
<msub>
<mi>x</mi>
<mi>g</mi>
</msub>
</msub>
<mo>/</mo>
<mi>f</mi>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<msub>
<mi>&beta;y</mi>
<mi>g</mi>
</msub>
<mo>/</mo>
<mi>f</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<mi>g</mi>
</msub>
<msub>
<mi>L</mi>
<mi>&beta;</mi>
</msub>
<mo>/</mo>
<mi>f</mi>
<mo>+</mo>
<msub>
<mi>&beta;L</mi>
<msub>
<mi>y</mi>
<mi>g</mi>
</msub>
</msub>
<mo>/</mo>
<mi>f</mi>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>L</mi>
<mi>&beta;</mi>
</msub>
<mo>=</mo>
<mo>-</mo>
<msubsup>
<mi>a</mi>
<mi>g</mi>
<mo>*</mo>
</msubsup>
<msub>
<mi>L</mi>
<msub>
<mi>a</mi>
<mi>g</mi>
</msub>
</msub>
<mo>/</mo>
<msubsup>
<mi>a</mi>
<mi>g</mi>
<mn>2</mn>
</msubsup>
<mo>,</mo>
</mrow>
因此有
5.根据权利要求4中所述的基于图像混合矩的机器人视觉伺服控制方法，其特征在于，根据步骤S202中构建的混合矩和步骤S402中推导的雅克比矩阵，通过视觉伺服控制器计算机器人末端相机的运动速度vcamera用于指导机器人的瞬时运动，其中λ为控制器增益，为Ls的广义逆矩阵。
6.根据权利要求1-5中任一所述的基于图像混合矩特征的机器人视觉伺服控制方法，其特征在于，所述的眼在手机器人包括设有多个机械臂和用于连接机械臂的关节的机器人、工业相机、运动控制单元和图像处理单元，其中所述的机器人末端安装工业相机，所述的运动控制单元将机器人末端位移速度和方向指令映射到各个关节的旋转速度和角度，所述的图像处理单元用于计算图像中目标的重心坐标和最小内切圆面积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711345292.2A CN107901041B (zh) | 2017-12-15 | 2017-12-15 | 一种基于图像混合矩的机器人视觉伺服控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711345292.2A CN107901041B (zh) | 2017-12-15 | 2017-12-15 | 一种基于图像混合矩的机器人视觉伺服控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107901041A true CN107901041A (zh) | 2018-04-13 |
| CN107901041B CN107901041B (zh) | 2021-06-15 |
Family
ID=61868942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711345292.2A Active CN107901041B (zh) | 2017-12-15 | 2017-12-15 | 一种基于图像混合矩的机器人视觉伺服控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107901041B (zh) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108621167A (zh) * | 2018-07-23 | 2018-10-09 | 中南大学 | 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法 |
| CN108628310A (zh) * | 2018-04-27 | 2018-10-09 | 华中科技大学 | 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 |
| CN108717262A (zh) * | 2018-05-14 | 2018-10-30 | 湖南大学 | 一种基于矩特征学习神经网络的异形曲面跟踪方法及系统 |
| CN108858202A (zh) * | 2018-08-16 | 2018-11-23 | 中国科学院自动化研究所 | 基于“对准-趋近-抓取”的零件抓取装置的控制方法 |
| CN108927807A (zh) * | 2018-08-14 | 2018-12-04 | 河南工程学院 | 一种基于点特征的机器人视觉控制方法 |
| CN108955525A (zh) * | 2018-07-26 | 2018-12-07 | 广东工业大学 | 透视投影式机器学习图像数据标注系统及方法 |
| CN109015633A (zh) * | 2018-07-12 | 2018-12-18 | 深圳市寒武纪智能科技有限公司 | 一种视觉伺服跟踪方法、装置及系统 |
| CN109048911A (zh) * | 2018-08-31 | 2018-12-21 | 河南工程学院 | 一种基于矩形特征的机器人视觉控制方法 |
| CN109146957A (zh) * | 2018-08-14 | 2019-01-04 | 河南工程学院 | 一种基于三角形特征的机器人视觉控制方法 |
| CN109227540A (zh) * | 2018-09-28 | 2019-01-18 | 深圳蓝胖子机器人有限公司 | 一种机器人控制方法、机器人及计算机可读存储介质 |
| CN109614939A (zh) * | 2018-12-13 | 2019-04-12 | 四川长虹电器股份有限公司 | 基于人体姿态估计的“玩手机”行为检测识别方法 |
| CN109848984A (zh) * | 2018-12-29 | 2019-06-07 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于svm和比例控制的视觉伺服方法 |
| CN109848987A (zh) * | 2019-01-22 | 2019-06-07 | 天津大学 | 一种并联机器人视觉伺服控制方法 |
| CN109901398A (zh) * | 2019-03-27 | 2019-06-18 | 湖南师范大学 | 一种非线性系统冲激响应的峰值上限估算方法 |
| CN110000795A (zh) * | 2019-05-15 | 2019-07-12 | 苏州市职业大学 | 一种视觉伺服控制的方法、系统及设备 |
| CN110039542A (zh) * | 2019-06-13 | 2019-07-23 | 东北大学 | 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统 |
| CN110516618A (zh) * | 2019-08-29 | 2019-11-29 | 苏州大学 | 装配机器人及基于视觉和力位混合控制的装配方法和系统 |
| CN110883770A (zh) * | 2019-05-08 | 2020-03-17 | 丁亚东 | 一种基于位置和图像的机器人混合视觉伺服控制方法 |
| CN111152226A (zh) * | 2020-01-19 | 2020-05-15 | 吉利汽车研究院（宁波）有限公司 | 一种机器人工作轨迹规划方法及系统 |
| CN111432178A (zh) * | 2020-04-23 | 2020-07-17 | 中国科学院自动化研究所 | 基于嵌入式处理的分布式视觉伺服反馈控制系统 |
| CN111496776A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社安川电机 | 机器人系统、机器人控制方法、机器人控制器及记录介质 |
| CN111553239A (zh) * | 2020-04-23 | 2020-08-18 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN112629520A (zh) * | 2020-11-25 | 2021-04-09 | 北京集光通达科技股份有限公司 | 一种机器人导航与定位方法、系统、设备及存储介质 |
| CN112847362A (zh) * | 2021-01-05 | 2021-05-28 | 江汉大学 | 一种基于图像矩的搬运机器人视觉伺服控制方法 |
| CN112947569A (zh) * | 2021-03-09 | 2021-06-11 | 中南大学 | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 |
| CN113103215A (zh) * | 2021-04-14 | 2021-07-13 | 深圳汇控智能技术有限公司 | 一种机器人视觉飞拍的运动控制方法 |
| CN113211433A (zh) * | 2021-04-21 | 2021-08-06 | 山东科技大学 | 一种基于复合特征的分离式视觉伺服控制方法 |
| CN113492404A (zh) * | 2021-04-21 | 2021-10-12 | 北京科技大学 | 一种基于机器视觉的仿人机器人动作映射控制方法 |
| WO2022143626A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳市优必选科技股份有限公司 | 移动机器人控制方法、计算机实现的存储介质和移动机器人 |
| CN115200572A (zh) * | 2022-09-19 | 2022-10-18 | 季华实验室 | 三维点云地图构建方法、装置、电子设备及存储介质 |
| CN115446836A (zh) * | 2022-09-17 | 2022-12-09 | 上海交通大学 | 一种基于多种图像特征信息混合的视觉伺服方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101819782A (zh) * | 2010-03-10 | 2010-09-01 | 重庆邮电大学 | 一种变步长自适应盲源分离方法及盲源分离系统 |
| US20120158179A1 (en) * | 2010-12-20 | 2012-06-21 | Kabushiki Kaisha Toshiba | Robot control apparatus |
| WO2013183190A1 (ja) * | 2012-06-04 | 2013-12-12 | 株式会社安川電機 | ロボットシステム、ロボット制御装置、及びロボットシステムの制御方法 |
| CN104808490A (zh) * | 2015-03-10 | 2015-07-29 | 浙江工业大学 | 一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法 |
| CN104898421A (zh) * | 2015-05-05 | 2015-09-09 | 上海大学 | 基于支持向量回归机学习的无标定手眼协调模糊控制方法 |
| CN105382843A (zh) * | 2015-11-30 | 2016-03-09 | 北京控制工程研究所 | 一种抓捕末阶段机械臂与操作平台协调控制方法 |
| CN106737774A (zh) * | 2017-02-23 | 2017-05-31 | 天津商业大学 | 一种无标定机械臂视觉伺服控制装置 |
-
2017
- 2017-12-15 CN CN201711345292.2A patent/CN107901041B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101819782A (zh) * | 2010-03-10 | 2010-09-01 | 重庆邮电大学 | 一种变步长自适应盲源分离方法及盲源分离系统 |
| US20120158179A1 (en) * | 2010-12-20 | 2012-06-21 | Kabushiki Kaisha Toshiba | Robot control apparatus |
| WO2013183190A1 (ja) * | 2012-06-04 | 2013-12-12 | 株式会社安川電機 | ロボットシステム、ロボット制御装置、及びロボットシステムの制御方法 |
| CN104808490A (zh) * | 2015-03-10 | 2015-07-29 | 浙江工业大学 | 一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法 |
| CN104898421A (zh) * | 2015-05-05 | 2015-09-09 | 上海大学 | 基于支持向量回归机学习的无标定手眼协调模糊控制方法 |
| CN105382843A (zh) * | 2015-11-30 | 2016-03-09 | 北京控制工程研究所 | 一种抓捕末阶段机械臂与操作平台协调控制方法 |
| CN106737774A (zh) * | 2017-02-23 | 2017-05-31 | 天津商业大学 | 一种无标定机械臂视觉伺服控制装置 |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628310A (zh) * | 2018-04-27 | 2018-10-09 | 华中科技大学 | 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 |
| CN108717262B (zh) * | 2018-05-14 | 2020-10-02 | 湖南大学 | 一种基于矩特征学习神经网络的异形曲面跟踪方法及系统 |
| CN108717262A (zh) * | 2018-05-14 | 2018-10-30 | 湖南大学 | 一种基于矩特征学习神经网络的异形曲面跟踪方法及系统 |
| CN109015633A (zh) * | 2018-07-12 | 2018-12-18 | 深圳市寒武纪智能科技有限公司 | 一种视觉伺服跟踪方法、装置及系统 |
| CN108621167A (zh) * | 2018-07-23 | 2018-10-09 | 中南大学 | 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法 |
| CN108955525A (zh) * | 2018-07-26 | 2018-12-07 | 广东工业大学 | 透视投影式机器学习图像数据标注系统及方法 |
| CN108955525B (zh) * | 2018-07-26 | 2024-04-09 | 广东工业大学 | 透视投影式机器学习图像数据标注系统及方法 |
| CN108927807A (zh) * | 2018-08-14 | 2018-12-04 | 河南工程学院 | 一种基于点特征的机器人视觉控制方法 |
| CN109146957A (zh) * | 2018-08-14 | 2019-01-04 | 河南工程学院 | 一种基于三角形特征的机器人视觉控制方法 |
| CN109146957B (zh) * | 2018-08-14 | 2020-09-25 | 河南工程学院 | 一种基于三角形特征的机器人视觉控制方法 |
| CN108927807B (zh) * | 2018-08-14 | 2020-08-07 | 河南工程学院 | 一种基于点特征的机器人视觉控制方法 |
| CN108858202B (zh) * | 2018-08-16 | 2020-11-10 | 中国科学院自动化研究所 | 基于“对准-趋近-抓取”的零件抓取装置的控制方法 |
| CN108858202A (zh) * | 2018-08-16 | 2018-11-23 | 中国科学院自动化研究所 | 基于“对准-趋近-抓取”的零件抓取装置的控制方法 |
| CN109048911A (zh) * | 2018-08-31 | 2018-12-21 | 河南工程学院 | 一种基于矩形特征的机器人视觉控制方法 |
| CN109048911B (zh) * | 2018-08-31 | 2021-08-24 | 河南工程学院 | 一种基于矩形特征的机器人视觉控制方法 |
| CN109227540A (zh) * | 2018-09-28 | 2019-01-18 | 深圳蓝胖子机器人有限公司 | 一种机器人控制方法、机器人及计算机可读存储介质 |
| CN109614939B (zh) * | 2018-12-13 | 2022-03-18 | 四川长虹电器股份有限公司 | 基于人体姿态估计的“玩手机”行为检测识别方法 |
| CN109614939A (zh) * | 2018-12-13 | 2019-04-12 | 四川长虹电器股份有限公司 | 基于人体姿态估计的“玩手机”行为检测识别方法 |
| CN109848984A (zh) * | 2018-12-29 | 2019-06-07 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于svm和比例控制的视觉伺服方法 |
| CN109848987A (zh) * | 2019-01-22 | 2019-06-07 | 天津大学 | 一种并联机器人视觉伺服控制方法 |
| CN111496776A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社安川电机 | 机器人系统、机器人控制方法、机器人控制器及记录介质 |
| CN109901398A (zh) * | 2019-03-27 | 2019-06-18 | 湖南师范大学 | 一种非线性系统冲激响应的峰值上限估算方法 |
| CN110883770A (zh) * | 2019-05-08 | 2020-03-17 | 丁亚东 | 一种基于位置和图像的机器人混合视觉伺服控制方法 |
| CN110000795A (zh) * | 2019-05-15 | 2019-07-12 | 苏州市职业大学 | 一种视觉伺服控制的方法、系统及设备 |
| CN110039542A (zh) * | 2019-06-13 | 2019-07-23 | 东北大学 | 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统 |
| CN110516618A (zh) * | 2019-08-29 | 2019-11-29 | 苏州大学 | 装配机器人及基于视觉和力位混合控制的装配方法和系统 |
| CN111152226A (zh) * | 2020-01-19 | 2020-05-15 | 吉利汽车研究院（宁波）有限公司 | 一种机器人工作轨迹规划方法及系统 |
| CN111152226B (zh) * | 2020-01-19 | 2021-09-07 | 吉利汽车研究院（宁波）有限公司 | 一种机器人工作轨迹规划方法及系统 |
| CN111553239A (zh) * | 2020-04-23 | 2020-08-18 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN111432178A (zh) * | 2020-04-23 | 2020-07-17 | 中国科学院自动化研究所 | 基于嵌入式处理的分布式视觉伺服反馈控制系统 |
| CN111553239B (zh) * | 2020-04-23 | 2023-04-28 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN112629520A (zh) * | 2020-11-25 | 2021-04-09 | 北京集光通达科技股份有限公司 | 一种机器人导航与定位方法、系统、设备及存储介质 |
| CN115210670A (zh) * | 2020-12-31 | 2022-10-18 | 深圳市优必选科技股份有限公司 | 移动机器人控制方法、计算机实现的存储介质和移动机器人 |
| WO2022143626A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳市优必选科技股份有限公司 | 移动机器人控制方法、计算机实现的存储介质和移动机器人 |
| CN112847362A (zh) * | 2021-01-05 | 2021-05-28 | 江汉大学 | 一种基于图像矩的搬运机器人视觉伺服控制方法 |
| CN112947569A (zh) * | 2021-03-09 | 2021-06-11 | 中南大学 | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 |
| CN112947569B (zh) * | 2021-03-09 | 2022-08-12 | 中南大学 | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 |
| CN113103215A (zh) * | 2021-04-14 | 2021-07-13 | 深圳汇控智能技术有限公司 | 一种机器人视觉飞拍的运动控制方法 |
| CN113211433B (zh) * | 2021-04-21 | 2022-09-20 | 山东科技大学 | 一种基于复合特征的分离式视觉伺服控制方法 |
| CN113492404B (zh) * | 2021-04-21 | 2022-09-30 | 北京科技大学 | 一种基于机器视觉的仿人机器人动作映射控制方法 |
| CN113492404A (zh) * | 2021-04-21 | 2021-10-12 | 北京科技大学 | 一种基于机器视觉的仿人机器人动作映射控制方法 |
| CN113211433A (zh) * | 2021-04-21 | 2021-08-06 | 山东科技大学 | 一种基于复合特征的分离式视觉伺服控制方法 |
| CN115446836A (zh) * | 2022-09-17 | 2022-12-09 | 上海交通大学 | 一种基于多种图像特征信息混合的视觉伺服方法 |
| CN115446836B (zh) * | 2022-09-17 | 2023-09-12 | 上海交通大学 | 一种基于多种图像特征信息混合的视觉伺服方法 |
| CN115200572A (zh) * | 2022-09-19 | 2022-10-18 | 季华实验室 | 三维点云地图构建方法、装置、电子设备及存储介质 |
| CN115200572B (zh) * | 2022-09-19 | 2022-12-09 | 季华实验室 | 三维点云地图构建方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107901041B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107901041B (zh) | 一种基于图像混合矩的机器人视觉伺服控制方法 | |
| CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN109202912B (zh) | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 | |
| CN109719438B (zh) | 一种工业焊接机器人焊缝自动跟踪方法 | |
| WO2017113219A1 (zh) | 折弯跟随轨迹规划方法、装置及系统 | |
| CN108621167B (zh) | 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法 | |
| CN107300100B (zh) | 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法 | |
| CN110900611A (zh) | 一种新型机械臂目标定位及路径规划方法 | |
| CN105856231B (zh) | 一种特定构型六轴工业机器人的运动控制方法 | |
| CN107253191B (zh) | 一种双机械臂系统及其协调控制方法 | |
| CN114378827B (zh) | 一种基于移动机械臂整体控制的动态目标跟踪抓取方法 | |
| Li et al. | A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator | |
| CN109333534A (zh) | 预规划的实时步态控制算法 | |
| CN111515928B (zh) | 机械臂运动控制系统 | |
| CN109794382A (zh) | 一种3d微涂覆机器人及其涂覆方法 | |
| CN109900251A (zh) | 一种基于视觉技术的机器人定位装置及方法 | |
| CN113172632A (zh) | 一种基于图像的简化机器人视觉伺服控制方法 | |
| CN114800491A (zh) | 一种冗余机械臂零空间避障规划方法 | |
| CN109693235B (zh) | 一种仿人眼视觉跟踪装置及其控制方法 | |
| CN110928311A (zh) | 一种基于全景相机下直线特征的室内移动机器人导航方法 | |
| CN112847362B (zh) | 一种基于图像矩的搬运机器人视觉伺服控制方法 | |
| Srivastava et al. | Range estimation and visual servoing of a dynamic target using a monocular camera | |
| Cong | Combination of two visual servoing techniques in contour following task | |
| Ranjan et al. | Identification and control of NAO humanoid robot to grasp an object using monocular vision | |
| CN115256399A (zh) | 一种用于移动机械臂的低自由度目标搜寻及到达控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |