CN115082518B - 视觉伺服的在线轨迹生成系统及其方法 - Google Patents
视觉伺服的在线轨迹生成系统及其方法 Download PDFInfo
- Publication number
- CN115082518B CN115082518B CN202210596705.9A CN202210596705A CN115082518B CN 115082518 B CN115082518 B CN 115082518B CN 202210596705 A CN202210596705 A CN 202210596705A CN 115082518 B CN115082518 B CN 115082518B
- Authority
- CN
- China
- Prior art keywords
- module
- motion
- target object
- camera
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims abstract description 164
- 238000010276 construction Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 27
- 230000000875 corresponding effect Effects 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 10
- 230000001276 controlling effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 9
- 238000009776 industrial production Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 230000036461 convulsion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种视觉伺服的在线轨迹生成系统及其方法。该系统包括相互连接的视觉伺服模块和运动控制模块；视觉伺服模块包括依次连接的特征构造模块、控制率计算模块、预处理模块；预处理模块包括依次连接的齐次变换矩阵层、雅可比转换层；齐次变换矩阵层连接特征构造模块；雅可比转换层连接运动控制模块；运动控制模块包括运动段重载模块、运动参数重载模块、在线轨迹生成模块；运动段重载模块、运动参数重载模块分别连接雅可比转换层；运动段重载模块、运动参数重载模块分别连接在线轨迹生成模块。本发明相比现有技术具有实时性强、通用性好、开发成本低的特点，能满足多种工业生产场景。
Description
技术领域
本发明属于装备控制系统的技术领域，具体涉及一种视觉伺服的在线轨迹生成系统及其方法。
背景技术
装备控制系统是工业设备的大脑，机器视觉已经成为其中不可或缺的技术之一。新一代装备控制系统需要把运动控制和机器视觉有机集成，以满足工业装备智能化的需求。目前，集成运动控制和机器视觉的现有技术，提供的开发接口以算法库的形式，开发过程需要大量的手工编程经验。
视觉伺服应用属于集成运动控制和机器视觉的一类平台。视觉伺服应用主要面向传统的专用机器人控制系统，在运动控制系统底层的运动控制层内，现有技术没有专门针对视觉伺服应用的在线轨迹生成设计，这导致视觉伺服算法和底层运动控制的兼容性和实时性较差，视觉伺服应用的性能难以预测。
现有技术中视觉伺服的方法有三维和二维两大类。在三维上，通过给定的输入信号并使用特定的视觉信息重构周围环境三维模型，在笛卡尔空间中以位置和姿态差值信息作为误差特征提供给视觉伺服控制器，通过雅可比矩阵计算得到相机的空间速度，再通过机器人雅可比转换为关节速度作为控制量来驱动机械臂进行相应的运动。但是，这种方法对相机参数标定、深度信息估计、机器人模型参数和3D模型参数的要求较高，容易受到参数扰动的影响，鲁棒性较低，且特征点在图像平面的运动轨迹不可控。在二维上，通过给定的图像特征和当前图像特征信息之差作为误差特征，根据图像雅可比矩阵计算相机空间速度，再利用机器人雅可比得到关节速度作为控制量驱动机械臂进行相应的运动。但是，这样虽然误差特征定义在图像平面不需要物体3D模型，但是容易陷入局部奇异点和相机撤退的问题，在某些初始配置不理想，容易出现噪声导致图像特征点脱离相机视野。
此外，现有技术中，基于位置的视觉伺服方法和基于图像的视觉伺服方案，由于视觉硬件的约束，其控制量输出的周期和底层关节控制器动作周期通常不在一个层面上，导致运动控制和机器视觉的实时性差、交互机制复杂。
发明内容
为了克服现有技术存在的一个或者多个缺陷与不足，本发明目的第一目的在于提供一种视觉伺服的在线轨迹生成系统，本发明的第二目的在于提供一种视觉伺服的在线轨迹生成方法，用以改进现有视觉伺服技术在实时性、通用性上的缺陷。
为了达到上述目的，本发明采用以下的技术方案。
一种视觉伺服的在线轨迹生成系统，包括相互连接的视觉伺服模块和运动控制模块；
视觉伺服模块包括依次连接的特征构造模块、控制率计算模块、预处理模块；
特征构造模块用于采集目标物体的图像、提取目标物体的位置和姿态信息、执行跟踪目标物体的装置；
控制率计算模块用于对位置和姿态信息进行处理得到特征构造模块所跟踪目标物体的空间速度；
预处理模块包括依次连接的齐次变换矩阵层、雅可比转换层；
齐次变换矩阵层连接特征构造模块，用于将特征构造模块跟踪目标物体的空间速度从当前自身的坐标系转换到世界坐标系上进行表达；
雅可比转换层连接运动控制模块，用于把转换到世界坐标系的空间速度进行处理得到对应的目标关节速度；
运动控制模块包括运动段重载模块、运动参数重载模块、在线轨迹生成模块；
运动段重载模块、运动参数重载模块分别连接雅可比转换层；
运动段重载模块用于接收目标关节速度并对应更新特征构造模块中执行跟踪目标物体的装置的运动段参数；
运动参数重载模块用于接收目标关节速度并对应更新特征构造模块中执行跟踪目标物体的装置的运动参数；
运动段重载模块、运动参数重载模块分别连接在线轨迹生成模块；
在线轨迹生成模块用于根据运动段参数和运动参数生成控制特征构造模块跟踪目标物体任务的装置的轨迹。
优选地，特征构造模块包括相机、机械臂、特征构造层；
相机设于机械臂末端，机械臂用于带动相机运动跟踪目标物体，相机用于拍摄目标物体的图像；机械臂和相机组成特征构造模块执行跟踪目标物体的装置；
特征构造层分别与相机、控制率计算模块连接；特征构造层用于从图像中获取目标物体的位置和姿态信息。
进一步地，运动控制模块还包括电机驱动模块；
电机驱动模块与机械臂电性连接；
电机驱动模块包括驱动器；机械臂内设有电机；
驱动器与机械臂的电极电性连接、与在线轨迹生成模块连接；
驱动器用于根据在线轨迹生成模块生成的轨迹控制机械臂做出相应的动作。
进一步地，控制率计算模块包括相互连接的雅可比矩阵伪逆层、误差控制增益层；
雅可比矩阵伪逆层与特征构造层连接，用于将相机及机械臂的标定参数、目标物体的深度信息以矩阵的形式进行表示；
误差控制增益层连接齐次变换矩阵层，用于对位置和姿态信息进行处理得到相机的空间速度。
优选地，齐次变换矩阵层的处理公式如下：
其中，Wst为饱和约束向量，相机空间速度为Vc，空间速度Vc所对应的最大平移速度VT和最大旋转速度Vr，相机空间速度Vc在各维度上的平移速度不能超过VT、旋转速度均不能超过Vr，平移速度设置有最大速度上限如下式：
其中，F为方向因子，F＝[-1,1]；
为速度转换矩阵；/>为相机坐标系相对世界坐标系的逆雅可比矩阵，VT和Vr为相机空间速度Vc所对应的最大平移速度和最大旋转速度；Wsg为奇异向量处理，若当前空间的相机位置和姿态处于奇异点，则Wsg＝0，否则为1；Wsf为笛卡尔空间预测，用于计算在相机空间速度Vc下相机末端可能到达的位置和姿态，计算公式如下：
Wsf＝exp(Vc)
其中，Δt为时间间隔，为相机空间速度Vc对应的空间位移，exp(Vc)代表相机空间速度Vc的指数映射函数，Mc(t+Δt)为相机的位置变化在齐次变换矩阵中的表现形式。
优选地，在线轨迹生成模块包括依次连接的在线轨迹生成算法、时隙分析层；
在线轨迹生成算法分别从运动段重载模块、运动参数重载模块获取运动段参数、运动参数，用于生成控制特征构造模块跟踪目标物体任务的轨迹，并根据轨迹；
时隙分析层用于将在线轨迹生成算法生成轨迹的周期与特征构造模块跟踪目标物体任务的装置的动作周期进行同步。
进一步地，在线轨迹生成算法根据时间最优轨迹的方式进行计算。
一种视觉伺服的在线轨迹生成方法，包括前述任一项的视觉伺服的在线轨迹生成系统，步骤如下：
采集所跟踪的目标物体图像，提取目标物体的位置和姿态信息，然后对位置和姿态信息进行处理，得到执行跟踪目标物体的装置的空间速度；
对所跟踪目标物体的装置的空间速度进行预处理，得到执行跟踪目标物体的装置对应的目标关节速度；
利用目标关节速度更新执行跟踪目标物体的装置的运动段参数、运动参数；
根据运动段参数、运动参数，使用生成在线轨迹生成算法生成执行跟踪目标物体的装置所需的轨迹，执行跟踪目标物体的装置根据该轨迹进行动作。
优选地，对所跟踪目标物体的空间速度进行预处理包括对执行跟踪目标物体的装置的空间速度进行齐次变换，再接着进行雅可比转换。
优选地，使用生成在线轨迹生成算法包括计算机械臂单轴运动最短时间、协同决策确定机械臂多轴最短同步时间、重规划得到当前机械臂各轴在下个动作周期的运动量。
本发明技术方案与现有技术相比，具有如下有益效果：
本发明避免了现有技术中的视觉硬件由于存在时延问题导致的在非实时环境下计算的控制信号在进入底层关节控制器前难以同步的问题，提升视觉伺服系统的稳定性和实时响应性。在线轨迹生成模块具有通用性，可在面向工业机器人的视觉伺服应用需求进行软件上的二次开发，通用性强。在线轨迹生成模块通过时隙分析层提升整个系统的同步性能。避免现有技术将视觉伺服控制算法部署在机器人自身的控制系统内使用专有运动控制库的方式，实现多种类型机器人的通用开发。通过重载更新运动段参数和运动参数，对非实时环境的信息进行动态重载和访问，实现了强通用性的开发方式，适应了灵活生产的需求。采用时隙分析和时间最优轨迹的结合，相比现有技术的复杂算法更容易满足工业实时性的需求。
附图说明
图1为本发明其中一种视觉伺服的在线轨迹生成系统的总体结构框架示意图；
图2为图1中时隙分析层的实时同步原理示意图；
图3为本发明的视觉伺服的在线轨迹生成方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及其优点更加清楚明白，以下结合附图及其实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例的视觉伺服的在线轨迹生成系统，包括视觉伺服模块和运动控制模块，视觉伺服模块和运动控制模块连接进行数据传输。视觉伺服模块用于采集相机的图像、计算处理相机的相关运动参数。运动控制模块用于根据视觉伺服模块所给到的相机的相关运动参数进行轨迹生成、根据生成的轨迹发出控制相机运动的驱动信号。
视觉伺服模块处于非实时环境下，其结构总体基于下式的经典视觉伺服原理对相机的运动方式进行设计：
e＝s-s*
其中，e代表特征误差，λ代表增益系数，代表误差雅可比的伪逆估计矩阵，Vc代表相机的空间速度，s代表相机当前时刻采集到的图像空间特征，s*代表相机上一时刻采集到的图像空间特征。每次迭代计算得到Vc的周期约等于相机采集图像周期，特征误差e可定义在图像空间或笛卡尔空间。
视觉伺服模块包括特征构造模块、控制率计算模块、预处理模块。特征构造模块、控制率计算模块、预处理模块中，除了特征构造模块中用于采集图像的相机或其他摄像设备外，其余部分均以计算机程序的形式集成在工业计算机内的存储介质。
特征构造模块包括用于采集目标物体图像且的相机、用于处理目标物体图像的特征构造层、用于带动相机运动的机械臂。机械臂的各关节分布有电机及相应的轴。相机将所采集到的图像输入到处理目标物体图像的特征构造层中。机械臂与相机连接，用于在相机跟踪目标物体的过程中进行制动。特征构造层用于生成相机的移动轨迹。
特征构造模块采用相机手眼(eye-in-hand)配置方式，相机固定安装在机械臂末端，用于采集目标物体在空间中运动的图像并跟踪目标物体，本实施例进行实验验证的跟踪目标物体为一种基于二维码制作而成的鲁棒视觉基准图像。
特征构造层用于对相机获取到的包含目标物体的图像，首先基于像素梯度原理对像素进行集群从而检测出目标物体的线段；接着基于递归深度优先原理检测出封闭四边形；再接着基于直线线性变化原理(DLT)将封闭四边形变换，计算得到单应性矩阵；最后基于单应性矩阵和编码系统得到准确的目标物体相对相机的位置和姿态信息，并将这些位置和姿态信息传输到控制率计算模块中。
控制率计算模块用于对特征构造模块传来的位置和姿态信息进行处理，得到相机的空间速度Vc。
控制率计算模块包括雅可比矩阵伪逆层、误差控制增益层。
雅可比矩阵伪逆层由相机及机械臂的标定参数、目标物体的深度信息构成。相机及机械臂的标定参数通过传统的张正友标定法获取，目标物体的深度信息通过传统的PNP算法获取。PNP算法用于将图像空间的特征运动速度映射到笛卡尔空间的相机运动中。雅可比矩阵伪逆层用于将相机及机械臂的标定参数、目标物体的深度信息以矩阵的形式进行表示。误差控制增益层基于误差指数下降的原理设计，用于控制图像空间特征的变化，从前后两个时刻的雅可比矩阵伪逆层的矩阵差异得到相机的空间速度Vc。
控制率计算模块的输出为相机空间速度Vc，空间速度Vc是一个六维向量组，Vc＝(Vx,Vy,Vz,Va,Vb,Vd)，其中Vx,Vy,Vz,Va,Vb,Vd分别代表此刻相机相对当前相机坐标系上的六维速度向量，其包含的运动信息为单位时间内相机相对当前相机坐标系的位置和姿态的变化量。由于直接使用相机空间速度Vc，会在实时性上引起差异，所以控制率计算模块需要将相机空间速度Vc传输到预处理模块。
预处理模块用于将相机空间速度Vc转换为机械臂的各个关节在当前迭代周期下的目标关节速度qi，然后将目标关节速度qi传输到运动控制模块中。
预处理模块需要基于机器人运动学算法、关节空间位置约束、笛卡尔空间位置约束和速度约束的需求对转换过程进行处理。
预处理模块包括齐次变换矩阵层和雅可比转换层。齐次变换矩阵层用于将相机空间速度Vc在当前相机坐标系转换到世界坐标系上进行表达。雅可比转换层用于将转换到世界坐标系的空间速度Vc进行处理，得到对应的目标关节速度qi，然后将目标的关节速度qi发送到运动控制模块中。
齐次变换矩阵层进行处理的方式为：饱和约束向量处理，即在当前迭代周期计算的空间速度Vc超出了预期设定的阈值Vmax时，将当前的Vc设置为Vmax；速度转换处理，即将Vc转换到世界坐标系上进行表达。相机空间速度Vc计算的是相机坐标系相对当前相机坐标系的空间速度，需要将其转换到相机坐标系相对于世界坐标系的空间速度，再基于LU分解法和运动学微分方程，将相机空间速度Vc转换为目标关节速度qi；
齐次变换矩阵层进行处理的公式总结如下式：
其中，Wst为饱和约束向量，其存储着相机空间速度Vc所对应的最大平移速度VT和最大旋转速度Vr，相机空间速度Vc在各维度上的平移速度不能超过VT、旋转速度均不能超过Vr，预处理模块为平移速度设置有最大速度上限如下式：
其中，F为方向因子，F＝[-1,1]；
为速度转换矩阵；/>为相机坐标系相对世界坐标系的逆雅可比矩阵，VT和Vr为相机空间速度Vc所对应的最大平移速度和最大旋转速度；Wsg为奇异向量处理，如果当前空间相机的位置和姿态处于奇异点，则Wsg＝0，否则为1；Wsf为笛卡尔空间预测，用于计算在相机空间速度Vc下相机末端可能到达的位置和姿态，如果超过工作空间，机器人将停止运动，其计算方式如下式：
Wsf＝exp(Vc)
其中，Δt为时间间隔，为相机空间速度Vc对应的空间位移，exp(Vc)代表相机空间速度Vc的指数映射函数，其物理意义为速度在短时间内积分所对应的位置变化，Mc(t+Δt)为相机的位置变化在齐次变换矩阵中的表现形式。
完成变换后在结果输入雅可比转换层进行处理，得到机械臂的目标关节速度qi。雅可比转换层进行处理的方式为：将在世界坐标系上的相机速度转换为各个关节的速度、奇异点处理和限位预测处理，即分别在关节空间和笛卡尔空间判断运动情况是否存在病态，如果是，则将关节速度设置为0，否则将运动信息传输到运动控制模块进行下一步处理。
运动控制模块处于实时环境中，是运动控制程序中在线轨迹生成算法的抽象表达。
运动控制模块包括运动段重载模块、运动参数重载模块、在线轨迹生成模块和电机驱动模块。运动段重载模块、运动参数重载模块、在线轨迹生成模块均以计算机程序的形式与特征构造层、控制率计算模块、预处理模块集成在同一台工业计算机内。
运动段重载模块包括机械臂及相机的当前运动段参数信息，具体包括：当前运动段的各轴的开始速度、目标速度、结束速度、最大加速度、最大减速度、最大加加速度、最大减减速度。运动段重载模块用于设置运动段参数信息并传输到在线估计生成模块中，供后续进行轨迹生成时使用。
运动参数重载模块包括机械臂及相机的当前运动参数信息组成，具体包括：当前笛卡尔空间速度、加速度、加加速度、机械臂中各个电机当前的编码器数值。运动参数重载模块用于设置运动参数信息并传输到在线估计生成模块进行轨迹规划处理。
运动段重载模块、运动参数重载模块分别接受目标关节速度qi，并从中提取自身所包含参数信息的对应部分内容，更新各自的运动段参数信息或运动参数信息。
在线轨迹生成模块包括在线轨迹生成算法、时隙分析层。
在线轨迹生成模块用于接收运动段重载模块传输的运动段参数信息、运动参数重载模块传输的运动参数信息，并根据运动段参数信息、运动参数信息执行在线轨迹生成算法，得到下一个周期机械臂中各个电机轴所对应编码器的期望脉冲数据，并将期望脉冲数据发送到电机驱动模块用于后续具体对电机的运动控制。
在线轨迹生成算法的执行内容包括计算机械臂单轴运动最短时间、协同决策确定机械臂多轴最短同步时间、重规划得到当前机械臂各轴在下个动作周期的运动量。在线轨迹生成算法得到的每个实时周期的运动量都将发送到电机驱动模块中。
设定为预处理模块每次迭代输出的数据，其中/>分别为第i次迭代的初始关节位置、关节速度,/>分别代表第i次迭代的目标关节位置、目标关节速度，/>分别代表第i次迭代的关节最大加速度、最大减速度、最大加加速度、最大减减速度。在线轨迹生成算法根据给定的初始运动状态/>和目标运动状态/>寻找时间最优轨迹，具体公式如下：
其中，Si(t)代表第i次迭代满足时间最小准则，即从当前机械臂各轴关节状态到达下一个周期目标关节状态的规划时间最短，Si(0)和均分别表示边界条件(/>代表的含义见后文对时隙分析层的描述)，即第i次迭代时机械臂各轴的初始运动状态、目标运动状态信息是已知的，Mi(t)代表任意时刻机械臂各轴关节的运动状态信息，/>代表机械臂各轴关节在当前运动段开始生成轨迹前的运动状态信息，/>代表机械臂各轴关节在当前运动段结束生成轨迹后的运动状态信息。
上述轨迹在任何时刻都满足的运动约束如下式：
其中，分别代表第i次迭代关节的最小关节速度、最大关节速度，分别代表第i次迭代关节最大减速度、最大加速度，/>分别代表第i次迭代关节的最大减减速度、最大加加速度，Vi(t)代表当前时刻的关节速度，Ai(t)代表当前时刻的关节加/减速度，Ji(t)代表当前时刻关节的加加/减减速度，Vi(t)、Ai(t)、Ji(t)在规划的任何时刻都不能超出相应的约束限制。在线轨迹生成算法所生成的轨迹为时间最优轨迹，且同时满足运动约束，具备多轴同步的特性。
如图2所示，时隙分析层用于在发送轨迹和机械臂的运动过程之间进行同步，以实现实时控制机械臂及相机运动的动作周期与所发送轨迹生成的周期同步的效果。时隙分析层的机制原理为：经过运动段重载模块和运动参数重载模块的更新参数信息后，时隙分析层根据实时同步的原则，以周期差异为依据规划下一周期的机械臂运动状态；当代表机械臂完成当前的轨迹时，刚好接收到下一个周期视觉伺服模块计算的轨迹；当代表机械臂完成当前的轨迹之后，下一个周期视觉伺服模块仍未生成的轨迹，此时控制机械臂进行等待；当/>代表机械臂还未完成当前的轨迹之前，下一个周期视觉伺服模块已经生成轨迹，此时控制在线轨迹生成模块等待机械臂完成上一个周期的动作后再发出轨迹。
电机驱动模块包括驱动器。驱动器用于接收在线轨迹生成模块的轨迹对应传输的各电机轴编码器的期望脉冲数据并生成相应的脉冲信号，从而驱动机械臂按照脉冲信号做出对应的位置和姿态调整。驱动器发出的脉冲信号具体更具EtherCAT协议进行封装。本实施例优选驱动器为电子硬件。通过让轨迹生成的周期与驱动器发出脉冲信号的周期相匹配，可提升整个系统的实时性能。
本实施例优选电机驱动模块、运动段重载模块、运动参数重载模块内设定有针对当前相机及机械臂在运动段相关的约束信息，例如轴的数量、各轴最大速度、各轴最大加速度、各轴最大加加速度等。运动参数重载模块、运动段重载模块主要对电机当前状态和当前段目标状态信息进行定义，例如各轴当前关节角度、速度和目标关节角度、速度等，当接收到非实时环境下预处理模块下发的目标关节速度qi时，相关的运动参数信息、运动段参数信息将被更新，并通过设定的访问接口与外部进行数据传输、设定的内部接口供其他模块调用。
在本实施例中，优选机械臂采用SCARA机器人，驱动器四台，工业计算机一台，机器人采用RTX64实时操作系统。
本实施例的视觉伺服的在线轨迹生成系统与现有技术相比，其有益效果在于：
在线轨迹生成模块避免了现有技术中的视觉硬件由于存在时延问题导致的在非实时环境下计算的控制信号在进入底层关节控制器前难以同步的问题，提升视觉伺服系统的稳定性和实时响应性。在线轨迹生成模块具有通用性，可在面向工业机器人的视觉伺服应用需求进行软件上的二次开发，且电机驱动模块适用于所有支持EtherCAT工业总线协议的驱动器，通用性强。在线轨迹生成模块通过时隙分析层提升整个系统的同步性能。现有技术通常将视觉伺服控制算法部署在机器人自身的控制系统内，但是专用的机器人控制系统具有不同的运动控制库，使用不用的软件调用接口，难以实现多种类型机器人的通用开发，本实施例则使用处于机器人外部的运动控制模块，通过重载运动段和运动参数对非实时环境的信息进行动态重载和访问，实现了强通用性的开发方式，适应了灵活生产的需求。采用时隙分析和时间最优轨迹的结合，相比现有技术采用简单的滤波的算法或者是T型速度规划的复杂方式，更容易满足工业实时性的需求。
实施例2
如图3所示，本实施例的视觉伺服的在线轨迹生成方法，基于实施例1中的视觉伺服的在线轨迹生成系统执行，具体步骤依次如下：
S1、相机采集当前时刻目标物体的图像，然后提取目标物体的位置和姿态信息，具体过程依次如下：
S11、将目标物体的图像，基于像素梯度原理对像素进行集群从而检测出目标物体的线段；
S12、基于递归深度优先原理从目标物体的线段中检测出封闭四边形，再接着基于直线线性变化原理(DLT)将封闭四边形变换，计算得到单应性矩阵；
S13、基于单应性矩阵和编码系统得到准确的目标物体相对相机的位置和姿态信息；
S2、根据步骤S13得到的位置和姿态信息进行处理得到相机的空间速度Vc，
S3、使用齐次变换矩阵和雅可比转换，将相机空间速度Vc转换为机械臂的各个关节在当前迭代周期下的目标关节速度qi，具体过程如下：
S31、根据下式进行齐次变换：
平移速度设置有最大速度上限如下式：
Wsf计算方式如下式：
Wsf＝exp(Vc)；
S32、在步骤S31得到的变换结果进行雅可比转换，得到机械臂的目标关节速度qi；
S4、在步骤S32得到机械臂各关节的目标关节速度qi后，将目标关节速度qi用于更新机械臂及相机的运动段参数信息和运动参数信息；
S5、使用在线轨迹生成算法处理机械臂及相机的运动段参数信息和运动参数信息，执行计算单轴运动最短时间、协同决策确定多轴最短同步时间、重规划得到当前各轴在下个动作周期的运动量，生成机械臂及相机的运动轨迹，依照轨迹向驱动器发出期望脉冲数据，具体过程依次如下：
S51、设定为步骤S1-S4每次迭代输出的数据；
S52、根据给定的初始运动状态和目标运动状态/>寻找时间最优轨迹，具体公式如下：
S53、在步骤S52得出轨迹后，使用时隙分析机制，将所生成轨迹的周期与发出的期望脉冲数据进行同步，从而保证驱动器执行完当前周期的期望脉冲数据后才会接收到下一个周期的期望脉冲数据；
S6、驱动器根据期望脉冲数据发出脉冲信号，驱动机械臂及相机按照生成的轨迹进行运动。
本实施的视觉伺服的在线轨迹生成方法与现有技术相比，其有益效果在于：
在线轨迹生成的方式，避免了现有技术中的视觉硬件由于存在时延问题导致的在非实时环境下计算的控制信号在进入底层关节控制器前难以同步的问题，提升视觉伺服系统的稳定性和实时响应性；通过时隙分析层提升整个系统的同步性能，相比现有的复杂算法更容易满足工业实时性的需求；通过重载运动段和运动参数对非实时环境的信息进行动态重载和访问，实现了通用的开发方式，适应了灵活生产的需求。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式都包含在本发明的保护范围之内。
Claims (9)
1.一种视觉伺服的在线轨迹生成系统，其特征在于，包括相互连接的视觉伺服模块和运动控制模块；
所述视觉伺服模块包括依次连接的特征构造模块、控制率计算模块、预处理模块；
所述特征构造模块用于采集目标物体的图像、提取目标物体的位置和姿态信息、执行跟踪目标物体的装置；
所述控制率计算模块用于对位置和姿态信息进行处理得到特征构造模块所跟踪目标物体的空间速度；
所述预处理模块包括依次连接的齐次变换矩阵层、雅可比转换层；
所述齐次变换矩阵层连接特征构造模块，用于将特征构造模块跟踪目标物体的空间速度从当前自身的坐标系转换到世界坐标系上进行表达；
齐次变换矩阵层的处理公式如下：
其中，Wst为饱和约束向量，相机空间速度为Vc，空间速度Vc所对应的最大平移速度VT和最大旋转速度Vr，相机空间速度Vc在各维度上的平移速度不能超过VT、旋转速度均不能超过Vr，平移速度设置有最大速度上限如下式：
其中，F为方向因子，F＝[-1，1]；
为速度转换矩阵；/>为相机坐标系相对世界坐标系的逆雅可比矩阵，VT和Vr为相机空间速度Vc所对应的最大平移速度和最大旋转速度；Wsg为奇异向量处理，若当前空间的相机位置和姿态处于奇异点，则Wsg＝0，否则为1；Wsf为笛卡尔空间预测，用于计算在相机空间速度Vc下相机末端可能到达的位置和姿态，计算公式如下：
Wsf＝exp(Vc)
其中，Δt为时间间隔，为相机空间速度Vc对应的空间位移，exp(VC)代表相机空间速度Vc的指数映射函数，Mc(t+Δt)为相机的位置变化在齐次变换矩阵中的表现形式；
所述雅可比转换层连接运动控制模块，用于把转换到世界坐标系的空间速度进行处理得到对应的目标关节速度；
所述运动控制模块包括运动段重载模块、运动参数重载模块、在线轨迹生成模块；
所述运动段重载模块、运动参数重载模块分别连接雅可比转换层；
运动段重载模块用于接收目标关节速度并对应更新特征构造模块中执行跟踪目标物体的装置的运动段参数；
运动参数重载模块用于接收目标关节速度并对应更新特征构造模块中执行跟踪目标物体的装置的运动参数；
运动段重载模块、运动参数重载模块分别连接在线轨迹生成模块；
所述在线轨迹生成模块用于根据运动段参数和运动参数生成控制特征构造模块跟踪目标物体任务的装置的轨迹。
2.根据权利要求1所述视觉伺服的在线轨迹生成系统，其特征在于，特征构造模块包括相机、机械臂、特征构造层；
所述相机设于所述机械臂末端，机械臂用于带动相机运动跟踪目标物体，相机用于拍摄目标物体的图像；机械臂和相机组成特征构造模块执行跟踪目标物体的装置；
所述特征构造层分别与相机、控制率计算模块连接；特征构造层用于从图像中获取目标物体的位置和姿态信息。
3.根据权利要求2所述视觉伺服的在线轨迹生成系统，其特征在于，运动控制模块还包括电机驱动模块；
电机驱动模块与机械臂电性连接；
所述电机驱动模块包括驱动器；机械臂内设有电机；
所述驱动器与机械臂的电极电性连接、与在线轨迹生成模块连接；
驱动器用于根据在线轨迹生成模块生成的轨迹控制机械臂做出相应的动作。
4.根据权利要求2所述视觉伺服的在线轨迹生成系统，其特征在于，控制率计算模块包括相互连接的雅可比矩阵伪逆层、误差控制增益层；
所述雅可比矩阵伪逆层与特征构造层连接，用于将相机及机械臂的标定参数、目标物体的深度信息以矩阵的形式进行表示；
所述误差控制增益层连接齐次变换矩阵层，用于对位置和姿态信息进行处理得到相机的空间速度。
5.根据权利要求1所述视觉伺服的在线轨迹生成系统，其特征在于，在线轨迹生成模块包括依次连接的在线轨迹生成算法、时隙分析层；
所述在线轨迹生成算法分别从运动段重载模块、运动参数重载模块获取运动段参数、运动参数，用于生成控制特征构造模块跟踪目标物体任务的轨迹，并根据轨迹；
所述时隙分析层用于将在线轨迹生成算法生成轨迹的周期与特征构造模块跟踪目标物体任务的装置的动作周期进行同步。
6.根据权利要求5所述视觉伺服的在线轨迹生成系统，其特征在于，在线轨迹生成算法根据时间最优轨迹的方式进行计算。
7.一种视觉伺服的在线轨迹生成方法，包括权利要求1-6中任一项所述的视觉伺服的在线轨迹生成系统，其特征在于，步骤如下：
采集所跟踪的目标物体图像，提取目标物体的位置和姿态信息，然后对位置和姿态信息进行处理，得到执行跟踪目标物体的装置的空间速度；
对所跟踪目标物体的装置的空间速度进行预处理，得到执行跟踪目标物体的装置对应的目标关节速度；
利用目标关节速度更新执行跟踪目标物体的装置的运动段参数、运动参数；
根据运动段参数、运动参数，使用生成在线轨迹生成算法生成执行跟踪目标物体的装置所需的轨迹，执行跟踪目标物体的装置根据该轨迹进行动作。
8.根据权利要求7所述视觉伺服的在线轨迹生成方法，其特征在于，对所跟踪目标物体的空间速度进行预处理包括对执行跟踪目标物体的装置的空间速度进行齐次变换，再接着进行雅可比转换。
9.根据权利要求7所述视觉伺服的在线轨迹生成方法，其特征在于，使用生成在线轨迹生成算法包括计算机械臂单轴运动最短时间、协同决策确定机械臂多轴最短同步时间、重规划得到当前机械臂各轴在下个动作周期的运动量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210596705.9A CN115082518B (zh) | 2022-05-30 | 2022-05-30 | 视觉伺服的在线轨迹生成系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210596705.9A CN115082518B (zh) | 2022-05-30 | 2022-05-30 | 视觉伺服的在线轨迹生成系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082518A CN115082518A (zh) | 2022-09-20 |
| CN115082518B true CN115082518B (zh) | 2024-03-26 |
Family
ID=83248548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210596705.9A Active CN115082518B (zh) | 2022-05-30 | 2022-05-30 | 视觉伺服的在线轨迹生成系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082518B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110039542A (zh) * | 2019-06-13 | 2019-07-23 | 东北大学 | 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统 |
| WO2020010626A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳配天智能技术研究院有限公司 | 机器人的运动控制方法、机器人及机器人运动控制系统 |
| CN111553239A (zh) * | 2020-04-23 | 2020-08-18 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN112894812A (zh) * | 2021-01-21 | 2021-06-04 | 中山大学 | 一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011083374A1 (en) * | 2010-01-08 | 2011-07-14 | Koninklijke Philips Electronics N.V. | Uncalibrated visual servoing using real-time velocity optimization |
| CN111360820B (zh) * | 2020-02-18 | 2021-01-22 | 哈尔滨工业大学 | 一种距离空间和图像特征空间融合的混合视觉伺服方法 |
-
2022
- 2022-05-30 CN CN202210596705.9A patent/CN115082518B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020010626A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳配天智能技术研究院有限公司 | 机器人的运动控制方法、机器人及机器人运动控制系统 |
| CN110039542A (zh) * | 2019-06-13 | 2019-07-23 | 东北大学 | 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统 |
| CN111553239A (zh) * | 2020-04-23 | 2020-08-18 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN112894812A (zh) * | 2021-01-21 | 2021-06-04 | 中山大学 | 一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| rgb-d image processing algorithm for target recognition and pose estimation of visual servo system;Shipeng Li;《sensors》;20200112;第1-16页 * |
| 基于图像的无标定机器人视觉伺服的研究;罗永超 等;《制造业自动化》;20201130;第42卷(第11期);第148-151页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082518A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110253570B (zh) | 基于视觉的工业机械臂人机安全系统 | |
| Fang et al. | Homography-based visual servo regulation of mobile robots | |
| Liu et al. | Uncalibrated visual servoing of robots using a depth-independent interaction matrix | |
| CN107627303B (zh) | 一种基于眼在手上结构的视觉伺服系统的pd-smc控制方法 | |
| CN109079799B (zh) | 一种基于仿生的机器人感知控制系统及控制方法 | |
| CN111015649B (zh) | 一种驱控一体化控制系统 | |
| CN112183133B (zh) | 一种基于ArUco码引导的移动机器人自主充电方法 | |
| CN104942809A (zh) | 基于视觉伺服系统的机械臂动态模糊逼近器 | |
| CN110744541A (zh) | 一种视觉引导的水下机械臂控制方法 | |
| CN113829343A (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| CN111805547B (zh) | 一种轨迹动态跟踪实现方法 | |
| Inaba et al. | Real-time vision plus remote-brained design opens a new world for experimental robotics | |
| CN112894812A (zh) | 一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统 | |
| CN115319734A (zh) | 用于控制机器人设备的方法 | |
| Li et al. | A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator | |
| CN114536346B (zh) | 一种基于人机协作和视觉检测的机械臂精确路径规划方法 | |
| CN115122325A (zh) | 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法 | |
| Mora et al. | Path planning and trajectory generation using multi-rate predictive artificial potential fields | |
| CN115082518B (zh) | 视觉伺服的在线轨迹生成系统及其方法 | |
| CN109542094B (zh) | 无期望图像的移动机器人视觉镇定控制 | |
| CN114111772B (zh) | 一种基于数据手套的水下机器人软体作业手位置跟踪方法 | |
| Chen et al. | Application of visual servoing to an X-ray based welding inspection robot | |
| CN114714358A (zh) | 基于手势协议遥操作机械臂方法及系统 | |
| Hashimoto et al. | Visual servoing with linearized observer | |
| CN109946970A (zh) | 一种基于观测器的非完整机器人速度信息的获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |