CN112051733B - 一种基于图像分类的刚性机械臂复合学习控制方法 - Google Patents

一种基于图像分类的刚性机械臂复合学习控制方法 Download PDF

Info

Publication number
CN112051733B
CN112051733B CN202010817271.1A CN202010817271A CN112051733B CN 112051733 B CN112051733 B CN 112051733B CN 202010817271 A CN202010817271 A CN 202010817271A CN 112051733 B CN112051733 B CN 112051733B
Authority
CN
China
Prior art keywords
image
mechanical arm
neural network
training
rigid mechanical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010817271.1A
Other languages
English (en)
Other versions
CN112051733A (zh
Inventor
王敏
黄盛钊
曾宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010817271.1A priority Critical patent/CN112051733B/zh
Publication of CN112051733A publication Critical patent/CN112051733A/zh
Application granted granted Critical
Publication of CN112051733B publication Critical patent/CN112051733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于图像分类的刚性机械臂复合学习控制方法,包括以下步骤:在线训练阶段包括刚性机械臂基于确定学习方法在不同模式下的学习控制得到对应的常值神经网络控制器,构建一类利用卷积的宽度学习系统作为图像分类器,构建映射表将图像的类别和各模式下的常值神经网络控制器建立一一对应关系,离线运行阶段通过宽度学习系统分类获得图像的类别,获得映射表中该类别对应的控制模式,调用该模式的常值神经网络控制器以实现刚性机械臂的智能控制。

Description

一种基于图像分类的刚性机械臂复合学习控制方法
技术领域
本发明涉及基于模式识别与确定学习的机器人控制领域,具体涉及一种基于图像分类的刚性机械臂复合学习控制方法。
背景技术
人类文明发展离不开科技进步,迄今为止出现的工业革命,都极大提高了人类的生产力水平,促进了社会的进步。机器人的诞生既是科技进步的产物,也是未来科技发展的主力,其在航天航空,精密加工甚至如今第三产业的服务业都占据举足轻重的重要地位。对于我国来说,人口红利逐渐消失,劳动要素成本越来越高,机器人代替劳动力,可以有效缓解劳动力紧张的问题。除此之外,它也能代替人类参与强度大或风险高的工作,将人类从恶劣的工作环境中解放出来。近年来,机器人的应用需求不断增加,尤其是智能制造的提出和人工智能算法的日新月异,快速推进了人机共存新时代的发展。新时代也赋予了机器人新的智能自主控制要求:一方面我们希望机器人能够在复杂的工作任务中获取、存储、再利用经验知识,从而提高工作效率和质量;另一方面我们也希望机器人能够根据实际情形自主选择对应任务的控制策略。
近年来,确定学习和宽度学习理论快速发展。确定学习能够解决动态环境下非线性系统控制中未知动态经验知识的获取、表达和应用的问题。此外,确定学习也可以把不同的控制任务作为一种动态模式,实现基于模式的控制。函数逼近和模式分类的精度、速度问题通常依赖神经网络结构。为了提高其精度,目前网络结构不断朝深度方向扩展,由此带来的问题就是训练时间长、硬件要求高。为了提高其速度,宽度学习理论通过采用了包括增强节点的两层神经网络结构,有效消除深度网络的训练时间过长问题。目前机械臂的应用场景日渐丰富,机器视觉与控制结合的例子越来越多。确定学习与宽度学习分别在控制和模式识别领域都具有明显优势,而在处理图像分类的机械臂控制中将确定学习与宽度学习结合的研究目前还未见报道。确定学习可以为机械臂控制系统提供不同模式下的控制器设计,宽度学习系统可以对外部图像进行分类。两种学习技术的复合能够实现机械臂在执行任务过程监测目标变化,从而及时调用对应目标模式的控制器进行有效控制。而在控制器启动时刻甚至在模式切换过程中,会存在控制输入跳变过大的问题,这对机械臂的驱动电机会造成损害,从而影响控制系统的稳定性。因此也有必要对这种控制输入的跳变问题提出一种解决方法。
发明内容
本发明的目的是针对现有技术的不足,提供了一种基于图像分类的刚性机械臂复合学习控制方法,针对不同控制任务的控制器,利用确定学习提出了基于模式的控制,构造出各模式下的常值神经网络控制器;而针对任务目标的识别问题,提出一类利用卷积的宽度学习系统对图像进行分类,通过建立映射表将控制器组中的模式与任务目标的类别建立联系,使机械臂外界图像的变化能被控制器响应,在执行任务过程中当机械臂检测到目标发生变化,能够及时调用对应目标模式的控制器;同时在此基础上,设计了一种控制器的平滑启动策略,解决了控制器启动或切换时存在的控制输入跳变问题,保障了控制系统的安全性和稳定性。
本发明的目的可以通过如下技术方案实现:
本发明提供一种基于确定学习和事件触发的轮式移动机器人的智能跟踪控制方法,包括下述步骤:
步骤1、在线训练阶段,建立刚性机械臂的动力学模型和若干个期望回归轨迹模型,定义每种期望回归轨迹为一种动态模式;
步骤2、在线训练阶段,根据确定学习理论,设计不同模式对应的控制器以获得常值神经网络控制器组;
步骤3、在线训练阶段,利用卷积对训练图像进行特征提取得到特征层,利用特征层得到增强层,构建宽度学习系统作为图像分类器;
步骤4、在线训练阶段,将步骤3获得的宽度学习系统中图像的类别和步骤2获得的各个模式下的常值神经网络控制器设置映射表,建立一一对应关系;
步骤5、测试阶段,摄像头实时捕获图像指示,获得图像分类κ;
步骤6、测试阶段,通过步骤4建立好的映射表找到该图像类别对应模式的常值神经网络控制器uκ
步骤7、测试阶段,刚性机械臂调用该模式的常值神经网络控制器,按以下平滑策略启动或切换控制器:
平滑策略:设定一个正常数阈值X,若存在启动时刻t0,t0为控制器切换时刻,使得t>t0计算得到的控制力矩|uκ(t)-uκ(t0)|>X,那么令实际输入力矩
Figure BDA0002633160740000031
置为:
Figure BDA0002633160740000032
其中,λ>0为设计的参数。若存在一个有限时刻tp>t0,使得在t≥tp能满足
Figure BDA0002633160740000033
成立,χ是设计的一个满足χ<<X的正常数阈值,则令实际输入力矩置为t时刻计算得到的控制输入:
Figure BDA0002633160740000034
进一步的,步骤1中,所述刚性机械臂的动力学模型为:
Figure BDA0002633160740000035
其中,x1=[x1,1,x1,2,…,x1,n]T、x2=[x2,1,x2,2,…,x2,n]T分别为机械臂关节角位移和关节角速度,n对应着机械臂的关节数,M(x1)为机械臂的惯性矩阵,Vm(x1,x2)为向心力矩阵,G(x1)为重力项,F(x2)为摩擦力向量,u为控制力矩。
进一步的,步骤1中,所述期望回归轨迹模型为:
Figure BDA0002633160740000036
其中
Figure BDA0002633160740000037
为模式κ下的各个关节角位移的期望回归轨迹,n为机械臂的关节数,
Figure BDA0002633160740000038
为已知的连续可导周期函数。
进一步的,步骤2中,所述设计不同模式对应的控制器以获得常值神经网络控制器组为:
Figure BDA0002633160740000039
其中,uκ表示模式κ对应的常值神经网络控制器,c2,κ为设计的控制器增益,z2,κ表示控制器uκ的中间误差变量,
Figure BDA00026331607400000310
表示模式κ下训练后逼近系统未知动态的神经网络权值常量矩阵的转置,
Figure BDA00026331607400000311
是高斯型径向基函数Sκκ)的输入向量;
进一步的,步骤3中,所述利用卷积对训练图像进行特征提取获得特征节点为:
对训练数据集中第j个输入图像imagej=Rw0×h0进行以下卷积和池化操作:
Figure BDA0002633160740000041
Figure BDA0002633160740000042
其中,Ti c和Ti p分别代表卷积Conv(·)和池化Pooling(·)操作的输出向量,ci∈Rθ×θ为第i个通道随机生成的尺寸为θ×θ的卷积核,i=1,2,...,η,η为卷积核通道总数,
Figure BDA0002633160740000043
为第i个通道对应的偏置项,sc、sp分别为卷积和池化操作选择的步幅,p为池化窗口,w1×h1、w2×h2分别为进行卷积和池化操作输出图像的尺寸;
将{Ti p|i=1,2,...,η}重塑为特征节点数为
Figure BDA0002633160740000044
的特征向量
Figure BDA0002633160740000045
将N个训练样本都进行上述操作,得到特征层
Figure BDA0002633160740000046
ξ(·)为tanh或sigmoid激活函数。
进一步的,步骤3中,所述利用特征层获得增强层为:
利用特征层Z进行正交映射获得节点数为ε的增强层E:
ET=ξ(WEZTE)
其中,
Figure BDA0002633160740000047
和βE∈Rε×1分别为特征节点正交映射到增强节点的权值和偏置项它们均为随机生成而且不需要更新,ε、
Figure BDA0002633160740000048
分别是增强层和特征层的节点数。
进一步的,步骤3中,所述构建宽度学习系统作为图像分类器为:
将特征节点与增强节点合并成A=[Z|E],在训练阶段,利用脊回归算法计算A的伪逆值:
Figure BDA0002633160740000049
其中,I是跟矩阵ATA同大小的单位矩阵,λ是脊回归算法中的正则项系数;
由Y=AW可得输出层的权值:
W=A+Y
其中Y∈RN*K为训练集的输出矩阵,N是样本数,K是图像标签数;
而当训练数据增加,在训练好的模型上利用增量式学习更新权重而不需要重新训练模型:
Figure BDA00026331607400000410
其中,
Figure BDA0002633160740000051
而aT=[Znew|Enew],Znew和Enew分别是新增图像数据Xnew新获得的特征节点和增强节点,Anew是更新后的节点矩阵,y是新增输入数据的输出矩阵,Ynew是更新后的输出矩阵。
进一步的,步骤3中,节点矩阵Anew的伪逆通过下式计算:
DT=aTA+
CT=aT-DTA
Figure BDA0002633160740000052
Figure BDA0002633160740000053
其中,DT、B和CT都是更新操作中的中间变量。
进一步的,步骤5中,所述映射表如下:
f:κ→Σu
其中,κ∈{1,2,...,K}是图像分类的标签,Σu是所设计的常值神经网络控制器组。
进一步的,步骤5中,所述摄像头实时捕获图像指示,获得图像分类为:
(1)摄像头捕获指示图像;
(2)对捕获图像进行区域选定、二值化、维度调整的预处理;
(3)对预处理后的图像作为步骤3中训练好的宽度学习分类器的输入,获得该图像的类别。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明通过设计一类利用卷积的宽度学习系统作为图像分类器,与深度神经网络算法相比,降低了模型训练时间;对于新增数据集,可以在训练好的基础上进行更新,减少训练成本,缩短训练时间,同时提高了分类器的准确率。
2、本发明通过设计一类映射表,将图像类别和各个模式下的常值神经网络控制器建立联系,当机械臂的控制任务变化时,使控制器能及时切换对应模式的常值神经网络进行控制。
3、本发明通过设计基于一类平滑的控制器启动策略,改进了控制器切换时存在的控制输入跳变问题,保障了控制系统的稳定性,在一定程度上保护了机械臂的驱动电机。
4、本发明通过设计一种基于图像分类的刚性机械臂复合学习控制方法,使得刚性机械臂不仅能够从复杂的工作任务中获取和利用经验知识,还能通过检测外界任务目标变化来切换到对应模式的控制器,实现了在多种工作任务下的智能自主控制。
附图说明
图1为本发明实施例一种基于图像分类的刚性机械臂复合学习控制方法流程图。
图2为Sawyer机器人系统示意图。
图3为本实施例仿真场景中Sawyer机器人依次捕获目标的示意图。
图4为本发明实施例宽度学习分类器的框架图。
图5为本发明实施例关节1的轨迹跟踪误差变化曲线图。
图6为本发明实施例关节2的轨迹跟踪误差变化曲线图。
图7为本发明实施例关节1的实际角位移与期望回归轨迹变化曲线图。
图8为本发明实施例关节2的实际角位移与期望回归轨迹变化曲线图。
图9为本发明实施例关节1和关节2的平滑策略启动下控制输入变化曲线图。
图10为本发明实施例关节1和关节2的直接启动下控制输入变化曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本实施例提供了一种确定学习与图像分类结合的双连杆刚性机械臂智能控制方法,整体流程如图1所示,其详细实施过程包括:
步骤1、建立双连杆刚性机械臂的动力学模型:
Figure BDA0002633160740000071
其中x1=[x11,x12]T表示机械臂关节的角位移,x2=[x21,x22]T表示机械臂关节的角速度,M(x1)∈R2×2表示机械臂的惯性矩阵,此外,Vm(x1,x2)∈R2×2为向心力矩阵,G(x1)为重力项,F(x2)为摩擦力向量。u=[u1,u2]T表示系统的控制输入。
如图2所示,本实施例中选取的双连杆刚性机械臂模型,其中j1、j2、j3、j4、j5、j6、j7分别表示关节1、关节2、关节3、关节4、关节5、关节6、关节7;通过控制Rethink Robotics公司的Sawyer机器人的两个关节j3和j4来实现。j3和j4分别作为关节1和关节2,如图2所示,其余关节保持锁定状态,该款机器人的连杆长度如表1所示:
表1--Sawyer机器人连杆长度
连杆 L1 L2 L3 L4 L5 L6 L7
长度(mm) 81 192.5 400 168.5 400 136.3 133.75
本实施例中给定三种期望回归轨迹模型为:
Figure BDA0002633160740000072
其中,
Figure BDA0002633160740000073
为双连杆刚性臂关节角位移的在k模式下的参考轨迹,
Figure BDA0002633160740000074
为已知的连续可导周期函数。本实施例中给定三种模式的周期一致,T=2π,且在一个周期中的参考轨迹给定如下:
Figure BDA0002633160740000075
Figure BDA0002633160740000076
其中,k∈{1,2,3},具体参数为α1=0.8,α2=-0.5,α3=-0.35,β1=β2=β3=0.395,δ1=δ2=δ3=1.185。
步骤2、在线训练阶段,根据确定学习理论,设计不同模式对应的控制器以获得常值神经网络控制器组:
在各个模式下构造RBF神经网络逼近该模式下控制系统的未知动态,在神经网络权值收敛后得到权值的常量矩阵,进而得到常值神经网络控制器组:
Figure BDA0002633160740000081
其中,uκ表示模式κ对应的常值神经网络控制器,c2,κ为控制器增益常数,z2,κ表示控制器uκ的中间误差,
Figure BDA0002633160740000088
表示训练好的神经网络权值常量矩阵的转置,Sκκ)则是以ψκ为神经网络输入向量的高斯型径向基函数,本实施例中选取的控制器增益常数为c2,1=c2,2=c2,3=20;
步骤3、利用卷积神经网络对训练图像进行特征提取得到特征层:
对训练数据集中第j个输入图像imagej=Rw0×h0卷积和池化,得到:
Figure BDA0002633160740000082
Figure BDA0002633160740000083
其中,Ti c和Ti p分别代表卷积Conv(·)和池化Pooling(·)操作的输出向量,ci∈Rθ×θ为第i个通道随机生成的尺寸为θ×θ的卷积核,i=1,2,...,η,η为卷积核通道总数,
Figure BDA0002633160740000084
为第i个通道对应的偏置项,sc、sp分别为卷积和池化操作选择的步幅,p为池化窗口,w1×h1、w2×h2分别为进行卷积和池化操作输出图像的尺寸;
将{Ti p|i=1,2,...,η}重塑为特征节点数为
Figure BDA0002633160740000087
的特征向量
Figure BDA0002633160740000085
最后由N个训练样本,得到宽度学习系统的特征层
Figure BDA0002633160740000086
ξ(·)为tanh或sigmoid激活函数;
本实施例中选取了MNIST手写数字图像作为训练集,该数据集训练集包括了N=60000组手写数字,图像标签数K=10,测试集包含了10000组手写数字,每个图像尺寸为28×28,本实施例选取的卷积核通道数η=20,尺寸θ=9,卷积、池化操作的步幅sc=1,sp=2,p为2×2的均值池化窗口,因此计算可知,卷积和池化操作输出图像的尺寸w1×h1和w2×h2分别为20×20和10×10,最后的特征节点数
Figure BDA0002633160740000095
本实施例中ξ()选择了tanh激活函数。
进一步地,步骤3中,利用特征层获得增强层为:
利用特征节点进行正交映射获得节点数为ε的增强节点:
ET=ξ(WEZTE)
其中,
Figure BDA0002633160740000091
和βE∈Rε×1分别为增强节点的权值和偏置项,它们均为随机生成而且不需要更新;本实施例中选取ε=300。
进一步地,步骤3中,构建宽度学习系统作为图像分类器为:
将特征节点与增强节点合并成A=[Z|E],在训练阶段,利用脊回归算法计算A的伪逆值:
Figure BDA0002633160740000092
其中,I是跟矩阵ATA同大小的单位矩阵,λ是脊回归算法中的正则项系数;
由Y=AW可得输出层的权值:
W=A+Y
其中Y∈RN*K为训练集的输出矩阵,N是样本数,K是图像标签数。
而当训练数据增加,可以在训练好的模型上利用增量式学习更新权重而不需要重新训练模型:
Figure BDA0002633160740000093
其中,
Figure BDA0002633160740000094
而aT=[Znew|Enew],Znew和Enew分别是新增图像数据Xnew新获得的特征节点和增强节点,Anew是更新后的节点矩阵,y是新增输入数据的输出矩阵,Ynew是更新后的输出矩阵;
节点矩阵Anew的伪逆通过下式计算:
DT=aTA+
CT=aT-DTA
Figure BDA0002633160740000101
Figure BDA0002633160740000102
其中,DT、B和CT都是更新操作中的中间变量。
本实施例中正则项系数选择λ=1e-5,为验证分类器的可靠性和利用增量式学习更新权重这种方式在训练时间上的优势,对MNIST数据集中训练集先取部分样本,然后依次增加训练样本,通过增量式更新的方式和重新训练的方式获得每次的准确率和训练时间。
步骤4、将步骤3获得的宽度学习系统中图像的类别和步骤2获得的各个模式下的常值神经网络控制器设置映射表,建立一一对应关系:
f:κ→Σu
本实施例中κ={1,2,3,4,5,6,7,8,9,0}是图像分类的标签,Σu是所设计的常值神经网络控制器组,将κ中的标签{1,2,3}分别映射到步骤2得到的常值神经网络控制器u1,u2,u3
步骤5、摄像头实时捕获图像指示,获得图像分类κ:
(1)摄像头捕获指示图像;
(2)对捕获图像进行区域选定、二值化、维度调整等预处理;
(3)对预处理后的图像作为步骤3中训练好的宽度学习分类器的输入,获得该图像的类别。
步骤6、通过步骤4建立好的映射表找到该图像类别对应模式的常值神经网络控制器uκ
步骤7、测试运行阶段,刚性机械臂调用该模式的常值神经网络控制器,按以下平滑策略启动或切换控制器:
平滑策略:设定一个正常数阈值X,若存在启动时刻或控制器切换时刻t0,使得t>t0计算得到的控制力矩|uκ(t)-uκ(t0)|>X,那么令实际输入力矩
Figure BDA0002633160740000103
置为:
Figure BDA0002633160740000104
其中,λ>0为设计的参数。若存在一个有限时刻tp>t0,使得在t≥tp能满足
Figure BDA0002633160740000111
成立,χ是设计的一个满足χ<<X的正常数阈值,则令实际输入力矩置为t时刻计算得到的控制输入:
Figure BDA0002633160740000112
本实施例中阈值X=100,χ=8,λ=100。
本实施例中,x1、x2的初始值为x1,1(0)=0,x1,2(0)=1.58、x2,1(0)=x2,2(0)=0;三个模式对应控制器的神经网络的中心点均匀分布在[-1.2,2]×[0.4,2]×[-2.5,2.5]×[-1.2,1.2]上,宽度为width=[0.8,0.5,1.0,0.6]T,节点数为1260。
为了说明本发明利用卷积所构建的宽度学习系统作为图像分类器的有效性和快速性,本实施例在MNIST手写数据集上进行分类器的训练和测试。随着训练样本以10000数量递增,通过增量式更新的方式和重新训练的方式获得每次的准确率和训练时间。实验结果如表2所示:
表2--宽度学习图像分类器两种更新方式在训练样本增加情况下的性能比较
Figure BDA0002633160740000113
由表1可见,在新增数据样本实验中,两种方式的准确率都有所提升,而采用增量式更新的方式使训练时间更短。同时,采用增量式更新的分类器准确率达到96%以上。因此,卷积所构建的宽度学习系统作为图像分类器,可以采用增量式更新的方式,从而满足实际工程中的应用需求,在训练样本数增加的情况下可以快速地更新,同时提高识别的准确率。
本实施例系统运行时间段内让Sawyer机器人先后获取到手写数字为“2-1-3-1-2”的图像(图3所示),常值神经网络控制器先以模式2启动,然后陆续切换到模式1,3,1,2。图2是Sawyer机器人系统示意图,其中j3和j4作为实施例中双连杆刚性机械臂的关节1和关节2,其余关节保持锁定状态;图3仿真场景中Sawyer机器人依次捕获目标的示意图;图4为宽度学习分类器的框架图;图5和图6分别为关节1和关节2的轨迹跟踪误差变化曲线图,误差分别在±0.02rads、±0.04rads之间;图7和图8分别为关节1和关节2在仿真场景中实际轨迹与期望回归轨迹变化曲线图,结合实施例步骤1中的说明,关节1(图7)的角位移轨迹可以明显区分模式1,2,3,而关节2(图8)的角位移实际轨迹和期望回归轨迹在3个模式下则是保持不变;图9是关节1和关节2在仿真场景中按照实施例中步骤7中提出平滑策略所启动的控制输入变化曲线图;而图10是直接启动下控制输入变化曲线图,图9中启动时刻的控制输入变化比图10中启动时刻的控制输入要更加平滑,该策略能有效保证了启动时刻控制信号的光滑连续性。因此在平滑策略启动下,不仅跟踪误差满足了性能要求,而且电机不会产生过大的跳变现象。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。

Claims (7)

1.一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,包括以下步骤:
步骤1、在线训练阶段,建立刚性机械臂的动力学模型和若干个期望回归轨迹模型,定义每种期望回归轨迹为一种动态模式;
步骤2、在线训练阶段,根据确定学习理论,设计不同模式对应的控制器以获得常值神经网络控制器组;
步骤3、在线训练阶段,利用卷积对训练图像进行特征提取得到特征层,利用特征层得到增强层,构建宽度学习系统作为图像分类器;
所述利用卷积对训练图像进行特征提取获得特征节点为:
对训练数据集中第j个输入图像imagej=Rw0×h0进行以下卷积和池化操作:
Figure FDA0003079406350000011
Figure FDA0003079406350000012
其中,
Figure FDA0003079406350000013
Figure FDA0003079406350000014
分别代表卷积Conv(·)和池化Pooling(·)操作的输出向量,ci∈Rθ×θ为第i个通道随机生成的尺寸为θ×θ的卷积核,i=1,2,...,η,η为卷积核通道总数,
Figure FDA0003079406350000015
为第i个通道对应的偏置项,sc、sp分别为卷积和池化操作选择的步幅,p为池化窗口,w1×h1、w2×h2分别为进行卷积和池化操作输出图像的尺寸;
Figure FDA0003079406350000016
重塑为特征节点数为
Figure FDA0003079406350000017
的特征向量
Figure FDA0003079406350000018
将N个训练样本都进行上述操作,得到特征层
Figure FDA0003079406350000019
ξ(·)为tanh或sigmoid激活函数;
所述利用特征层获得增强层为:
利用特征层Z进行正交映射获得节点数为ε的增强层E:
ET=ξ(WEZTE)
其中,
Figure FDA00030794063500000110
和βE∈Rε×1分别为特征节点正交映射到增强节点的权值和偏置项它们均为随机生成而且不需要更新,ε、
Figure FDA00030794063500000111
分别是增强层和特征层的节点数;
所述构建宽度学习系统作为图像分类器为:
将特征节点与增强节点合并成A=[Z|E],在训练阶段,利用脊回归算法计算A的伪逆值:
Figure FDA0003079406350000021
其中,I是跟矩阵ATA同大小的单位矩阵,λ是脊回归算法中的正则项系数;
由Y=AW可得输出层的权值:
W=A+Y
其中Y∈RN*K为训练集的输出矩阵,N是样本数,K是图像标签数;
而当训练数据增加,在训练好的模型上利用增量式学习更新权重而不需要重新训练模型:
Figure FDA0003079406350000022
其中,
Figure FDA0003079406350000023
而aT=[Znew|Enew],Znew和Enew分别是新增图像数据Xnew新获得的特征节点和增强节点,Anew是更新后的节点矩阵,y是新增输入数据的输出矩阵,Ynew是更新后的输出矩阵;
步骤4、在线训练阶段,将步骤3获得的宽度学习系统中图像的类别和步骤2获得的各个模式下的常值神经网络控制器设置映射表,建立一一对应关系;
步骤5、测试阶段,摄像头实时捕获图像指示,获得图像分类κ;
步骤6、测试阶段,通过步骤4建立好的映射表找到该图像类别对应模式的常值神经网络控制器uκ
步骤7、测试阶段,刚性机械臂调用该模式的常值神经网络控制器,按以下平滑策略启动或切换控制器:
平滑策略:设定一个正常数阈值X,若存在启动时刻t0,t0为控制器切换时刻,使得t>t0计算得到的控制力矩|uκ(t)-uκ(t0)|>X,那么令实际输入力矩
Figure FDA0003079406350000024
置为:
Figure FDA0003079406350000025
其中,λ>0为设计的参数,若存在一个有限时刻tp>t0,使得在t≥tp能满足
Figure FDA0003079406350000026
成立,χ是设计的一个满足χ<<X的正常数阈值,则令实际输入力矩置为t时刻计算得到的控制输入:
Figure FDA0003079406350000031
2.根据权利要求1所述一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,步骤1中,所述刚性机械臂的动力学模型为:
Figure FDA0003079406350000032
其中,x1=[x1,1,x1,2,…,x1,n]T、x2=[x2,1,x2,2,…,x2,n]T分别为机械臂关节角位移和关节角速度,n对应着机械臂的关节数,M(x1)为机械臂的惯性矩阵,Vm(x1,x2)为向心力矩阵,G(x1)为重力项,F(x2)为摩擦力向量,u为控制力矩。
3.根据权利要求1所述的一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,步骤1中,所述期望回归轨迹模型为:
Figure FDA0003079406350000033
其中
Figure FDA0003079406350000034
为模式κ下的各个关节角位移的期望回归轨迹,n为机械臂的关节数,
Figure FDA0003079406350000035
为已知的连续可导周期函数。
4.根据权利要求1所述的一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,步骤2中,所述设计不同模式对应的控制器以获得常值神经网络控制器组为:
Figure FDA0003079406350000036
其中,uκ表示模式κ对应的常值神经网络控制器,c2,κ为设计的控制器增益,z2,κ表示控制器uκ的中间误差变量,
Figure FDA0003079406350000037
表示模式κ下训练后逼近系统未知动态的神经网络权值常量矩阵的转置,
Figure FDA0003079406350000038
是高斯型径向基函数Sκκ)的输入向量。
5.根据权利要求1所述的一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,步骤3中,节点矩阵Anew的伪逆通过下式计算:
DT=aTA+
CT=aT-DTA
Figure FDA0003079406350000039
Figure FDA00030794063500000310
其中,DT、B和CT都是更新操作中的中间变量。
6.根据权利要求1所述的一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,步骤5中,所述映射表如下:
f:κ→Σu
其中,κ∈{1,2,...,K}是图像分类的标签,Σu是所设计的常值神经网络控制器组。
7.根据权利要求1所述的一种基于图像分类的刚性机械臂复合学习控制方法,其特征在于,步骤5中,所述摄像头实时捕获图像指示,获得图像分类为:
(1)摄像头捕获指示图像;
(2)对捕获图像进行区域选定、二值化、维度调整的预处理;
(3)对预处理后的图像作为步骤3中训练好的宽度学习分类器的输入,获得该图像的类别。
CN202010817271.1A 2020-08-14 2020-08-14 一种基于图像分类的刚性机械臂复合学习控制方法 Active CN112051733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010817271.1A CN112051733B (zh) 2020-08-14 2020-08-14 一种基于图像分类的刚性机械臂复合学习控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010817271.1A CN112051733B (zh) 2020-08-14 2020-08-14 一种基于图像分类的刚性机械臂复合学习控制方法

Publications (2)

Publication Number Publication Date
CN112051733A CN112051733A (zh) 2020-12-08
CN112051733B true CN112051733B (zh) 2021-08-10

Family

ID=73599118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010817271.1A Active CN112051733B (zh) 2020-08-14 2020-08-14 一种基于图像分类的刚性机械臂复合学习控制方法

Country Status (1)

Country Link
CN (1) CN112051733B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107498554A (zh) * 2017-07-31 2017-12-22 华南理工大学 一种基于动态模式的机械臂智能自主控制方法
CN109227543A (zh) * 2018-10-19 2019-01-18 华南理工大学 一种位置受限柔性关节机器人基于模式的智能控制方法
CN111046873A (zh) * 2019-12-12 2020-04-21 电子科技大学中山学院 基于机器视觉的产品功能耐久性测试自学习方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322515A (zh) * 2019-07-02 2019-10-11 工极智能科技(苏州)有限公司 基于双目立体视觉的工件识别及抓取点提取方法
CN111299762B (zh) * 2020-02-28 2021-09-21 华南理工大学 一种分离强噪声干扰的激光实时焊缝跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107498554A (zh) * 2017-07-31 2017-12-22 华南理工大学 一种基于动态模式的机械臂智能自主控制方法
CN109227543A (zh) * 2018-10-19 2019-01-18 华南理工大学 一种位置受限柔性关节机器人基于模式的智能控制方法
CN111046873A (zh) * 2019-12-12 2020-04-21 电子科技大学中山学院 基于机器视觉的产品功能耐久性测试自学习方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Random Cropping Ensemble Neural Network for Image Classification in a Robotic Arm Grasping System;B. Cheng等;《IEEE Transactions on Instrumentation and Measurement》;IEEE;20200228;第69卷(第9期);第6795-6806页 *
Visual Object Recognition and Pose Estimation Based on a Deep Semantic Segmentation Network;Chien-Ming Lin等;《IEEE Sensors Journal》;IEEE;20180918;第18卷(第22期);第9370-9381页 *
基于卷积神经网络多特征融合的工件识别与检测;蓝宏宇等;《组合机床与自动化加工技术》;大连组合机床研究所;20190831(第8期);第44-48页 *
基于宽度学习方法的多模态信息融合;贾晨等;《智能系统学报》;中国人工智能学会;20190131;第14卷(第1期);第150-157页 *

Also Published As

Publication number Publication date
CN112051733A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
CN109483573A (zh) 机器学习装置、机器人系统以及机器学习方法
Kumar et al. Visual motor control of a 7DOF redundant manipulator using redundancy preserving learning network
Tang et al. Learning collaborative pushing and grasping policies in dense clutter
Rath et al. Path optimization for navigation of a humanoid robot using hybridized fuzzy-genetic algorithm
Ichiwara et al. Spatial attention point network for deep-learning-based robust autonomous robot motion generation
CN114096968A (zh) 模型生成装置、模型生成方法、控制装置以及控制方法
CN114789454B (zh) 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
CN110977966A (zh) 一种基于虚拟场景训练的机器人避障方法
Liu et al. Active object detection based on a novel deep Q-learning network and long-term learning strategy for the service robot
Zhou et al. Robotic arm motion planning based on residual reinforcement learning
Mavsar et al. Intention recognition with recurrent neural networks for dynamic human-robot collaboration
Duan et al. A semantic robotic grasping framework based on multi-task learning in stacking scenes
Wnuk et al. Tracking branched deformable linear objects with structure preserved registration by branch-wise probability modification
CN112051733B (zh) 一种基于图像分类的刚性机械臂复合学习控制方法
Liu et al. Sim-and-real reinforcement learning for manipulation: A consensus-based approach
Ren et al. Fast-learning grasping and pre-grasping via clutter quantization and Q-map masking
Gu et al. Neural network based visual servo control for CNC load/unload manipulator
Hossain et al. Object recognition and robot grasping: A deep learning based approach
Miki et al. Molded article picking robot using image processing technique and pixel-based visual feedback control
Siebel et al. Learning neural networks for visual servoing using evolutionary methods
Sevugan et al. Optimized navigation of mobile robots based on Faster R-CNN in wireless sensor network
Yu et al. A robotic auto-focus system based on deep reinforcement learning
Oikonomou et al. A framework for active vision-based robot planning using spiking neural networks
Chang et al. Vision-based flexible and precise automated assembly with 3D point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant