CN106600641A - 基于多特征融合的嵌入式视觉伺服控制方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的嵌入式视觉伺服控制方法，包括：步骤1，利用FPGA构建核心图像处理模块，将采集得到图像经过核心图像处理模块进行图像处理提取几何特征；步骤2，在CGA体系下搭建基于FPGA的嵌入式并行处理器，利用所述嵌入式并行处理器融合多种几何图像特征，建立目标位姿关系的数学模型；步骤3，利用建立的数学模型进行参数化及参数最优化，得到融合数学模型近似线性化函数，求解目标相对摄像机的位姿参数；步骤4，在CGA体系下将位置和姿态分解进行视觉伺服控制。本发明现有技术中噪声敏感、容错性差、仅适于平面目标、局部极小和计算量较大等问题，并且具有低功耗、低成本的优点，计算效率高，通用性好。

Description

基于多特征融合的嵌入式视觉伺服控制方法

技术领域

本发明涉及机器人视觉系统的视觉伺服控制技术领域，尤其涉及一种创建嵌入式视觉伺服的多特征融合方法。

背景技术

视觉伺服控制利用视觉信息作为反馈，具有更大的信息量，提高了机器人系统的灵活性和精确性，在机器人控制中具有不可替代的作用。目前，视觉伺服的反馈主要有基于位置、图像特征和多视图几何的形式。对于常用的图像特征法，单一的图像特征作为视觉反馈用于伺服控制，存在对噪声敏感、容错性差、仅适于平面目标、局部极小和计算量较大等诸多问题。将多种图像特征进行融合，能对信息进行多级别、多层次以及多方面的处理与综合。因此，基于多特征融合的视觉反馈信息，能够进一步提高视觉伺服的控制精度。

嵌入式视觉伺服系统具有较高的稳定性和实行性的要求，高效的数学运算能力是该系统能够理想实现的重要保证。传统的视觉伺服控制的数学运算体系一般采用线性代数计算方法，此种方法应用于视觉领域的硬件开发及软件实现存在两个问题。首先，不论硬件平台是FPGA或者ASIC，在利用标准的数学方法(特别是浮点数计算)的情况下均会存在复杂几何函数计算效率的明显问题，导致实现代数计算(特别是乘法、加法以及累积运算)所需的硬件运算块的数量多、结构复杂性高。其次，为有效解决复杂的多维科学计算和高级图形学应用等问题，硬件处理系统的结构也会过于复杂。由此可见，传统的代数方法在处理3维及以上问题时对硬件的要求过高，包括硬件处理块自身的复杂性及其数量等。

如何降低嵌入式视觉伺服系统的结构复杂性，提高实时性，且能够通过图像处理获取多种几何特征进行融合从而进行精确控制是关键的问题。

发明内容

针对视觉伺服控制及图像反馈特征，本发明提出一种基于多特征融合的嵌入式视觉伺服控制方法，通过基于FPGA构建核心图像处理模块以及在CGA体系下构建FPGA的嵌入式并行处理器，通过核心图像处理模块进行图像处理获取多种几何特征，建立多特征融合目标函数近似线性化函数，利用优化理论求解目标相对摄像机的位姿参数，在CGA体系下将位置和姿态分解完成视觉伺服控制，解决传统视觉伺服低功耗、实时性强和高精度的互相矛盾问题。

为达到上述目的，本发明采用的技术方案如下：

一种基于多特征融合的嵌入式视觉伺服控制方法，该方法包括：

步骤1，利用FPGA构建核心图像处理模块，将采集得到图像经过核心图像处理模块进行图像处理提取几何特征；

步骤2，在CGA体系下搭建基于FPGA的嵌入式并行处理器，利用所述嵌入式并行处理器融合多种几何图像特征，建立目标位姿关系的数学模型；

步骤3，利用建立的数学模型进行参数化及参数最优化，得到融合数学模型近似线性化函数，通过所述嵌入式并行处理器求解目标相对摄像机的位姿参数；

步骤4，在CGA体系下将位置和姿态分解进行视觉伺服控制。

上述方案步骤1的进一步特征在于：利用FPGA搭建的所述核心图像处理模块采用多核并行处理器体系结构，设计的电路包括串口、摄像机接口、缓存以及VGA显示，通过摄像机进行图像采集，将采集得到图像经过核心图像处理模块进行图像处理提取例如点、直线、圆周、平面等几何特征。

上述方案步骤2的进一步特征在于：CGA体系下的嵌入式处理器的结构主要包括两个单元，CGA接口单元和CGA计算单元；采用3个CGA计算单元，利用多IP核协同处理，通过4*32位整型实现CGA下齐次元素的代数运算单元；完成嵌入式并行处理器接口、控制、存储、总线等单元。具体为通过PCI总线传送指令和数据到静态随机存储器；CGA的接口单元控制PCI总线、静态随机存储器和CGA计算单元之间的数据交换。

CGA体系共包含32个基本元素，包括标量、矢量、双矢量、三矢量、四矢量和伪标量，并将其分为8类四倍数；数学模型建立的基础是5D特征之间的几何约束关系。

上述方案步骤2中的数学模型具体包括以下步骤：利用视觉获取图像通过图像处理提取上述几何特征，在CGA框架内建立Faugeras分层视觉，即利用共形空间将几何特征在3D投影空间、2D欧式空间分层统一起来；进一步是将2D图像特征与3D欧氏特征建立约束关系，得到多特征融合数学模型，例如由5D点在5D直线上的共线约束和线-面的共面约束条件得到点、线的融合数学模型。同样道理，由5D点在平面内的点与面约束，点在圆周上的位置约束关系，点对与直线的平行约束关系，以及圆周与平面的共面约束关系可以构建点、直线、圆周、面等几何特征的融合的数学模型。

上述方案步骤3的进一步特征在于：首先对上述目标函数进行线性化，再利用优化理论对上述目标函数进行最优化运算，确定目标相对摄像机的相对位姿参数。

上述方案步骤4的进一步特征在于：在CGA体系下分别建立位置和方向状态空间模型间的偏差，微分结合速度得到控制律，利用李雅普诺夫函数证明系统的稳定性并对该系统的奇异性进行分析。

对于摄像机固定在机器人末端执行器上的视觉控制，利用手-眼标定和摄像机等标定结果，在CGA体系下，建立当前摄像机和参考摄像机位置状态空间模型间的偏差，微分并结合参考摄像机的线速度得到控制律，利用李雅普诺夫函数证明系统的稳定性；建立当前摄像机和参考摄像机方向状态空间模型间的偏差，微分并结合参考摄像机的角速度得到控制律，利用李雅普诺夫函数证明系统的稳定性并对该系统的奇异性进行探索；输入f_d为参考摄像机位置和姿态值。

或对于全局摄像机固定结构的视觉控制，结合摄像机标定及手眼标定参数，得到目标相对机器人末端的位姿参数，以当前末端执行器和参考末端执行器状态空间模型间的差构造控制律；输入f’_d为末端执行器的参考位置和姿态值。

上述两种视觉配置利用双环控制结构进行视觉伺服控制；外部闭环的视觉控制器采用状态空间法进行控制，通过坐标变换和轨迹生成，作为机器人控制器与机器人构成的内部闭环单元的输入，从而控制机器人双臂末端到达期望的位置和姿态。

从上述技术方案可以看出，本发明具有以下有益效果：

1、本发明提供的创建一种基于多特征融合的嵌入式视觉伺服控制方法，通过将多种图像几何特征进行融合作为嵌入式视觉反馈，解决了单一图像特征作为视觉反馈存在噪声敏感、容错性差、仅适于平面目标、局部极小和计算量较大等诸多问题。

2、将基于FPGA实现的嵌入式并行处理器用于机器人视觉伺服控制与传统的基于CPU实现的机器人视觉伺服控制相比具有低功耗、低成本的优点，计算效率高，具有更好的通用性。

附图说明

图1为本发明实施例的基于多特征融合的嵌入式视觉伺服控制方法的流程图。

图2为本发明实施例的FPGA图像核心处理模块结构图。

图3为本发明实施例的CGA体系下基于FPGA处理器的系统结构图。

图4为本发明实施例的数学模型的优化算法的原理示意图。

图5为本发明实施例的机器人全局-局部结构的视觉系统示意图。

图6为本发明实施例的手-眼系统双环控制结构图。

图7为本发明实施例的全局摄像机机器人系统双环控制结构图。

具体实施方式

本发明基于江苏省自然科学基金青年项目(BK20140252)和江苏省高校自然科学研究面上项目(14KJB510003)进行研发的。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本实施例的基于多特征融合的嵌入式视觉伺服控制方法，通过将多种图像几何特征在CGA计算框架下进行融合作为嵌入式视觉系统的反馈用于机器人视觉伺服控制，利用基于FPGA的嵌入式并行处理器代替传统的CPU作为视觉伺服控制器。该方法解决视觉伺服系统建立多种几何特征融合模型作为图像反馈的问题。为获得多特征融合模型的视觉反馈，首先基于FPGA构建图像核心处理模块同时搭建CGA计算框架下的嵌入式并行处理器，利用摄像头获取图像并由核心图像处理模块提取点、直线、圆等几何特征通过并行处理器建立数学模型进行融合作为视觉反馈，以此完成对机器人的视觉伺服控制。如图1所示是本发明提供的创建一种基于多特征融合的嵌入式视觉伺服控制方法的流程图，该方法具体包括以下步骤：

步骤1：利用FPGA构建核心图像处理模块FPGA作为一种高性能的可编程逻辑器件，可以利用编程方便地进行其内部逻辑功能的修改，从而能够实现并行的硬件运算。本发明的核心图像处理模块如图2所示，采用Altera公司的CyloneⅣ系列FPGA芯片，速度等级是6，拥有28848个逻辑单元，利用4片1Gbit的SDRAM满足图像高速缓冲存储。设计的电路主要包括串口、CMOS摄像头接口、缓存以及VGA显示等。该核心图像处理模块经过图像处理提取多种几何特征，例如点、直线、圆周、平面等，为后续步骤中的特征融合提供特征信息。

步骤2：搭建CGA计算框架下的嵌入式并行处理器，利用CGA融合多种几何图像特征建立目标位姿关系的数学模型：本发明的嵌入式处理器其系统结构如图3所示。一个API控制CGA运算的执行，同时将多重矢量的运算转化为齐次元素运算序列，以此将其实例化于嵌入式处理器。指令和数据是通过PCI总线到静态随机存储器传送的。一旦硬件处理器的信号执行完成，则计算结果被收集。CGA的接口单元控制PCI总线、静态随机存储器和CGA计算单元之间的数据交换。为了进一步提高PCI总线传送速率，本发明采用多核的并行运算的协同处理器体系结构。

上述5D的CGA计算框架共包含32个基本元素，包括标量(1个)、矢量(5个)、双矢量(10个)、三矢量(10个)、四矢量(5个)和伪标量(1个)，并将其分为8类四倍数(4个基本元素线性求和)，如表1所示。其几何变换可以归结为3类运算：乘法(包括几何积、外积、左收缩、右收缩等)，加法(求和、减运算)，一元运算(对偶、共轭、求逆和反转等)。采用3个计算单元，利用多IP核协同处理，通过4*32位整型实现CGA下齐次元素的代数计算单元。同时，完成嵌入式并行处理器接口、控制、存储、总线等单元。

表1 5维CGA的四倍数类型及其包含的基本元素

利用视觉获取图像通过图像处理提取上述几何特征，在CGA框架内建立Faugeras分层视觉。对于给定的目标物的3D特征点以及与其对应的2D像点，理想情况下3D物点位于摄影中心与2D像点确定的投影直线上，而实际情况下，由于图像处理等各种误差使得物点不能确保与投影直线共线。对于5D共形空间物点X＝E+e_∞x、直线L＝Er+e_∞m及其投影平面P＝En+e_∞I_Ed，则由5D点在5D直线上的共线约束和线-面的共面约束条件可得：

其中N_P为特征点数，N_L为特征直线数，X _i 代表5D共形点，O为投影中心，x为2D像点，L_j为3D目标直线，l _j 为2D图像直线，e_∞表示坐标无穷远点，e₊表示矢量空间正交基，M为刚体螺旋运动变换，为M的反向共形运算，×为commutator乘法运算，为anticommutator乘法运算，∧为外积运算。同样道理，由5D点在平面内的点与面约束，点在圆周上的位置约束关系，点对与直线的平行约束关系，以及圆周与平面的共面约束关系可以构建点、直线、圆周、面等几何特征的融合的数学模型。

步骤3：利用优化理论求解目标相对摄像机的位姿参数：

利用步骤2建立的目标函数进行参数化及参数最优化，得到融合目标函数近似线性化函数。首先对上述目标函数进行线性化，再利用Newton、Levenberg-Marquardt(L-M)等传统优化理论对上述目标函数进行最优化运算，则能够确定目标相对摄像机的相对位姿参数。综合起来，整个目标函数的线性化及其迭代优化过程可以利用图4所示，为了具体说明优化迭代收敛的原理，我们利用该算法计算共形空间内的点Y变换到Y′(旋转90°)，如图所示，一阶近似可以获取过点Y圆周的切线，依据L-M算法得到一阶近似的最优化点Y ₁′，并将Y ₁′映射到圆周上即为其一次迭代结果Y ₁。不断循环上述的计算过程分别得到点Y′各次的迭代结果Y ₂,...,Y _n，逐步收敛到点Y′。由此求解得到相对位姿参数。

步骤4：在CGA体系下将位置和姿态分解进行视觉伺服控制：

在步骤3的基础上分析机器人系统的视觉伺服控制系统。利用手-眼标定和摄像机等标定结果，在CGA体系下，建立当前摄像机和参考摄像机位置状态空间模型间的偏差，微分并结合参考摄像机的线速度得到控制律，利用李雅普诺夫函数证明系统的稳定性；另外，建立当前摄像机和参考摄像机方向状态空间模型间的偏差，微分并结合参考摄像机的角速度得到控制律，利用李雅普诺夫函数证明系统的稳定性并对该系统的奇异性进行探索。上述两个步骤完成“眼在手上”结构型视觉控制器的设计。对于全局摄像机单元，由于摄像机固定不动则结合摄像机标定及手眼标定参数，可以得到目标相对机器人末端的位姿参数。类似于“眼在手上”结构型视觉控制器设计方法，以当前末端执行器和参考末端执行器状态空间模型间的差构造控制律。上述两种视觉配置(如图5所示)均利用双环控制结构进行视觉伺服控制。外部闭环的视觉控制器采用状态空间法进行控制，通过坐标变换和轨迹生成，作为机器人控制器与机器人构成的内部闭环单元的输入，从而控制机器人双臂末端到达期望的位置和姿态。

具体来说，对于摄像机运动的手-眼系统结构，采用如图6所示的双环控制结构进行机器人视觉伺服控制。其中，坐标变换将图像特征空间与机器人工作空间联系起来，轨迹生成的目的是对视觉控制器低采样速率进行插补，以匹配机器人关节伺服控制的高采样速率。视觉控制器采用状态空间法，在CGA体系下将位置和姿态分解进行控制。另外，对于全局摄像机固定结构的视觉控制，系统组成模块基本相同，区别在于输入f_d为参考摄像机位置和姿态值，而f′_d则为末端执行器的参考位置和姿态值，如图7所示。在视觉伺服控制基础上，进行跟踪、抓取、协调控制等的应用研究。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多特征融合的嵌入式视觉伺服控制方法，其特征在于，包括以下步骤：

步骤1，利用FPGA构建核心图像处理模块，将采集得到图像经过核心图像处理模块进行图像处理提取几何特征；

步骤2，在CGA体系下搭建基于FPGA的嵌入式并行处理器，利用所述嵌入式并行处理器融合多种几何特征，建立目标位姿关系的数学模型；

步骤3，利用建立的数学模型进行参数化及参数最优化，得到融合数学模型近似线性化函数，通过所述嵌入式并行处理器求解目标相对摄像机的位姿参数；

步骤4，在CGA体系下将位置和姿态分解进行视觉伺服控制。

2.根据权利要求1所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤1的进一步特征在于：利用FPGA搭建的所述核心图像处理模块采用多核并行处理器体系结构，设计的电路包括串口、摄像机接口、缓存以及VGA显示，通过摄像机进行图像采集。

3.根据权利要求1所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤2的进一步特征在于：CGA体系下的嵌入式处理器的结构主要包括两个单元，CGA接口单元和CGA计算单元；采用3个CGA计算单元，利用多IP核协同处理，通过4*32位整型实现CGA下齐次元素的代数运算单元；完成嵌入式并行处理器接口、控制、存储、总线等单元。

4.根据权利要求1至3之一所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤2的进一步特征在于：CGA体系共包含32个基本元素，包括标量、矢量、双矢量、三矢量、四矢量和伪标量，并将其分为8类四倍数；数学模型建立的基础是5D特征之间的几何约束关系。

5.根据权利要求1所述的基于多特征融合的嵌入式视觉伺服控制方法，其特征在于，步骤2中的数学模型具体包括以下步骤：利用视觉获取图像通过图像处理提取多种几何特征，在CGA框架内建立Faugeras分层视觉，即利用共形空间将几何特征在3D投影空间、2D欧式空间分层统一起来；进一步是将2D图像特征与3D欧氏特征建立约束关系，得到多特征融合数学模型。

6.根据权利要求1所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤3的进一步特征在于：首先对所述数学模型进行线性化，再利用优化理论对所述数学模型进行最优化运算，确定目标相对摄像机的相对位姿参数。

7.根据权利要求1、2、3、5或6中任一所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤4的进一步特征在于：在CGA体系下分别建立位置和方向状态空间模型间的偏差，微分结合速度得到控制律，利用李雅普诺夫函数证明系统的稳定性并对该系统的奇异性进行分析。

8.根据权利要求7所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤4的进一步特征在于：对于摄像机固定在机器人末端执行器上的视觉控制，利用手-眼标定和摄像机等标定结果，在CGA体系下，建立当前摄像机和参考摄像机位置状态空间模型间的偏差，微分并结合参考摄像机的线速度得到控制律，利用李雅普诺夫函数证明系统的稳定性；建立当前摄像机和参考摄像机方向状态空间模型间的偏差，微分并结合参考摄像机的角速度得到控制律，利用李雅普诺夫函数证明系统的稳定性并对该系统的奇异性进行探索；输入f_d为参考摄像机位置和姿态值。

9.根据权利要求7所述的基于多特征融合的嵌入式视觉伺服控制方法，步骤4的进一步特征在于：对于全局摄像机固定结构的视觉控制，结合摄像机标定及手眼标定参数，得到目标相对机器人末端的位姿参数，以当前末端执行器和参考末端执行器状态空间模型间的差构造控制律；输入f′_d为末端执行器的参考位置和姿态值。

10.根据权利要求8或9所述的基于多特征融合的嵌入式视觉伺服控制方法，其特征在于：利用双环控制结构进行视觉伺服控制；外部闭环的视觉控制器采用状态空间法进行控制，通过坐标变换和轨迹生成，作为机器人控制器与机器人构成的内部闭环单元的输入，从而控制机器人双臂末端到达期望的位置和姿态。