CN102354114A

CN102354114A - 一种网络控制系统的随机时延建模方法

Info

Publication number: CN102354114A
Application number: CN2011102214181A
Authority: CN
Inventors: 江明; 陈其工; 葛愿; 高文根; 潘健
Original assignee: Anhui Polytechnic University
Current assignee: Anhui Polytechnic University
Priority date: 2011-07-18
Filing date: 2011-07-18
Publication date: 2012-02-15

Abstract

本发明为网络控制系统提供一种基于连续时间隐Markov模型的随机时延建模方法。依图1建立网络控制系统，其中受控对象为四自由度机械臂，其运动学参数经采样后通过网络发送给控制器，控制器首先建立起网络时延的连续隐Markov模型再根据采样数据设计合适的控制律并将其通过网络发送给执行器以补偿时延对系统性能的影响。使用不完全数据期望最大化算法进行模型参数训练，同时引入遗传算法和模拟退火算法来保证训练过程快速收敛至全局极值。最后，在仿真实验平台上对已建立的网络时延连续隐Markov模型进行验证和优化。本发明能够准确地描述网络时延受控于网络状态这一时延产生机理，确保时延模型与实际网络环境的最大逼近度。

Description

一种网络控制系统的随机时延建模方法

技术领域

本发明涉及一种网络控制系统中随机时延的建模方法。

背景技术

随着计算机技术、通信技术和控制理论发展，控制系统正向网络化、集成化、分布化、节点智能化的发展，产生了网络控制系统。网络控制系统是一种通过实时通信网络构成闭环的分布式反馈控制系统，其中，传感器、控制器和执行器之间通过一条共享的网络通道来交换信息。与传统的点对点控制系统相比，网络化控制系统具有共享资源、远程监控、减少布线、降低成本、易于扩展和维护、增强系统的灵活性和可靠性等优点。但由于受网络带宽的限制，数据在网络传输过程中存在网络诱导时延。而网络时延是导致网络化控制系统性能下降甚至不稳定的主要原因，因此寻找有效的网络时延建模方法在网络控制系统建模与控制研究中占有重要的地位，对网络控制策略在航空航天、机器人遥操作、智能交通、远程医疗、工业制造、智能家居等领域的应用具有重要意义。

目前，网络控制在工业控制领域正在得到广泛应用，而网络控制系统的理论研究就显得过于滞后，很多理论研究成果难以走出实验室应用于实际控制过程。其根本原因就在于大部分理论研究都是在对网络状态作了很多理想假设的条件下进行的，导致这些理论研究所基于的网络模型过于保守，无法准确预测网络时延与数据包丢失，从而在闭环控制中无法进行有效补偿。

在实际网络中由于受到网络负荷、节点竞争、网络堵塞等诸多表征网络状态的随机因素的影响，网络时延、丢包现象往往呈现出随机变化的特征，并且在许多情况下表现为一定的Markov特性。因此一些学者开始用Markov链理论来对系统的网络状态进行分析。这一研究手段主要可归纳为两种方式：(1)根据网络的实际使用情况，把网络的负载分为几个等级，并假设出现这几种负载情况的概率满足Markov特性；(2)延时、丢包率本身具有一定的Markov特性，从而使用有限Markov链理论对网络状态进行分析，这种方式要求延时、丢包率的数值属于一个有限集。然而网络状态是一个抽象的概念，它表征网络的整体状况，反映整个网络的负荷、流量、拥塞程度等，其抽象性很难通过测量直接获得。而上述的网络延时、丢包率仅仅是反映网络状态的一些网络性能指标，可以视为网络状态的一组观察。因此，找到这些网络性能指标与实际网络状态之间的关系是保证网络控制系统建模更接近实际网络环境的关键所在。

发明内容

本发明针对网络控制系统研究中现有时延建模方法的不足，提供了一种基于连续时间隐Markov模型的时延建模方法。该方法能够准确的描述网络时延受控于网络状态这一时延分布特征，确保时延模型与实际网络环境的最大逼近度。

为解决上述技术问题本发明的技术方案是：

1)搭建一个典型的网络控制系统。在这个平台上力求能够人为模拟多种网络环境，以保证基于该系统建立的连续隐Markov模型具有一般适应性。

2)在已搭建的网络控制系统基础上，测量网络延时，计算丢包率，对实验数据进行必要的预处理，包括数据的校正和量化。

3)将预处理完的观测数据以序列方式，作为隐马尔可夫模型的输入，建立该网络控制系统的连续隐Markov模型。本方法主要考虑数据包延时、丢失等问题，因此建立的模型是一个混合模型。将连续隐Markov模型用于网络控制系统研究，初始模型的选择、参数估计算法都需要重新考虑。所以，这部分方案还包括：

(a)用于状态估计的不完全数据期望最大算法(Missing-data Expectation Maximization，MD-EM)，它将有利于在时延数据不完备的情况下建立时延的连续隐Markov模型；

(b)为减少初始模型选择对模型训练的不利影响、以及避免EM算法陷入局部极值而采取的全局寻优算法------遗传算法(Genetic Algorithm，GA)；

(c)与全局寻优互补的局部寻优算法------模拟退火算法(Simulated Annealing Algorithm，SA)，从而提高连续隐Markov模型的训练速度。

4)在网络控制系统实时仿真平台NCS-RS(NCS-RealTime Simulation)上对已建立的连续隐Markov模型进行仿真验证与优化，对网络控制系统的连续隐Markov模型进行必要的评估，可以采用普通的Viterbi算法等，考察基于连续隐Markov模型的时延预测误差是否最小。

5)基于网络时延的连续隐Markov模型在控制器设计中对时延进行有效补偿。。当然使用什么样的闭环控制算法因人而异，科技人员可以选择特定网络控制系统所需的控制算法，但其中的时延补偿策略均可以采用我们基于连续隐Markov模型的时延预测结果。

有益效果：

利用基于连续时间隐Markov模型的时延建模方法，能够准确的描述网络时延受控于网络状态这一时延分布特征，确保时延模型与实际网络环境的最大逼近度。并将理论研究应用于实际的网络控制系统中，准确预测网络时延与数据包丢失，在实际网络闭环控制中进行有效补偿。这对于提高现有网络控制系统运行稳定性、实时性有着重要的意义。

附图说明

图1为本发明中基于连续隐Markov模型时延模型的网络化机械臂控制系统实物图，

图2为网络化机械臂控制系统的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明：

如图1所示，基于连续隐Markov时延模型的网络化机械臂控制系统实物图，它由PC电脑(远程控制器)、网络、PC电脑(带运动控制器)、四自由度机械臂控制箱、四自由度机械臂本体。四自由度机械臂本体通过插头(座)与四自由度机械臂控制箱相连接，四自由度机械臂控制箱通过扁平电缆与PC电脑(带运动控制器)相连接，由此组成本地闭环控制系统。本地闭环控制系统经网络连接PC电脑(远程控制器)构成分级结构的网络控制系统。

图2所示，四自由度机械臂本体为串联形式，采用交流伺服电机作为执行机构，通过行星齿轮减速器直接驱动两个主动关节，同时在主动关节伺服电机的轴上安装了两个光电编码器作为位置测量装置。机械臂系统的伺服控制器作为连接运动控制卡和机械臂本体的桥梁，隔离了作为弱电部分的运动控制卡和作为强电部分的机械臂本体，以保障运动控制卡及主控计算机的安全。伺服控制器一方面负责接收运动控制卡计算得到的控制量，将控制量进行相应的滤波和变换，再进行功率输出以驱动伺服电机的运动；另一方面负责获取安装于机械臂本体上的限位开关量和光电编码器读数供运动控制卡读取，同时伺服控制器内部包含速度控制闭环以改善机械臂系统的控制特性。机械臂系统中的运动控制卡是机械臂系统的控制核心，负责从伺服控制器采集机械臂本体的反馈量，根据设定的控制律以及期望目标计算控制量，并利用D/A模块将控制量转化为模拟控制量输入到伺服控制器驱动机械臂按规划路线执行动作。

基于连续隐Markov模型的时延建模方法：

第一步，如图1基于四自由度机械臂及校园网构建一个典型的网络控制系统。

第二步：收集网络时延数据，包括传感器到控制器的时延和控制器到执行器的时延，并对观测数据进行预处理，如数据的校正和量化。

第三步：以时延序列作为隐Markov模型的输入，选择连续隐Markov模型作为建模手段，基于对网络延时和丢包的观察序列推导该模型的状态参数。在模型参数的推导过程中，初始模型的选择和模型的参数估计是两个主要问题。

1)假设该连续隐Markov模型有M个观测符号和N个隐藏状态，则该随机过程的取值空间为S＝{1，2，…，N}x{1，2，…，M}，并且受控于一个大小为MN×MN的生成元Q。所以求解生成元Q是推导连续隐Markov模型的关键之一。这可以通过求解Kolmogorov方程，由连续Markov链的概率转移矩阵P计算生成元Q。所以问题就转化为求解连续隐Markov模型中Markov链的概率转移矩阵P，这就是隐Markov模型中的参数估计(也叫模型训练)问题。训练方法的好坏直接影响到建模效果。由于网络传输的不可靠性，测量得到的延时、丢包等数据并不完整，所以我们采用不完全数据期望最大算法(Missing-data EM，MD-EM)来求解连续Markov链的概率转移矩阵。

2)MD-EM算法是一种迭代算法，每次迭代包括两步：期望步和最大化步。在期望步中，根据之前迭代得到的模型参数，计算连续Markov链从状态(i，j)转出的估计值以及从状态(i，j)转移到(k，l)的估计值，分别记为n(i，j)和m(i，j，k，l)。在最大化步骤中，根据n(i，j)和m(i，j，k，l)计算新的模型参数。当新、旧模型参数之差小于某一个给定值(由网络控制系统中延时、丢包率的相对误差确定)时，迭代结束。

3)但是，MD-EM算法存在一个缺点，就是当初始模型选择不当时，训练结果很容易陷入局部极值，而且对初始模型的选择非常敏感。为此，我们引入了遗传算法(GA)。遗传算法被公认为与初始参数的选择无关，而且可以在大范围内进行最优化寻解。而MD-EM算法恰好擅长于小范围内寻优，所以将遗传算法与不完全数据期望最大化算法混合起来完成了连续时间隐Markov模型的参数估计，把初始模型对系统建模过程的影响降到了最低。

GA与MD-EM的混合算法可以描述如下：

开始时由GA确定Markov链的状态参数，然后基于这一初始模型进行MD-EM的迭代过程，每次迭代，模型的状态参数都会被更优的值代替，这些更优的值被返回给GA，以判断其是否为局部极值，如果是则舍弃，否则就用新的参数代替原来的参数。替换后的参数再传给MD-EM进入下一轮的迭代，如此循环下去直到满足循环结束条件(由延时、丢包率的相对误差范围决定)为止。

4)在GA与MD-EM的混合算法中有两项重要的内容，一是开始时需要GA确定模型的初始参数，二是每次迭代如果MD-EM产生的结果非局部极值，则需要由GA更新模型的参数。如何保证这些参数估计的精度是一个至关重要的环节，为此本技术方案采用了模拟退火算法(Simulated Annealing Algorithm，SA)。遗传算法与模拟退火算法的复合始于热力学和自然进化过程，这种基于自然的方法具有良好的适应性，易于实现，在次优寻解中具有很大的潜力。此外，在SA算法中有一个称为温度的控制参数，用于控制局部范围内的最小化搜索，正是SA算法在局部寻优方面的突出表现，对MD-EM算法形成有益补充，提高了GA-EM混合算法的搜索效率。

第四步，在网络控制系统实时仿真平台NCS-RS(NCS-RealTime Simulation)上对已建立的连续隐Markov模型进行仿真验证与优化。

第五步，将基于连续隐Markov模型的预测结果在控制算法中对时延进行有效补偿。当然使用什么样的闭环控制算法因人而异，科技人员可以选择特定网络控制系统所需的控制算法，但其中的时延补偿策略均可以采用本发明中建立的时延连续隐Markov模型。

本连续隐Markov时延模型最大限度地接近了实际网络环境，为科研人员进行网络控制系统的控制器设计和时延补偿提供了良好的理论基础。

Claims

1.一种网络控制系统的随机时延建模方法。其步骤如下：

3)将预处理完的观测数据以序列方式，作为隐马尔可夫模型的输入，建立网络时延的连续隐Markov模型。本方法主要考虑数据包延时、丢失等问题，因此建立的模型是一个混合模型。将连续隐Markov模型用于网络控制系统研究，初始模型的选择、参数估计算法都需要重新考虑。所以，这部分方案还包括：

(a)用于状态估计的不完全数据期望最大算法(Missing-data ExpectationMaximization，MD-EM)，它将有利于在时延数据不完备的情况下建立时延的连续隐Markov模型；

(c)与全局寻优互补的局部寻优算法------模拟退火算法(SimulatedAnnealing Algorithm，SA)，从而提高连续隐Markov模型的训练速度。

4)在网络控制系统实时仿真平台NCS-RS(NCS-RealTime Simulation)上对已建立的连续隐Markov模型进行仿真验证与优化。

5)基于网络时延的连续隐Markov模型在控制器设计中对时延进行有效补偿。

2.根据权利要求1所述的一种网络控制系统的随机时延建模方法，其特征在于，所述步骤(3)利用连续隐Markov模型对网络控制系统的随机时延进行建模。具体是：设该连续隐Markov模型有M个观测符号和N个隐藏状态，则该随机过程的取值空间为S＝{1，2，…，N}x{1，2，…，M}，并且受控于一个大小为MN xMN的生成元Q。所以求解生成元Q是推导连续隐Markov模型的关键之一。这可以通过求解Kolmogorov方程，由连续Markov链的概率转移矩阵P计算生成元Q。所以问题就转化为求解连续隐Markov模型中Markov链的概率转移矩阵P，这就是隐Markov模型中的参数估计(也叫模型训练)问题。

3.根据权利要求1所述的一种网络控制系统的随机时延建模方法，其特征在于，所述步骤(3)中(a)与(b)构成GA与MD-EM的混合算法完成了连续时间隐Markov模型的参数估计，具体步骤如下：

4.根据权利要求1所述的一种网络控制系统的随机时延建模方法，其特征在于，所述步骤(3)中(c)模拟退火算法(Simulated Anneal ing Algorithm，SA)。在模拟退火算法中有一个称为温度的控制参数，用于控制局部范围内的最小化搜索，正是模拟退火算法在局部寻优方面的突出表现，对MD-EM算法形成有益补充，提高了GA-EM混合算法的搜索效率。