CN101588480A - 一种多智能体视觉伺服协调控制方法 - Google Patents

Abstract

本发明涉及运动体协调控制技术领域，具体涉及一种多智能体视觉伺服协调控制方法。通过视觉信息控制运动体或运动机构相对于目标物或一个目标特征集的位置和姿态，完成目标监控、跟踪、抓取等任务。技术方案中采用多个摄像头对被监控场景或被控对象进行实时图像采集，综合各个摄像头所得到的信息，利用计算机技术和图像处理技术得出有效的控制信号，对被监控场景或被控对象进行协调控制。本发明只需在测量方位角上设置相应的摄像头，通过图像处理、目标识别等过程获取伺服信号，进行控制决策。无需在被控对象上添加信号发射器、传感器等装置，特别在高温、高压、真空等一些特殊环境和危险环境中可实现无接触监测与控制，是一项应用背景广泛的协调控制技术。

Description

一种多智能体视觉伺服协调控制方法

技术领域

本发明涉及运动体协调控制技术领域，具体涉及一种基于视觉的协调控制方法。

背景技术

多智能体视觉伺服协调控制方法是随着上世纪60年代末计算机与电子技术的快速发展而出现的。把视觉信息用于机械手定位的研究可以追溯到70年代，当时出现了一些实用性的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料罐装场合的检验等。到了80年代后期，出现了专门的图像处理硬件，人们开始系统地研究基于视觉的伺服控制系统，到了90年代，随着计算机能力的增强和价格下降以及图像处理硬件和CCD摄像机的快速发展，视觉伺服协调控制技术吸引了众多研究人员投身于其中。90年代后期视觉伺服控制技术从结构形式、图像处理方法、控制策略上都有了长足的进步。

视觉伺服是利用视觉传感器得到的图像作为反馈信息，构造闭环反馈系统。它和一般意义上的机器视觉有所不同，机器视觉一般定义为：自动地获取分析图像以得到描述一个景物或控制某种动作的数据。而视觉伺服则是以实现对目标进行控制为目的而进行图像的自动获取与分析，因此它是利用机器视觉的原理，从图像中获得反馈信息，进而快速进行图像处理，在短时间内给出反馈信息，参与控制决策的产生，构成完整的闭环控制系统。基于视觉的运动体协调控制技术领域中，多智能体视觉伺服协调控制方法是一项应用广泛的运动体协调控制方法。其应用视觉信息来控制运动体或运动机构相对于目标物或一个目标特征集的位置和姿态，完成目标监控、跟踪、抓取等任务。利用机器视觉原理，根据采集到的图像信息快速进行图像处理，在一个采样周期内给出反馈信息，构成闭环控制。视觉系统是一个复杂的感观系统，其中包含着大量的信息，要从中抽取有用的信息需要复杂的算法，耗费大量的运算时间；并且视觉通常是通过摄像机来实现的，在成像过程中会受到多种因素的影响(如摄像机的精度、光照强度、传输噪声等)，使得视觉信息中不可避免的带有噪声，增加了图像处理的难度。

基于视觉的协调控制研究领域众多，且多学科相互交叉融合，主要有计算机视觉、图像处理、运动学、机器人动力学、控制理论、实时计算等。多智能体视觉伺服协调控制方法在理论研究和实际应用中都有较高的价值。在空间飞行器群体编队组合，空间交会对接的研究，智能交通中基于视觉的区域交通协调控制，工业生产中机械手视觉协调控制等诸多方面广泛应用。实现多智能体视觉伺服协调控制难度很大，是一项十分具有挑战性的技术。

发明内容

本发明提出一种多智能体视觉伺服协调控制方法。采用多个摄像头对被监控场景或被控对象进行实时图像采集，综合各摄像头所得信息，利用计算机技术和图像处理技术得出有效控制信号，对被监控场景或被控对象进行协调控制。利用该项技术只需在测量方位角上设置相应的摄像头，通过图像处理、目标识别等过程获取伺服信号，进行控制决策。无需在被控对象上添加信号发射器、传感器等装置，特别在高温、高压、真空等一些特殊环境和危险环境中可实现无接触监测与控制，是一项应用背景广泛的协调控制方法。

本发明技术方案表述如下：系统框图如图1所示，根据被控对象的运动形式和场景的特点，安装两个或两个以上的摄像头，各摄像头分别安装在预定测控点上。其中一个摄像头作为主采集装置，其所在位置为主测控点，主测控点包括主采集摄像头、采集卡、适配器、传输装置、计算机等。其他摄像头均作为辅助采集装置，其所在位置为辅助测控点，辅助测控点包括辅助采集摄像头、采集卡、适配器、传输装置、计算机等。本发明在应用中可设置一个主测控点和多个辅助测控点。主测控点采集到的图像作为主测控信号，计算机通过该信号进行下一步的分析与控制；辅助测控点采集到的图像为辅助测控信号，该信号传达给计算机作为主测控信号的反馈信号和修正信号。各个测控点彼此配合协调工作，最终完成基于视觉的协调控制过程。具体技术方案包括主测控点技术方案(图2)以及辅助测控点技术方案(图3)两部分。

其一，主测控点技术方案主要内容。主测控点技术方案包括图像降噪滤波、区域背景中的特征点分割、特征点轮廓提取、特征中心点位置计算、控制策略决策等几个部分。

1.图像降噪滤波。图像在采集、传输、接收和处理的过程中会受到外界环境、系统性能和人为因素等诸多方面影响，不可避免地存在噪声干扰，它使图像变质，影响图像的质量。如果不对噪声进行及时处理，就会对后续的处理过程乃至输出结果产生影响，甚至可能得到错误的结论。

2.区域背景中的特征点分割。特征点与背景的分割是根据一定的特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同，从而在一幅图像中，把目标从背景中分离出来，以便于进一步处理。

3.特征点轮廓提取。图像的局部边缘定义为两个强度明显不同的区域之间的过渡，图像的梯度函数即图像灰度变化的速率将在过渡边界上存在最大值。因此，通过基于梯度算子或一阶导数的检测器来估计图像灰度变化的梯度方向，增强图像的这些变化区域，然后对该梯度进行阈值计算，如果梯度值大于某个给定门限，则存在边缘。再将被确定为边缘的像素连接起来，以形成包围着区域的封闭曲线。

4.特征中心点位置计算。利用重心法来提取特征点中心的图像坐标。

5.控制策略决策。控制策略决策部分综合主测控点数据和辅助测控点数据进行运算与决策。以主测控点数据为主进行控制方案的选择，同时分析辅助测控点数据反馈量，并以此为依据对控制方案进行修正。

其二，辅助测控点技术方案主要内容。辅助测控点技术方案如下：对于一幅目标图像，一般来说目标只占据很小的一个区域，而大部分区域都是与目标无关的背景。对于提高目标自动识别的速度来说，如何减少剔除背景所需的运算量就显得非常关键。实际上，对于一个由多种色彩组成的目标而言，目标的存在就意味着该区域至少会存在相应数量的与目标组成色彩种类一致的像素。反之，如果该区域缺乏构成目标的任意一种色彩，就说明该区域不存在目标。根据这一原理可以建立一种高效的方法来确定目标可能存在的区域。

本发明主要优点如下：(1)采用多个摄像头对被监控场景或被控对象进行实时图像采集，相对单一摄像头而言，可在不同方位上获取更全面的被控对象信息，可有效地提高控制决策能力。(2)本发明通过视觉采集图像对目标进行控制，无需其它传感器，应用范围广泛。(3)本发明采用灰度级图像区域分割技术，该技术可以极大的压缩数据量，缩短处理时间，同时也极大地简化了分析和处理步骤。(4)本发明采用构建特征色彩空间，建立特征色彩分布函数的方法来剔除非目标区域，具有分辨率高、实时性好、系统资源消耗低的优点。

附图说明

图1：系统结构图

图2：主测控点技术方案框图

图3：辅助测控点技术方案框图

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述。

如图2所示，本发明中主测控点技术方案包括图像降噪滤波、区域背景中的特征点分割、特征点轮廓提取、特征中心点位置计算、控制策略决策等部分。

1.图像降噪滤波。图像在采集、传输、接收和处理的过程中，会受到外界环境、系统性能和人为因素等诸多方面影响，不可避免地存在噪声干扰，它使图像变质，影响图像的质量。如果不对噪声进行及时处理，就会对后续的处理过程乃至输出结果产生影响，甚至可能得到错误的结论。

中值滤波是一种基于排序理论的、能有效抑制噪声的非线性信号处理技术。中值滤波将邻域中的所有像素按灰度级排序，取其中间值作为输出像素。中值滤波的效果取决于两个主要因素：临域的空间范围和中值计算中涉及的像素数(当空间范围较大时，一般只取若干稀疏分布的像素作中值计算)。对一维序列x₁，x₂，x₃…x_n把n个数据按大小排列：则：

$y=\mathrm{med}\{x_1,x_2,x_3...x_n\}=\left\{\begin{array}{cc}{x}_i\left(\frac{n+1}{2}\right)& n=2k+1\\ \frac{1}{2}[x_i\left(\frac{n}{2}\right)+x_i(\frac{n}{2}+1)]& n=2k\end{array}\right.$

实现时一般取长度为L＝2n+l的滤波窗口，n为正整数。将窗口在数据上滑动，中值滤波其输出就是将窗口正中所对的像素值用窗口内各像素的中值代替，即：

y_i＝med{x_i-n，x_i，x_i+n}

中值滤波器是一种非线性滤波器，且中值滤波可以保持信号的边缘，使其不被模糊，当窗口的宽度为2n+1时，信号序列中宽度不大于n的脉冲便会被中值滤波清除。

2.区域背景中的特征点分割。特征点与背景的分割是根据一定的特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同，从而在一幅图像中，把目标从背景中分离出来，以便于进一步处理。

分割过程按照灰度级，根据目标和背景占据不同灰度级范围的图像，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域。各区域内部具有一致属性，相邻区域布局也具有一致性。这种方法不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。

设给定的灰度图像 $P(x,y)\∈[{\∂}_1,{\∂}_2],$ 确定一个阈值或子集 $\∂\⋐[{\∂}_1,{\∂}_2],$ 根据各像素灰度是否属于

而将其分类，即

$f(x,y)=\left\{\begin{array}{cc}{a}_{\mathrm{xy}}& P(x,y)\∈\∂\\ b_{\mathrm{xy}}& P(x,y)\∉\∂\end{array}\right.$

其中，a_xy，b_xy分别为指定值或原灰度值。如果取a_xy＝1，b_xy＝0，则分割后的图像是二值图像，目标与背景之间具有最大对比度。如果取a_xy＝P(x，y)，b_xy＝0，则分割后的图像背景灰度为0，目标保留了原灰度。

3.特征点轮廓提取。图像的局部边缘定义为两个强度明显不同的区域之间的过渡，图像的梯度函数即图像灰度变化的速率将在这些过渡边界上存在最大值。因此，通过基于梯度算子或一阶导数的检测器来估计图像灰度变化的梯度方向，增强图像的这些变化区域，然后对该梯度进行阈值计算，如果梯度值大于某个给定门限，则存在边缘。再将被确定为边缘的像素连接起来，以形成包围着区域的封闭曲线。

采用一阶微分算子进行度量，其中梯度是一个向量，

指出灰度变化的最快方向和变化量。

$\▿f=(\frac{\∂f}{\∂x},\frac{\∂f}{\∂y})$

所求梯度的大小和方向为：

$\left|\right|\▿f\left|\right|=\sqrt{{\left(\frac{\∂f}{\∂x}\right)}^2+{\left(\frac{\∂f}{\∂y}\right)}^2}$

$\mathrm{\θ}={\tan }^{-1}(\frac{\∂f}{\∂y}/\frac{\∂f}{\∂x})$

图像的垂直和水平差分来逼近梯度算子：

$\▿f=(f(x,y)-f(x-1,y)),f(x,y)-f(x,y-1)$

对每一个像素计算出向量，求出绝对值，并进行阈值操作得到Robert算子：

$R(i,j)=\sqrt{{[f(i,j)-f(i+1,j+1)]}^2+{[f(i,j+1)-f(i+1,j)]}^2}$

4.利用重心法来提取特征点中心的图像坐标。

设在图像平面上，特征点图像中位置坐标为(x，y)的像素的灰度值为I(x，y)，则特征点中心的图像坐标(x_c，y_c)为：

$x_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)}$

$y_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)}$

5.控制策略决策。控制策略决策部分综合主测控点数据和辅助测控点数据，以主测控点数据为主进行控制方案的选择，同时分析辅助测控点数据反馈量，并以此作为依据对控制方案进行修正。

控制策略决策部分包括控制规则与决策库单元、主测控点推理与决策单元、辅助测控点反馈与修正单元、通信协作单元。控制规则与决策库单元为控制方案库和规则库的集合，为控制决策提供支撑和保障。主测控点推理与决策单元根据主测控点数据信息及协作任务，从控制规则与决策库单元中提取相匹配的决策。辅助测控点反馈与修正单元依据辅助测控点计算结果，对主测控点控制规则和决策方案进行反馈与修正，综合计算相应的决策指令。通信协作单元用于在主测控点和辅助测控点之间传输信息。

辅助测控点技术方案如图3所示：对于一幅目标图像，一般来说目标只占据很小的一个区域，而大部分区域都是与目标无关的背景。对于提高目标自动识别的速度来说，如何减少剔除背景所需的运算量就显得非常关键。实际上，通过分析可知，对于一个由多种色彩组成的目标而言，目标的存在就意味着该区域至少会存在相应数量的与目标组成的多种色彩一致的像素。反之，如果该区域缺乏构成目标的任意一种色彩，就说明该区域不存在目标。根据这一原理可以建立一种高效的方法来确定目标可能存在的区域。

考虑选取其中覆盖率超过α的Ω种色彩作为描述目标的特征色彩，建立特征色彩空间：

Ω＝{c₁，c₂...c_n}

构造某图像区域U的特征色彩矢量：

Λ(U)＝(l₁，l₂…l_n)

目标可以用其特征色彩矢量Λ(U)来表示。对于图像中的一个点p来说，其特征色彩矢量为

$\mathrm{\Λ}\left(p\right)=\left\{\begin{array}{cc}1& l_i=c_i\\ 0& \mathrm{Others}\end{array}\right.$

特征色彩分布函数就是描述图像的特征色彩分布规律的函数。

T_xy(x₁，y₁，x₂，y₂)为目标图像T中从点(x₁，y₁)到(x₂，y₂)的矩形区域的子图像，

F(i，j)＝Λ[T_xy(x₁，y₁，x₂，y₂)]

特征色彩分布函数可以用一种类似于积分图像的方式进行快速迭代计算。

采用排除法来剔除非目标区域，逐步缩小搜索范围，最终确定目标可能存在的区域。建立评价准则，引入特征色彩比例参数：

$\mathrm{\ρ}=\mathrm{\λ}\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\Λ}{\left[T_{\mathrm{xy}}(x_1,y_1,x_2,y_2)\right]}_i/\underset{\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\Λ}\left(U\right)\}$

特征色彩比例参数ρ是区域的特征色彩矢量各分量分别与目标的特征色彩矢量的各分量相比较所得的值。为ρ设定一个阈值ε，若ρ＜ε，则认为该区域不存在目标，反之若ρ≥ε则认为目标存在的概率大于期望值。

Claims (8)

1一种多智能体视觉伺服协调控制方法，其特征在于：针对被控对象安装多个摄像头，根据应用环境选择摄像头的分辨率、焦距及照度。摄像头的云台选择两自由度工作模式，对于夜间工作环境要选择具有红外夜视功能的设备。多摄像头伺服协调有两种不同的系统结构：集中式和分布式。在集中式方法中，监控系统需要在中央服务器上融合数据。通常当系统的摄像头数量增加时，将会导致服务器在计算和通信上的瓶颈。因此，在本发明中采用分布式方法。分布式监控系统采用多层次结构，运动目标的检测、跟踪和分类在单摄像头层完成；在中央服务器层，系统使用单摄像头的跟踪结果来建立同一目标在不同摄像头视野内的通信，协同多摄像头系统中的监控任务。根据被控对象的运动形式和场景的特点，各摄像头分别安装在预定测控点上。各个摄像头采集到的信息分别先经由单摄像头层处理分析，再由通信系统综合各个视频测控点的信息，集中进入主测控点进行综合分析与决策。

监控中心的摄像头作为主采集装置，其所在位置为主测控点。主测控点的作用是接收来自各分散测控点的信息数据，回馈有效信息到各个分测控点。在每一个采样周期与分测控点通信，交互数据并对数据进行分组备份。源数据从不同的通道获取信息，并同时取得信息量的瞬时强度及均稳态强度，数据链式融合的初始也依据通道分量获得。主测控点包括主采集摄像头、采集卡、适配器、传输装置、计算机等。摄像头采集模拟信号图像通过传输装置发送至编解码接收机，再通过信号转换等环节传送到数模转换/解压采集卡，取得二进制数字信号输入到计算机终端进行处理。通过实时运算得出结果，经过压缩、调制、传输等过程反馈给各分散测控点。主采集装置一般为一个摄像头或由多个摄像头形成的一个集群组或集群阵列。

主摄像头之外的摄像头为辅助摄像头，这些辅助摄像头均作为辅助采集装置，其所在位置为辅助测控点。辅助测控点包括辅助采集摄像头、采集卡、适配器、传输装置、计算机等。辅助测控点的主要作用是从不同角度、不同方位、不同远近对目标进行监控与视频信号采集，并传送到辅助测控点的计算终端，完成信号提取与采集工作，进而将所得信号实时传递到主测控点计算终端，参与实时运算和决策，为最终控制信号的产生和取得提供保障。对于辅助测控点根据测控精度和实时性要求的不同，可以选择不同参数的摄像头，以满足所采集场景远近、明暗等其他情况变化的要求。

多智能体视觉伺服协调控制系统是一个分布式控制系统，包括一个主测控点和多个辅助测控点。主测控点采集到的图像作为主测控信号，计算机通过该信号进行下一步的分析与控制；辅助测控点采集到的图像为辅助测控信号，该信号传达给计算机作为主测控信号的反馈信号和修正信号。各个测控点彼此配合协调工作，最终完成基于视觉的协调控制过程。

2按权利要求1所述的方法，分布式监控系统采用多层次结构，各个摄像头采集到的信息分别先经由单摄像头层处理分析，再由通信系统综合各个视频测控点的信息，集中进入主测控点进行综合分析与决策。

3按权利要求1所述的方法，主测控点的作用是接收来自各分散测控点的信息数据，回馈有效信息到各个分测控点，在每一个采样周期与分测控点通信，交互数据并对数据进行分组备份。

4按权利要求1所述的方法，辅助测控点的主要作用是从不同角度、不同方位、不同远近对目标进行监控与视频信号采集，并传送到辅助测控点的计算终端，完成信号提取与采集工作，进而将所得信号实时传递到主测控点计算终端，参与实时运算和决策，为最终控制信号的产生和取得提供保障。

5按权利要求3所述的方法，源数据从不同的通道获取信息，并同时取得信息量的瞬时强度及均稳态强度，数据链式融合的初始也依据通道分量获得。

6按权利要求3所述的方法，分割过程按照灰度级，根据目标和背景占据不同灰度级范围的图像，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域。

7按权利要求3所述的方法，图像的垂直和水平差分来逼近梯度算子：

$\▿f=(f(x,y)-f(x-1,y)),f(x,y)-f(x,y-1)$

对每一个像素计算出向量，求出绝对值，并进行阈值操作得到Robert算子：

$R(i,j)=\sqrt{{[f(i,j)-f(i+1,j+1)]}^2+{[f(i,j+1)-f(i+1,j)]}^2}$

8按权利要求4所述的方法，特征色彩分布函数可以用一种类似于积分图像的方式进行快速迭代计算。

Images