CN106295563B - 一种基于多目视觉对飞行目标飞行性能评估的系统及方法 - Google Patents

Abstract

本发明涉及一种基于多目视觉对飞行目标飞行性能评估的系统及方法，其系统包括n组拍摄终端、1个服务器、n‑1(n≥2)个客户端和1个路由器；每组拍摄终端中均有一台以上的相机，其中1组拍摄终端与1个所述服务器对应，且1组拍摄终端中的所有相机均分别与所述服务器电连接；其余n‑1组拍摄终端与n‑1个所述客户端一一对应，且在其余n‑1组拍摄终端中，每组拍摄终端中的所有相机均分别与对应的客户端电连接；所述服务器与n‑1个所述客户端通过所述路由器连接。本发明高度自动化，得到航线的完整性和可靠性高。

Description

一种基于多目视觉对飞行目标飞行性能评估的系统及方法

技术领域

本发明涉及移动目标跟踪和定位领域，具体涉及一种基于多目视觉对飞行目标飞行性能评估的系统及方法。

背景技术

目前常用的运动目标检测方法有光流法、帧间差分法和背景差分法。背景差分因具有检测运动目标速度快，检测准确，易于实现的特点而得到广泛应用，背景差分的关键在于背景模型的建立。常见的背景建模方法有中值法背景建模，均值法背景建模，卡尔曼滤波器模型，单高斯分布模型，多高斯混合模型，编码本算法模型等。常见的目标跟踪方法模型可分为基于外观模型的生成模型和基于外观模型的判别模型。生成模型的跟踪效果依赖于模型特征的提取，判别模型的跟踪效果取决于目标和背景对比差异。在目标缺乏色彩，纹理，背景中存在与目标相似度高物体，及目标物发生遮挡或与灰度相近背景重叠到一起时，使用基于外观的生成模型或判别模型很难实现目标的准确跟踪，并且，一般的跟踪方法需要标出目标的初始位置，针对目标物从视野中消失，再入及不确定何时特定目标物出现在视野中的情形，人为标出目标的初始位置的方法也是不适用的。单目视觉的目标跟踪仅能获得目标的像平面位置，得不到目标的三维坐标，常见的双目视觉的运动目标跟踪定位系统则面临摄影基线短，观测范围小的问题。相机拍照方面，常见的方法是手动调整各相机的曝光时间以应对不同光照条件下曝光不足或曝光过度问题，相机较少时使用该方法可以接受，但如果使用的相机较多，手动调整曝光时间的方法就显得费时费力了。

发明内容

本发明所要解决的技术问题是提供一种高度自动化的基于多目视觉对飞行目标飞行性能评估的系统及方法。

本发明解决上述技术问题的技术方案如下：一种基于多目视觉对飞行目标飞行性能评估的系统，包括n组拍摄终端、1个服务器、n-1(n≥2)个客户端和1个路由器；每组拍摄终端中均有一台以上的相机，其中1组拍摄终端与1个所述服务器对应，且1组拍摄终端中的所有相机均分别与所述服务器电连接；其余n-1组拍摄终端与n-1个所述客户端一一对应，且在其余n-1组拍摄终端中，每组拍摄终端中的所有相机均分别与对应的客户端电连接；所述服务器与n-1个所述客户端通过所述路由器连接；

每组所述拍摄终端中的相机，用于对观测区域进行拍照，并将拍摄的图像传输给对应的客户端和服务器；

所述客户端和服务器，分别用于控制对应的拍摄终端组中的所有相机进行曝光时间自动调整和同步采集，并对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存，以及通过对所述图像进行并行处理获得飞行目标的位置信息；

所述服务器，还用于将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，并通过航线汇总的结果评估飞行目标的飞行性能。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述客户端和服务器控制对应的拍摄终端组中的所有相机进行曝光时间自动调整，具体为：设置对应的拍摄终端组中的所有相机的曝光时间为X微秒，根据对应的拍摄终端组中的所有相机拍摄的第一帧图像的灰度均值I调整曝光时间T；对应的拍摄终端组中的所有相机调整后的曝光时间为T＝I’/I*X微秒，其中I’为图像灰度均值的期望值。

进一步，所述客户端和服务器控制对应的拍摄终端组中的所有相机进行同步采集，具体为：客户端和服务器分别向对应的拍摄终端组中的每台相机同时发送软触发信号，触发同一组拍摄终端组中的所有相机进行图像的同步采集。

进一步，所述客户端和服务器对对应的拍摄终端组中的所有相机拍摄的图像进行压缩保存，具体为：通过预存在客户端和服务器中的数据压缩函数分别对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存。

进一步，所述客户端和服务器对对应的拍摄终端组中的所有相机拍摄的图像进行并行处理获得飞行目标的位置信息，具体为：所述客户端和服务器并行的将对应的拍摄终端组中的所有相机拍摄的图像进行背景差分和二值化处理，并通过八连通域的搜索获得运动目标连通域；通过对连通域的合并和计算合并后的连通域的几何中心得出飞行目标候选点点位，并对飞行目标候选点位进行匹配得到匹配点对,将所述匹配点对和所述匹配点对所在像平面对应的相机的参数进行前方交会，最终得到飞行目标的位置信息。

进一步，所述背景差分是指选取调整曝光时间后的第一帧图像作为初始背景，然后根据以下公式进行新图像背景的调整：

BK＝bk+ROUND(I_difw(I_dif))

BK表示当前背景，bk表示上一背景，ROUND表示四舍五入，I_dif表示当前图像和背景的灰度差值，w(I_dif)为权值函数，α是一正常数。

进一步，所述客户端控制对应的拍摄终端组中的所有相机进行拍摄前，所述服务器还用于对所述客户端进行校时，所述服务器对客户端进行校时，具体为：所述客户端向服务器发送当前时间T1，服务器接收到客户端发送的当前时间后向客户端发送服务器的当前时间T2，当客户端接收到服务器发送的当前时间时客户端的当前时间为T3，客户端和服务器之间的时间差为Tdif＝T3-(T1+T2)/2，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总时，客户端的时间都加上时间差Tdif。

进一步，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，具体为：所有客户端将获得的飞行目标的位置信息实时发送到所述服务器中，所述服务器将自身获得到的飞行目标位置信息和所有客户端获得的飞行目标的位置信息按照获取图像的时间顺序存储到同一个数组里，并根据所述数组中的数据将飞行目标航线绘制出来。

进一步，所述服务器通过航线汇总的结果评估飞行目标的飞行性能，具体为：对飞行目标的预设航线进行加密；计算绘制的飞行目标航线上的点位和加密后的预设航线点位间的坐标分量偏差，并统计各个所述坐标分量偏差的标准差以及各个所述坐标分量偏差的最大值；将各个所述坐标分量偏差的标准差和最大值作为衡量飞行目标性能的指标来评估飞行目标的飞行性能。

本发明的有益效果是：本发明提供的一种基于多目视觉对飞行目标飞行性能评估的系统以非接触方式实现对飞行目标位置测量，不会对飞行目标飞行造成任何影响；此外，该系统不受现场特高压输电形成电磁环境的影响，得到的定位结果可靠性高；多台相机的使用增加了飞行目标监测范围；曝光时间的自动调整提高了系统的自动化水平，降低了劳动强度；飞行目标的自动检测和定位大大降低了劳动强度，提高了作业效率；并行处理和分布式处理的运用加快了图像处理的速度，提高了飞行目标飞行性能测评的作业效率；客户端与服务器校时保证了客户端与服务器时间的同步，保证航线汇总合并的正确可靠；客户端向服务器实时发送处理结果，保证了得到航线的完整性和航线汇总的可靠性。

基于上述一种基于多目视觉对飞行目标飞行性能评估的系统，本发明还提供一种基于多目视觉对飞行目标飞行性能评估的方法。

一种基于多目视觉对飞行目标飞行性能评估的方法，利用上述所述的一种基于多目视觉对飞行目标飞行性能评估的系统对飞行目标进行飞行性能评估，包括以下步骤：

步骤一，所述拍摄终端中的相机对观测区域进行拍照，并将拍摄的图像传输给对应的客户端和服务器；

步骤二，所述客户端和服务器控制对应的拍摄终端组中的所有相机进行曝光时间自动调整和同步采集，并对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存，以及通过对所述图像进行并行处理获得飞行目标的位置信息；

步骤三，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，并通过航线汇的结果总评估飞行目标的飞行性能。

本发明的有益效果是：本发明一种基于多目视觉对飞行目标飞行性能评估的方法以非接触方式实现对飞行目标位置测量，不会对飞行目标飞行造成任何影响；此外，该方法不受现场特高压输电形成电磁环境的影响，得到的定位结果可靠性高；多台相机的使用增加了飞行目标监测范围；曝光时间的自动调整提高了系统的自动化水平，降低了劳动强度；飞行目标的自动检测和定位大大降低了劳动强度，提高了作业效率；并行处理和分布式处理的运用加快了图像处理的速度，提高了飞行目标飞行性能测评的作业效率；客户端与服务器校时保证了客户端与服务器端时间的同步，保证航线汇总合并的正确可靠；客户端向服务器实时发送处理结果，保证了得到航线的完整性和航线汇总的可靠性。

附图说明

图1为本发明一种基于多目视觉对飞行目标飞行性能评估的系统的结构框图；

图2为本发明一种基于多目视觉对飞行目标飞行性能评估的方法的流程图；

图3为本发明一种基于多目视觉对飞行目标飞行性能评估的方法的原理图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于多目视觉对飞行目标飞行性能评估的系统，包括n组拍摄终端、1个服务器、n-1(n≥2)个客户端和1个路由器；每组拍摄终端中均有一台以上的相机，其中1组拍摄终端与1个所述服务器对应，且1组拍摄终端中的所有相机均分别与所述服务器电连接；其余n-1组拍摄终端与n-1个所述客户端一一对应，且在其余n-1组拍摄终端中，每组拍摄终端中的所有相机均分别与对应的客户端电连接；所述服务器与n-1个所述客户端通过所述路由器连接；每组所述拍摄终端中的相机，用于对观测区域进行拍照，并将拍摄的图像传输给对应的客户端和服务器；所述客户端和服务器，分别用于控制对应的拍摄终端组中的所有相机进行曝光时间自动调整和同步采集，并对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存，以及通过对所述图像进行并行处理获得飞行目标的位置信息；所述服务器，还用于将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，并通过航线汇总的结果评估飞行目标的飞行性能。

在本具体实施例中，拍摄终端设有3组，一共包括18台相机，且18台相机的编号分别为1-18,客户端和服务器均为计算机，充当客户端的计算机设有两台，充当服务器的计算机设有一台，路由器设有一个，1-7号相机分为第一组拍摄终端，并与第一台充当客户端的计算机连接，8-11号相机分为分为第二组拍摄终端，并与充当服务器的计算机连接，12-18号相机分为第三组拍摄终端，并与第二台充当客户端的计算机连接。路由器将两台充当客户端的计算机和一台充当服务器的计算机连接起来构建一个局域网，进行三台计算机间的校时和航线数据传输，使用通信协议为TCP协议。

所述客户端和服务器控制对应的拍摄终端组中的所有相机进行曝光时间自动调整，具体为：设置对应的拍摄终端组中的所有相机的曝光时间为X微秒，根据对应的拍摄终端组中的所有相机拍摄的第一帧图像的灰度均值I调整曝光时间T；对应的拍摄终端组中的所有相机调整后的曝光时间为T＝I’/I*X微秒，其中I’为图像灰度均值的期望值。例如：设置曝光时间X为3000微秒，然后根据各相机拍摄的第一张图像的灰度均值I调整曝光时间T＝I’/Imean*3000(微秒)。

所述客户端和服务器控制对应的拍摄终端组中的所有相机进行同步采集，具体为：客户端和服务器分别向对应的拍摄终端组中的每台相机同时发送软触发信号，触发同一组拍摄终端组中的所有相机进行图像的同步采集。在这里，与同一台充当客户端的计算机或充当服务器的计算机相连的多个相机在同一时间采集的图像规定为一组。

所述客户端和服务器对对应的拍摄终端组中的所有相机拍摄的图像进行压缩保存，具体为：通过预存在客户端和服务器中的数据压缩函数分别对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存。例如在充当客户端的计算机和充当服务器的计算机的内存中封装C语言库libjpeg里的数据压缩函数，，在这里，保存图像使用的是C语言里的fwrite函数，图像保存格式是jpg。

所述客户端和服务器对对应的拍摄终端组中的所有相机拍摄的图像进行并行处理获得飞行目标的位置信息，具体为：所述客户端和服务器并行的将对应的拍摄终端组中的所有相机拍摄的图像进行背景差分和二值化处理，并通过八连通域的搜索获得运动目标连通域；通过对连通域的合并和计算合并后的连通域的几何中心得出飞行目标候选点点位，并对飞行目标候选点位进行匹配得到匹配点对,将所述匹配点对和所述匹配点对所在像平面对应的相机的参数进行前方交会，最终得到飞行目标的位置信息。

其中的所述背景差分是指选取调整曝光时间后的第一帧图像作为初始背景，然后根据以下公式进行新图像背景的调整：

BK＝bk+ROUND(I_difw(I_dif))

BK表示当前背景，bk表示上一背景，ROUND表示四舍五入，I_dif表示当前图像和背景的灰度差值，w(I_dif)为权值函数，α是一正常数。

所述客户端控制对应的拍摄终端组中的所有相机进行拍摄前，所述服务器还用于对所述客户端进行校时，

所述服务器对客户端进行校时，具体为：所述客户端向服务器发送当前时间T1，服务器接收到客户端发送的当前时间后向客户端发送服务器的当前时间T2，当客户端接收到服务器发送的当前时间时客户端的当前时间为T3，客户端和服务器之间的时间差为Tdif＝T3-(T1+T2)/2，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总时，客户端的时间都加上时间差Tdif。

所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，具体为：所有客户端将获得的飞行目标的位置信息实时发送到所述服务器中，所述服务器将自身获得到的飞行目标位置信息和所有客户端获得的飞行目标的位置信息按获取图像的时间顺序存储到同一个数组里，并根据所述数组中的数据将飞行目标航线绘制出来。

所述服务器端计算机评估飞行目标的飞行性能的方法具体为：所述服务器通过航线汇总的结果评估飞行目标的飞行性能，具体为：对飞行目标的预设航线进行加密；计算绘制的飞行目标航线上的点位和加密后的预设航线点位间的坐标分量偏差，并统计各个所述坐标分量偏差的标准差以及各个所述坐标分量偏差的最大值；将各个所述坐标分量偏差的标准差和最大值作为衡量飞行目标性能的指标来评估飞行目标的飞行性能。

基于上述一种基于多目视觉对飞行目标飞行性能评估的系统，本发明还提供一种基于多目视觉对飞行目标飞行性能评估的方法。

如图2所示，一种基于多目视觉对飞行目标飞行性能评估的方法，利用上述所述的一种基于多目视觉对飞行目标飞行性能评估的系统对飞行目标进行飞行性能评估，包括以下步骤：

步骤一，所述拍摄终端中的相机对观测区域进行拍照，并将拍摄的图像传输给对应的客户端和服务器；

步骤二，所述客户端和服务器控制对应的拍摄终端组中的所有相机进行曝光时间自动调整和同步采集，并对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存，以及通过对所述图像进行并行处理获得飞行目标的位置信息；

步骤三，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，并通过航线汇的结果总评估飞行目标的飞行性能。

本发明一种基于多目视觉对飞行目标进行飞行性能评估的总体原理如图3所示。飞行目标定位和飞行性能评估的整体流程如下。

图像采集：

首先打开三台计算机(充当客户端和服务器)上的飞行目标位置测量工具，打开图像采集界面，检查相机连接，若检查到与充当客户端和服务器的各计算机连接相机个数与实际不符，在检查网线等连接处后，重新检查连接。对于充当客户端的计算机而言(连接相机1-7或12-18)，在进行图像采集之前需要结合充当服务器的计算机进行校时处理。充当客户端和服务器的各计算机连接相机个数正常后，设置采集记录文件和各相机采集图像的保存路径。在飞行目标将要起飞时，开始进行图像采集。充当客户端和服务器的各计算机在每次进行图像采集时都会生成一个图像采集记录文件，图像采集记录文件用于记录和该计算机相连的相机个数，各相机采集图像的保存路径和各组图像采集时间，采集图像的总张数。对于充当客户端计算机而言，图像采集记录文件还会记录该充当客户端的计算机和充当服务器的计算机之间的系统时间差值。

对飞行目标进行定位获得飞行目标的位置信息：(这里以一台充当客户端的计算机或一台充当服务器的计算机采集的图像计算飞行目标点位为例，下面所用角标i表示图像的组序号，j表示采集该图像相机的编号)

S1，导入图像采集记录文件、相机参数和预设航线；

相机参数是指与充当客户端的计算机或充当服务器的计算机相连的各相机的内外方位元素和畸变参数。预设航线是用于规划飞行目标飞行线路的点位坐标文件。

S2，初始化；

初始化包括用于背景差分的背景图像的初始化、各相机采集图像搜索标志的初始化和搜索窗口的初始化。

用于背景差分的背景图像的初始化：把调整曝光时间后采集的第一组图像作为背景差分的初始背景图像BK_i，j(i＝0，j表示各相机编号，j＝1-7或8-11或12-18)，其后一组图像I_i+1，j(j＝1-7或8-11或12-18)作为要处理的第一组图像，

各相机采集图像搜索标志的初始化：设置第一组要处理图像各图像的搜索标志bSearch_i+1,j(j＝1-7或8-11或12-18)＝true，即在该组图像的每一张图像里飞行目标都可能存在(一组图像里某张图像搜索标志bSearch_i+1,j＝false表示飞行目标不会出现在图像I_i+1，j里)。

搜索窗口的初始化：记图像的宽度为nW像素，高度为nH像素，定义图像坐标系为左下角为(0，0)，水平方向为x轴，向右为正，竖直方向为y轴，向上为正。搜索窗口表示为左下角和右上角坐标，对于第一组要处理的各图像，设置其搜索窗口为整张图像，即搜索窗口为Win_i+1,j(i＝0，j＝1-7或8-11或12-18)＝(0，0，nW-1，nH-1)。

S3，背景差分；

用当前要处理的图像组里的各图像I_i+1，j减去各自对应的背景图像BK_i，j，得到各自的灰度差值图Idif_i+1,j，根据灰度差值更新各背景图像，更新方法参考下述公式(3)。

所述背景差分是指选取调整曝光时间后的第一张图像作为初始背景BK_i(i＝0)，记单个相机采集的图像总数为Sn，i表示图像的序号，i取值范围为0～Sn-2，从调整曝光时间后的第二张图像I_i+1(i＝0)开始，计算该帧图像和背景图像的灰度差值

(x，y)表示图像某点点位，定义图像坐标系为左下角为(0，0)，水平方向为x轴，向右为正，竖直方向为y轴，向上为正。

然后对得到的差值图像进行二值化处理

等于1表示像素点(x，y)对应运动区域，等于0表示该点位物体未发生运动。

然后根据差值图像更新背景，更新方式是

其中ROUND表示四舍五入，为权值函数，α是一正常数。

S4，得到运动目标连通域及候选点；

对于灰度差值图Idif_i+1,j，当其搜索标志bSearch_i+1,j＝true，则对其进行二值化处理得到二值图Idifbin_i+1,j，在搜索窗Win_i+1,j内对二值图Idifbin_i+1,j进行八连通域搜索得到运动目标的连通域；当两个连通域的外接矩形(矩形边与坐标轴平行)的中心的x坐标差值绝对值小于外接矩形的宽之和的一半加上一常数C，y坐标差值绝对值小于高之和的一半加上一常数C，则合并两个连通域，并重新计算其外接矩形；在合并完成后，如果连通域的点数大于等于阈值nPtNumL且小于阈值nPtNumU，且该连通域的宽度DomW大于阈值DomWL小于阈值DomWU，连通域高度DomH大于阈值DomHL且小于阈值DOMHU，且连通域的宽高比Rat＝DomW/DomH小于阈值RatThres，大于1/RatThres，则把该连通域的几何中心作为飞行目标像点点位候选点。

在图像组I_i+1,j(j＝1-7或8-11或12-18)候选点搜索完毕后：

如果候选点个数不为零，分为下面三种情况：

1、上组图像I_i里搜索到了飞行目标，执行S5a；

2、上组图像I_i里没有搜索到飞行目标，但上上组图像I_i-1里搜索到了飞行目标，执行S5b；

3、上组图像I_i和上上组图像I_i-1里都没有搜索到飞行目标，跳过S5，执行S6。

如果候选点个数为零，则跳过S5和S6，执行S7。

S5，像平面候选点筛选；

S5a，对于每张图像上的候选点，计算其距离上一组对应图像飞行目标像点点位距离，如果距离小于阈值DisThres，则保留该候选点，否则，剔除该候选点；

S5b，对于每张图像上的候选点，计算其距离上上一组对应图像飞行目标像点点位距离，如果距离小于阈值2DisThres，则保留该候选点，否则，剔除该候选点。

S6，前方交会和交会点筛选；

S61，匹配相邻相机(如果两相机编号差值小于等于2，则两相机观测范围有重叠，认为两相机相邻)当前组得到的图像上的所有候选点，记总的匹配点对对数为N，得到匹配点对PtPair_n(n＝1,2,…N)，初始化当前处理点对序号m＝1，最小重投影误差minReprojErr＝10000；

S62，使用匹配点对PtPair_m和点对所在像平面对应相机参数进行前方交会，如果之前搜索到了飞行目标，计算该交会点距离之前搜索到的飞行目标空间点位坐标距离为dis，当前图像采集时间和上次搜索到飞行目标的图像组图像采集时间间隔t；飞行目标最大飞行速度SpeedMax如果dis≤t×SpeedMax，保留该交会点执行S63；飞行目标最大飞行速度SpeedMax如果dis>t×SpeedMax，m＝m+1，返回继续执行S62，直至所有匹配点对都进行一次前方交会；

S63，当上两组图像都搜索到了飞行目标，计算上组图像得到的飞行目标点位和当前交会点点位矢量V1，上上组图像和上组图像得到的飞行目标点位矢量V2；如果v1和v2的模都大于0.1×SpeedMax/2，且V1·V2<0，舍弃该交会点，m＝m+1，返回执行S62，直至所有匹配点对都进行一次前方交会；如果v1和v2的模有一个小于等于0.1×SpeedMax/2，或V1·V2>＝0，执行S64；

S64，把交会点重新投影到匹配点所在两个像平面上，得到两个重投影误差ReprojErr1和ReprojErr2如果，二者中的较大者小于minReprojErr，把二者中较大者的值赋给minReprojErr，把该交会点坐标赋给临时变量Pt。m＝m+1，返回执行S62，直至所有匹配点对都进行一次前方交会。

上述过程结束后，如果minReprojErr小于阈值ReProjThres，则认为当前组图像成功搜索到了飞行目标，上述重投影误差最小的交会点Pt对应飞行目标的三维空间坐标，如果当前计算机为客户端，则把得到的点位坐标发送给服务器端进行汇总，同时把当前组图像采集的时间，加上和服务器端的时间差值，发送给服务器端。

S7、搜索标志和搜索窗口的更新；

i＝i+1。

当图像组I_i成功搜索到了飞行目标，把飞行目标的三维坐标POS_i重新投影到各相机采集图像的像平面上得到像点pt_j(x,y)(j＝1-7或8-11或12-18)，以pt_j(x,y)为中心，a为边长构建一个正方形窗口Win(x-a/2,y-a/2,x+a/2,y+a/2)，把该窗口和相机j像平面的重叠区域作为新的搜索区域，如果搜索区域为空，把下一组对应图像的搜索标志设置bSearch_i+1,j＝false；如果搜索区域不为空，bSearch_i+1,j＝true；

当图像组I_i没有搜索到飞行目标，图像组I_i-1(i≥2)搜索到了飞行目标，把飞行目标的三维坐标POS_i-1重新投影到各相机采集图像的像平面上得到像点pt_j(x,y)(j＝1-7或8-11或12-18)，以pt_j(x,y)为中心，a为边长构建一个临时正方形窗口Win_j(x-a/2,y-a/2,x+a/2,y+a/2)，把该窗口和相机j像平面的重叠区域作为新的搜索窗口；如果搜索区域为空，把下一组对应图像的搜索标志设置bSearch_i+1,j＝false；如果搜索区域不为空，bSearch_i+1,j＝true。

当图像组I_i和图像组I_i-1(i≥2)都没有搜索到飞行目标，设置bSearch_i+1,j(j＝1-7或8-11或12-18)＝true，Win_i+1,j＝(0，0，nW-1，nH-1)。

重复上述过程S3-S7，直到所有图像组处理完毕。

航线的合并：

在三台充当客户端和服务器的计算机处理完各自采集的图像之后，虽然得到的航线都汇集到了充当服务器的计算机中，但仍然为三条独立的航线，为了方面后续的预设航线和生成航线的点位分量偏差统计，这里根据各航线点对应的时间把三条航线合并为一条航线。实现方法是，把三台充当客户端和服务器的计算机得到的三条航线按秒存储，如果同一秒内只有一台计算机得到了航线，就把这台计算机得到的航线作为这一秒的航线，如果有多于一台计算机得到了航线，就把点数最多的航线作为这一秒的航线。合并完成后，把原来的三条航线清除，把合并后的航线作为最终航线生成结果，绘制在充当服务器的计算机屏幕上。

实际飞行航线航线点和预设航线间点位偏差统计：

对于绘制航线的每一点FlightPt，寻找该点距离预设航线最短距离对应的预设航线点PresetFlightPt，计算FlightPt和PresetFlightPt的坐标分量偏差，统计各分量最大偏差值和各分量偏差标准差作为飞行目标飞行性能评估依据。

本发明一种基于多目视觉对飞行目标飞行性能评估的系统及方法以非接触方式实现对飞行目标位置测量，不会对飞行目标飞行造成任何影响；此外，该系统和方法不受现场特高压输电形成电磁环境的影响，得到的定位结果可靠性高；多台相机的使用增加了飞行目标监测范围；曝光时间的自动调整提高了系统的自动化水平，降低了劳动强度；飞行目标的自动检测和定位大大降低了劳动强度，提高了作业效率；并行处理和分布式处理的运用加快了图像处理的速度，提高了飞行目标飞行性能测评的作业效率；客户端计算机与服务器端计算机TCP校时保证了客户端与服务器端时间的同步，保证航线汇总合并的正确可靠；客户端向服务器端通过TCP通讯实时发送处理结果，保证了得到航线的完整性和航线汇总的可靠性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多目视觉对飞行目标飞行性能评估的系统，其特征在于：包括n组拍摄终端、1个服务器、n-1(n≥2)个客户端和1个路由器；每组拍摄终端中均有一台以上的相机，其中1组拍摄终端与1个所述服务器对应，且1组拍摄终端中的所有相机均分别与所述服务器电连接；其余n-1组拍摄终端与n-1个所述客户端一一对应，且在其余n-1组拍摄终端中，每组拍摄终端中的所有相机均分别与对应的客户端电连接；所述服务器与n-1个所述客户端通过所述路由器连接；

每组所述拍摄终端中的相机，用于对观测区域进行拍照，并将拍摄的图像传输给对应的客户端和服务器；

所述客户端和服务器，分别用于控制对应的拍摄终端组中的所有相机进行曝光时间自动调整和同步采集，并对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存，以及通过对所述图像进行并行处理获得飞行目标的位置信息；

所述服务器，还用于将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，并通过航线汇总的结果评估飞行目标的飞行性能；

所述客户端和服务器控制对应的拍摄终端组中的所有相机进行曝光时间自动调整，具体为：设置对应的拍摄终端组中的所有相机的曝光时间为X微秒，根据对应的拍摄终端组中的所有相机拍摄的第一帧图像的灰度均值I调整曝光时间T；对应的拍摄终端组中的所有相机调整后的曝光时间为T＝I’/I*X微秒，其中I’为图像灰度均值的期望值；

所述客户端和服务器对对应的拍摄终端组中的所有相机拍摄的图像进行并行处理获得飞行目标的位置信息，具体为：所述客户端和服务器并行的将对应的拍摄终端组中的所有相机拍摄的图像进行背景差分和二值化处理，并通过八连通域的搜索获得运动目标连通域；通过对连通域的合并和计算合并后的连通域的几何中心得出飞行目标候选点点位，并对飞行目标候选点位进行匹配得到匹配点对,将所述匹配点对和所述匹配点对所在像平面对应的相机的参数进行前方交会，最终得到飞行目标的位置信息；

所述客户端控制对应的拍摄终端组中的所有相机进行拍摄前，所述服务器还用于对所述客户端进行校时；所述服务器对客户端进行校时，具体为：所述客户端向服务器发送当前时间T1，服务器接收到客户端发送的当前时间后向客户端发送服务器的当前时间T2，当客户端接收到服务器发送的当前时间时客户端的当前时间为T3，客户端和服务器之间的时间差为Tdif＝T3-(T1+T2)/2，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总时，客户端的时间都加上时间差Tdif；

所述服务器通过航线汇总的结果评估飞行目标的飞行性能，具体为：对飞行目标的预设航线进行加密；计算绘制的飞行目标航线上的点位和加密后的预设航线点位间的坐标分量偏差，并统计各个所述坐标分量偏差的标准差以及各个所述坐标分量偏差的最大值；将各个所述坐标分量偏差的标准差和最大值作为衡量飞行目标性能的指标来评估飞行目标的飞行性能。

2.根据权利要求1所述的一种基于多目视觉对飞行目标飞行性能评估的系统，其特征在于：所述客户端和服务器控制对应的拍摄终端组中的所有相机进行同步采集，具体为：客户端和服务器分别向对应的拍摄终端组中的每台相机同时发送软触发信号，触发同一组拍摄终端组中的所有相机进行图像的同步采集。

3.根据权利要求1或2所述的一种基于多目视觉对飞行目标飞行性能评估的系统，其特征在于：所述客户端和服务器对对应的拍摄终端组中的所有相机拍摄的图像进行压缩保存，具体为：通过预存在客户端和服务器中的数据压缩函数分别对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存。

4.根据权利要求1或2所述的一种基于多目视觉对飞行目标飞行性能评估的系统，其特征在于：所述背景差分是指选取调整曝光时间后的第一帧图像作为初始背景，然后根据以下公式进行新图像背景的调整：

BK＝bk+ROUND(I_difw(I_dif))

BK表示当前背景，bk表示上一背景，ROUND表示四舍五入，I_dif表示当前图像和背景的灰度差值，w(I_dif)为权值函数，α是一正常数。

5.根据权利要求1或2所述的一种基于多目视觉对飞行目标飞行性能评估的系统，其特征在于：所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，具体为：所有客户端将获得的飞行目标的位置信息实时发送到所述服务器中，所述服务器将自身获得到的飞行目标位置信息和所有客户端获得的飞行目标的位置信息按照获取图像的时间顺序存储到同一个数组里，并根据所述数组中的数据将飞行目标航线绘制出来。

6.一种基于多目视觉对飞行目标飞行性能评估的方法，其特征在于：利用上述权利要求1至5任一项所述的一种基于多目视觉对飞行目标飞行性能评估的系统对飞行目标进行飞行性能评估，包括以下步骤：

步骤一，所述拍摄终端中的相机对观测区域进行拍照，并将拍摄的图像传输给对应的客户端和服务器；

步骤二，所述客户端和服务器控制对应的拍摄终端组中的所有相机进行曝光时间自动调整和同步采集，并对对应的拍摄终端组中的所有相机拍摄的图像进行压缩并保存，以及通过对所述图像进行并行处理获得飞行目标的位置信息；

步骤三，所述服务器将自身获得的飞行目标的位置信息和所有客户端获得的飞行目标的位置信息进行航线汇总，并通过航线汇总的结果评估飞行目标的飞行性能。