CN106131482A - 无人载体光电系统目标捕获系统及方法 - Google Patents

Abstract

本发明提出一种无人载体光电系统目标捕获系统及方法，利用GPS或者北斗时钟数据，对每帧视频图像标注其曝光时刻的时间，从而获得操作者观察到目标的视频图像曝光时间、当前帧视频图像曝光时间，构建GPS或者北斗时钟与光电系统运动速度的函数，记录光电系统运动轨迹，计算两帧视频图像曝光时间差内光电系统瞄准线的运动角度，依据目标在操作者观察到目标的视频图像中的位置坐标，从而计算目标在当前帧视频图像中的位置，使得光电系统准确、快速的捕获目标。

Description

无人载体光电系统目标捕获系统及方法

技术领域

本发明属于光电系统领域，主要涉及一种自动跟踪系统快速、准确捕获目标的系统及方法，尤其涉及一种无人载体光电系统的自动跟踪系统捕获目标的方法。

背景技术

随着科技的不断发展，无人车、无人机、无人舰艇的作用日益显现，其不仅可以完成常规载体的工作任务，而且还可以完成有人载体无法完成的任务，例如在不适合人生存或者特别危险的条件下执行的任务，这就大大降低了操作人员的危险系数。

目前无人载体系统均配备高清晰的光电系统，并且通过无线传输将图像数据传送到无人载体操控中心。由于其传输数据带宽有限，图像数据量比较大，所以一般通过图像压缩处理后，再进行无线传输，接收到数据后进行解压处理进而显示，这样就造成操作者从显示屏上看到的图像已经是几秒之前的图像视频。因此，操作者很难快速、灵活、准确的捕获要瞄准、跟踪的目标。目前，无人载体光电系统对目标的捕获完全依靠操作人员的经验，即在瞄准目标的过程中，当瞄准线指示十字接近目标但没有对准目标时，发出捕获锁定目标指令。此时，如果光电系统捕获空中目标，通过视频图像处理自动检测目标的方法，可以在大多数情况下捕获锁定目标；但是，如果光电系统捕获地面目标，由于地面背景复杂，实际准确捕获目标的几率就相当低。

专利“一种适用于光电吊舱的目标准确捕获方法”(申请号：201210230808.X)提出了一种适用于光电吊舱的目标准确捕获方法，其利用人工捕获目标得到的跟踪框初始中心获取搜索窗口的灰度图像并为其生成相应的边缘图像，然后根据边缘图像计算跟踪框内像素的边缘重心，以修正跟踪框中心，实现对目标的准确捕获。该发明的重点是采用了图象处理的方式检测目标中心从而锁定目标，但是不能确保人工捕获目标的准确度，即目标一定在人工捕获目标的跟踪框搜索窗口内。另一方面，如果在跟踪框搜索窗口内包含目标及灰度级与目标相当的背景，则图象处理的边缘重心就无法对准目标。

经检索，目前没有发现其他相近专利及其他文献资料。

发明内容

要解决的技术问题

本发明要解决的问题是，无人载体光电系统的高帧频、高分辨率的视频图像数据量巨大，而无线传输数据链带宽有限，视频图像数据需要经过压缩处理、无线传输、解压处理等过程才能送入显示终端，这个过程需要相对比较长的时间。因此，操作者观察到的视频图像均是在一定时间前视频探测器曝光所获得的场景，这样操作者瞄准目标后发送捕获锁定目标指令时，由于无人载体光电系统运动，视频探测器的瞄准线已经不再对准目标，致使无人载体光电系统不易捕获目标，操作者工作压力大。

为解决上述技术问题，本发明提出了一种无人载体光电系统目标捕获系统及方法。本发明的技术方案为：

所述一种无人载体光电系统目标捕获系统，其特征在于：包括视频数据包集成模块、视频数据传输模块、视频图像显示模块、目标捕获指令模块、光电系统运动轨迹模块、目标位置计算模块；其中视频数据包集成模块处于无人载体上，视频图像显示模块、目标捕获指令模块处于无人载体操控中心；

视频数据包集成模块接收光电系统视频图像传感器输出的视频图像数据，并根据光电系统时钟，得到视频图像数据对应的曝光时刻；将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；若视频数据包集成模块还接收到目标位置计算模块输出的目标新方位坐标和新俯仰坐标，则将以目标新方位坐标和新俯仰坐标为中心的目标锁定指示框叠加到视频图像数据中，再将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；视频数据包集成模块将视频数据包发送给视频图像传输模块；视频数据包集成模块将视频图像数据对应的曝光时刻发送给目标位置计算模块；

视频图像传输模块实现视频数据包的压缩、无线数据链传输以及解压处理，并将解压处理后的视频数据包传送到视频图像显示模块；

目标捕获指令模块根据无人载体操控人员发出的目标捕获指令，计算视频图像显示模块显示的视频图像中，目标的方位坐标和俯仰坐标；并将显示的视频图像中的目标方位坐标和俯仰坐标，以及显示的视频图像对应的曝光时刻发送到目标位置计算模块；

光电系统运动轨迹模块依据光电系统的时钟数据和光电系统的陀螺数据，记录视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，并发送到目标位置计算模块；视频传输延时时长为从视频图像曝光时刻到该视频图像传送到视频图像显示模块进行显示的时长最大理论值；

目标位置计算模块根据从视频数据包集成模块输入的曝光时刻t₁，从目标捕获指令模块输入的显示的视频图像对应的曝光时刻t₀，以及从光电系统运动轨迹模块输入的视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，计算ΔT＝t₁+t_f-t₀时间内光电系统瞄准线转动角度，t_f为视频周期；依据计算得到的光电系统瞄准线转动角度以及从目标捕获指令模块输入的目标方位坐标x₀和俯仰坐标y₀，计算出目标新方位坐标x₁和新俯仰坐标y₁，并将目标新方位坐标x₁和新俯仰坐标y₁输出给视频数据包集成模块。

所述一种无人载体光电系统目标捕获方法，其特征在于：包括以下步骤：

步骤1：视频数据包集成模块接收光电系统视频图像传感器输出的视频图像数据，并根据光电系统时钟，得到视频图像数据对应的曝光时刻；将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；若视频数据包集成模块还接收到目标位置计算模块输出的目标新方位坐标和新俯仰坐标，则将以目标新方位坐标和新俯仰坐标为中心的目标锁定指示框叠加到视频图像数据中，再将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；视频数据包集成模块将视频数据包发送给视频图像传输模块；视频数据包集成模块将视频图像数据对应的曝光时刻发送给目标位置计算模块；

步骤2：视频图像传输模块实现视频数据包的压缩、无线数据链传输以及解压处理，并将解压处理后的视频数据包传送到视频图像显示模块；

步骤3：无人载体操控人员根据视频图像显示模块的显示图像，判断是否发出目标捕获指令：当显示图像中不存在目标时，返回步骤1；当显示图像中存在目标，但无目标锁定指示框时，发出目标捕获指令，进入步骤4；当显示图像中存在目标和目标锁定指示框，但目标不在目标锁定指示框中，发出目标捕获指令，进入步骤4；当显示图像中存在目标和目标锁定指示框，且目标在目标锁定指示框中，则目标捕获完成；

步骤4：目标捕获指令模块根据无人载体操控人员发出的目标捕获指令，计算视频图像显示模块显示的视频图像中，目标的方位坐标和俯仰坐标；并将显示的视频图像中的目标方位坐标和俯仰坐标，以及显示的视频图像对应的曝光时刻发送到目标位置计算模块；

步骤5：目标位置计算模块根据从视频数据包集成模块输入的曝光时刻t₁，从目标捕获指令模块输入的显示的视频图像对应的曝光时刻t₀，以及从光电系统运动轨迹模块输入的视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，计算ΔT＝t₁+t_f-t₀时间内光电系统瞄准线转动角度，t_f为视频周期；

其中光电系统运动轨迹模块依据光电系统的时钟数据和光电系统的陀螺数据，记录视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数；视频传输延时时长为从视频图像曝光时刻到该视频图像传送到视频图像显示模块进行显示的时长最大理论值；

目标位置计算模块依据计算得到的光电系统瞄准线转动角度以及从目标捕获指令模块输入的目标方位坐标x₀和俯仰坐标y₀，计算出目标新方位坐标x₁和新俯仰坐标y₁，并将目标新方位坐标x₁和新俯仰坐标y₁输出给视频数据包集成模块，返回步骤1。

有益效果

本发明的技术效果体现为：

(一)本发明的无人载体光电系统目标捕获系统及方法利用GPS或者北斗时钟数据，对每帧视频图像标注其曝光时刻的时间，从而获得操作者观察到目标的视频图像曝光时间、当前帧视频图像曝光时间，构建GPS或者北斗时钟与光电系统运动速度的函数，记录光电系统运动轨迹，计算两帧视频图像曝光时间差内光电系统瞄准线的运动角度，依据目标在操作者观察到目标的视频图像中的位置坐标，从而计算目标在当前帧视频图像中的位置，使得光电系统准确、快速的捕获目标；

(二)本发明中利用GPS或者北斗时钟数据，对每帧视频图像标注其曝光时刻的时间，同时采集光电系统陀螺数据、GPS或者北斗时钟数据，构建GPS或者北斗时钟与光电系统运动速度的函数，这样视频图像、光电系统运动轨迹间建立了统一的参考时钟，从而更加精确计算出目标在当前帧视频图像中的位置。

(三)本发明中同时采集光电系统陀螺数据、GPS或者北斗时钟数据，构建GPS或者北斗时钟与光电系统运动速度的函数，实现对光电系统运动轨迹的记录，光电系统运动轨迹精度高，有助于精确计算光电系统运动角度。

(四)本发明中利用GPS或者北斗时钟数据，对每帧视频图像标注其曝光时刻的时间，从而可以精确计算视频图像整个传输过程的延时时间。

附图说明

图1是无人载体光电系统目标捕获系统组成框图。

图2是无人载体光电系统目标捕获方法流程示意图。

图3是无人载体光电系统目标捕获系统中光电系统运动轨迹模块流程图。

图4是无人载体光电系统目标捕获系统中目标位置计算模块流程图。

具体实施方式

下面结合附图及优选实施案例对本发明作进一步的详述。

如图1所示，无人载体光电系统目标捕获系统，包括视频数据包集成模块、视频数据传输模块、视频图像显示模块、目标捕获指令模块、光电系统运动轨迹模块、目标位置计算模块；其中视频数据包集成模块处于无人载体上，视频图像显示模块、目标捕获指令模块处于无人载体操控中心；其余模块可根据无人载体空间等要求选择布置。

视频数据包集成模块接收光电系统视频图像传感器输出的视频图像数据，并根据光电系统的GPS或者北斗时钟，得到视频图像数据对应的曝光时刻；将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；若视频数据包集成模块还接收到目标位置计算模块输出的目标新方位坐标和新俯仰坐标，则将以目标新方位坐标和新俯仰坐标为中心的目标锁定指示框叠加到视频图像数据中，再将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；视频数据包集成模块将视频数据包发送给视频图像传输模块；视频数据包集成模块将视频图像数据对应的曝光时刻发送给目标位置计算模块。

视频图像传输模块实现视频数据包的压缩、无线数据链传输以及解压处理，并将解压处理后的视频数据包传送到视频图像显示模块。

如图2所示，无人载体操控人员根据视频图像显示模块的显示图像，判断是否发出目标捕获指令：当显示图像中不存在目标时，不发出目标捕获指令，持续接收视频数据包集成模块发出的视频数据包并显示；当显示图像中存在目标，但无目标锁定指示框时，发出目标捕获指令；当显示图像中存在目标和目标锁定指示框，但目标不在目标锁定指示框中，也发出目标捕获指令；当显示图像中存在目标和目标锁定指示框，且目标在目标锁定指示框中，则目标捕获完成，并锁定目标，光电系统进入自动跟踪模式。

目标捕获指令模块根据无人载体操控人员发出的目标捕获指令，计算视频图像显示模块显示的视频图像中，目标的方位坐标和俯仰坐标；并将显示的视频图像中的目标方位坐标和俯仰坐标，以及显示的视频图像对应的曝光时刻发送到目标位置计算模块。

光电系统运动轨迹模块依据光电系统的时钟数据和光电系统的陀螺数据，记录视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，并发送到目标位置计算模块；视频传输延时时长T为从视频图像曝光时刻到该视频图像传送到视频图像显示模块进行显示的时长最大理论值。

本实施例中，光电系统瞄准线方位运动速度函数T_s为陀螺数据采样周期，X_g(nT_s)为nT_s时刻方位陀螺数据，n为任意非负整数，k为陀螺标度因子；光电系统瞄准线俯仰运动速度函数Y_g(nT_s)为nT_s时刻俯仰陀螺数据。如图3所示，首先，设置三个一维数组t(n)、X(n)、Y(n)，数组长度均为N，N为T除以T_s取整；然后以T_s为周期，对陀螺数据进行采样，依次将存入数组X(n)，存入数组Y(n)，n为0到N-1，同时把采样时刻的GPS或者北斗系统的时钟数据依次存入t(n)，n为0到N-1。当采样次数大于N时，将X(1)存入X(0)、X(2)存入X(1)、…、…、X(N-1)存入X(N-2)，将Y(1)存入Y(0)、Y(2)存入Y(1)、…、…、Y(N-1)存入Y(N-2)，将t(1)存入t(0)、t(2)存入t(1)、…、…、t(N-1)存入t(N-2)，将新采样的方位、俯仰陀螺数据除以k后分别存入X(N-1)、Y(N-1)，新的采样时刻的GPS或者北斗系统的时钟数据存入t(N-1)，如此循环。

目标位置计算模块根据从视频数据包集成模块输入的曝光时刻t₁，从目标捕获指令模块输入的显示的视频图像对应的曝光时刻t₀，以及从光电系统运动轨迹模块输入的视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，计算ΔT＝t₁+t_f-t₀时间内光电系统瞄准线转动角度，t_f为视频周期。依据计算得到的光电系统瞄准线转动角度以及从目标捕获指令模块输入的目标方位坐标x₀和俯仰坐标y₀，计算出目标新方位坐标x₁和新俯仰坐标y₁，并将目标新方位坐标x₁和新俯仰坐标y₁输出给视频数据包集成模块。

本实施例中，光电系统瞄准线方位转动角度光电系统瞄准线俯仰转动角度如图4所示，首先寻找n₀，使得t(n₀-1)＜t₀＜t(n₀)，然后计算ΔT＝t₁+t_f-t₀时间内方位转动角度：

计算ΔT＝t₁+t_f-t₀时间内俯仰转动角度：

$\mathrm{\θ}={\∫}_{t_0}^{t_1+t_f}{v}_e\left(t\right)dt=\left(t\right(n_0+1)-t_0)\×Y\left(n_0\right)+\underset{n=n_0}{\overset{N-1}{\Σ}}{T}_{s}Y\left(n\right)+(t_1+t_f-t(N-1\left)\right)\×Y(N-1)$

则曝光时刻t₁后一帧图像中，目标新方位坐标x₁和新俯仰坐标y₁分别为： 其中m为视频图像的方位视场角，α为视频图像的方位分辨率，n为视频图像的俯仰视场角度，β为视频图像的俯仰分辨率。

Claims (2)

1.一种无人载体光电系统目标捕获系统，其特征在于：包括视频数据包集成模块、视频数据传输模块、视频图像显示模块、目标捕获指令模块、光电系统运动轨迹模块、目标位置计算模块；其中视频数据包集成模块处于无人载体上，视频图像显示模块、目标捕获指令模块处于无人载体操控中心；

视频数据包集成模块接收光电系统视频图像传感器输出的视频图像数据，并根据光电系统时钟，得到视频图像数据对应的曝光时刻；将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；若视频数据包集成模块还接收到目标位置计算模块输出的目标新方位坐标和新俯仰坐标，则将以目标新方位坐标和新俯仰坐标为中心的目标锁定指示框叠加到视频图像数据中，再将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；视频数据包集成模块将视频数据包发送给视频图像传输模块；视频数据包集成模块将视频图像数据对应的曝光时刻发送给目标位置计算模块；

视频图像传输模块实现视频数据包的压缩、无线数据链传输以及解压处理，并将解压处理后的视频数据包传送到视频图像显示模块；

目标捕获指令模块根据无人载体操控人员发出的目标捕获指令，计算视频图像显示模块显示的视频图像中，目标的方位坐标和俯仰坐标；并将显示的视频图像中的目标方位坐标和俯仰坐标，以及显示的视频图像对应的曝光时刻发送到目标位置计算模块；

光电系统运动轨迹模块依据光电系统的时钟数据和光电系统的陀螺数据，记录视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，并发送到目标位置计算模块；视频传输延时时长为从视频图像曝光时刻到该视频图像传送到视频图像显示模块进行显示的时长最大理论值；

目标位置计算模块根据从视频数据包集成模块输入的曝光时刻t₁，从目标捕获指令模块输入的显示的视频图像对应的曝光时刻t₀，以及从光电系统运动轨迹模块输入的视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，计算ΔT＝t₁+t_f-t₀时间内光电系统瞄准线转动角度，t_f为视频周期；依据计算得到的光电系统瞄准线转动角度以及从目标捕获指令模块输入的目标方位坐标x₀和俯仰坐标y₀，计算出目标新方位坐标x₁和新俯仰坐标y₁，并将目标新方位坐标x₁和新俯仰坐标y₁输出给视频数据包集成模块。

2.一种无人载体光电系统目标捕获方法，其特征在于：包括以下步骤：

步骤1：视频数据包集成模块接收光电系统视频图像传感器输出的视频图像数据，并根据光电系统时钟，得到视频图像数据对应的曝光时刻；将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；若视频数据包集成模块还接收到目标位置计算模块输出的目标新方位坐标和新俯仰坐标，则将以目标新方位坐标和新俯仰坐标为中心的目标锁定指示框叠加到视频图像数据中，再将视频图像数据和视频图像数据对应的曝光时刻集成为视频数据包；视频数据包集成模块将视频数据包发送给视频图像传输模块；视频数据包集成模块将视频图像数据对应的曝光时刻发送给目标位置计算模块；

步骤2：视频图像传输模块实现视频数据包的压缩、无线数据链传输以及解压处理，并将解压处理后的视频数据包传送到视频图像显示模块；

步骤3：无人载体操控人员根据视频图像显示模块的显示图像，判断是否发出目标捕获指令：当显示图像中不存在目标时，返回步骤1；当显示图像中存在目标，但无目标锁定指示框时，发出目标捕获指令，进入步骤4；当显示图像中存在目标和目标锁定指示框，但目标不在目标锁定指示框中，发出目标捕获指令，进入步骤4；当显示图像中存在目标和目标锁定指示框，且目标在目标锁定指示框中，则目标捕获完成；

步骤4：目标捕获指令模块根据无人载体操控人员发出的目标捕获指令，计算视频图像显示模块显示的视频图像中，目标的方位坐标和俯仰坐标；并将显示的视频图像中的目标方位坐标和俯仰坐标，以及显示的视频图像对应的曝光时刻发送到目标位置计算模块；

步骤5：目标位置计算模块根据从视频数据包集成模块输入的曝光时刻t₁，从目标捕获指令模块输入的显示的视频图像对应的曝光时刻t₀，以及从光电系统运动轨迹模块输入的视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数，计算ΔT＝t₁+t_f-t₀时间内光电系统瞄准线转动角度，t_f为视频周期；

其中光电系统运动轨迹模块依据光电系统的时钟数据和光电系统的陀螺数据，记录视频传输延时时长内，光电系统瞄准线方位运动速度函数和俯仰运动速度函数；视频传输延时时长为从视频图像曝光时刻到该视频图像传送到视频图像显示模块进行显示的时长最大理论值；

目标位置计算模块依据计算得到的光电系统瞄准线转动角度以及从目标捕获指令模块输入的目标方位坐标x₀和俯仰坐标y₀，计算出目标新方位坐标x₁和新俯仰坐标y₁，并将目标新方位坐标x₁和新俯仰坐标y₁输出给视频数据包集成模块，返回步骤1。