CN105631870B - 基于NoC架构的星图配准与目标轨迹提取方法及装置 - Google Patents

Abstract

本申请公开了一种基于NoC架构的星图配准与目标轨迹提取方法及装置，其中，方法包括相机标定、时间配准、预处理、空间配准和运动轨迹提取等几个步骤。该申请的发明和装置可以完成同时对两路1080p星空背景的视频进行高精度图像配准和目标精确轨迹提取的功能，该装置不仅兼容标准的TCP/IP协议以及HDMI接口协议，并且该系统是在Linux操作系统下运行，因此具有较强的可移植性，有效克服了现有技术和方法难以进行高精度的星图配准以及对空间运动小目标进行精确轨迹提取，以及现有的基于CPU架构平台以及由少量核组成的嵌入式多核系统难以同时对两路1080p视频数据流进行实时复杂处理的缺点。同时，本申请的装置还具有功耗低的优点。

Description

基于NoC架构的星图配准与目标轨迹提取方法及装置

技术领域

本申请涉及图像处理、天文观测与导航以及众核并行加速技术领域，具体地说，涉及一种基于NoC架构的星图配准与目标轨迹提取方法及装置。

背景技术

星图配准是在同一片星空背景区域，针对多个传感器在不同时段、不同成像视角下得到的图像存在几何形变的问题，进行星点精匹配的过程。空间星点小目标轨迹提取是在一组视频序列间，进行目标定位、目标搜索，从而精确的提取出目标运动轨迹的过程。目前，星图配准和空间小目标运动轨迹提取广泛应用于空间目标观测、天文导航、遥感及军事等各个领域。星空图像具有以下几点特征：

(1)图像背景色彩单一，背景灰度直方图集中在低灰度区域，由于背景过于简单，导致没有纹理、色彩和结构信息可以利用。

(2)受成像质量、空间辐射以及噪声影响，星空图像的成像质量不稳定，且由于曝光时间等参数存在不同，会出现图像信噪比差异大。

(3)由于观测距离遥远，空间目标呈现为点状弱小目标。目标本身也没有纹理、结构信息可以利用，同时，受大气湍流影响，空间星点小目标会出现忽明忽暗的闪烁现象。

(4)星空图像一般画面较大、动态范围高。

传统的针对自然地物背景下的图像配准和目标跟踪方法往往对成像动态范围、背景纹理等有一定要求。传统的方法中，例如基于频域的相位相关方法、基于区域的互信息、互相关和极大似然匹配法以及基于轮廓的形状上下文方法、基于特征的图像配准方法，在对于上述的星空背景图像进行星图配准和空间小目标轨迹提取，并要求配准达到亚像素精度时，这些方法都难以适用。

传统的方式是固定拍摄位置和背景，等待目标进入视场直到飞离视场。这类方式的优点是处理过程简单，可用方法多，缺点是难以长时间对目标进行观测，且处理流程复杂，时间消耗多。

另一方面，对于传统的共享总线通信架构的CPU，虽然其制造工艺、性能和时钟频率不断在提升，但单芯片的功耗也迅速增加，单核芯片的集成密度和时钟频率的提升也遇到瓶颈。同时，由少量CPU组成的多核处理系统以及嵌入式多核处理系统(如多核DSP)，虽然核数有所增加，但由于CPU数量少且不易进一步扩展，导致其性能提升受限。由多台服务器组成的大型数据处理中心虽然性能优势明显，但成本过高且不易维护。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种基于NoC架构的星图配准与目标轨迹提取方法及装置，可以完成同时对两路1080p星空背景的视频进行高精度图像配准和目标精确轨迹提取的功能，该装置不仅兼容标准的TCP/IP协议以及HDMI接口协议，并且该系统是在Linux操作系统下运行，因此具有较强的可移植性，有效克服了现有技术和方法难以进行高精度的星图配准以及对空间运动小目标进行精确轨迹提取，以及现有的基于CPU架构平台以及由少量核组成的嵌入式多核系统难以同时对两路1080p视频数据流进行实时复杂处理的缺点。同时，该装置还具有功耗低的优点。

为了解决上述技术问题，本申请有如下技术方案：

一种基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，包括：

相机标定：将两路相机固定在云台上，通过控制云台转动，让固定在云台上的两路相机指向同一片星空区域；将两路相机的包括光圈、快门、ISO以及曝光时间在内的参数调节到相同的数值；通过人工标定，使得两路相机处于相同视场；

时间配准：在相机拍摄任务已经开始，星空中尚未出现待检测运动目标时，执行星图配准；完成星图配准后，等待目标进入视场，进而进行目标检测；

预处理：去除拍摄星空图像时产生的随机噪声和高斯噪声，进行星点质心提取；

空间配准：依次进行特征提取、特征匹配、去除误匹配和计算变换参数，计算出两幅图像之间的相对变换关系，确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数；

运动轨迹提取：针对目标进行初始时的运动轨迹提取和跟踪时的运动轨迹提取，绘制出目标完整的运动轨迹，并进行坐标转换，将平面坐标转换为空间坐标，进而推算出目标的空间位置。

优选地，其中：

所述时间配准步骤中的执行星图配准，进一步为：

在相机拍摄任务已经开始，星空中还未出现待检测运动目标时，调用后端空间配准方法进行星图配准，计算出两路相机拍摄的两组图像的相对位置参数。

优选地，其中：

所述时间配准步骤中的进行目标检测，进一步为：

结合系统时间基准以及由星图配准得到的两组图像序列的相对运动误差偏移量，实时对图像的边缘区域进行检测；检测图像视频序列是一帧一帧进行的，一旦检测到目标出现在视场中，即将该时刻的视频帧看作关键帧，后端的处理单元均以两组视频序列的关键帧为起始基准进行；

所述系统时间基准是当目标开始进入待定空间区域，还未进入视场范围时，外部操控人员启动系统开始执行任务的时刻。

优选地，其中：

所述预处理步骤中的星点质心提取，进一步为：

首先采用阈值分割技术，将星点从图像中区分出来；接着计算出图像中的连通域，采用形态学开操作去除面积小于预定阈值的连通域；最后遍历图像中剩下的连通域，找出每个连通域中完整包含轮廓的最小圆形，进而提取出其质心坐标。

优选地，其中：

所述空间配准步骤中的特征提取，进一步为：

A1：根据预处理步骤中对两幅图像的星点质心提取结果，将所有提取出来的星点进行记录和标号，作为初始特征点集，C_i和C_j分别表示所述两幅图像的所述初始特征点集中的特征点，其中，1≤i≤m，1≤j≤n，m和n分别表示所述两幅图像的所述初始特征点集中的特征点的个数；

A2：分别以图像中的每个特征点为原点，建立对数极坐标；

A3：以图像中心位置为原点，以最远初始特征点到原点距离为半径，将半径间距划分成5份，再沿角度均匀划分成12份，将包含所有初始特征点的整个圆划分为60块；

A4：对特征点集中的每一个特征点，计算该点到其余特征点的距离D；

A5：针对两幅待处理图像，分别进行步骤A4的计算；设两幅图像特征点个数为m和n，分别建立m个1×(m-1)维度的特征描述矩阵和n个1×(n-1)维度的特征描述矩阵。

优选地，其中：

所述空间配准步骤中的特征匹配，进一步为：

B1：定义特征匹配代价函数，该函数用于判别两幅图像中的一个对应点是否为一个匹配点对，所述特征匹配代价函数为：

其中，D_mi表示一幅图中第i个所述特征点的所述特征描述矩阵，D_nj表示另一幅图中第j个所述特征点的所述特征描述矩阵，δ为高斯函数的标准差；

B2：对每一个特征点对C_i和C_j对应的匹配值F(i,j)构建二叉搜索树；

B3：根据以下公式，针对建立的二叉搜索树的前p个比值，采用K最近邻算法，将最大的匹配值F(i,j)max与其余匹配值的比值S_k与设定的阈值T进行比较，当所述比值Sk小于阈值T时，则认为该特征点C_i与另一幅图中的特征点C_j是一对匹配点对，得到初始匹配点对集合；

其中，F_(i,j)max为最大匹配值。

优选地，其中：

所述空间配准步骤中的去除误匹配，进一步为：

H1：从所述特征匹配步骤中得到的初始匹配点对集合中随机抽取r组匹配点对，根据刚体变换公式计算出r个初始匹配点对分别对应的变换矩阵，刚体变换公式为：

H2：在所述特征匹配步骤中得到的初始匹配点对集合中，除去步骤H1中的r组匹配点，将剩余的匹配点依次带入步骤H1计算出的变换矩阵中，分别计算出各自的变换参数；

H3：将步骤H2计算出来的一组变换参数分别与步骤H1中计算出的变换参数作比对，计算出一组误差值；

H4：根据预设的误差门限值，若步骤H3中的误差值小于该门限值，则认为该匹配点对是正确的一组对应特征点，反之，则剔除该组匹配点；重复步骤H2～H4，并随着迭代的进行，正确匹配点对数与总匹配点对数的比值不断增大，迭代次数随之不断减小；不断地更新迭代次数，最后统计所有正确的匹配点对的总数。

优选地，其中：

所述运动轨迹提取步骤中初始时的运动轨迹提取和跟踪时的运动轨迹提取，进一步为：

针对两路视频，当在一帧图像的同一位置检测出目标后，该帧作为关键帧；从关键帧开始，在一段时间内，分别计算和记录两组视频中的目标运动位置(x₁,y₁)，(x₂,y₂)；确认最终的轨迹(X,Y)如下：

其中，(Δx,Δy)为两组静态图像配准得到的相对偏移参数。

一种基于NoC架构的星图配准与目标轨迹提取装置，其特征在于，包括：

相机标定单元，用于将两路相机固定在云台上，通过控制云台转动，让固定在云台上的两路相机指向同一片星空区域；将两路相机的包括光圈、快门、ISO以及曝光时间在内的参数调节到相同的数值；通过人工标定，使得两路相机处于相同视场；

时间配准单元：用于在相机拍摄任务已经开始，星空中尚未出现待检测运动目标时，执行星图配准；完成星图配准后，等待目标进入视场，进而进行目标检测；

预处理单元：用于去除拍摄星空图像时产生的随机噪声和高斯噪声后进行星点质心提取；

空间配准单元：用于依次进行特征提取、特征匹配、去除误匹配和计算变换参数，计算出两幅图像之间的相对变换关系，确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数；

目标识别与运动轨迹提取单元：用于针对目标进行初始时的运动轨迹提取和跟踪时的运动轨迹提取，绘制出目标完整的运动轨迹，并进行坐标转换，将平面坐标转换为空间坐标，进而推算出目标的空间位置。

优选地，其中：

所述装置进一步包括核心板资源、底板资源和外部设备，

所述核心板资源包括Tilera-Gx64处理器、USB通信组件、UART通信组件，所述Tilera-Gx64处理器用于对所述基于NoC架构的星图配准与目标轨迹提取装置中的处理流程和算法执行并行处理，所述USB通信组件和UART通信组件为附加辅助设备和接口；

所述底板资源包括HDMI接口、数据存储模块、视频码流接收模块、视频码流解码模块、GE PHY端口以及电源接口，所述视频码流接收模块用于接收视频数据，并利用数据存储模块对视频数据进行缓存和预处理，然后将数据送入核心板中的Tilera-Gx64处理器进行计算和处理；所述视频码流解码模块用于接收处理完的视频数据，并利用数据存储模块对视频数据进行解码，将处理完成的视频通过HDMI接口输出至外部设备中的1080p视频显示设备；

所述外部设备包括1080p视频信号输入输出设备、1080p视频显示设备以及高精度可控云台，所述HDMI接口用于接收所述1080p视频信号输入输出设备提供的高清视频信号，所述1080p视频信号输入输出设备固定在所述高精度可控云台上，用于拍摄星空图像并将图像数据输出给HDMI接口。

与现有技术相比，本申请所述的方法和系统，达到了如下效果：

第一，本发明所述的基于NoC架构的星图配准与目标轨迹提取装置作为一个独立的设备使用，可以完成高精度星图配准以及星空小目标精确运动轨迹提取功能。同时，针对处理时间要求不高的场合，本发明所述的方法具有较好的二次开发性，可以独立于本装置，移植到其他设备。

第二，本发明所述基于NoC架构的星图配准与目标轨迹提取方法具有功能可扩展性，不仅可以针对静态场景下进行星图配准和目标检测，还可以配合高精度可控云台，实现长时间对空间运动小目标进行观测和运动轨迹的提取，让目标始终处在视场中心处附近，不会随着目标运动脱离而脱离观察视场范围。

第三，本发明所述基于NoC架构的星图配准与目标轨迹提取装置采用1U标准机箱安置，有效的减小了装置体积，核心处理器处理能力强且功耗低。同时，该装置还具有系统集成度高、设计灵活、功能可扩展性强的优点。

第四，本发明基于NoC架构的星图配准与目标轨迹提取方法及装置实现了快速的两路1080p星空视频图像的配准以及空间运动小目标精确轨迹提取的功能。为减少处理时间，进行星空图像的空间配准前先进行了时间配准，找到两路视频源对应的关键帧；针对两路视频曝光时间等参数的不同，进行了图像预处理；最后通过空间配准找到两路视频的变换参数，进而识别空间运动小目标并进行目标运动轨迹提取。该装置是基于NoC架构的，采用Tilera-Gx64处理平台对图像处理过程进行并行加速，并进行图像数据分解和功能划分，同时开启64个处理器核进行运算，大大的提高了处理速度和效率。同时，该装置核心处理器满负荷工作时最大功耗≤30瓦。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明的所述一种基于NoC架构的星图配准与目标轨迹提取方法的总体功能设计流程图；

图2为本发明的所述一种基于NoC架构的星图配准与目标轨迹提取装置中空间配准单元的处理流程图；

图3为本发明的所述一种基于NoC架构的星图配准与目标轨迹提取装置中目标识别与运动轨迹提取单元的处理流程图；

图4为采用Tilera-Gx64处理平台进行并行加速原理图；

图5为本发明的基于NoC架构的星图配准与目标轨迹提取装置的硬件结构示意图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

实施例1

参见图1所示为本申请所述一种基于NoC架构的星图配准与目标轨迹提取方法的具体实施例，本实施例中所述方法包括以下步骤：

步骤101、相机标定：将两路相机固定在云台上，通过控制云台转动，让固定在云台上的两路相机指向同一片星空区域；将两路相机的包括光圈、快门、ISO以及曝光时间在内的参数调节到相同的数值；通过人工标定，使得两路相机处于相同视场；

步骤102、时间配准：在相机拍摄任务已经开始，星空中尚未出现待检测运动目标时，执行星图配准；完成星图配准后，等待目标进入视场，进而进行目标检测；

步骤103、预处理：去除拍摄星空图像时产生的随机噪声和高斯噪声后进行星点质心提取；

步骤104、空间配准：依次进行特征提取、特征匹配、去除误匹配和计算变换参数，计算出两幅图像之间的相对变换关系，确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数；

步骤105、运动轨迹提取：针对目标进行初始时的运动轨迹提取和跟踪时的运动轨迹提取，绘制出目标完整的运动轨迹，并进行坐标转换，将平面坐标转换为空间坐标，进而推算出目标的空间位置。

步骤101中，相机标定的过程是指系统在执行任务前，对两路相机的参数和云台指向进行调节的过程。

具体地，上述实施例的工作过程进一步为：

首先，通过控制云台转动，让固定在云台上的指向同一片星空区域。其次，将一路相机的光圈、快门、ISO以及曝光时间等参数调节到合适的数值，并将另一路相机设置成同样的参数。最后，通过人工标定，让两个相机尽量保证同视场。由于目标位置在相对无穷远处，因此在调节完成后可认为两路相机是同轴的。

时间配准单元负责确定两路视频序列的关键帧，关键帧是在两路视频序列中找到在一组共同的起始时刻的图像，即认为两幅图像是不同摄像设备在同一时刻拍摄的。

时间配准单元包括系统时间基准与目标进入视场时刻两个限定标准以及星图配准和目标检测两个处理模块。系统时间基准是当目标开始进入特定空间区域，还未进入视场范围时，外部操控人员启动系统开始执行任务，此时的时刻作为系统时间基准。目标进入视场时刻是指目标在空间区域飞行时，刚刚进入相机的拍摄视场的时刻。在对相机进行人工标定时，难免产生微小误差，时间配准单元中的星图配准模块就是为消除这种微小误差。

星图配准模块的执行时间范围是相机拍摄任务已经开始，但星空中还未出现待检测运动目标。此时可认为是两组固定静态图像，可调用后端空间配准方法进行星图配准，计算出两组图像的相对位置参数。由于前期进行过相机标定，因此两组图像的偏移量很小，一般可控制在0:10个像素以内。

完成星图配准后，系统开始等待目标进入视场。目标检测模块的功能是结合系统时间基准以及由星图配准得到的两组图像序列的相对运动误差偏移量，实时对图像的边缘区域进行检测。检测图像视频序列是一帧一帧进行的，一旦检测到目标出现在视场中，即将该时刻的视频帧认为是关键帧。后端的处理单元均以两组视频序列的关键帧为起始基准进行。

预处理单元包含去除图像噪声模块和星点质心提取模块。去除图像噪声目的是消除拍摄星空图像时产生的随机噪声和高斯噪声，常见的高斯噪声包括宇宙噪声、热噪声等。从关键帧开始，本发明对两路视频图像序列分别采用高斯模板进行去噪。为提取星点质心，首先采用阈值分割技术，将星点从图像中区分出来；接着计算出图像中的连通域，采用形态学开操作去除面积小于一定阈值的连通域；最后遍历图像中剩下的连通域，找出每个连通域中完整包含轮廓的最小圆形，进而提取出其质心坐标。

图2是空间配准模块工作原理图，结合图1与图2，空间配准单元包括特征提取模块、特征匹配模块、去除误匹配模块以及计算变换参数模块。空间配准单元需要完成的任务是针对两幅图像间存在的刚体变换，通过一定方法计算出两幅图像之间的相对变换关系，从而确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数，为前端进行时间配准以及为后端进行目标运动轨迹提取提供参数。

本发明的基于NoC架构的星图配准与目标轨迹提取方法及装置中，空间配准单元的特征提取模块、特征匹配模块、去除误匹配模块以及计算变换参数模块是顺序依次执行的，每个模块都是独立的，且拥有不同的处理流程。

图2所示为空间配准单元工作原理图，包含本实例中空间配准单元中四个子模块的工作流程，其中S1～S5为特征提取工作流程，S6～S8为特征匹配工作流程，S9～S12为去除误匹配点对工作流程，S13为计算变换参数工作流程，具体包括：

S1：根据图1中预处理单元对两幅图像的星点质心提取结果，将所有提取出来的星点进行记录和标号，作为初始特征点集，C_i和C_j分别表示所述两幅图像的所述初始特征点集中的特征点，其中，1≤i≤m，1≤j≤n，m和n分别表示所述两幅图像的所述初始特征点集中的特征点的个数。

S2：分别以图像中的每个特征点为原点，建立对数极坐标。

S3：以图像中心位置为原点，以最远处初始特征点到原点距离为半径，将半径等间距划分成5份，再沿角度均匀划分成12份，这样即将包含所有初始特征点的整个圆划分为60块。

S4：对特征点集中的每一个特征点，计算该点到其余特征点的距离D。

S5：针对两幅待处理图像，分别进行步骤S4的计算。假设两幅图像特征点个数为m和n，则可分别建立m个1×(m-1)维度的特征描述矩阵和n个1×(n-1)维度的特征描述矩阵。

S6：定义特征匹配代价函数，该函数用于判别两幅图像中的一个对应点是否为一个匹配点对。特征匹配代价函数如公式⑴所示：

公式⑴中，D_mi表示一幅图中第i个所述特征点的所述特征描述矩阵，D_nj表示另一幅图中第j个所述特征点的所述特征描述矩阵，δ为高斯函数的标准差，通过设置该标准差的大小，可以实现人为调节可容忍距离误差极限。

S7：对每一个特征点C_i对应的匹配值F(i,j)构建二叉搜索树。

S8：如公式⑵所示，针对步骤S7建立的二叉搜索树的前p个比值，采用K最近邻算法，将步骤S7中最大的匹配值F(i,j)max与其余匹配值的比值S_k与设定的阈值T进行比较，当前者小于阈值T时，则认为该特征点C_i与另一幅图中的特征点C_j是一对匹配点对。

S9：完成步骤S8后，可以得到一组初始匹配点对集合。从该集合中随机抽取r组匹配点对，根据刚体变换公式计算出r个初始匹配点分别对应的变换矩阵。刚体变换公式形式如公式(3)所示，是空间几何变换的常用公式。

S10：在步骤S8得到的一组初始匹配点集合中，除去步骤S9中的r组匹配点对，将剩余的匹配点依次带入步骤S9计算出来的变换矩阵中，分别计算出各自的变换参数。

S11：将步骤S10计算出来的一组变换参数分别与步骤S9计算出来的变换参数作对比，计算出一组误差值。

S12：根据误差门限，如果步骤S11中的误差结果小于该门限值，则认为该匹配点对是正确的一组对应特征点；反之，则剔除该组匹配点。重复步骤S10到步骤S12并随着迭代的进行，正确匹配点对数与总匹配点对数的比值不断增大，迭代次数随之不断减小。不断的更新该迭代次数，最后统计所有正确的匹配点对的总数。

S13：通过步骤S10、S11和S12，一部分误匹配点对被去除，得到了一组满足误差门限的精确匹配点对和其空间变换参数。最后，采用最小二乘算法计算出两幅待配准图像的精确空间变换矩阵。

以上工作流程仅为说明性质的实施例，本领域技术人员给予本发明公开的内容可依据具体情况对上述步骤流程进行调整和改动，均属于本发明要求保护的范围，以满足各类应用需求。

图3是本发明目标识别与运动轨迹提取单元的处理流程图，结合图1与图3，运动轨迹提取单元在处理时间上可以分为初始时的运动轨迹提取以及跟踪时的运动轨迹提取。其中，初始时的运动轨迹提取主要是针对目标刚进入提前进行标定好的视场，此时相机处于静止状态，目标处于运动状态；跟踪时的运动轨迹提取是在云台转动过程中进行的，此时相机和云台均处于运动状态，目标在图像中也处于微小运动状态。

上述运动轨迹提取单元的两种情况对应的检测方法也不同，图3所示为该两种情况的工作原理图。当目标进入视场前，首先需要根据上述星图配准原理分别对两路星图视频做帧间配准，即判断相邻帧之间的位置关系，以及视场边缘处是否存在运动目标。为防止其他运动目标干扰，需要准确判断检测到的运动物体是否为待测目标，判断的标准有以下三点：

1.根据图1中时间配准单元提供系统基准时间判断运动目标进入视场的时间范围；

2.根据对相机和云台的提前标定，预估目标可能出现在视场中的位置；

3.人为辅助判断，如果不是目标，则抛弃该组关键帧，重新进行检测。

根据上述内容，针对两路视频，当在一帧图像的同一位置检测出目标后，则认为该帧图像为关键帧。从关键帧开始，在一段时间内，分别计算和记录两组视频中的目标运动位置(x₁,y₁)，(x₂,y₂)。最后计算均值并将数据一方面发送给内存绘制目标初始运动轨迹，一方面发送给转动云台做跟踪。在计算均值时，由于两组视频虽然经过标定，但本身还是可能存在微小偏移，因此需要加入图1中针对两组静态图像配准得到相对偏移参数(Δx,Δy)，最终的轨迹(X,Y)如公式(4)所示。

结合图3，当转台开始运动以后，由于目标和转台都处于运动状态，因此要采用不同的目标轨迹提取方法。云台第一次转动可以将目标拉到视场中心附近处，以后的转动都是前端算法通过网口将转动参数发送给云台。因此图像目标检测的场景属于背景不停在沿着目标运动反方向运动，目标在图像中处于静止或在视场中心小范围运动。

针对上述的情况，当云台转动后，需要在视场中心附近进行一次目标检测。由于目标与背景反差大，且目标位置相对稳定，因此采用图1中预处理单元的质心提取方法即可判断目标位置。当检测到目标以后，背景中有用信息集中在目标附近，为提升处理速度，根据目标坐标划定感兴趣区域。由于目标处于视场中心处，因此本发明设置以图像原点为中心，以30个像素为宽度的正方形区域划为感兴趣区域。

每次在感兴趣区域提取到目标质心后，将质心坐标作为相对偏移量与云台转动参数结合作为目标此刻的位置。由于云台的转动参数是根据目标运动参数得到的，因此云台的转动量实际就是目标运动量，设从第一次转动开始，每次转动量为(Δx_i,Δy_i)(i＝1,2,3,4,...)，则每次转动后的目标位置为：

目标位置＝目标初始位置矢量+云台转动矢量

将该轨迹与前端目标刚进入视场时的轨迹结合在一起，即可绘制出完整的运动轨迹。上述轨迹是基于像素计算的，而目标处于空间位置，因此需要再进行一次坐标转换，即将平面坐标转换为空间坐标。根据对相机的标定，视场大小，相机光轴指向都是已知的，因此容易推算出目标的空间位置。

本发明的基于众核架构的星图配准与目标轨迹提取方法及装置不是针对常见的固定背景下进行的运动目标拍摄和处理。本发明是针对更复杂的情况，即采用高指向精度的可控云台进行同步跟踪，让目标始终处在视场中心处，长时间观察目标飞行情况，不脱离视场范围，同时对目标轨迹进行精确的计算和提取。

实施例2

参见图1和图5，本发明还提供一种基于NoC架构的星图配准与目标轨迹提取装置，其特征在于，包括：

相机标定单元，用于将两路相机固定在云台上，通过控制云台转动，让固定在云台上的两路相机指向同一片星空区域；将两路相机的包括光圈、快门、ISO以及曝光时间在内的参数调节到相同的数值；通过人工标定，使得两路相机处于相同视场；

时间配准单元：用于在相机拍摄任务已经开始，星空中尚未出现待检测运动目标时，执行星图配准；完成星图配准后，等待目标进入视场，进而进行目标检测；

预处理单元：用于去除拍摄星空图像时产生的随机噪声和高斯噪声后进行星点质心提取；

空间配准单元：用于依次进行特征提取、特征匹配、去除误匹配和计算变换参数，计算出两幅图像之间的相对变换关系，确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数；

目标识别与运动轨迹提取单元：用于针对目标进行初始时的运动轨迹提取和跟踪时的运动轨迹提取，绘制出目标完整的运动轨迹，并进行坐标转换，将平面坐标转换为空间坐标，进而推算出目标的空间位置。

进一步地，基于NoC架构的星图配准与目标轨迹提取装置还包括核心板资源、底板资源和外部设备，参见图5。

核心板资源，包括Tilera-Gx64处理器10、USB通信组件11、UART通信组件12以及其他器件与接口。其中Tilera-Gx64处理器10是本发明所述装置的核心处理器件，所需完成的星图配准与目标轨迹提取等主要功能都依托于该处理器4。USB与UART通讯组件为附加辅助设备和接口，其他器件与接口主要是使核心处理器4正常工作以及和底板通信所需。

底板资源，包括三个HDMI接口，两个数据存储模块，视频码流接收模块13，视频码流解码模块14，GE PHY端口15以及电源接口16等。

外部设备，包括两个1080p视频信号输入输出设备，一个1080p视频显示设备33以及一个高精度可控云台34。其中，HDMI接口1和HDMI接口2负责分别接收外部设备中1080p视频信号输入输出设备31和1080p视频信号输入输出设备32提供的高清视频信号。两个1080p视频信号输入输出设备均固定在外部设备高精度可控云台34上，负责拍摄星空图像并将图像数据通过HDMI接口输出给HDMI接口1和HDMI接口2。

视频数据流进入视频码流接收模块13后，视频码流接收模块13利用数据存储模块21对两路视频数据进行缓存和预处理，然后将数据送入核心板，交由Tilera-Gx64处理器10进行计算和处理。处理完后的视频数据进入视频码流解码模块14，视频码流解码模块14利用数据存储模块22对视频数据进行解码等工作，最后将处理完成的视频通过HDMI接口3输出给外部的1080p视频显示设备33。

外部设备高精度可控云台与Tilera-Gx64处理器10通信是通过GE PHY千兆网络接口进行传输的，且数据传输通信满足标准的TCP/IP协议。

本发明的应用对象是存在弱小运动目标、图像大小为1080p的两路星空图像视频，不仅要处理的数据量大，且处理过程复杂耗时，采用众核架构的Tilera-Gx64处理器作为处理平台可以很好的满足对处理能力和处理实时性的要求。本发明的基于众核处理器的平台处理能力强、功耗和成本低且易于维护。

图4所示为采用Tilera-Gx64处理平台进行并行加速的原理图，本发明的处理流程和算法执行都是基于该平台并行处理的，因此具有处理速度快的优点。进行并行加速前，首先要对待处理的数据进行分解，本发明的基于NoC架构的星图配准与目标轨迹提取方法及装置，是将能够进行并行处理的数据拆分成n个数据单元，或者将能够进行并处理的功能拆分成n个功能单元。考虑到Tilera-Gx64处理平台具有64个核心处理器，因此设置n≤64。考虑到要尽可能的让拆分之后的子数据达到处理时间一致性，减少进程间的空闲等待时间，本发明将视频图像数据进行等大小分割，即在数据分解上保持数据量一致。

以星点质心提取为例说明采用Tilera-Gx64平台通过数据分解进行并行加速的过程。根据前文所述，质心提取模块目的是精确的提取出图像中所有的星点坐标。步骤如下：

P1：将图像G划分成60块，每一块图像G_i大小为32×18pixel；

P2：调用60个Tile核，每个Tile核各创建1个线程，这样总共有60个线程，每个线程分别对步骤P1中的一个图像块G_i进行阈值分割，提取出星点轮廓、计算其连通域并统计数量，没有星点的部分数量为0；

P3：设置与连通域相等数目的Tile核和线程，分别计算连通域大小，去除面积小于一定阈值的连通域；

P4：统计剩余的连通域数目，设置相等数目的Tile核和线程，分别计算每个连通域轮廓的最小圆形，并分别提取出其质心。

上述采用并行方式进行的质心提取，每个线程执行各自操作，每个操作的复杂度较低，使得众核处理速度比单核提高了60倍。另外的4个Tile核分别用来进行线程调度、数据缓冲等。

另一方面，对于不适宜进行数据分割的部分，例如在进行特征匹配时，难以将图像划分开操作，此时需要进行功能分解。功能分解的主要目的是将一个复杂的功能任务分解成若干个子任务，并分别绑定不同的线程，每个线程各自执行一个子任务。功能的划分可以根据算法实际情况而定，尽量保持每个子任务的复杂度相同。

以根据匹配点对计算正确的匹配点的过程为例说明采用Tilera-Gx64平台通过功能分解进行并行加速的过程。根据前文所述，在构建二叉搜索树并得到一组初始匹配点后，采用并行加速计算正确匹配点的步骤如下：

Q1：从初始匹配点集合中随机选取g组匹配点，调用g个Tile核，并创建g个线程，g的值小于Tilera的处理器CPU数量；

Q2：设置每个线程的任务为根据刚体变换公式计算对应的变换矩阵；

Q3：步骤Q2执行完成后，统计初始匹配点对中剩余的没有计算变换矩阵的匹配点对数量；

Q4：设置s个Tile核并创建m个线程，给每个线程分配相同的任务，即将各自的匹配点对带入到Q2中的变换矩阵计算变换参数，其中s的大小应小于初始匹配点对中剩余的没有计算变换矩阵的匹配点对数量。

Q5：对比两组变换参数，计算误差值并采用前文所述去除误匹配算法得到正确的匹配点对。

上述步骤中，采用的并行方法是将计算变换矩阵的功能进行分解，每一个处理器计算各自被分配的任务。

本发明基于Tilera-Gx64平台，通过数据分解和功能分解，充分利用众核处理器的优势，尽可能的发挥其并行特性，可以使处理速度得到大幅度提升。

图4所示的采用Tilera-Gx64处理平台进行并行加速的原理图中，进程间数据交互机制和任务分发与控制机制主要负责完成任务的调度和执行。由于每个进程是独立运行在一个Tile之上，各个任务单元之间存在数据交互与执行时间排序，因此各个Tile之间需要进行进程同步与数据交互，以保证数据流执行的高速和正确性。本发明主要采用了以下原则来实现的：

(1)进行数据划分和设置互斥对象机制，使每个线程拥有自己独立的资源和数据访问对象，当该线程对某部分数据进行访问时，该部分数据资源被挂起，其他线程不能对其进行访问，直到该线程执行结束。

(2)通过共享内存，将使用最频繁的变量设置成共享变量并放入共享内存区，进程可以按照顺序读取该部分数据。

(3)通过Linux多线程同步机制，设置信号量和设置线程优先级来控制线程对资源的访问和同步。

(4)根据负载均衡原则，将任务尽量平均分配，根据处理复杂度将任务均匀分配到给不同数量的Tile核进行处理，最大限度的减少处理等待时间。

通过以上各实施例可知，本申请存在的有益效果是：

第一，本发明所述的基于NoC架构的星图配准与目标轨迹提取装置作为一个独立的设备使用，可以完成高精度星图配准以及星空小目标精确运动轨迹提取功能。同时，针对处理时间要求不高的场合，本发明所述的方法具有较好的二次开发性，可以独立于本装置，移植到其他设备。

第二，本发明所述基于NoC架构的星图配准与目标轨迹提取方法具有功能可扩展性，不仅可以针对静态场景下进行星图配准和目标检测，还可以配合高精度可控云台，实现长时间对空间运动小目标进行观测和运动轨迹的提取，让目标始终处在视场中心处附近，不会随着目标运动脱离而脱离观察视场范围。

第三，本发明所述基于NoC架构的星图配准与目标轨迹提取装置采用1U标准机箱安置，有效的减小了装置体积，核心处理器处理能力强且功耗低。同时，该装置还具有系统集成度高、设计灵活、功能可扩展性强的优点。

第四，本发明基于NoC架构的星图配准与目标轨迹提取方法及装置实现了快速的两路1080p星空视频图像的配准以及空间运动小目标精确轨迹提取的功能。为减少处理时间，进行星空图像的空间配准前先进行了时间配准，找到两路视频源对应的关键帧；针对两路视频曝光时间等参数的不同，进行了图像预处理；最后通过空间配准找到两路视频的变换参数，进而识别空间运动小和目标运动轨迹提取。该装置是基于NoC架构的，采用Tilera-Gx64处理平台对图像处理过程进行并行加速，并进行图像数据分解和功能划分，同时开启64个处理器核进行运算，大大的提高了处理速度和效率。同时，该装置核心处理器满负荷工作时最大功耗≤30瓦。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (9)

1.一种基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，包括：

相机标定：将两路相机固定在云台上，通过控制云台转动，让固定在云台上的两路相机指向同一片星空区域；将两路相机的包括光圈、快门、ISO以及曝光时间在内的参数调节到相同的数值；通过人工标定，使得两路相机处于相同视场；

时间配准：在相机拍摄任务已经开始，星空中尚未出现待检测运动目标时，执行星图配准；完成星图配准后，等待目标进入视场，进而进行目标检测，所述时间配准步骤中的进行目标检测，进一步为：

结合系统时间基准以及由星图配准得到的两组图像序列的相对运动误差偏移量，实时对图像的边缘区域进行检测；检测图像视频序列是一帧一帧进行的，一旦检测到目标出现在视场中，即将该时刻的视频帧看作关键帧，后端的处理单元均以两组视频序列的关键帧为起始基准进行；

所述系统时间基准是当目标开始进入待定空间区域，还未进入视场范围时，外部操控人员启动系统开始执行任务的时刻；

预处理：去除拍摄星空图像时产生的随机噪声和高斯噪声，进行星点质心提取；

空间配准：依次进行特征提取、特征匹配、去除误匹配和计算变换参数，计算出两幅图像之间的相对变换关系，确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数；

运动轨迹提取：针对目标进行初始时的运动轨迹提取和跟踪时的运动轨迹提取，绘制出目标完整的运动轨迹，并进行坐标转换，将平面坐标转换为空间坐标，进而推算出目标的空间位置；

其中，所述初始时的运动轨迹提取是针对目标刚进入提前进行标定好的视场，此时相机处于静止状态，目标处于运动状态；所述跟踪时的运动轨迹提取是在云台转动过程中进行的，此时相机和云台均处于运动状态，目标在图像中也处于微小运动状态。

2.根据权利要求1所述基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，

所述时间配准步骤中的执行星图配准，进一步为：

在相机拍摄任务已经开始，星空中还未出现待检测运动目标时，调用后端空间配准方法进行星图配准，计算出两路相机拍摄的两组图像的相对位置参数。

3.根据权利要求1所述基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，

所述预处理步骤中的星点质心提取，进一步为：

首先采用阈值分割技术，将星点从图像中区分出来；接着计算出图像中的连通域，采用形态学开操作去除面积小于预定阈值的连通域；最后遍历图像中剩下的连通域，找出每个连通域中完整包含轮廓的最小圆形，进而提取出其质心坐标。

4.根据权利要求1所述基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，

所述空间配准步骤中的特征提取，进一步为：

A1：根据预处理步骤中对两幅图像的星点质心提取结果，将所有提取出来的星点进行记录和标号，作为初始特征点集，C_i和C_j分别表示所述两幅图像的所述初始特征点集中的特征点，其中，1≤i≤m，1≤j≤n，m和n分别表示所述两幅图像的所述初始特征点集中的特征点的个数；

A2：分别以图像中的每个特征点为原点，建立对数极坐标；

A3：以图像中心位置为原点，以最远初始特征点到原点距离为半径，将半径间距划分成5份，再沿角度均匀划分成12份，将包含所有初始特征点的整个圆划分为60块；

A4：对特征点集中的每一个特征点，计算该点到其余特征点的距离D；

A5：针对两幅待处理图像，分别进行步骤A4的计算；设两幅图像特征点个数为m和n，分别建立m个1×(m-1)维度的特征描述矩阵和n个1×(n-1)维度的特征描述矩阵。

5.根据权利要求4所述基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，

所述空间配准步骤中的特征匹配，进一步为：

B1：定义特征匹配代价函数，该函数用于判别两幅图像中的一个对应点是否为一个匹配点对，所述特征匹配代价函数为：

其中，D_mi表示一幅图中第i个所述特征点的所述特征描述矩阵，D_nj表示另一幅图中第j个所述特征点的所述特征描述矩阵，δ为高斯函数的标准差；

B2：对每一个特征点对C_i和C_j对应的匹配值F(i,j)构建二叉搜索树；

B3：根据以下公式，针对建立的二叉搜索树的前p个比值，采用K最近邻算法，将最大的匹配值F(i,j)max与其余匹配值的比值S_k与设定的阈值T进行比较，当所述比值S_k小于阈值T时，则认为该特征点C_i与另一幅图中的特征点C_j是一对匹配点对，得到初始匹配点对集合；

其中，F_(i,j)max为最大匹配值，p≤m且p≤n。

6.根据权利要求1所述基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，

所述空间配准步骤中的去除误匹配，进一步为：

H1：从所述特征匹配步骤中得到的初始匹配点对集合中随机抽取r组匹配点对，根据刚体变换公式计算出r个初始匹配点对分别对应的变换矩阵，刚体变换公式为：

H2：在所述特征匹配步骤中得到的初始匹配点对集合中，除去步骤H1中的r组匹配点，将剩余的匹配点依次带入步骤H1计算出的变换矩阵中，分别计算出各自的变换参数；

H3：将步骤H2计算出来的一组变换参数分别与步骤H1中计算出的变换参数作比对，计算出一组误差值；

H4：根据预设的误差门限值，若步骤H3中的误差值小于该门限值，则认为该匹配点对是正确的一组对应特征点，反之，则剔除该组匹配点；重复步骤H2～H4，并随着迭代的进行，正确匹配点对数与总匹配点对数的比值不断增大，迭代次数随之不断减小；不断地更新迭代次数，最后统计所有正确的匹配点对的总数。

7.根据权利要求6所述基于NoC架构的星图配准与目标轨迹提取方法，其特征在于，

所述运动轨迹提取步骤中初始时的运动轨迹提取和跟踪时的运动轨迹提取，进一步为：

针对两路视频，当在一帧图像的同一位置检测出目标后，该帧作为关键帧；从关键帧开始，在一段时间内，分别计算和记录两组视频中的目标运动位置(x₁,y₁)，(x₂,y₂)；确认最终的轨迹(X,Y)如下：

其中，(Δx,Δy)为两组静态图像配准得到的相对偏移参数。

8.一种基于NoC架构的星图配准与目标轨迹提取装置，其特征在于，包括：

相机标定单元，用于将两路相机固定在云台上，通过控制云台转动，让固定在云台上的两路相机指向同一片星空区域；将两路相机的包括光圈、快门、ISO以及曝光时间在内的参数调节到相同的数值；通过人工标定，使得两路相机处于相同视场；

时间配准单元：用于在相机拍摄任务已经开始，星空中尚未出现待检测运动目标时，执行星图配准；完成星图配准后，等待目标进入视场，进而进行目标检测，所述时间配准步骤中的进行目标检测，进一步为：

结合系统时间基准以及由星图配准得到的两组图像序列的相对运动误差偏移量，实时对图像的边缘区域进行检测；检测图像视频序列是一帧一帧进行的，一旦检测到目标出现在视场中，即将该时刻的视频帧看作关键帧，后端的处理单元均以两组视频序列的关键帧为起始基准进行；

所述系统时间基准是当目标开始进入待定空间区域，还未进入视场范围时，外部操控人员启动系统开始执行任务的时刻；

预处理单元：用于去除拍摄星空图像时产生的随机噪声和高斯噪声后进行星点质心提取；

空间配准单元：用于依次进行特征提取、特征匹配、去除误匹配和计算变换参数，计算出两幅图像之间的相对变换关系，确定不同相机在同一时刻拍摄的图像之间的空间变换参数以及同一相机拍摄的图像序列相邻帧之间的全局运动参数；

目标识别与运动轨迹提取单元：用于针对目标进行初始时的运动轨迹提取和跟踪时的运动轨迹提取，绘制出目标完整的运动轨迹，并进行坐标转换，将平面坐标转换为空间坐标，进而推算出目标的空间位置；

其中，所述初始时的运动轨迹提取是针对目标刚进入提前进行标定好的视场，此时相机处于静止状态，目标处于运动状态；所述跟踪时的运动轨迹提取是在云台转动过程中进行的，此时相机和云台均处于运动状态，目标在图像中也处于微小运动状态。

9.根据权利要求8所述基于NoC架构的星图配准与目标轨迹提取装置，其特征在于，

所述装置进一步包括核心板资源、底板资源和外部设备，

所述核心板资源包括Tilera-Gx64处理器、USB通信组件、UART通信组件，所述Tilera-Gx64处理器用于对所述基于NoC架构的星图配准与目标轨迹提取装置中的处理流程和算法执行并行处理，所述USB通信组件和UART通信组件为附加辅助设备和接口；

所述底板资源包括HDMI接口、数据存储模块、视频码流接收模块、视频码流解码模块、GE PHY端口以及电源接口，所述视频码流接收模块用于接收视频数据，并利用数据存储模块对视频数据进行缓存和预处理，然后将数据送入核心板中的Tilera-Gx64处理器进行计算和处理；所述视频码流解码模块用于接收处理完的视频数据，并利用数据存储模块对视频数据进行解码，将处理完成的视频通过HDMI接口输出至外部设备中的1080p视频显示设备；

所述外部设备包括1080p视频信号输入输出设备、1080p视频显示设备以及高精度可控云台，所述HDMI接口用于接收所述1080p视频信号输入输出设备提供的高清视频信号，所述1080p视频信号输入输出设备固定在所述高精度可控云台上，用于拍摄星空图像并将图像数据输出给HDMI接口。