CN110503594A - 视频跟踪装置、方法、系统和视频跟踪设备 - Google Patents

Abstract

本申请涉及一种视频跟踪装置、方法、系统和视频跟踪设备。所述装置包括：集成了处理器和现场可编程门阵列的系统级芯片，系统级芯片与数字处理芯片连接，处理器用于接收并处理系统指令，并且向现场可编程门阵列下发系统指令，现场可编程门阵列用于接收视频数据，并将视频数据发送给数字处理芯片，数字处理芯片对视频数据进行处理得到外观矩阵，现场可编程门阵列接收外观矩阵，根据系统指令和外观矩阵，通过预先存储的目标跟踪算法对外观矩阵进行处理，得到目标跟踪算法对应的核矩阵，数字处理芯片从系统级芯片获取核矩阵，根据核矩阵完成视频数据中待跟踪目标的位置决策。采用本方法能够提高计算量上升时视频跟踪的准确性。

Description

视频跟踪装置、方法、系统和视频跟踪设备

技术领域

本申请涉及运动目标跟踪技术领域，特别是涉及一种视频跟踪装置、方法、系统和视频跟踪设备。

背景技术

视频跟踪是计算机视觉领域的热点之一，可应用于相机的跟踪对焦，无人机的自动目标跟踪，另外还有特定物体的跟踪，如人体跟踪，交通监控系统中的车辆跟踪，人脸跟踪等。视频跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。在运动过程中，目标会呈现一些姿态或形状上的变化、背景遮挡或光线亮度的变化，要求算法能实时响应，消除干扰。

目前，对于视频跟踪，一般选择核相关滤波算法，因此，视频跟踪装置采用的是DSP芯片，来进行相关算法的计算，一旦算法计算的复杂度提升，那么DSP芯片计算耗时急剧增加，导致丢失目标。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决核相关滤波算法计算量增加时准确跟踪目标的视频跟踪装置、方法、系统和视频跟踪设备。

一种视频跟踪装置，所述装置包括：

集成了处理器和现场可编程门阵列的系统级芯片，所述系统级芯片与数字处理芯片连接；

所述处理器用于接收并处理系统指令，并且向所述现场可编程门阵列下发所述系统指令；

所述现场可编程门阵列用于接收视频数据，并将所述视频数据发送给所述数字处理芯片；

所述数字处理芯片对所述视频数据进行处理得到所述视频数据对应的外观矩阵，并将所述外观矩阵发送给所述现场可编程门阵列；

所述现场可编程门阵列接收所述外观矩阵，根据所述系统指令和所述外观矩阵，通过预先存储的目标跟踪算法对所述外观矩阵进行处理，得到所述目标跟踪算法对应的核矩阵；

所述数字处理芯片从所述系统级芯片获取所述核矩阵，根据所述核矩阵完成视频数据中待跟踪目标的位置决策。

在其中一个实施例中，所述现场可编程门阵列中预先存储了两个以上基于不同尺度的所述目标跟踪算法；根据所述系统指令，控制两个以上的所述目标跟踪算法并行对所述外观矩阵进行处理，得到每个所述目标跟踪算法对应的核矩阵。

在其中一个实施例中，所述系统级芯片包括：仪表接口；所述仪表接口用于与外部上位机进行通讯；所述仪表接口与所述处理器连接。

在其中一个实施例中，所述系统级芯片还包括：互联总线；所述处理器与所述现场可编程门阵列通过所述互联总线进行不对齐的数据传输。

在其中一个实施例中，所述现场可编程门阵列包括：基于低压差分信号的差分接口；所述现场可编程门阵列通过所述差分接口接收所述视频数据。

在其中一个实施例中，所述现场可编程门阵列包括：基于包交换的串行接口；所述现场可编程门阵列通过所述串行接口与所述数字处理芯片连接；所述述数字处理芯片和所述系统级芯片通过所述串行接口进行所述外观矩阵和所述核矩阵的数据交互。

一种视频跟踪方法，所述方法包括：

获取视频数据；

将所述视频数据发送给数字处理芯片，接收所述数字处理芯片根据所述视频数据计算得到的所述视频数据对应的外观矩阵；

接收待跟踪目标的跟踪请求，根据所述跟踪请求，通过预先设置的目标跟踪算法对所述外观矩阵进行处理，得到核矩阵；

将所述核矩阵发送给所述数字处理芯片，以完成所述视频数据中所述待跟踪目标的位置决策。

在其中一个实施例中，还包括：通过预先设置的两个以上基于不同尺度的目标跟踪算法对所述外观矩阵进行并行处理，得到每个所述目标跟踪算法对应的核矩阵。

一种视频跟踪系统，所述系统包括：

上述视频跟踪装置以及上位机；

所述上位机与所述视频跟踪装置通过仪表接口进行通讯，所述上位机用于在人机交互时确定待跟踪目标，并转化为系统指令，通过所述仪表接口将所述系统指令发送给所述视频跟踪装置。

一种视频跟踪设备，包括存储器、处理器以及与数字处理芯片交互的接口模块，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7或8中所述方法的步骤。

上述视频跟踪装置、方法、系统和视频跟踪设备，通过系统级芯片，将视频跟踪的算法部分在现场可编程门阵列中执行，从而解决数字处理芯片算力不足的问题，由于现场可编程门阵列集成在系统级芯片中，整个算法执行过程可以通过处理器发送的系统指令控制，从而实现了核相关滤波算法计算量增加时能够准确跟踪目标。

附图说明

图1为一个实施例中视频跟踪装置的示意性结构图；

图2为一个实施例中现场可编程门阵列的示意性结构图；

图3为一个实施例中视频跟踪方法的流程示意图；

图4为一个实施例中视频跟踪系统的结构示意图；

图5为一个实施例中视频跟踪设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种视频跟踪装置的示意性结构图，该装置包括：

集成了处理器110和现场可编程门阵列120的系统级芯片100，系统级芯片与数字处理芯片200连接。

处理器110可以是基于ARM的Cortex系列的芯片，也可以是基于x86的处理器，若不同的芯片，只需将相应的指令对应修改至不同处理器平台可识别的指令即可。值得说明的是，虽然只列举的两种芯片，但是其他类型的处理也可，例如：龙芯等。

现场可编程门阵列120(Field－Programmable Gate Array，FPGA)是一个可编程器件，其支持多种接口协议，因此可以进行多种接口、模块的拓展，同时具有并行计算的特点，可以显著的提升运算速度。

系统级芯片100(System on Chip，SOC)，也称之为片上系统，指的是完成特定目的集成电路，本实施例中，是为了实现视频跟踪进行设计的SOC，为了实现视频跟踪目的，通过接口类型、交互方式等进行设计，以增强各个芯片之间的信息交互的效率。

数字处理(Digital Signal Processing，DSP)芯片200是进行数字信号处理运算的微处理器，实时快速地实现各种数字信号处理算法。

在实现视频跟踪时，现场可编程门阵列120中存储了预先设置的目标跟踪算法，目标跟踪算法是基于核相关滤波的算法，可以根据图像特征计算出核矩阵。处理器110可以与外部控制设备进行通讯，接收外部控制设备的控制指令，也可以内部存储系统指令，进行周期性发送系统指令。在系统级芯片100的角度，现场可编程门阵列120接收视频数据，并将视频数据发送给数字处理芯片200进行处理，数字处理芯片对视频数据进行处理，得到外观矩阵，值得说明的是，对视频进行处理时，采用的是视频帧提取的方式，即将每一视频帧保存为图像，并保存每一帧图像的时序，便于目标的跟踪。然后计算每一图像对应的外观矩阵，按照时序发送给现场可编程门阵列120。由于现场可编程门阵列120内置了目标跟踪算法，在处理器110下发的系统指令的控制下，实现对外观矩阵的处理，从而输出该目标跟踪算法处理该外观矩阵输出的核矩阵。然后现场可编程门阵列120将核矩阵发送给数字处理芯片200，由数字处理芯片200完成视频数据中待跟踪目标的位置决策。

本实施例中，在进行技术描述时，虽然只对一帧图像的处理进行描述，但是值得注意的是，由于处理器、芯片的处理方式包含处理时序，因此是按照特定的时序对视频数据中的每一帧图像进行处理，从而动态、实时的对视频数据中待跟踪目标进行位置跟踪。另一方面，由于本实施例中的视频跟踪装置计算效率高，响应速度快，适应于高频率的实时视频目标跟踪，具有非常高的目标跟踪的刷新率。

上述视频跟踪装置，通过系统级芯片，将视频跟踪的算法部分在现场可编程门阵列中执行，从而解决数字处理芯片算力不足的问题，由于现场可编程门阵列集成在系统级芯片中，整个算法执行过程可以通过处理器发送的系统指令控制，从而实现了核相关滤波算法计算量增加时能够准确跟踪目标。

在其中一个实施例中，现场可编程门阵列中预先存储了两个以上的基于不同尺度的目标跟踪算法，在系统指令的控制下，现场可编程门阵列并行执行目标跟踪算法，对外观矩阵进行处理，每个目标跟踪算法均输出一个核矩阵，即一个核矩阵表示图像在一个尺度下的表示，通过多个尺度的表示，可以显著提升位置跟踪的准确性。

值得说明的是，目标跟踪算法的选取，可以基于实际需求，显然，目标跟踪算法越多，抗干扰能力越强，对目标的跟踪越准确，然而对芯片的算力要求也越高，由于视频跟踪对于实时性要求高，因此，多个目标跟踪算法若在数字处理芯片中执行，显然具有非常高的时延，随着时间的累计，最终导致目标跟丢的情况，即数字处理芯片对待跟踪目标位置的错误决策，然而，现场可编程门阵列具有并行计算的特点以及逻辑计算能力突出，可以为多个目标跟踪算法并行执行提供运行环境。

在一具体实施例中，基于三个尺度，现场可编程门阵列中预先存储了三个尺度的目标跟踪算法，目标跟踪算法可以选择KCF(Kernelized Correlation Filters，核相关滤波器)算法，现场可编程门阵列的结构示意图如图2所示，图中三个KCF算法并行执行，可以显著提升计算效率，由于基于三个尺度的信息，可以显著提升目标跟踪的准确度。

具体的，三个尺度可以设置为原搜索框、缩小搜索框以及放大搜索框。由于运动状态下，待跟踪目标可能发生形态、背景、亮度等变化，基于多个尺度，可以有效的避免单尺度下可以误识别的问题，但是同时，多个尺度的计算，导致算法的算力消耗线性增加，若处理器的处理能力无法与目标位置更新频率匹配，则会导致目标丢失。

在一个实施例中，系统级芯片还包括仪表接口，仪表接口用于与外部上位机进行通讯，仪表接口与处理器连接。本实施例中，仪表接口指的串行接口，可以选择RS系列通讯接口，例如：RS232、RS422、RS485等。

由于本实施例中，处理器需要与上位机进行指令通讯，因此，优选RS485作为仪表接口，通过RS485完成指令的交互。

在其中一个实施例中，系统级芯片还包括互联总线，处理器与现场可编程门阵列通过互联总线进行不对齐数据传输，本实施例中，通过不对齐数据传输，可以保证互联架构的灵活性和独立性。

具体的，互联总线可以选择AXI系列总线，AXI系列总线是一种面向高性能、高带宽、低延迟的片内总线，采用分离的地址/数据控制，因此可以实现不对齐数据传输。

在具体实现时，具体可以采用AXI系列总线可以采用AXI-GP接口进行通讯，由于系统指令为控制字，处理器与现场可编程门阵列可以通过AXI-GP接口进行系统指令的传输。

在其中一个实施例中，现场可编程门阵列包括基于低压差分信号(Low-VoltageDifferential Signaling，LVDS)的差分接口，现场可编程门阵列通过差分接口接收视频数据。通过差分接口可以实现视频数据的接收和解析。

在其中一个实施例中，现场可编程门阵列还包括基于包交换的串行接口，现场可编程门阵列通过串行接口与数字处理芯片连接。数字处理芯片和系统级芯片通过串行接口进行外观矩阵和核矩阵的数据交互。本实施例可以高速的实现现场可编程门阵列和数字处理芯片的数据交互。

具体的，串行接口可以选择SRIO(Serial Rapid I/O)接口，在进行配置时，可以配置为4x 5Gbps模式，由现场可编程门阵列主动发起数据的读写请求。

在一个具体的实施例中，系统级芯片可以选择Xilinx SOC芯片，具体型号为ZYNQ-7045，该芯片由双核ARM Cortex-A9处理器和kintex-7 FPGA芯片构成，满足视频跟踪算力要求以及系统指令的收发要求。数字处理芯片选择浮点数字信号处理器TMS320C6678，集成了8个C66x核支持多种高速接口，可以快速完成片间的数据传输。

在一个实施例中，提供一种视频跟踪方法的示意性流程图，如图3所示，该方法可以执行在系统级芯片中，具体步骤如下：

步骤302，获取视频数据。

步骤304，将视频数据发送给数字处理芯片，接收数字处理芯片根据视频数据计算得到的视频数据对应的外观矩阵。

步骤306，接收待跟踪目标的跟踪请求，根据跟踪请求，通过预先设置的目标跟踪算法对外观矩阵进行处理，得到核矩阵。

步骤308，将核矩阵发送给数字处理芯片，以完成视频数据中待跟踪目标的位置决策。

本实施例中方法步骤的实现，可以参照上述实施例中视频跟踪装置的限定，在此不再赘述，为实现上述方法，可以采用上述实施例视频跟踪装置中的一个或者多个模块，以此执行或者组合执行，实现本实施例的方法。因此，本实施例中方法的有益效果与上述视频跟踪装置的有益效果一致。

在另一实施例中，可以通过预先设置的两个以上基于不同尺度的目标跟踪算法对外观矩阵进行并行处理，得到每个所述目标跟踪算法对应的核矩阵。

应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种视频跟踪系统，包括：视频跟踪装置402和上位机404，其中：

上位机404与视频跟踪装置402通过仪表接口进行通讯，上位机用于在人机交互时确定待跟踪目标，并转化为系统指令，通过仪表接口将系统指令发送给视频跟踪装置。

值得说明的是，上述实施例中，视频跟踪装置可以选择上述实施例中的任意一个，通过上述实施例中任意一个视频跟踪装置与上位机进行组合，可以为视频跟踪系统增加人机交互接口，从而通过与上位机进行人工交互，下发用于对待跟踪目标进行跟踪的系统指令，通过系统指令控制视频跟踪装置进行指定的视频跟踪。

关于视频跟踪系统的具体限定可以参见上文中对于视频跟踪装置的限定，在此不再赘述。

在一个实施例中，提供了一种视频跟踪设备，该视频跟踪设备可以是系统级芯片，其内部结构图可以如图5所示。该视频跟踪设备包括通过系统总线连接的多个处理器、存储器、接口和数据库。其中，该视频跟踪设备的多个处理器用于提供计算和控制能力。该视频跟踪设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该视频跟踪设备的数据库用于存储目标跟踪算法的数据。该视频跟踪设备的接口用于与外部的终端、芯片进行数据交互。该计算机程序被处理器执行时以实现一种视频跟踪方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的视频跟踪设备的限定，具体的视频戈恩宗设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种视频跟踪设备，包括存储器、处理器和数字处理芯片交互的接口模块，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中视频跟踪方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中视频跟踪方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频跟踪装置，所述装置包括：

集成了处理器和现场可编程门阵列的系统级芯片，所述系统级芯片与数字处理芯片连接；

所述处理器用于接收并处理系统指令，并且向所述现场可编程门阵列下发所述系统指令；

所述现场可编程门阵列用于接收视频数据，并将所述视频数据发送给所述数字处理芯片；

所述数字处理芯片对所述视频数据进行处理得到所述视频数据对应的外观矩阵，并将所述外观矩阵发送给所述现场可编程门阵列；

所述现场可编程门阵列接收所述外观矩阵，根据所述系统指令和所述外观矩阵，通过预先存储的目标跟踪算法对所述外观矩阵进行处理，得到所述目标跟踪算法对应的核矩阵；

所述数字处理芯片从所述系统级芯片获取所述核矩阵，根据所述核矩阵完成视频数据中待跟踪目标的位置决策。

2.根据权利要求1所述的装置，其特征在于，所述现场可编程门阵列中预先存储了两个以上基于不同尺度的所述目标跟踪算法；

根据所述系统指令，控制两个以上的所述目标跟踪算法并行对所述外观矩阵进行处理，得到每个所述目标跟踪算法对应的核矩阵。

3.根据权利要求1或2所述的装置，其特征在于，所述系统级芯片包括：仪表接口；

所述仪表接口用于与外部上位机进行通讯；

所述仪表接口与所述处理器连接。

4.根据权利要求1或2所述的装置，其特征在于，所述系统级芯片还包括：互联总线；

所述处理器与所述现场可编程门阵列通过所述互联总线进行不对齐的数据传输。

5.根据权利要求1或2所述的装置，其特征在于，所述现场可编程门阵列包括：基于低压差分信号的差分接口；

所述现场可编程门阵列通过所述差分接口接收所述视频数据。

6.根据权利要求1或2所述的装置，其特征在于，所述现场可编程门阵列包括：基于包交换的串行接口；

所述现场可编程门阵列通过所述串行接口与所述数字处理芯片连接；

所述数字处理芯片和所述系统级芯片通过所述串行接口进行所述外观矩阵和所述核矩阵的数据交互。

7.一种视频跟踪方法，其特征在于，所述方法包括：

获取视频数据；

将所述视频数据发送给数字处理芯片，接收所述数字处理芯片根据所述视频数据计算得到的所述视频数据对应的外观矩阵；

接收待跟踪目标的跟踪请求，根据所述跟踪请求，通过预先设置的目标跟踪算法对所述外观矩阵进行处理，得到核矩阵；

将所述核矩阵发送给所述数字处理芯片，以完成所述视频数据中所述待跟踪目标的位置决策。

8.根据权利要求7所述的方法，其特征在于，所述通过预先设置的目标跟踪算法对所述外观矩阵进行处理，得到核矩阵，包括：

通过预先设置的两个以上基于不同尺度的目标跟踪算法对所述外观矩阵进行并行处理，得到每个所述目标跟踪算法对应的核矩阵。

9.一种视频跟踪系统，其特征在于，所述系统包括：

权利要求1至6任一项所述视频跟踪装置以及上位机；

所述上位机与所述视频跟踪装置通过仪表接口进行通讯，所述上位机用于在人机交互时确定待跟踪目标，并转化为系统指令，通过所述仪表接口将所述系统指令发送给所述视频跟踪装置。

10.一种视频跟踪设备，包括存储器、处理器以及与数字处理芯片交互的接口模块，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7或8中所述方法的步骤。