CN107807777B - 多核嵌入式电视跟踪器人机交互装置及方法 - Google Patents

Abstract

本发明公开了一种多核嵌入式电视跟踪器人机交互装置，包括：可编程门阵列、多核数字信号处理器、随机存储器、SDI接口、HDMI接口、鼠标控制模块及人机交互界面模块；可编程门阵列实时采集原始图像，并与多核数字信号处理器及HDMI显示器通信；多核数字信号处理器对原始图像处理，并将原始图像、叠加信息及人机交互界面融合，将所述融合图像发送给可编程门阵列；人机交互界面模块显示人机交互界面；鼠标控制模块与多核数字信号处理器通信；随机存储器接收原始图像及融合图像并存储；SDI接口进行可编程门阵列与SDI高清摄像机的通信；HDMI接口用于可编程门阵列与HDMI显示器通信。本发明具有低功耗、小型化、有效实现操作人员与嵌入式系统的人机交互的有益效果。

Description

多核嵌入式电视跟踪器人机交互装置及方法

技术领域

本发明涉及电视跟踪器技术领域，特别涉及一种多核嵌入式电视跟踪器人机交互装置及方法。

背景技术

电视跟踪器是电视跟踪系统的核心部件，是影响系统性能的关键因素。电视跟踪器能够从视频信号中提取出目标的位置信息和姿态信息，利用提取出的位置信息和姿态信息驱动伺服机构，完成电视跟踪系统空间视场位置的变换。随着电视跟踪系统在武器装备和安全监控等领域的广泛应用，以及微电子技术、图像处理技术的飞速发展，目前的电视跟踪器大多采用高性能的现场可编程门阵列(FPGA)和数字信号处理器(DSP)作为核心处理器。FPGA负责图像采集与显示，DSP负责视频处理提取目标位置信息和姿态信息。

目前，在电视跟踪中，为方便使用人员了解当前的跟踪状态，以及目标信息的提取结果，显示屏上除了要显示原始图像外，常常还需要添加叠加一些图形和信息，如跟踪窗口、目标轨迹、目标位置以、目标姿态以及目标是否有效等信息。嵌入式系统叠加显示信息主要方案有以下两种，一种方案是软件实现，DSP生成待显示信息，发送给FPGA。由于DSP既要完成视频处理，又要生成待显示信息，必然导致程序执行效率降低，影响系统实时性；另一种方案是硬件实现，即采用专用的字符叠加器件实现，但必然会加大线路板尺寸，增加功耗，不利于低功耗和小型化。

发明内容

考虑到上述技术的局限，本发明寻求一种电视跟踪器中的人机交互装置。

本发明提供的技术方案是，提供一种电视跟踪器中的人机交互装置，包括可编程门阵列、多核数字信号处理器、随机存储器、SDI接口、HDMI接口、鼠标控制模块以及人机交互界面模块；

所述可编程门阵列，用于实时采集原始图像，将所述原始图像发送给所述多核数字信号处理器，接收所述数字信号处理器的融合图像，将原始图像以及融合图像发送给HDMI显示器；

所述多核数字信号处理器，用于接收所述可编程门阵列发送的原始图像，将所述原始图像进行分割后处理，并获取所要跟踪目标的叠加信息，将所述原始图像、叠加信息以及所述人机交互界面进行融合，得到融合图像，将所述融合图像发送给所述可编程门阵列；

所述人机交互界面模块，用于显示人机交互界面，所述人机交互界面包含图像显示区域、目标运动轨迹图显示区域、控制按钮、跟踪状态信息；

鼠标控制模块，用于采集鼠标数据，获取鼠标位置信息并显示在所述人机交互界面模块上，将所述功能按钮栏的信息发送给所述多核数字信号处理器，并接收鼠标的按钮控制指令及点击目标指令，从而生成所述叠加信息；

所述随机存储器，用于接收所述可编辑门阵列及所述多核数字信号处理器的原始图像及融合图像并存储；

所述SDI接口，用于所述可编程门阵列与所述SDI高清摄像机的通信；

所述HDMI接口，用于所述可编程门阵列与所述HDMI显示器通信。

一些实施例中，所述可编程门阵列通过所述SDI接口接收SDI高清摄像机实时采集的原始图像。

一些实施例中，所述多核数字信号处理器为8核DSP处理器，为DSP core1-DSPcore8，8核同时工作、并行处理；

所述DSP core1接收所述可编程门阵列发送的原始图像，并将所述原始图像分割成7块，分配给DSP core2-DSP core8，DSP core2-DSP core8并行处理，将处理结果发给DSPcore1，DSP core1将处理结果合并，将处理结果生成所需要的叠加信息，将所述原始图像、所述叠加信息以及所述人机交互界面进行融合，DSP core1将叠加信息生成模块的融合图像传输给所述可编程门阵列。

一些实施例中，所述可编程门阵列包括以下模块：

SDI图像采集模块，用于实时采集SDI高清摄像机获取的原始图像，并存储在DDR3随机存储器中；

HDMI图像显示模块，用于将所述随机存储器中的原始图像通过HDMI接口传出，显示在HDMI显示器上；

SRIO高速数据互联模块，用于与所述多核数字信号处理器进行高速数据互联，将所述可编程门阵列采集到的原始图像发送给所述多核数字信号处理器进行处理，接收所述多核数字信号处理器发送的融合图像。

一些实施例中，所述多核数字信号处理器包括以下模块：

SRIO数据输入模块，用于将所述可编程门阵列采集到的原始图像传输给数字图像处理模块；

所述数字图像处理模块，用于接收到的原始图像分割，分配给多个内核进行处理，并将所述多个内核的处理结果合并；

叠加信息生成模块，用于将合并后的处理结果生成所需要的叠加信息，所述叠加信息包括目标位置、运动轨迹以及目标的编号，并将所述原始图像、叠加信息以及所述人机交互界面进行融合，生成融合图像；

SRIO数据输出模块，用于将所述叠加信息生成模块的融合图像传输给所述可编程门阵列。

一些实施例中，所述人机交互界面包含图像显示区域、目标运动轨迹图显示区域、控制按钮、跟踪状态信息。

一些实施例中，所述人机交互模块设置于flash存储器中。

此外，本发明还提供一种多核嵌入式电视跟踪器人机交互方法，采用上述的多核嵌入式电视跟踪器人机交互装置进行人机交互，包括以下步骤：

步骤1：所述多核嵌入式电视跟踪器人机交互装置上电，初始化所述多核数字信号处理器及所述可编程门阵列，所述人机交互界面模块产生的人机交换解密自动搬移到所述随机存储器中；

步骤2：所述可编程门阵列采集原始图像，并发送给所述多核数字信号处理器；

步骤3：所述多核数字信号处理器将所述原始图像、所述叠加信息与所述人机交互界面融合，生成融合图像，并发送给所述可编程门阵列，所述可编程门阵列将所述融合图像发送给所述HDMI显示器，实时显示在所述HDMI显示器中；

步骤4：所述多核数字信号处理器接收串口鼠标位置，来判断系统工作模式：若为待机模式，则返回步骤3；若为跟踪模式，则执行步骤5；

步骤5：所述多核数字信号处理器判断是否已选择目标，如未选择目标则等待选择初始化目标；如已选择目标，则执行步骤6；

步骤6：所述多核数字信号处理器将所述原始图像进行分割，并行处理跟踪下一时刻目标位置，将处理结果整合，以在原始图像中画出目标位置及运动轨迹，用EDMA方式将带有原始图像、目标位置和运动轨迹的图像与人机交互界面融合，并更新目标状态信息区域的信息，生成融合图像；

步骤7：所述多核数字信号处理器将所述融合图像传给所述可编程门阵列，所述可编程门阵列将融合后的图像发送给所述HDMI显示器，实时显示在HDMI显示器中；

步骤8：若系统断电，则结束工作流程；否则返回步骤2。

与现有技术相比，本发明具有以下有益效果：

1、本发明所述的人机交互装置能够显示目标跟踪结果、目标轨迹曲线、目标跟踪状态，操作人员还能够通过移动鼠标控制电视跟踪器的工作模式以及目标初始化信息的输入，具有界面美观、显示清晰明了、便于操作等特点；

2、本发明所述的电视跟踪器为多核处理器，多核并行处理，可大大提高运行效率；

3、本发明采用的人机交互界面存储于flash存储器，具有掉电不丢失的特点，上电后可自动搬移到DDR3随机存储器中。

附图说明

图1为本发明多核嵌入式电视跟踪器人机交互装置的结构示意图；

图2为本发明多核嵌入式电视跟踪器人机交互方法一个实施例的流程图；

图3为本发明多核嵌入式电视跟踪器人机交互装置中人机交互界面的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

首先，介绍一下本发明的工作原理：本发明可实现操作人员与多核嵌入式电视跟踪器的人机交互，操作人员通过移动鼠标指针点击控制按钮，控制电视跟踪器的工作模式以及输入目标初始化信息，电视跟踪器生成的处理结果以及原始图像可通过叠加信息生成模块融合在人机交互界面中，显示在HDMI显示器上，供操作人员观察电视跟踪器的工作状态。

本发明不需要额外增加硬件设备，在现有电视跟踪器上实现人机交互功能，具有体积小、功耗低、多核并行工作、实时性高等特点。

下面对本发明多核嵌入式电视跟踪器人机交互装置的结构进行介绍。

请参阅图1，示出了本发明电视跟踪器中的人机交互装置一个实施例的结构图，包括可编程门阵列、多核数字信号处理器(DSP)、随机存储器、SDI接口、HDMI接口、鼠标控制模块以及人机交互界面模块。还包括串口以及人机交互装置。

可编程门阵列，用于实时采集原始图像，将原始图像发送给多核数字信号处理器，接收数字信号处理器的融合图像，将原始图像以及融合图像发送给HDMI显示器。具体地，可编程门阵列为现场可编程门阵列(FPGA)，FPGA通过SDI接口接收SDI高清摄像机实时采集的原始图像。本发明的一个实施例中，可编程门阵列包括以下模块：SDI图像采集模块，用于实时采集SDI高清摄像机获取的原始图像，并存储在DDR3随机存储器中；HDMI图像显示模块，用于将所述DDR3随机存储器中的原始图像通过HDMI接口传出，显示在HDMI显示器上；SRIO高速数据互联模块，用于与所述多核数字信号处理器进行高速数据互联，将所述可编程门阵列采集到的原始图像发送给所述多核数字信号处理器进行处理，接收多核数字信号处理器发送的融合图像。现场可编程门阵列(FPGA)实时采集SDI高清摄像机图像，并存储在DDR3随机存储器中，通过SRIO与数字信号处理器DSP进行高速数据互联，FPGA采集到的图像数据通过SRIO发送给DSP进行处理，DSP将处理结果通过SRIO发送给FPGA的DDR3存储器。最终将DDR3随机存储器中的图像数据以及处理结果通过HDMI接口传出，显示在HDMI显示器上。

多核数字信号处理器，用于接收可编程门阵列发送的原始图像，将原始图像进行分割后处理，并获取所要跟踪目标的叠加信息，将所述原始图像、叠加信息以及所述人机交互界面进行融合，得到融合图像，将所述融合图像发送给所述可编程门阵列。多核数字信号处理器包括以下模块：SRIO数据输入模块，用于将所述可编程门阵列采集到的原始图像传输给数字图像处理模块；所述数字图像处理模块，用于接收到的原始图像分割，分配给多个内核进行处理，并将所述多个内核的处理结果合并；叠加信息生成模块，用于将合并后的处理结果生成所需要的叠加信息，所述叠加信息包括目标位置、运动轨迹以及目标的编号，并将所述原始图像、叠加信息以及所述人机交互界面进行融合，生成融合图像；SRIO数据输出模块，用于将所述叠加信息生成模块的融合图像传输给所述可编程门阵列。具体地，多核数字信号处理器为8核DSP处理器，包括DSP core1-DSP core8，8核同时工作、并行处理。DSPcore1接收所述可编程门阵列发送的原始图像，并将所述原始图像分割成7块，分配给DSPcore2-DSP core8，DSP core2-DSP core8并行处理，将处理结果发给DSP core1，DSP core1将处理结果合并，将处理结果生成所需要的叠加信息，将原始图像、叠加信息以及人机交互界面进行融合，DSP core1将叠加信息生成模块的融合图像传输给可编程门阵列。

人机交互界面模块固化于flash存储器中，用于显示人机交互界面，所述人机交互界面包含图像显示区域、目标运动轨迹图显示区域、控制按钮、跟踪状态信息等。人机交互界面模块。请参阅图3，为本发明多核嵌入式电视跟踪器人机交互装置中人机交互界面的示意图。本实施例中，人机交互界面为一幅集背景图、标题栏、功能按钮栏、鼠标指针、信息显示栏、图像显示区等为一体的彩色画面。系统上电默认工作模式为待机模式，此时图像显示区实时更新当前采集的图像。移动鼠标指针，点击“跟踪模式”按钮，系统即进入跟踪模式。点击“初始化目标位置”按钮后，可在图像显示区内的图像中点击目标，系统实时跟踪此目标，并在图像中的目标周围画框，同时在图像中画出此目标的运动轨迹。信息显示栏相应的信息也跟着实时刷新。点击“待机模式”，系统又回到待机模式。

鼠标控制模块，用于采集鼠标数据，获取鼠标位置信息并显示在所述人机交互界面模块上，将所述功能按钮栏的信息发送给所述多核数字信号处理器，并接收鼠标的按钮控制指令及点击目标指令，从而生成所述叠加信息。具体地，鼠标通过串口与电视跟踪器相连，多核数字信号处理器采集串口数据，获取鼠标位置信息并显示在人机交互界面上，操作人员移动鼠标点击人机交互界面上的控制按钮实现相应的控制功能，也可以在人机交互界面的图像显示区域点击目标，初始化目标位置。

随机存储器，用于接收可编辑门阵列及多核数字信号处理器的原始图像及融合图像并存储。本发明的一个实施例中，随机存储器为DDR3随机存储器。

SDI接口，用于所述可编程门阵列与所述SDI高清摄像机的通信。

HDMI接口，用于所述可编程门阵列与所述HDMI显示器通信。

请参阅图2，为本发明多核嵌入式电视跟踪器人机交互方法一个实施例的工作流程图，其采用多核嵌入式电视跟踪器人机交互装置来实现。

具体工作流程为：

步骤1：多核嵌入式电视跟踪器人机交互装置上电，初始化多核数字信号处理器及可编程门阵列，flash存储器中的人机交互界面模块产生的人机交换解密自动搬移到DDR3随机存储器中。

步骤2：可编程门阵列采集原始图像(SDI高清图像)，并发送给多核数字信号处理器的DSP core1。

步骤3：多核数字信号处理器的DSP core1采用EDMA方式将原始图像、所述叠加信息与所述人机交互界面融合，生成融合图像，并发送给可编程门阵列，可编程门阵列将融合图像发送给HDMI显示器，实时显示在HDMI显示器中。

步骤4：多核数字信号处理器的DSP core1接收串口鼠标位置，来判断系统工作模式：若为待机模式，则返回步骤3；若为跟踪模式，则执行步骤5。

步骤5：如为跟踪模式，多核数字信号处理器判断是否已选择目标，如未选择目标则等待操作人员点击“初始化目标位置”按钮，选择初始化目标。如已选择目标，则执行步骤6；

步骤6：多核数字信号处理器将所述原始图像分成7块分别发给DSP core2-DSPcore8，并行处理跟踪下一时刻目标位置，core2-core8将处理结果发给core1，core1整合结果，以在原始图像中画出目标位置及运动轨迹，用EDMA方式将带有原始图像、目标位置和运动轨迹的图像与人机交互界面融合，并更新目标状态信息区域的工作状态、目标位置、是否有效等信息，生成融合图像(也即修改过的人机交互界面)。

步骤7：多核数字信号处理器将所述融合图像传给所述可编程门阵列，所述可编程门阵列将融合后的图像发送给所述HDMI显示器，实时显示在HDMI显示器中；

步骤8：若系统断电，则结束工作流程；否则返回步骤2。

本发明在不降低电视跟踪器执行效率以及保证电视跟踪器低功耗和小型化的前提下，不仅能够实现电视跟踪器有效信息的实时叠加，包括字符信息的叠加和图形图像的叠加，还能够实时控制电视跟踪器的工作模式，输入状态参数，实现了操作人员与嵌入式系统的人机交互功能。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种多核嵌入式电视跟踪器人机交互装置，其特征在于，包括：可编程门阵列、多核数字信号处理器、随机存储器、SDI接口、HDMI接口、鼠标控制模块以及人机交互界面模块；

所述可编程门阵列，用于实时采集原始图像，将所述原始图像发送给所述多核数字信号处理器，接收所述数字信号处理器的融合图像，将原始图像以及融合图像发送给HDMI显示器；

所述多核数字信号处理器，用于接收所述可编程门阵列发送的原始图像，将所述原始图像进行分割后处理，并获取所要跟踪目标的叠加信息，将所述原始图像、叠加信息以及所述人机交互界面进行融合，得到融合图像，将所述融合图像发送给所述可编程门阵列；

所述人机交互界面模块，用于显示人机交互界面，所述人机交互界面包含图像显示区域、目标运动轨迹图显示区域、控制按钮、跟踪状态信息；

鼠标控制模块，用于采集鼠标数据，获取鼠标位置信息并显示在所述人机交互界面模块上，将功能按钮栏的信息发送给所述多核数字信号处理器，并接收鼠标的按钮控制指令及点击目标指令，从而生成所述叠加信息；

所述随机存储器，用于接收所述可编程门阵列及所述多核数字信号处理器的原始图像及融合图像并存储；

所述SDI接口，用于所述可编程门阵列与SDI高清摄像机的通信；

所述HDMI接口，用于所述可编程门阵列与所述HDMI显示器通信；

所述多核数字信号处理器包括以下模块：

SRIO数据输入模块，用于将所述可编程门阵列采集到的原始图像传输给数字图像处理模块；

所述数字图像处理模块，用于接收到的原始图像分割，分配给多个内核进行处理，并将所述多个内核的处理结果合并；

叠加信息生成模块，用于将合并后的处理结果生成所需要的叠加信息，所述叠加信息包括目标位置、运动轨迹以及目标的编号，并将所述原始图像、叠加信息以及所述人机交互界面进行融合，生成融合图像；

SRIO数据输出模块，用于将所述叠加信息生成模块的融合图像传输给所述可编程门阵列。

2.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置，其特征在于，所述可编程门阵列通过所述SDI接口接收SDI高清摄像机实时采集的原始图像。

3.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置，其特征在于，所述多核数字信号处理器为8核DSP处理器，为DSP core1-DSP core8，8核同时工作、并行处理；

所述DSP core1接收所述可编程门阵列发送的原始图像，并将所述原始图像分割成7块，分配给DSP core2-DSP core8，DSP core2-DSP core8并行处理，将处理结果发给DSPcore1，DSP core1将处理结果合并，将处理结果生成所需要的叠加信息，将所述原始图像、所述叠加信息以及所述人机交互界面进行融合，DSP core1将叠加信息生成模块的融合图像传输给所述可编程门阵列。

4.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置，其特征在于，所述可编程门阵列包括以下模块：

SDI图像采集模块，用于实时采集SDI高清摄像机获取的原始图像，并存储在随机存储器中；

HDMI图像显示模块，用于将所述随机存储器中的原始图像通过HDMI接口传出，显示在HDMI显示器上；

SRIO高速数据互联模块，用于与所述多核数字信号处理器进行高速数据互联，将所述可编程门阵列采集到的原始图像发送给所述多核数字信号处理器进行处理，接收所述多核数字信号处理器发送的融合图像。

5.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置，其特征在于，所述人机交互界面模块设置于flash存储器中。

6.一种多核嵌入式电视跟踪器人机交互方法，其特征在于，采用如权利要求1-5任一项所述的多核嵌入式电视跟踪器人机交互装置进行人机交互，包括以下步骤：

步骤1：所述多核嵌入式电视跟踪器人机交互装置上电，初始化所述多核数字信号处理器及所述可编程门阵列，所述人机交互界面模块产生的人机交换解密自动搬移到所述随机存储器中；

步骤2：所述可编程门阵列采集原始图像，并发送给所述多核数字信号处理器；

步骤3：所述多核数字信号处理器将所述原始图像、所述叠加信息与所述人机交互界面融合，生成融合图像，并发送给所述可编程门阵列，所述可编程门阵列将所述融合图像发送给所述HDMI显示器，实时显示在所述HDMI显示器中；

步骤4：所述多核数字信号处理器接收串口鼠标位置，来判断系统工作模式：若为待机模式，则返回步骤3；若为跟踪模式，则执行步骤5；

步骤5：所述多核数字信号处理器判断是否已选择目标，如未选择目标则等待选择初始化目标；如已选择目标，则执行步骤6；

步骤6：所述多核数字信号处理器将所述原始图像进行分割，并行处理跟踪下一时刻目标位置，将处理结果整合，以在原始图像中画出目标位置及运动轨迹，用EDMA方式将带有原始图像、目标位置和运动轨迹的图像与人机交互界面融合，并更新目标状态信息区域的信息，生成融合图像；

步骤7：所述多核数字信号处理器将所述融合图像传给所述可编程门阵列，所述可编程门阵列将融合后的图像发送给所述HDMI显示器，实时显示在HDMI显示器中；

步骤8：若系统断电，则结束工作流程；否则返回步骤2。

Images