CN104754257A - 用于视频跟踪的字符叠加器及叠加方法 - Google Patents

Abstract

用于视频跟踪的字符叠加器及叠加方法，涉及一种字符叠加器及叠加方法，解决现有字符叠加装置采用屏幕存储映像方式，显示存储器地址对应于监视器的固定位置，存在灵活性差的问题，且外围电路复杂，分立元件较多降低了系统的稳定性等问题，包括ARM处理器模组和字符叠加模组；所述字符叠加模组采用十片字符叠加芯片串行连接；所述ARM处理器模组包括字符变量初始化模块、串口通信模块、鼠标监视模块、通信协议解析模块、写入数组更新模块和字库控制叠加模块；本发明所述字符叠加器的可扩展性强，采用多片字符叠加芯片串联，输出四路视频，具备完善的可扩展性；本发明使用方便，有效实现视频跟踪系统中跟踪信息实时叠加的字符叠加装置和方法。

Description

用于视频跟踪的字符叠加器及叠加方法

技术领域

本发明涉及一种字符叠加装置及方法，具体涉及视频跟踪器中的字符信息叠加以及图形叠加的视频叠加显示装置。

背景技术

视频跟踪器是一个图像信息处理单元，对来自电视摄像机的视频信号进行实时处理，在背景图像中提取目标，并结算目标中心点相对于视频跟踪器电轴的坐标偏差，将偏差量实时送给伺服系统实现对目标的闭环实时跟踪。

字符叠加器是在视频电子信号中混入字符信息，使得在电视图像的指定位置显示指定的图形、字符的装置。字符叠加装置广泛的应用于电视跟踪系统。在电视跟踪系统中，为了方便相关人员及时了解当前的跟踪状态，在监视屏幕上除了需要输出原始的视频信息以外，通常还要在监视器上输出一些跟踪相关的信息，例如显示当前的日期，脱靶量，以及地点标号等，同时针对跟踪目标，需要使用矩形跟踪窗口实时的标定。此外，一种用于视频跟踪的字符叠加器需具备人机交互功能，操作人员可通过鼠标的点选对主控设备进行相应操作。

字符叠加装置的一种实现方案是采用FPGA或者CPLD实现。视频信号经解码芯片进入FPGA，FPGA读取预先存储于外部ROM中的字符内容，对叠加字符和视频信号进行相应的逻辑运算以实现字符叠加效果。该方法的缺点在于硬件逻辑复杂，时序要求严格，字库更新困难。

字符叠加装置的另一种实现方案是采用专用字符叠加芯片实现。例如NEC公司的UPD6453方案、FUJITSH的MB90092方案，上述两种方案的实现需要行、场同步分立电路模块、字库电路模块、锁存模块等。上述芯片采用屏幕存储映像方式，显示存储器地址对应于监视器的固定位置。上述该方法的缺点在于外围电路复杂，分立元件较多降低了系统的稳定性且字符叠加位置灵活性较差。

发明内容

本发明为解决现有字符叠加装置采用屏幕存储映像方式，显示存储器地址对应于监视器的固定位置，存在灵活性差的问题，且外围电路复杂，分立元件较多降低了系统的稳定性等问题，提供一种用于视频跟踪的字符叠加器及叠加方法。

用于视频跟踪的字符叠加器，包括ARM处理器模组和字符叠加模组；所述字符叠加模组采用十片字符叠加芯片串行连接；所述ARM处理器模组包括字符变量初始化模块、串口通信模块、鼠标监视模块、通信协议解析模块、写入数组更新模块和字库控制叠加模块；

字符变量初始化模块，用于对视频跟踪器输出的视频流中的每一个字符进行初始化；并对初始化后的字符作为结构体变量操作；

串口通信模块，通过调用ARM处理器模组与字符叠加模组的SPI接口驱动实现字符叠加器与视频跟踪器的数据交换；经串口通信模块输出的串口数据由通信协议解析模块解析；

鼠标监视模块，通过调用鼠标驱动，以阻塞的方式读取鼠标移动或点击信息，并对读取的信息作为变量结构体进行解析，判断对菜单的操作，所述解析后的变量结构体写入数组更新模块；

通信协议解析模块，根据通信协议对接收的串口数据进行解析，所述解析后的串口数据写入数组更新模块；

数组更新模块，将串口通信模块和鼠标监视模块写入的用于显示的结构体变量对应写入数组，用于实现字库控制叠加模块的写入；

字库控制叠加模块，该模块调用字符叠加模组的SPI接口驱动，并按字符叠加芯片的数据格式将叠加的变量结构体传输至字符叠加芯片，实现字符叠加。

用于视频跟踪的字符叠加方法，该方法采用多线程工作方式；该方法由以下步骤实现：

步骤一、字符叠加器上电，所述ARM处理器模组内部的字符变量初始化模块初始化每一个字符，并对初始化后的字符作为一个结构体变量操作；所述串口通信模块内部的串口线程工作在阻塞模式，用于等待视频跟踪器发送信息；鼠标监视模块内部的鼠标线程工作在阻塞模式，用于等待鼠标的移动或点击操作；调用数组更新模块，将初始化后的结构体变量的数据更新至写入数组更新模块，初始化字符叠加模组；

步骤二、主线程等待接收消隐中断信号，场消隐中断函数调用SPI驱动分别向字符叠加模组内写入数组，用以完成字符叠加显示，并调用写入数组更新模块，更新结构体变量的数据，将鼠标的当前信息反馈回视频跟踪器；主线程循环运行，等待下一次的消隐中断信号；

串口线程等待视频跟踪器发送串口数据，当有数据发送时，串口线程抢占CPU，将接收的数据送入通信协议解析模块解析，解析后的数据写入数组更新模块更新结构体变量，串口线程循环运行，继续等待接收串口数据；

鼠标线程用于监控鼠标的移动与点击信息，当鼠标发生移动或者点击时，该线程将鼠标的当前信息送入鼠标解析模块进行解析，解析后的数据写入数组更新模块更新结构体变量；鼠标线程循环运行，等待下一次的鼠标的移动或者点击。

本发明的有益效果：本发明所述的字符叠加器电路设计简单。字符叠加芯片内部自带EEPROM、行场分离电路，摒弃复杂外围电路，本发明定义完备程序接口，开发者仅需具备软件编程能力即可完成修改使用，所述的字符叠加器具备人机交互功能。ARM处理器模组运行Linux操作系统，可外接鼠标实现交互；本发明所述字符叠加器的可扩展性强，采用多片字符叠加芯片串联，输出四路视频，具备完善的可扩展性；本发明使用方便，可以有效实现视频跟踪系统中跟踪信息实时叠加的字符叠加装置和方法。

附图说明

图1为本发明所述的用于视频跟踪的字符叠加器的总体结构框图；

图2为本发明所述的用于视频跟踪的字符叠加器中字符叠加模组的结构框图；

图3本发明所述的用于视频跟踪的字符叠加器中ARM处理器模组的原理图；

图4为本发明所述的用于视频跟踪的字符叠加器中ARM处理器模组采用MAX7456字符叠加芯片的屏显格式示意图；

图5为本发明所述的用于视频跟踪的字符叠加器中ARM处理器模组采用MAX7456字符叠加芯片的参考偏移框图；

图6为本发明所述的用于视频跟踪的字符叠加器中ARM处理器模组采用MAX7456字符叠加芯片的字库排列格式示意图；

图7为本发明所述的用于视频跟踪的字符叠加方法的流程图；

图8为采用本发明所述的用于视频跟踪的字符叠加器的效果图。

具体实施方式

具体实施方式一、结合图1至图6说明本实施方式，用于视频跟踪的字符叠加器，包括ARM处理器模组和字符叠加模组；所述字符叠加模组采用十片字符叠加芯片串联组成，所述ARM处理器模组包括字符变量初始化模块、串口通信模块、鼠标监视模块、通信协议解析模块、写入数组更新模块和字库控制叠加模块；

所述ARM处理器模组为字符叠加器的核心硬件单元，该模组用于提供字符叠加程序运行的硬件平台，同时提供SPI、USB、网口、串口等接口。SPI接口用于连接字符叠加模组，实现叠加信息传输；USB接口用于连接USB鼠标，实现人机交互；网口接口用于连接PC机，实现程序的调试；串口接口用于连接视频跟踪器，实现跟踪信息传输及反馈。

字符叠加模组是本字符叠加器的硬件单元。为叠加较多字符、提供完备的可扩展性，该模组采用十片字符叠加芯片串行连接。该模组提供的接口包括SPI接口、一个视频输入、四个视频输出。SPI接口用于连接ARM处理器模组，实现叠加信息传输；视频输入接口用于输入原始视频，视频输出接口分别连接至四个字符叠加芯片输出管脚，实现四路不同叠加内容的输出。

所述的字符变量初始化模块：该模块初始化视频流用到的每一个字符为结构体变量，对叠加字符的所有操作转变为对结构体变量成员的操作。

串口通信模块：该模块通过调用串口驱动完成跟踪相关信息的接收与发送。该模块实现字符叠加装置与视频跟踪器的数据交换。

鼠标监视模块：该模块调用鼠标驱动，以阻塞的方式读取鼠标移动、点击信息。通过对鼠标信息的解析，判断相关人员对菜单的操作，完成人机交互。

通信协议解析模块：该模块根据预先定义的通信协议编写，对接收到的串口数据进行解析。解析的数据更新至相关结构体变量。

数组更新模块，该模块将用于显示的结构体变量写入数组，用于方便实现字库控制叠加模块的快速写入。

字库控制叠加模块：该模块调用SPI驱动，按照字符叠加芯片数据格式，将叠加的字符信息传输至字符叠加芯片，用于实现字符叠加。

结合图1，该图为用于视频跟踪的字符叠加器的总体结构框图，该叠加器通过串口和视频线与视频跟踪器连接。视频跟踪器的原始视频经视频线传输至字符叠加模组；视频跟踪器的跟踪数据经串口传输至ARM处理器模组；ARM处理器模组外接USB鼠标实现人机交互。

所述ARM处理器模组与字符叠加模组通过SPI以及IO中断进行数据交互。电路的主要工作原理是ARM处理器模组通过SPI接口模式向字符叠加模组发送控制命令，如显示模式、读取存储器等，字符叠加模组根据指令，修改显示存储器中的字符，并将图像、字符混合后显示在指定位置。

本实施方式所述的ARM处理器模组采用ARM9处理芯片。该芯片内置了串口模块、USB模块等，将对应的管脚引出，即可使用该功能。该芯片运行嵌入式Linux操作系统，对于底层的USB、串口、SPI等接口均以驱动的形式挂载在Linux系统上，调用驱动即可操控。字符叠加程序以应用程序的形式运行于Linux系统。

字符叠加模组采用美信公司的MAX7456芯片。该模组的功能是视频信号中混入字符信息，使得在电视图像的指定位置显示指定的图形、字符。MAX7456内部集成了同步分离电路、显示存储器RAM、字库存储器ROM。同步分离电路用于分离模拟视频中的行、场信号，场信号送至ARM处理器模组的IO中断；显示存储器RAM与监视器屏幕相对应，主要用于视频流中指定位置叠加指定字符；字库存储器ROM为只读存储器，用于存储字库。

图2所示为字符叠加模组的结构框图。由于单片MAX7456叠加显示内容有限，为了使该发明具备较好的可扩展性，本实施方式中将10片MAX7456串行连接，将前一个芯片的输出接到当前芯片的输入，将当前芯片的输出接到下片芯片的输入。通过CS1至CS10共计10个片选信号分别与10个芯片选通引脚连接，实现单个芯片的控制。

通过上述巧妙连接，本实施方式可以输出叠加有菜单、大十字瞄准框、鼠标图形、5个矩形波门图形的混叠视频。本实施方式中输出4个视频信号，每路输出信号分别接到某个的MAX7456芯片输出管脚，根据需要，可以输出叠加不同字符的视频，提高系统的可扩展性。

结合图4，图4为MAX7456芯片的屏显格式。该图对应于768*576分辨率的视频信号，一帧视频信号最多可以显示16行30列共480个字符，每个字符所占的大小为24*36个像素点(对应于每场为12*18)。可叠加的480个位置与显示存储器RAM一一对应，在显示存储器中写入某个字符，对应的就会在视频流的相应位置叠加该字符。

叠加字符的位置按照图4所示的屏显格式放置，其位置灵活性较差。为解决这个问题，本实施方式中巧妙的运用了芯片的参考坐标寄存器设置。图5所示为MAX7456字符叠加芯片的参考偏移框图，芯片内部含有Horizontal OffsetRegister和Vertical OffsetRegister两个寄存器，分别对应水平和垂直方向的参考坐标。参考坐标的设置可以单位的增加或减少。通过调节上述寄存器的值，即可实现显示字符灵活放置。具体为：

设字符需要放置的位置为x和y；x和y是对应于768*576视图下的坐标。

$x_{\mathrm{cen}}=\frac{x}{24};$

$y_{\mathrm{cen}}=\frac{y}{36};$

x_cen和y_cen则为计算得到的对应于图4所示30*16视图下的坐标。

cross＝y_cen*30+x_cen

上述求的cross即为图4所示的0～479的位置。将cross的值写入到MAX7456的显示地址寄存器，并将该位置的地址寄存机写入需要显示字符的地址。即可在对应的cross位置显示该字符。

$x_{\mathrm{off}}=\frac{x\%24}{2}+0x1A$

$y_{\mathrm{off}}=\frac{y\%36}{2}+0x08$

计算得到的x_off和y_off为Horizontal OffsetRegister和Vertical OffsetRegister两个寄存器的值。其中0x1A和0x08为根据计算得到的参考坐标的起始值。

图6所示为MCM字库的构成形式。该图为使用文本编辑器打开***.MCM字库的显示形式。MAX7456最多可存储256个字符，在MCM的字库中每个字符点阵(12*18)占用64个字节。因此，字符的每个点采用2bit来表示，其中00表示该点显示为黑色，10表示该点显示为白色，01或者11表示该点为透明色，即该点不会叠加任何信息。

为方便开发者使用，本发明编写基于Linux的字库下载程序。程序读取***.MCM字库，将字符信息通过SPI接口，下载至MAX7456的字库存储器ROM中。开发者仅需将***.MCM字库放置至下载程序所在的文件夹，运行程序即可完成下载。

具体实施方式二、结合图7和图8说明本实施方式，用于视频跟踪的字符叠加方法，该方法具体过程为：

一、字符叠加装置上电启动，运行Linux系统。

二、Linux启动后启动脚本，挂载编写好的底层驱动，然后调用字符叠加程序。

三、程序首先初始化需要叠加的字符为一个变量结构体。接着启动串口线程和鼠标线程。串口线程工作在阻塞模式，主要用于等待视频跟踪器发送信息。鼠标线程工作在阻塞模式，用于等待鼠标的移动或点击操作。调用写入数组更新模块，将声明的结构体变量的数据按照一定的格式更新至写入数组。初始化10片MAX7456使其开始工作。

四、主线程等待场消隐中断到来。场消隐中断函数调用SPI驱动分别往每个MAX7456写入预先准备好的写入数组。完成写操作后，调用写入数组更新模块，将声明的结构体变量的数据按照一定的格式更新至写入数组。将鼠标的当前信息通过串口反馈回视频跟踪器。

五、串口线程等待视频跟踪器发送的串口数据，当没有数据到来时，该线程将会以阻塞模式挂起，将CPU资源让于其他线程。一旦串口数据到来，该线程抢占CPU，将接收到的数据送入通信协议解析模块解析。数据解析完毕后更新至字符变量结构体。最后串口线程循环运行，等待串口数据的到来。

六、鼠标线程用于监控鼠标的移动与点击信息。当鼠标发生移动或者点击时，该线程将鼠标的当前信息送入鼠标解析模块进行解析。解析后的结果将用于更新字符变量结构体。鼠标线程循环运行，等待鼠标的移动或者点击。

由于本发明程序采用了多线程的方案，上述四、五、六步骤是并行执行，并且各自不断循环。通过上述步骤该字符叠加装置就可以将视频跟踪器的信息实时的叠加在视频上进行显示。

结合图8说明本实施方式，具体实现为：视频通过模拟相机传输模拟视频进入视频跟踪器，后经视频跟踪器传输进入字符叠加设备。字符叠加设备通过外接的USB鼠标，在如图所示上方可以进行菜单的选择，选择结果实时通过串口反馈回视频跟踪器。同时，当发现目标后，操作人员左键点选目标，字符叠加设备将会将目标当前的坐标地址传输给视频跟踪器。视频跟踪器根据目标的坐标以及菜单的选择，调用相应的算法，进行目标的跟踪。视频跟踪器将计算完成后的跟踪数据经串口传输给视频叠加器，视频叠加器根据通信协议解析数据，进行显示。通过该图可以发现，视频跟踪器跟踪目标为黑色小点，视频跟踪器将跟踪的数据经串口传输至字符叠加设备，字符叠加设备可以实现稳定的跟踪显示。通过该图可以发现该装置可以完成上述的所有功能，并且效果良好。

Claims (3)

1.用于视频跟踪的字符叠加器，包括ARM处理器模组和字符叠加模组；其特征是，所述字符叠加模组采用十片字符叠加芯片串行连接；所述ARM处理器模组包括字符变量初始化模块、串口通信模块、鼠标监视模块、通信协议解析模块、写入数组更新模块和字库控制叠加模块；

字符变量初始化模块，用于对视频跟踪器输出的视频流中的每一个字符进行初始化；并对初始化后的字符作为结构体变量操作；

串口通信模块，通过调用ARM处理器模组与字符叠加模组的SPI接口驱动实现字符叠加器与视频跟踪器的数据交换；经串口通信模块输出的串口数据由通信协议解析模块解析；

鼠标监视模块，通过调用鼠标驱动，以阻塞的方式读取鼠标移动或点击信息，并对读取的信息作为变量结构体进行解析，判断对菜单的操作，所述解析后的变量结构体写入数组更新模块；

通信协议解析模块，根据通信协议对接收的串口数据进行解析，所述解析后的串口数据写入数组更新模块；

数组更新模块，将串口通信模块和鼠标监视模块写入的用于显示的结构体变量对应写入数组，用于实现字库控制叠加模块的写入；

字库控制叠加模块，该模块调用字符叠加模组的SPI接口驱动，并按字符叠加芯片的数据格式将叠加的变量结构体传输至字符叠加芯片，实现字符叠加。

2.根据权利要求1所述的用于视频跟踪的字符叠加器，其特征在于，所述ARM处理器模组包括SPI接口、USB接口、网口和串口接口；SPI接口用于连接字符叠加模组，实现叠加信息传输；USB接口用于连接USB鼠标，实现人机交互；网口接口用于连接PC机，实现程序的调试；串口接口用于连接视频跟踪器，实现跟踪信息传输及反馈；所述字符叠加模组包括SPI接口、一个视频输入、四个视频输出；SPI接口用于连接ARM处理器模组，实现叠加信息传输；视频输入接口用于输入原始视频，视频输出接口分别连接至四个字符叠加芯片输出管脚，实现四路不同叠加内容的输出。

3.根据权利要求1或2所述的用于视频跟踪的字符叠加器的叠加方法，其特征是，该方法采用多线程工作方式；该方法由以下步骤实现：

步骤一、字符叠加器上电，所述ARM处理器模组内部的字符变量初始化模块初始化每一个字符，并对初始化后的字符作为一个结构体变量操作；所述串口通信模块内部的串口线程工作在阻塞模式，用于等待视频跟踪器发送信息；鼠标监视模块内部的鼠标线程工作在阻塞模式，用于等待鼠标的移动或点击操作；调用数组更新模块，将初始化后的结构体变量的数据更新至写入数组更新模块，初始化字符叠加模组；

步骤二、主线程等待接收消隐中断信号，场消隐中断函数调用SPI驱动分别向字符叠加模组内写入数组，用以完成字符叠加显示，并调用写入数组更新模块，更新结构体变量的数据，将鼠标的当前信息反馈回视频跟踪器；主线程循环运行，等待下一次的消隐中断信号；

串口线程等待视频跟踪器发送串口数据，当有数据发送时，串口线程抢占CPU，将接收的数据送入通信协议解析模块解析，解析后的数据写入数组更新模块更新结构体变量，串口线程循环运行，继续等待接收串口数据；

鼠标线程用于监控鼠标的移动与点击信息，当鼠标发生移动或者点击时，该线程将鼠标的当前信息送入鼠标解析模块进行解析，解析后的数据写入数组更新模块更新结构体变量；鼠标线程循环运行，等待下一次的鼠标的移动或者点击。