CN101505413B - 与电视跟踪器相结合的智能图像压缩装置 - Google Patents

Abstract

本发明涉及一种与电视跟踪器相结合的智能图像压缩装置，该装置的第一数字信号处理器读取图像存储器中的图像，进行目标捕获跟踪；并且第一数字信号处理器通过可编程逻辑阵列将目标区图像及目标的大小和位置存入目标存储区，对实时图像的目标区进行填充，将填充过的图像作为背景区图像存到背景存储区；第二数字信号处理器通过可编程逻辑阵列读取目标区图像和背景区图像，对目标区图像和背景区图像分别进行压缩编码，码流数据通过通讯接口输出。本发明对目标进行实时跟踪的同时，能对目标区图像和背景区图像分别进行编码，从而在保证跟踪目标图像质量的前提下尽量提高压缩比，有效地减少了图像的存储空间和网络传输带宽。

Description

与电视跟踪器相结合的智能图像压缩装置

技术领域

本发明涉及一种电视跟踪器，特别涉及一种与跟踪器相结合的智能图像压缩方法。

背景技术

电视跟踪器是利用光电成像技术，对跟踪器工作范围内的各类目标进行跟踪的系统，在软件上借助算法的改进和新算法的提出，在硬件上借助高速数字信号处理器的开发和换代，使实时条件下不仅能进行目标的检测、提取、识别、跟踪，而且能精确计算出各个目标的参数。

随着数字信号处理器(DSP)芯片集成度、运算速度、数据吞吐率等性能的不断提高，DSP已被广泛应用于实时图像处理领域。

中国专利公报公开了一种“电视跟踪器中图像识别跟踪装置”(公开日：2008.10.29，公告号：CN101296368)。该装置包括图像存储器，可编程逻辑阵列，数字信号处理器；摄像机来的图像数据送到可编程逻辑阵列，可编程逻辑阵列将图像数据存到图像存储器中，数字信号处理器通过可编程逻辑阵列读取图像存储器中的图像，进行目标捕获跟踪，并将处理结果通过通讯接口输出。

在整个跟踪过程中，常常需要存储或传输跟踪过程中的图像序列。目前常采用的存储办法是无压缩全分辨率存储摄像机采集的视频图像，这种存储方法常常要受存储容量和信道带宽的限制。

发明内容

本发明要解决的技术问题是提供一种在对目标进行实时跟踪的同时，能对目标区图像和背景区图像分别进行编码的与电视跟踪器相结合的智能图像压缩装置，该装置能够在保证跟踪目标图像质量的前提下尽量提高压缩比，有效地减少图像的存储空间和网络传输带宽。

为了解决上述技术问题，本发明的与电视跟踪器相结合的智能图像压缩装置包括图像存储器，可编程逻辑阵列，第一数字信号处理器，第二数字信号处理器；摄像机来的图像数据通过可编程逻辑阵列存到图像存储器中；所述的图像存储器包括实时图像存储区、目标存储区和背景存储区；第一数字信号处理器通过可编程逻辑阵列读取实时图像存储区中的图像，进行目标捕获跟踪，将处理结果通过通讯接口输出；同时，第一数字信号处理器通过可编程逻辑阵列将目标区图像及目标的大小和位置存入目标存储区，对实时图像的目标区进行填充，将填充过的图像作为背景区图像存到背景存储区；第二数字信号处理器通过可编程逻辑阵列读取目标区图像和背景区图像，对目标区图像和背景区图像分别进行压缩编码，码流数据通过通讯接口输出。

所述的目标区为包含目标的最小矩形区域。

与单纯把目标作为目标区进行压缩编码相比，将包含目标的最小矩形区域作为目标区编码，更有利于保持目标边缘及目标与背景的衔接。

对目标区图像和背景区图像进行压缩编码时，分配给目标区图像的码率为R_obj：

$R_{\mathrm{obj}}=(1-{(\frac{S_{\mathrm{obj}}}{S}-1)}^2)R---\left(1\right)$

其中，R为总码率，S为整幅图像像素数，S_obj为目标图像像素数。若按此码率计算得到的目标区量化系数小于1则令其等于1。

本发明采用两片数字信号处理器进行处理，将跟踪和图像压缩两个系统集成在一个平台上，对目标进行实时跟踪的同时，能对目标区图像和背景区图像分别进行压缩编码。跟踪系统能提取目标并跟踪所感兴趣的目标，在计算跟踪误差的同时计算出目标的大小及全局运动矢量；图像压缩系统可以利用跟踪信息，获得所感兴趣的目标，从而对目标区和背景区分配不同的码率，因而在保证跟踪目标图像质量的前提下能够尽量提高压缩比，既可保持图像的应用价值，又可获得较高的压缩效率，减少了图像的存储空间和网络的传输带宽。本发明结构简单、体积小，控制灵活，便于升级。

所述的图像存储器还可以包括目标参考区、背景参考区、目标重构区和背景重构区；在第I帧，第二数字信号处理器通过可编程逻辑阵列读取目标区图像和背景区图像，对目标区图像和背景区图像分别进行压缩编码，码流数据通过通讯接口输出；同时，第二数字信号处理器对压缩编码后的目标区图像和背景区图像作逆量化逆变换生成目标重构图像和背景重构图像分别存入目标重构区和背景重构区；在第P帧，第二数字信号处理器通过可编程逻辑阵列读取目标区图像、背景区图像、目标重构图像和背景重构图像，将目标重构图像作为目标参考图像，背景重构图像作为背景参考图像，根据目标区图像、背景区图像、目标参考图像和背景参考图像进行运动预测和运动补偿，然后进行压缩编码，码流数据通过通讯接口输出；其中I为每个视频平面组第一帧的编码类型，P为每个视频平面组其余帧的编码类型。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明的与电视跟踪器相结合的智能图像压缩装置的结构框图。

图2为图像存储器分区示意图。

图3为第二数字信号处理器应用软件流程图。

具体实施方式

如图1所示，本发明的与电视跟踪器相结合的智能图像压缩装置包括图像存储器2，可编程逻辑阵列3，第一数字信号处理器4，第二数字信号处理器5；摄像机1来的图像数据通过可编程逻辑阵列3存到图像存储器2中；所述的图像存储器2包括实时图像存储区21、目标存储区22和背景存储区23；第一数字信号处理器4通过可编程逻辑阵列3读取实时图像存储区21中的图像，进行目标捕获跟踪，将处理结果通过通讯接口6输出；同时，第一数字信号处理器4通过可编程逻辑阵列3将目标区图像及目标的大小和位置存入目标存储区22，对实时图像的目标区进行填充，将填充过的图像作为背景区图像存到背景存储区23；第二数字信号处理器5通过可编程逻辑阵列3读取目标区图像和背景区图像，对目标区图像和背景区图像进行压缩编码，码流数据通过通讯接口7输出。

对目标区图像和背景区图像进行压缩编码时，分配给目标区的码率为R_obj：

$R_{\mathrm{obj}}=(1-{(\frac{S_{\mathrm{obj}}}{S}-1)}^2)R---\left(1\right)$

其中，R为总码率，S为整幅图像像素数，S_obj为目标图像像素数。若按此码率计算得到的目标区量化系数小于1则令其等于1。

第一数字信号处理器4负责捕获跟踪目标，其工作原理与背景技术中的数字信号处理器相同，从图像存储器2读取实时图像，进行图像滤波处理并提取目标。若有目标，则求出目标在视场中的位置、目标大小，计算包含目标最小的矩形区域。通常矩形区域的长或宽都设为16的整数倍，且左上角点的位置坐标最好能被16整除。将该矩形区域的图像存到图像存储器2的目标存储区22中，并将矩形区域的大小及位置存到目标存储区22的开始处。接下来对实时图像的目标区进行水平填充：如果左边和右边都有合适的点，则取这两点的平均，否则如果右边有合适的点，则取右边的点，如果左边有合适的点则取左边的点；若左右都没有合适的点，进行垂直填充：如果上边和下边都有合适的点，则取这两点的平均，否则如果下边有合适的点，则取下边的点，如果上边有合适的点则取上边的点。将填充过的图像存到图像存储器2的背景存储区23中。若没有目标，则把整幅图像都存到图像存储器2的背景存储区23中。将(0，0)存到目标存储区22中，表示没有目标。

如图2所示，图像存储器2分成几个区，每个区可单独寻址。由于第二数字信号处理器5各帧的编码时间不同，故在图像存储器2中开辟了多个目标存储区22和背景存储区23。图像存储器2还可以包括目标参考区24、背景参考区25、目标重构区26和背景重构区27；目标参考区24与目标重构区26、背景参考区25与背景重构区27隔场交换，目标参考区作为目标重构区，目标重构区作为目标参考区，背景参考区作为背景重构区，背景重构区作为背景参考区。

一个视频序列分成许多个视频平面组，每个视频平面组中由一个I帧后接多个P帧组成，编码时I帧仅用本帧图像的信息，P帧利用参考帧信息进行运动预测和运动补偿。

在第I帧，第二数字信号处理器5通过可编程逻辑阵列3读取目标区图像和背景区图像，对目标区图像和背景区图像分别进行压缩编码，码流数据通过通讯接口输出；同时，第二数字信号处理器5对压缩编码后的目标区图像和背景区图像作逆量化逆变换生成目标重构图像和背景重构图像分别存入目标重构区26和背景重构区27；在第P帧，第二数字信号处理器5通过可编程逻辑阵列3读取目标区图像、背景区图像、目标重构图像和背景重构图像，将目标重构图像作为目标参考图像，背景重构图像作为背景参考图像，按照本领域公知的方法根据目标区图像、背景区图像、目标参考图像和背景参考图像进行运动预测和运动补偿，然后进行压缩编码，码流数据通过通讯接口7输出。

如图3所示，第二数字信号处理器5先读取目标存储区22中图像的大小和位置，若目标存储区22中图像的大小不为零，则根据目标区大小读取目标存储区22中图像，并根据MPEG-4标准仅作纹理编码；然后再读取背景存储区23中图像，并根据MPEG-4标准先对背景存储区23中图像进行形状编码，再进行纹理编码。若目标存储区22中图像的大小为零，仅对背景存储区23中图像进行纹理编码。

国际标准组织制定的MPEG-4的视频压缩标准和其他标准的一个重要区别就在于基于对像的编码特性，认为一幅图像是由不同的视频对像按一定的时一空关系组成，可分别对各个对像编码，不同类型的对像采用不同的与之相符合的编码表达，即使在低带宽时，也可以利用码率分配方法，对于用户感兴趣的对像可以多分配一些比特率，对于用户不感兴趣的对像可以少分配一些比特率，这样图像主观质量就可以得到保证。

本发明跟踪和图像压缩两个系统集成在一个双数字信号处理器平台上，将可编程逻辑阵列配置成为连接图像存储器和其周围芯片的纽带和桥梁。数字信号处理器的外部存储器接口A(EMIFA)的直接存储器访问(DMA)读写速度为400MB/秒，可编程逻辑阵列提供的图像存储器读写速率大于1600MB/秒，这样双数字信号处理器就可以同时通过可编程逻辑阵列存取图像存储器的内容，保证了工作所需要的存储容量和实时性的要求。摄像机来的视频图像数据通过可编程逻辑阵列存到一个能存储多幅图像的图像存储器中，两个数字信号处理器通过可编程逻辑阵列读写图像存储器中的内容。

Claims (2)

1.一种与电视跟踪器相结合的智能图像压缩装置，包括图像存储器(2)，可编程逻辑阵列(3)，第一数字信号处理器(4)；摄像机(1)来的图像数据通过可编程逻辑阵列(3)存到图像存储器(2)中；其特征在于还包括第二数字信号处理器(5)；所述的图像存储器(2)包括实时图像存储区(21)、目标存储区(22)和背景存储区(23)；第一数字信号处理器(4)通过可编程逻辑阵列(3)读取实时图像存储区(21)中的图像，进行目标捕获跟踪，将处理结果通过通讯接口输出；同时，第一数字信号处理器(4)通过可编程逻辑阵列(3)将目标区图像及目标的大小和位置存入目标存储区(22)，对实时图像的目标区进行填充，如果左边和右边都有合适的点，则取这两点的平均，否则如果右边有合适的点，则取右边的点，如果左边有合适的点则取左边的点；若左右都没有合适的点，进行垂直填充：如果上边和下边都有合适的点，则取这两点的平均，否则如果下边有合适的点，则取下边的点，如果上边有合适的点则取上边的点；将填充过的图像作为背景区图像存到背景存储区(23)；第二数字信号处理器(5)通过可编程逻辑阵列(3)读取目标区图像和背景区图像，对目标区图像和背景区图像分别进行压缩编码，码流数据通过通讯接口输出；对目标区图像和背景区图像进行压缩编码时，分配给目标区图像的码率为R_obj：

$R_{\mathrm{obj}}=(1-{(\frac{S_{\mathrm{obj}}}{S}-1)}^2)R$

其中，R为总码率，S为整幅图像像素数，S_obj为目标图像像素数；

所述的图像存储器(2)还包括目标参考区(24)、背景参考区(25)、目标重构区(26)和背景重构区(27)；在第I帧，第二数字信号处理器(5)通过可编程逻辑阵列(3)读取目标区图像和背景区图像，对目标区图像和背景区图像分别进行压缩编码，码流数据通过通讯接口输出；同时，第二数字信号处理器(5)对压缩编码后的目标区图像和背景区图像作逆量化逆变换生成目标重构图像和背景重构图像分别存入目标重构区(26)和背景重构区(27)；在第P帧，第二数字信号处理器(5)通过可编程逻辑阵列(3)读取目标区图像、背景区图像、目标重构图像和背景重构图像，将目标重构图像作为目标参考图像，背景重构图像作为背景参考图像，根据目标区图像、背景区图像、目标参考图像和背景参考图像进行运动预测和运动补偿，然后进行压缩编码，码流数据通过通讯接口输出；其中I为每个视频平面组第一帧的编码类型，P为每个视频平面组其余帧的编码类型。

2.根据权利要求1所述的与电视跟踪器相结合的智能图像压缩装置，其特征在于所述的目标区为包含目标的最小矩形区域。

Images