CN101562748A - 面向视频处理的多数字信号处理器调度优化方法 - Google Patents

Abstract

本发明公开了一种面向视频处理的多数字信号处理器调度优化方法，包括如下的步骤：(1)待处理的视频数据首先进入第一辅助DSP，在第一辅助DSP上进行格式转换和视频稳定处理；(2)通过端口直连的方式将处理后的数据传送到主DSP上进行视频去隔行和增强处理；(3)主DSP将处理后的视频数据传送到第二辅助DSP进行视频编码处理，并将编码后的码流回传到主DSP上；(4)主DSP以主DMA模式将处理后的视频数据与编码后的码流共同对外输出。本方法通过对现有各DSP之间以及DSP片内通信技术的改进，在保证计算精度和处理范围的同时，提高了并行处理的计算速度；另外，良好的硬件接口通信，也提高了抗局部干扰的能力。

Description

面向视频处理的多数字信号处理器调度优化方法

技术领域

本发明涉及一种由多个数字信号处理器(以下简称为DSP)组成的数字视频处理系统的调度优化方法。该方法针对视频处理要求计算能力强的特点，在保证计算精度和处理范围的同时，提高了并行处理的计算速度，属于数字视频处理技术领域。

背景技术

数字视频处理技术广泛应用于侦察监视、安防监控和航空测绘等领域，特别是在阴天、雨天、雾天等复杂天候下的远程监控系统中发挥了重要的作用。由于在一个远程数字视频监控系统中，从视频的获取到视频的处理、接收、显示等，每一个环节都会受到干扰，导致获取视频质量降低。比如说，镜头的抖动会影响视频图像的质量，恶劣的天气会使视频存在目标和背景混淆现象，隔行扫描的视频采集方式将不可避免地出现场效应问题，视频数据量急剧增加也远远超过了传输信道带宽和存储容量的增长速度，致使传输受限。因此，对原始视频进行一些清晰化处理是十分必要的。

由于数字视频处理本身的复杂度高，以及采样速率和处理精度的不断提高，对运算速度的要求也相应提高，一般的PC机已不能满足处理需求，而DSP的高速发展为实现高效的视频处理提供了可能性。在一些数据量较大、预处理功能较多的应用中，例如对于高帧率、大尺寸的视频序列的实时处理，往往要求每秒几十亿次的运算能力，目前单片DSP的运算能力不可能满足其要求，这就需要信号处理板在设计时采用多DSP并行处理结构，以满足系统对运算量的要求。

多DSP并行处理结构可充分挖掘信号处理算法本身所固有的并行性与并发性，将一个任务分成若干子任务，分别由多片DSP进行并行处理，从而大幅提高了系统对数据的处理速度。但由于DSP处理器数据接口特性的限制，高数据量的视频数据在多DSP之间的通信很难满足实时性要求，所以，选择一个合适的DSP间通信方案是保证多DSP处理器系统并行处理的关键。

目前，DSP处理器之间的数据传输有两种方式：一种采用专用的点对点通信通道，另一种采用共享全局存储器。利用链路口可以实现DSP之间的点对点通信，具有高速率的特点，但是其控制模式单一，局限性大，一般在同型号DSP之间且传输要求不高的情况下可以选用链路口直连的通信方式，不同型号的DSP由于链路口的类别不同，不易使用此方式进行通信。全局存储器双端口RAM实现相邻DSP之间的数据传输，接口简单，通过数据线、地址线和控制线进行相应的连接，不需要额外的控制逻辑，可以实现在不同型号DSP之间的数据双向通信，但是数据是以串行模式进行传输，传输速度较慢，达不到系统传输要求。根据芯片的外设与接口特性，还可以选用多通道缓冲串行口(McBSP)或者主机接口(Host Port Interface，HPI)，这两种连接方式都可以增加系统节点数目的规模，从而增加系统的扩展性，提高整体的传输速度，是对共享全局存储器传输方式的一种补充，不同型号DSP之间的数据快速双向通信适合用于此传输模式。

在公开号为CN101163129的中国发明专利申请中，公开了一种降低并行多DSP之间消息传递开销的方法。该方法中，各DSP之间通过LINK口收发数据，发送方DSP在发送数据前，首先发送一个控制帧指明后面所发数据类型及长度等，接收方DSP根据所收到帧的类型和长度设置相应的接收地址及接收数据长度，然后发送方DSP再发送实际的数据帧，这样就可以把数据直接传输到目的地，无需双缓冲区，既节省了存储空间，又省去了数据拷贝时间。

总体而言，现有技术都是通过减少数据量、优化代码或者增加硬件器件的方法来减少计算时间，但是在实际应用中仍然存在明显的不足。例如减少数据量虽提高了速度，但却降低了处理效果；增加硬件器件也会增加硬件资源开销，导致资源利用不充分的现象。在此背景下，需要研究一种针对多DSP并行处理的调度优化方法，以便在保证计算精度和处理范围的同时，有效提高并行处理的计算速度。

发明内容

针对现有技术在并行处理调度方面所存在的不足，本发明的目的在于提出一种面向视频处理的多DSP调度优化方法。该方法通过对多DSP之间的通信以及DSP片内空间分配进行优化调度，有效提高了多DSP并行处理的计算速度。

为实现上述的发明目的，本发明采用下述的技术方案：

一种面向视频处理的多DSP调度优化方法，将视频处理工作进行分解，分别由一片主DSP和至少两片辅助DSP进行处理，其特征在于包括如下的步骤：

(1)待处理的视频数据首先通过Video Port端口进入到第一辅助DSP，在第一辅助DSP上进行格式转换和视频稳定处理；

(2)通过Video Port端口直连的方式将处理后的数据传送到主DSP上进行视频去隔行和增强处理；

(3)所述主DSP将处理后的视频数据通过Host Port Interface端口传送到第二辅助DSP进行视频编码处理，并将编码后的码流通过HostPort Interface端口回传到主DSP上；

(4)所述主DSP以主DMA模式将处理后的视频数据与编码后的码流共同对外输出。

其中所述主DSP为具有Video Port端口和DMA控制器的DSP，所述第一辅助DSP为具有Video Port端口的DSP，所述第二辅助DSP采用具有Host Port Interface端口的DSP。

所述主DSP的片内存储空间被划分为多个单元，将一帧待处理视频数据划分为多个视频块，在主DSP内直接使用片内存储空间中的各单元对所述视频块进行处理和存储。

具体而言，所述主DSP的片内存储空间至少划分为以下四个单元：

代码单元：用于存放代码和程序运行空间；

数据存储单元：用于存放视频去隔行和增强处理过程中的中间数据；

传输单元：用于存放所述清晰化后的视频数据；

码流单元：用于存放编码后回传的码流数据。

所述视频块在主DSP的片内存储空间中的通信包括如下步骤：

(1′)判断是否有码流回传中断，若有，则通过Host Port Interface端口将编码后的码流回传到码流单元，并以主DMA模式将所述编码后的码流输出；若没有，执行步骤(2′)；

(2′)所述视频去隔行功能将当前视频块与相邻两场以及前前场的四场视频块从数据存储单元中取出进行处理，然后再进行增强处理，得到经过视频去隔行和增强后的视频块数据；

(3′)与步骤(2′)同时，将传输单元中存储的上次处理后的视频块数据通过Host Port Interface端口传往第二辅助DSP，同时以主DMA模式输出；

(4′)待步骤(2′)和(3′)执行完毕后，将步骤(2′)中得到的视频块数据存入传输单元。

其中所述步骤(1′)的码流数据量小于或等于码流单元的空间时，将码流一次性传到码流单元的空间，反之，根据码流单元的空间大小将码流拆分为多个码流块进行多次传输。

本发明所提供的多DSP调度优化方法通过对现有各DSP之间以及DSP片内通信技术的改进，在保证计算精度和处理范围的同时，提高了多功能并行处理的计算速度；另外，良好的硬件接口通信，也提高了抗局部干扰的能力。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1是本发明中多个DSP实现并行处理的系统结构示意图；

图2是SAF7113与DM642信号连接示意图；

图3是双DM642的VP口通信电路连接图；

图4是主从DSP的HPI口通信电路连接图；

图5是MASTER写操作时，从源地址向DSP内部的FIFO搬移数据的示意图；

图6是DM642-2片内空间实现通信的流程示意图。

具体实施方式

常见的数字视频处理算法包括格式转换、视频稳定、视频去隔行、视频增强、视频编码等。下面分别简单说明如下：

(1)格式转换：例如将尺寸为720×576格式为YUV422(Y∶U∶V＝4∶2∶2)的数字视频转换为尺寸为704×576格式为YUV420(Y∶U∶V＝4∶1∶1)方便于显示的数字视频。

(2)视频稳定：用于对视频的二维实时稳定处理，消除视频帧间的不规则运动，采用基于全局运动估计的视频稳定方法。

(3)视频去隔行：用于将隔行视频信号转换成逐行视频信号，采用基于待处理场与所述相邻两场及前前场的四场之间运动检测的去隔行处理方法。

(4)视频增强：用于增强视频图像的边缘、轮廓等高频信息，采用原始视频图像与处理后视频图像相除得到放大参数，然后将所述原始视频图像的每个分量值乘以所述放大参数来得到最终结果视频图像的增强方法。

(5)视频编码：例如采用基于H.264标准的高压缩比编码。

上述各项数字视频处理算法对计算速度的要求各有不同。以尺寸为704×576格式为YUV420(Y∶U∶V＝4∶1∶1)的一帧视频数据为例，格式转换大概耗用10MIPS(Million Instructions Per Second)，视频稳定大概耗用120MIPS，视频增强大概耗用60MIPS，视频去隔行大概耗用50MIPS，H.264编码大概耗用300MIPS。

在实际进行视频采集的情况下，特别是在实时工作条件下，由多个DSP组成的数字视频处理系统必须在保证计算准确性的同时，还具有很高的计算速度、很强的抗干扰性和很好的容错能力。本发明通过对现有各DSP之间以及DSP片内调度通信技术的改进，基本满足了上述的要求。

作为一个具体操作的例子，用于实施本发明所述方法的多DSP并行处理系统分别选用TI公司一片高性能的TMS320C6455和两片TMS320DM642作为核心处理器，其中TMS320C6455具有一个可配置的16位或32位主机接口(HPI16/HPI32)，具有3MB大小的片内RAM，1GHz时钟，处理速度可达到8000MIPS；TMS320DM642具有视频端口(Video Port，简称VP口)、主机接口(Host Port Interface，简称HPI)和PCI接口、内置DMA控制器，具有256KB大小的片内RAM，处理速度可达到4800MIPS。

下面，分别从各DSP之间的数据通信和DSP内部空间调度两方面进行具体的说明。

一.DSP之间或者DSP与其它设备之间的通信

在多DSP并行处理结构的通信设计中，应该根据通信的类型，在满足传输要求的前提下，尽可能选择资源消耗小、控制简单的模式进行设计。

对于上述多DSP并行处理系统而言，其采用以一片TMS320DM642为主DSP处理器，其它两个为辅DSP处理器的多DSP处理器结构。根据前面提到的各数字视频处理算法对资源耗用量的不同要求，格式转换和视频稳定最好在辅TMS320DM642(以下简称DM642-1)上实现，视频去隔行和视频增强最好在主TMS320DM642(以下简称DM642-2)上实现，H.264编码最好在TMS320C6455(以下简称C6455)上实现。

如图1所示，经模/数转换器转换后的数字视频数据流首先进入DM642-1进行格式转换和视频稳定处理，处理完成后将数据传送到DM642-2；DM642-2对数据流进行去隔行与增强处理后，将数据传送到C6455；C6455实现高位率编码后将码流再传回DM642-2；最后，DM642-2再同时将视频数据和码流通过PC I总线发送到主机，并完成后续的处理。

在图1所示的多DSP处理系统中，共有四种数据通信设计方案，分别说明如下：

①视频数据进入DM642-1的方式：采用Philips公司的SAF 7113芯片作为模/数转换器，采用DM642-1的VP口实现与SAF7113的数据通信，VP口选用DM642-1的VP0口。其信号连接图如图2所示，SAF7113将模数转换后的数据通过VP0[0:7]输出到DM642-1VP口A通道的[2:9]，LLC作为同步数据输出时钟连接到VP0CLK0，VP0 CTL0作为A通道选通信号，拉高即可。根据IIC协议规定，SAF7113需拥有唯一的硬件地址作为DM642-1的寻址地址，它通过RTS0管脚决定，默认为下拉，其硬件地址为0x4A(写地址)和0x4B(读地址)。

②双DM642之间的通信方式：采用VP口直连的方式进行单向通信，由于DM642-1的VP0口已被占用，采用DM642-1的VP1口和DM642-2的VP0口进行直连。将DM642-1的VP1配置为显示模式，输出DM642-1稳定后的数据，将DM642-2的VP0配置为采集模式，捕获从DM642-1输出的数据。双DM642之间VP口的电路连接图如图3所示，在DM642-1上，将VP1CLK0外接27M时钟(SAF7113时钟)，VP1CLK1为输出管脚，没有用到，将其悬空；VP1的A通道8-bit BT.656显示；由于BT.656内部自动进行行场消隐，VP1CTL0、VP1CTL1、VP1CTL2则闲置，将其悬空。在DM642-2上，将VP0CLK0外接27M时钟，VP0CLK1为输出管脚，没有用到，将其悬空；VP0的A通道8-bit BT.656显示；由于BT.656内部自动进行行场消隐，VP0CTL0，VP0CTL1，VP0CTL2则闲置，将其悬空。这样便实现了两块DM642之间VP口的单向传输。

③DM642-2与C6455之间的通信方式：采用HPI的方式进行双向数据通信。在HPI通信方式下，DSP的片内存储器对外界完全透明。主机对DSP内存的访问是通过3个专用的DSP寄存器来实现的，分别是HPIC(HPI控制寄存器)、HPIA(HPI地址寄存器)和HPID(HPI数据寄存器)。其中，HPID中存放的是主机从DSP存储空间读取的数据，或者是主机向DSP的存储空间写入的数据，HPIA中存放的是主机访问DSP存储空间的地址，HPIC中存放的是控制信息，主机通过访问HPI的地址和数据寄存器便可完成对DSP片内存储器的读/写访问。主机可对这3个寄存器进行读写，而DSP只能对HPIC进行访问。主机对HPI进行访问的次序为：初始化HPIC、初始化HPIA、从HPID寄存器中读取或向其写入数据。

在上述通信系统中，起控制作用的TMS320DM642在HPI传输过程中作为主DSP，被控制的TMS320C6455作为从DSP。HPI接口具体连接方式如图4所示。其中，HD[31:0]为TMS 320C6455HPI接口的双向数据总线，直接与TMS320DM642的EMIF数据总线相连。HCTL0/1为主机输入控制线，用于区分对HPIC/HPIA/HPID寄存器的访问及对HPID进行地址自增访问方式。HDS1、HDS2为数据选通信号，HCS为片选信号，HR/W为读/写选择信号，HRDY为数据准备输出就绪信号，HINT为HPI向主机的中断信号，这些控制信号线都连接到FPGA。由于HPI的时序与EMIF的读写时序有一些差别，所以TMS320DM642的EMIF地址总线和控制信号线连接到FPGA，通过FPGA进行逻辑转换以实现HPI的数据读写。

④DM642-2与主机之间的通信方式：采用基于DSP的PCI总线DMA方式进行数据传输，其模式有两种：一种是从模式传输(SLAVE)，使用PCI主机主板的DMA控制器；另一种是主模式传输(MASTER)，使用PCI卡上DSP的DMA控制器。由于主板DMA控制器只有有限数目的DMA通道，在具体使用时难以找到空闲通道；又由于主板DMA控制器从外设分别以两次独立的操作读取一字节的数据，然后把它写在内存，因此每次传输需要多个总线周期，还要插入等待状态。所以，在板卡与主机之间应采用DSP主模式进行传输，以DM642-2作为主控DSP。

在MASTER写操作时，相关的地址和控制寄存器包括DSP主地址寄存器(DSPMA)、PCI主地址寄存器(PCIMA)及PCI主模式控制寄存器(PCIMC)。如图5所示，启动主模式写后，由DMA负责从源地址向DSP内部的FIFO搬移所要求的数据。数据传输会持续到FIFO满为止，除非请求的数据小于FIFO的深度。一旦FIFO得到有效数据，内部的控制逻辑模块会向PCI接口发出PCI总线请求，并将FIFO中的数据向PCI从设备(主机)传输。当DSP源地址中所有的数据都送入FIFO后，DSP内部的数据传输结束，通过使能PCIIEN寄存器中的MASTEROK位，在数据传输完毕时产生DSPINT中断，通知DSP一次主模式的DMA传输结束。

二.DSP片内空间的分配与调度

充分利用DSP片内空间，减少数据的存储搬运次数，是提高处理速度的另一项重要措施。由于带宽和时钟频率等原因，DSP对片内存储区的访问比片外要快，把核心代码和数据放在内部RAM中，可以提高系统的速度，放在片外，读取数据时便会造成DSP流水线的停顿，从而导致整个系统速度变慢；另外，使用片外空间存储数据还会增加数据的搬运次数以及总线的占用频率，这也是导致系统处理延时、数据丢失等现象的原因之一。解决这一问题的最直接方法就是将数据直接存储在片内RAM进行处理，DSP的片内RAM一般空间比较小，对于数据量大的视频数据，需将数据划分为多个数据块，然后在片内分别顺次处理。

作为多DSP并行处理系统的主DSP，DM642-2除了实现视频去隔行和增强功能之外，还控制着与其它DSP和主机之间的通信功能，本发明将其核心代码和常用函数以及各种数据放在速度较快的片内RAM中，以提高整个DM642-2的处理速度。由于DM642-2的片内RAM大小只有256KB，而经过格式转换后，一帧尺寸为704×576格式为YUV420(Y∶U∶V＝4∶1∶1)的视频大小为704×576×1.5＝596KB，所以对DM642-2的片内空间进行分配，用于代码与数据的存放，并把一帧视频数据划分为多个视频数据块，在片内顺次处理。

DM642-2片内RAM的容量为256KB，地址范围是0x00000000～0x00040000，根据需要划分为以下几个单元：

代码单元，区间0x00000000～0x00011C00，大小为71KB，用于存放代码与程序运行空间。

数据存储单元，区间0x00011C00～0x00032C00，大小为132KB，用于存放去隔行和增强处理过程中各步骤的数据。

传输单元，区间0x00032C00～0x0003B000，大小为33KB，用于存放经过清晰化处理后待传输给编码DSP与主机的数据。

码流单元，区间0x0003B000～0x00040000，大小为20KB，用于存放编码后的码流数据。

将一帧视频数据划分为18个视频数据块进行顺次循环处理，每一个视频块的大小为33KB。在DM642-2片内空间实现通信的流程如图6所示，包括以下步骤：

步骤一：判断是否有C6455发来的码流回传中断，若有，将码流以HPI方式回传到DM642-2码流单元，并以DSP主DMA的模式通过PCI总线将码流传往主机；若没有，直接转到步骤二。

步骤二：去隔行处理将当前视频块与所述相邻两场及前前场的四场视频块从数据存储单元中取出进行处理，然后再进行增强处理，得到去隔行和增强后的视频块数据。

步骤三：在执行步骤二的同时，将传输单元里的上次去隔行与增强后的视频块数据以HPI的方式传往C6455，同时以DSP主DMA的模式通过PCI总线传往主机。

步骤四：待步骤二和步骤三都执行完毕后，将步骤二中得到的本次去隔行和增强后的视频块数据存入传输单元，作为下次HPI和PCI传输的数据源。

步骤五：重复步骤一～步骤四。

所述步骤一的码流数据量小于等于码流空间(20KB)时，将码流一次性传到码流空间，反之，将码流根据码流空间的大小拆分为多个码流块进行多次传输。每次码流传输大小为：

Δ＝φ％20(1)

式(1)中，Δ代表本次码流的传输大小，φ代表请求所要传输的码流大小。

通过上述的DSP片内空间分配与调度方案，DM642-2可并行实现视频去隔行与增强、与C6455的HPI传输以及与主机的PCI传输功能，且对一帧视频数据的处理或者传输时间分别为33.5ms、26.5ms、23.0ms，从而满足40ms内处理完毕的实时传输要求。

很显然，本发明所提供的多DSP调度优化方法还可以推广到数字视频处理系统由一个主DSP和多个辅助DSP组成的情况，其中所采用的DSP之间数据通信和DSP内部空间调度方面的技术思路是共通的。本领域一般技术人员在本发明所提供的技术思路的启发下，很容易实现具体的技术实现方案，故在此就不详细赘述了。

以上对本发明所提供的面向视频处理的多DSP调度优化方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (6)

1.一种面向视频处理的多数字信号处理器调度优化方法，将视频处理工作进行分解，分别由一片主数字信号处理器和至少两片辅助数字信号处理器进行处理，其特征在于包括如下的步骤：

(1)待处理的视频数据首先通过Video Port端口进入第一辅助数字信号处理器，在第一辅助数字信号处理器上进行格式转换和视频稳定处理；

(2)通过Video Port端口直连的方式将处理后的数据传送到主数字信号处理器上进行视频去隔行和增强处理；

(3)所述主数字信号处理器将处理后的视频数据通过Host PortInterface端口传送到第二辅助数字信号处理器进行视频编码处理，并将编码后的码流通过Host Port Interface端口回传到主数字信号处理器上；

(4)所述主数字信号处理器以主DMA模式将处理后的视频数据与编码后的码流共同对外输出。

2.如权利要求1所述的面向视频处理的多数字信号处理器调度优化方法，其特征在于：

所述主数字信号处理器为具有Video Port端口和DMA控制器的数字信号处理器，所述第一辅助数字信号处理器为具有Video Port端口的数字信号处理器，所述第二辅助数字信号处理器采用为具有Host PortInterface端口的数字信号处理器。

3.如权利要求1所述的面向视频处理的多数字信号处理器调度优化方法，其特征在于：

所述主数字信号处理器的片内存储空间被划分为多个单元，将一帧待处理视频数据划分为多个视频块，在主数字信号处理器内直接使用片内存储空间中的各单元对所述视频块进行处理和存储。

4.如权利要求3所述的面向视频处理的多数字信号处理器调度优化方法，其特征在于：

所述主数字信号处理器的片内存储空间至少划分为以下四个单元：

代码单元：用于存放代码和程序运行空间；

数据存储单元：用于存放视频去隔行和增强处理过程中的中间数据；

传输单元：用于存放所述清晰化后的视频数据；

码流单元：用于存放编码后回传的码流数据。

5.如权利要求3所述的面向视频处理的多数字信号处理器调度优化方法，其特征在于：

所述视频块在主数字信号处理器的片内存储空间中的通信包括如下步骤：

(51)判断是否有码流回传中断，若有，则通过Host Port Interface端口将编码后的码流回传到码流单元，并以主DMA模式将所述编码后的码流输出；若没有，执行步骤(52)；

(52)所述视频去隔行功能将当前视频块与相邻两场以及前前场的四场视频块从数据存储单元中取出进行处理，然后再进行增强处理，得到经过视频去隔行和增强后的视频块数据；

(53)与步骤(52)同时，将传输单元中存储的上次处理后的视频块数据通过Host Port Interface端口传往第二辅助数字信号处理器，并同时以主DMA模式输出；

(54)待步骤(52)和(53)执行完毕后，将步骤(52)中得到的视频块数据存入传输单元。

6.如权利要求5所述的面向视频处理的多数字信号处理器调度优化方法，其特征在于：

所述步骤(51)的码流数据量小于或等于码流单元的空间时，将码流一次性传到码流单元的空间，反之，根据码流单元的空间大小将码流拆分为多个码流块进行多次传输。

Images