CN105611378A - 一种基于fpga来扩展dsp处理图像数据位宽的方法 - Google Patents

Abstract

本发明提供一种基于FPGA来扩展DSP处理图像数据位宽的方法，外围图像数据以行为单位，将数据分组，先后分别经FPGA暂存后，经整理后按先进先出的次序传送到DSP处理。本发明帮助DSP实现对扩展位宽的外围图像数据的处理，可以针对不同位宽的外围数据决定FPGA分组存储的高位和地位数据的位宽分配，达到发送时间和DSP利用率的最佳匹配，改善扩展位宽图像数据处理的实时性。本发明还提出一种DSP处理扩展位宽的图像数据的方法，将数据逐行按数据位高、低分别存储到FPGA，以位宽不超出DSP限定的形式发送DSP处理。使用本发明方法，在利用现有的DSP设备处理扩展位宽的图像数据处理时，改善了数据处理实时性，降低整个图像处理系统的使用成本。

Description

一种基于FPGA来扩展DSP处理图像数据位宽的方法

技术领域

本发明涉及图像信号处理技术领域，特别涉及一种基于FPGA来扩展DSP处理图像数据位宽的方法。

背景技术

近年来，随着人们对高清画质的不断追求，数字技术快速发展。目前一些外围图像设备已经能够输出数据位宽大于12位(bit)的数据，如数码照相机传感器camerasensor等。然而，以TI的6467T为代表的现有主流的数据处理器-DSP，其处理的数据位宽依然为12bit。如何使用现有主流的DSP进行扩展位宽数据的处理成为目前如何进一步充分利用已有数据处理器的一个关键。

基于对已有设备持续利用以及硬件投资预算的各种要求和限制，需要使用现有主流的12bitDSP进行大于12bit数据的处理，即进行扩展位宽数据的处理。

以12bit的DSP处理器为例，局限于DSP只能处理12位(bit)数据的硬件限制，业界通常的解决方案有：a)添加外挂的DDR存储器，将整帧图像数据储存到DDR中，再进行编码，将大于12bit数据编制成12bit后传送至DSP处理；b)直接丢掉大于12bit以后的最后一位(或几位)数据。

用上述方法虽然能够处理位宽大于12bit的图像数据，其弊端也显而易见，罗列如下：第一，需要使用外挂存储器，造成数据处理系统的设计更为复杂，操控难度也相应增加；第二，增加了需要大量运算的数据编码工作，提高了对数据处理系统硬件的需求；第三，由于需要等整帧图像数据储存完成后统一进行的编码处理，再将编译后的数据传送至DSP，其数据处理的实时性也因为存储和编码处理需耗费时间的延长而变差；第四，存在一定量的数据信息丢失。因此，需要提出一种当DSP扩展位宽的外围图像数据时，能够提高其数据处理实时性的方法。

发明内容

本发明要解决的技术问题是，提高DSP处理扩展位宽的外围图像数据的实时性。

为了解决上述问题，本发明提出一种基于FPGA来扩展DSP处理图像数据位宽的方法，外围图像数据经FPGA暂存后传送到DSP处理，其特征在于，以行为单位，将数据分组，先后分别存入FPGA，经整理后按先进先出的次序传送至DSP；

可选的，所述行数据按数据位分为高或低位分组数据，先后存入FPGA，并按先进先出的次序经整理后传送至DSP；

优选的，FPGA内部不同的FIFO区域对应存储和发送所述高或低位分组数据；

优选的，存储和发送分组数据的每个FIFO区域内各有2个缓存区间：FIFO0和FIFO1，以乒乓操作的方式轮流存入或读出所述高位或低位分组数据；

优选的，最初，FIFO0先开始存储数据，此时FIFO1空置；当FIFO0数据存储完成时，则由FIFO1继续存储，此时FIFO0进行读出操作；随后，当FIFO1数据存储完成时，则再换成由FIFO0进行数据存储，而FIFO1进行读出操作；以此往复；

优选的，所述FPGA内部的FIFO区域，为异步FIFO，按不同时钟频率发送所述高位或低位分组数据；

优选的，所述高或低位分组数据，其数据位宽等于或小于DSP可处理数据最大位宽，分组后，先后存入FPGA，并按先进先出的次序经整理后传送至DSP；

优选的，所述分组数据的整理是指，对于所述数据位宽等于DSP可处理数据最大位宽的高或低位分组数据，按存入FPGA次序直接发送到DSP；对于所述数据位宽小于DSP可处理数据最大位宽的高或低位分组数据，添加数据使其位宽达到2ⁿ位后，按存入FPGA次序发送到DSP，其中n为大于等于1的整数，2ⁿ小于DSP可处理数据最大位宽；

优选的，对于所述数据位宽小于DSP可处理数据最大位宽的高或低位分组数据，添加0数据使其位宽达到2ⁿ位。

本发明还提出供一种DSP处理扩展位宽的图像数据的方法，将数据逐行通过FPGA缓存后发送给DSP进行处理，所述扩展位宽的图像数据的数据位宽大于DSP可处理数据最大位宽，具体步骤包括：

1)将一帧图像数据逐行按数据位的高低分组；

2)将高位和低位分组数据分别依次、逐行暂存至FPGA内部对应的FIFO中；

3)整理高位和低位分组数据，使其位宽不超出DSP可处理数据最大位宽；

4)逐行将整理后的分组数据按存入FPGA的次序，先进先出从FPGA传送到DSP进行处理。

本发明提供了一种当DSP处理扩展位宽的外围图像数据时，能够提高其数据处理实时性的方法。

以DSP处理图像数据的限定位宽为12bit为例，现有技术中DSP对于大于12bit位宽图像数据处理的过程如图1所示：a)当I2C总线13、V_sync：帧有效信号5a和H_sync:行有效信号6a均为高电位时，CIS1发送一帧大于12bit位宽的图像数据11到DDR2，并在DDR运行编码程序将大于12bit位宽的图像数据重新编制成12bit；b)当V_dspsync：DSP发送帧有效信号5b和H_dspsync:DSP发送行有效信号6b均为高电位时，DDR2逐行将转换成12bit位宽的数据12发送到DSP处理器3；c)DSP处理器3接受并逐行处理完图像数据处理。有上述表述可知，现有技术中，使用位宽限定为12bit的DSP处理大于12bit位宽的图像数据时，需要借助外挂存储器DDR，在完成整帧图像存储后运行编码程序进行图像数据位宽的整体转换。只有将数据位宽转换为12bit，DSP才能正常进行逐行处理，可见，整帧图像的存储和编码都严重影响了DSP数据处理的实时性。

本发明方法在处理数据位宽大于12bit的外围图像数据时，通过使用DSP处理器外部的FPGA，将需处理的数据先按其数据位分成高位数据和低位数据两组，每组的数据的最大位宽不超过DSP的数据位宽限定，然后逐行将数据按组存储到FPGA的内部FIFO中。高位数组和低位数组分别存储在不同的2个FIFO区域中。本发明对高、低位数据的分组没有限定，但同一帧图像所有数据行的分组条件必须相同。考虑到提高数据处理的效率，可以将高位或低位数组中的任意一组分为12bit位宽的数据，而剩余位宽数据分到另一个分组。

本发明FPGA中的2个FIFO，分别存储高位和低位数据。每个FIFO有两个暂存区间：FIFO0和FIFO1，为异步FIFO，即按不同的工作时钟执行乒乓操作。具体操作中，将一行数据中的高位数据组成高位数组，全部存储到高位FIFO的FIFO0中，然后将低位数据组成低位数组，全部存储到低位FIFO的FIFO0中。随后高位FIFO的FIFO0开始乒乓操作，向DSP传送这行中的高位数组，同时高位FIFO的FIFO1开始下一行高位数组的读取。高位数组发送完成后，低位FIFO开始乒乓操作：低位FIFO0开始以不同的发送时钟向DSP发送低位数组，同时低位FIFO的FIFO1开始下一行低位数组的读取。上述FPGA存储高、低数组的次序本发明不做限定，这满足实际使用者灵活运用的需要。

为使DSP能够处理扩展位宽的图像数据，需要将一整行在FIFO中按高、低位分组存储的数据，以位宽小于等于12bit的形式向DSP发送，以符合DSP处理器对数据位宽的限定。对于位宽正好为12bit的分组数据，直接以此位宽形式发送数据效率最高，而小于12bit的分组数据，如果用与12bit分组数据相同时钟向DSP发送，其利用率明显不高，同时由于发送的数据过于破碎，会影响DSP数据处理的速度。因此，为了提高数据处理效率，本发明提出了发送数据的优化方案，采用异步FIFO进行乒乓操作，针对小于12bit的分组数据，使用不同于12bit位宽数据的发送时钟，将剩余数据部分合并，以小于12的2ⁿ位宽的形式发送，对2ⁿ数据位中的空缺进行补零，n为大于等于1的整数。该优化方案提高了DSP接收数据的有效性，缩短了接收整行数据的时间，改善了数据处理的实时性。

本发明方法针对扩展位宽的外围图像数据，先利用FPGA将数据以行为单位，分组存储、整理后，再以满足DSP处理数据位宽的形式发送DSP处理，不同于现有技术中必须等待整帧图像数据在外挂DDR中存储完毕，然后统一编码将数据转换成DSP可接受位宽的数据后，再发送DSP处理的数据处理方法，极大的提高了DSP处理扩展位宽的图像数据的实时性。进一步的，因为FPGA具有现场编程的能力，所以可以针对不同位宽的外围图像数据决定高位和低位数据的位宽分配并分组存储，还可以调整数据发送时的位宽，使其不仅满足DSP处理数据位宽的限定，而且达到发送时间和DSP利用率的最佳匹配，进一步改善图像数据处理的实时性。同时由于无需增加外挂存储器，以及没有复杂的编码运算要求，本发明方法还能够降低数据处理系统设计和操控的复杂度。本发明方法对于高低位数据组存储到FPGA，以及继而发送到DSP的次序没有限定，在实际操作时给予使用者充分的灵活性。

本发明还提出一种DSP处理扩展位宽的图像数据的方法，将数据逐行按位宽的高、低分组后分别存储到FPGA，再以位宽不大于12bit的形式发送DSP进行处理。本发明方法能够在利用现有DSP设备处理扩展位宽图像数据时提高数据处理的实时性，同时使整个图像处理系统更易于操控，降低了的使用成本。

附图说明

图1是目前12bitDSP处理12bit位宽的CIS图像数据的示意图。

图2是本实施例FPGA内部图像数据处理的示意图。

具体实施方式

为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

其次，本发明利用示意图进行详细的表述，在详述本发明实例时，为了便于说明，示意图不依照一般比例局部放大，不应以此作为对本发明的限定。

下面，以12bit位宽的DSP处理器处理一帧CIS输出的位宽为13bit的1280*720像素图像数据作为具体实施例对本发明进行阐述。

本实施例所涉及的是这帧图像有720行，每行1280像素，其每个像素的位宽为13bit。该图像位宽已经超过了DPS所能处理的数据的最大位宽12bit。因此，需要使用本发明方法对位宽扩展的数据进行处理。

首先，将数据逐行按数据位的高低分组。

本实施例中，我们设定前12位为低位数据，最后一位为高位数据，也就是在每行1280个像素中：bit11～bit0为低位数据，bit12为高位数据。

接着以行为单位，将高位和低位数据组依次分别暂存至FPGA内部对应的memory中。

如图2所示，本实施例的FPGA内部有两个FIFO区域作为数据的暂存区域：存放低位数据的FIFO‐L和存放高位数据的FIFO‐H。按上述位宽分组，每个像素中bit11～bit0存入FIFO-L中其中，而bit12存入FIFO-H中。每个FIFO区域有两个缓存区间：FIFO0和FIFO1。

下面详细表述FIFO数据读写，也就是存储和发送的乒乓操作过程。本实施例中FIFOL和FIFOH是异步FIFO。

a)行1中1280像素的低位数据bit11～bit0-Data[11：0]逐一存入FIFO‐L的FIFO0；

b)行1中1280像素的高位数据bit12-Data[12]逐一存入FIFO-H的FIFO0；

c)行2中1280像素的低位数据bit11～bit0-Data[11：0]逐一存入FIFO‐L的FIFO1；

d)行2中1280像素的高位数据bit11～bit0-Data[11：0]逐一存入FIFO‐H的FIFO1；

e)FIFO‐L的FIFO0中的数据以12bit的形式向DSP发送数据Dataout[11：0]，共发送1280个12bit的数据；；

f)FIFO‐H的FIFO0中的数据以8bit的形式向DSP发送数据Dataout[7：0]，共发送160个8bit的数据；

g)FIFO‐L的FIFO1中的数据以12bit的形式向DSP发送数据Dataout[11：0]，共发送1280个12bit的数据；同时行3中1280像素的低位数据逐一存入FIFO‐L的FIFO0；

h)FIFO‐H的FIFO1中的数据以8bit的形式向DSP发送数据Dataout[7：0]，共发送160个8bit的数据，同时行3中1280像素的高位数据逐一存入FIFO‐H的FIFO0；

i)DSP每接收完一整行以位宽高、低数组形式发送的数据，立即进行数据处理。

重复上述步骤，直到720行数据完全通过FPGA发送到DSP，完成处理。

从上述描述可知，本实施例以行为单位，将数据按高、低位宽分别存储在FPGA内不同的FIFO。存储过程中，为了提高数据处理的效率，本实施例的低位数据是一组12bit位宽的数据，高位只有1bit。发送过程中，低位数据由于是12bit位宽与DSP处理能力完全吻合，所以发送效率很高，而只有1bit的高位数据，如果单纯以与低位数据相同时钟向DSP发送，其利用率明显不高，同时会造成发送的数据过于破碎，既而影响DSP数据处理的速度。因此本实施例将高位数据进行合并，组成8bit数据后发送，这样高位数据从发送1280个1bit数据缩减成发送160个8bit数据，其结果明显减少了发送时间，降低DSP接收数据的碎片化程度。当然，为了同一发送数据的位宽，也可以把高位数据同样160个12bit的数据，只是需要在空缺的数据位上补上零值。而DSP在接收完分组数据组成的一整行数据后，立即进行数据处理，明显提高了数据处理的实时性。

由于通过FPGA进行数据暂存和发送，本实施例利用FPGA允许使用不同频率读写时钟-异步FIFO的特点，优化高、低位数据发送的时序，进一步改善实时性，提高DSP数据处理的效率。

需要指出的是，本实施例中设定的高、低位数据分组，以及FIFO发送数据的顺序，包括高位数据组合的方案，都不是本发明限定的方法。在实际运用中，操作者有很大的灵活性可以自行改变。

经过本实施例的基于FPGA分组存储并整理发送，将原先13bit数据转换成DSP接收到12bit的低位数据，以及8bit的高位数据，满足其数据处理能力。本实施例将一帧13bit的1280*720的图像数据转换成12bit的1440*720的图像数据，真正做到逐行存储，逐行发送并由DSP进行数据处理。不同于现有技术中DSP需先进行整帧图像数据在外挂存储器的缓存，然后按帧进行整体的编码处理转换数据位宽，再由DSP处理的方法，实施，本发明方法实现了提高DSP处理扩展位宽数据的实时性。

以上介绍的仅仅是基于本发明的较佳实施例，并不能以此来限定本发明的范围。任何对本发明的装置作本技术领域内熟知的部件的替换、组合、分立，以及对本发明实施步骤作本技术领域内熟知的等同改变或替换均不超出本发明的揭露以及保护范围。

Claims (10)

1.一种基于FPGA来扩展DSP处理图像数据位宽的方法，外围图像数据经FPGA暂存后传送到DSP处理，其特征在于，以行为单位，将数据分组，先后分别存入FPGA，经整理后按先进先出的次序传送至DSP。

2.如权利要求1所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，所述行数据按数据位分为高或低位分组数据，先后存入FPGA，并按先进先出的次序经整理后传送至DSP。

3.如权利要求2所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，FPGA内部不同的FIFO区域对应存储和发送所述高或低位分组数据。

4.如权利要求3所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，存储和发送分组数据的每个FIFO区域内各有2个缓存区间：FIFO0和FIFO1，以乒乓操作的方式轮流存入或读出所述高位或低位分组数据。

5.如权利要求4所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，所述乒乓操作是指：最初，FIFO0先开始存储数据，此时FIFO1空置；当FIFO0数据存储完成时，则由FIFO1继续存储，此时FIFO0进行读出操作；随后，当FIFO1数据存储完成时，则再换成由FIFO0进行数据存储，而FIFO1进行读出操作；以此往复。

6.如权利要求3或4所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，所述FPGA内部的FIFO区域，为异步FIFO，按不同时钟频率发送所述高位或低位分组数据。

7.如权利要求2所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，所述高或低位分组数据，其数据位宽等于或小于DSP可处理数据最大位宽，分组后，先后存入FPGA，并按先进先出的次序经整理后传送至DSP。

8.如权利要求7所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，所述分组数据的整理是指，对于所述数据位宽等于DSP可处理数据最大位宽的高或低位分组数据，按存入FPGA次序直接发送到DSP；对于所述数据位宽小于DSP可处理数据最大位宽的高或低位分组数据，添加数据使其位宽达到2ⁿ位后，按存入FPGA次序发送到DSP，其中n为大于等于1的整数，2ⁿ小于DSP可处理数据最大位宽。

9.如权利要求8所述的一种基于FPGA来扩展DSP处理图像数据位宽的方法，其特征在于，对于所述数据位宽小于DSP可处理数据最大位宽的高或低位分组数据，添加0数据使其位宽达到2ⁿ位。

10.一种DSP处理扩展位宽的图像数据的方法，将数据逐行通过FPGA缓存后发送给DSP进行处理，所述扩展位宽的图像数据的数据位宽大于DSP可处理数据最大位宽，具体步骤包括：

1)将一帧图像数据逐行按数据位的高低分组；

2)将高位和低位分组数据分别依次、逐行暂存至FPGA内部对应的FIFO中；

3)整理高位和低位分组数据，使其位宽不超出DSP可处理数据最大位宽；

4)逐行将整理后的分组数据按存入FPGA的次序，先进先出从FPGA传送到DSP进行处理。