CN103093485A - 全景视频柱面图像存储方法及系统 - Google Patents

Abstract

本发明提供一种全景视频柱面图像存储方法及系统，所述方法包括以下步骤：按行接收帧像素数据，并用FIFO缓存；判断FIFO是否缓存满一行像素数据；若是，则从FIFO中连续读出一行像素数据并进行柱面变换，每个像素进行计算得到新的坐标，并计算各像素的像素地址；将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行；根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址组成BURST；将所组成的BURST数据存入内存中。本发明的方法及系统，在实现视频图像的柱面变换时显著提高了带宽利用率。

Description

全景视频柱面图像存储方法及系统

技术领域

本发明涉及图像拼接技术领域，特别是涉及一种全景视频柱面图像存储方法以及一种全景视频柱面图像存储系统。

背景技术

图像拼接技术被广泛应用于宇宙空间检测、海底勘测、医学、气象、视频的索引和检索、物体的3D重建、数码相机的超分辨率处理等领域。视频拼接是图像拼接的一个重要运用，通过图像拼接可以生成视角更大、分辨率更高的视频，它主要应用于展示展览、视觉娱乐、监控和广告等领域。由于处理视频时涉及到帧速问题，因此要想实现高分辨率视频拼接，FPGA（Field－ProgrammableGate Array，现场可编程逻辑阵列）或ASIC（Application Specific Integrated Circuit，专用集成电路）是最佳选择。但由于图像拼接算法比较复杂，因此FPGA实现视频拼接的难度较大。

在传统的视频拼接系统中，视频图像的柱面变换是个重要环节。因为视频拼接的核心——图像配准和图像融合部分处理的对象都是进行过柱面变换后的图像。使用FPGA实现高分辨率视频图像的柱面变换，图像在DDR2/DDR3内存的读写是个关键问题，如果处理不好，则带宽利用率较低，从而难以处理高分辨率视频图像。

发明内容

基于此，本发明提供一种全景视频柱面图像存储方法及系统，能够在保证数据存储正确的前提下解决带宽利用率低的问题。

为实现上述目的，本发明采用如下的技术方案：

一种全景视频柱面图像存储方法，包括以下步骤：

按行接收帧像素数据，并用FIFO缓存；

判断FIFO是否缓存满一行像素数据；

若是，则从FIFO中连续读出一行像素数据并进行柱面变换，每个像素进行计算得到新的坐标，并计算各像素的像素地址；

将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行；

根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址组成BURST；

将所组成的BURST数据存入内存中。

一种全景视频柱面图像存储系统，包括：

数据接收与缓存模块，用于按行接收帧像素数据，并用FIFO缓存；

判断模块，用于判断FIFO是否缓存满一行像素数据；

柱面变换模块，用于在所述判断模块的判断结果为是的情况下，从FIFO中连续读出一行像素数据并进行柱面变换，每个像素进行计算得到新的坐标，并计算各像素的像素地址；

数据划分模块，用于将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行；

BURST组成模块，用于根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址组成BURST；

数据存放模块，用于将所组成的BURST数据存入内存中。

由以上方案可以看出，本发明的全景视频柱面图像存储方法及系统，对视频图像做柱面变换的硬件实现时，先变换后存储，原图像一行数据经过柱面变换后被分配到了多个行，把分成多个行的每部分看成是一个数据段，然后根据数据段的像素个数、BURST突发长度、存储单元位数和数据段里首个像素的像素地址来组成BURST。本发明的方法及系统在实现视频图像的柱面变换时，显著提高了带宽利用率，可支持1080p的视频数据，同时可节省FPGA内部资源，方便视频拼接系统其他模块读取内存中的柱面图像数据，为视频拼接系统整体打下良好基础。

附图说明

图1为本发明实施例一种全景视频柱面图像存储方法的流程示意图；

图2为原始的第0行图像像素以及原始第0行图像像素经过柱面变换后的示意图；

图3为本发明实施例一种全景视频柱面图像存储系统的结示意图。

具体实施方式

下面结合附图以及具体的实施例，对本发明的技术方案作进一步的描述。

参见图1所示，一种全景视频柱面图像存储方法，包括以下步骤：

步骤S101，按行接收帧像素数据，并用FIFO（First Input First Output，先入先出队列）缓存，然后进入步骤S102。

步骤S102，判断FIFO是否缓存满一行像素数据；若是则进入步骤S103，若否则返回步骤S101继续等待接收。

步骤S103，若是（即满一行像素数据），则从FIFO中连续读出一行像素数据并进行柱面变换，在柱面变换中，每个像素进行计算得到新的坐标，并计算各像素的像素地址（设某图像行宽为R，列高为H，其中某像素坐标为(x,y)，则该像素的像素地址为x*R+y），然后进入步骤S104。

步骤S104，将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行。

作为一个较好的实施例，上述将柱面变换后的数据划分为若干个数据段的过程具体可以包括如下：

根据像素地址连续性将柱面变换后的数据划分为若干个数据段；

或者是

根据行坐标的差异将柱面变换后的数据划分为若干个数据段。

步骤S105，根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址（即像素首地址）组成BURST，然后进入步骤S106。

作为一个较好的实施例，当判断得出数据段的像素总位数小于或等于一个BURST突发长度的位数时，可以根据数据段里首个像素的像素地址组成一个或两个BURST；或

当数据段的像素总位数大于一个BURST突发长度的位数时，可以根据数据段里首个像素的像素地址组成至少两个BURST。

根据像素首地址来决定BURST长度的方法如下：所述像素首地址既指数据段的像素首地址，也指组成一个BURST的首像素的像素地址。设一个BURST突发长度的位数是一个像素位数的M倍，一个内存单元的位数是一个像素位数的N倍，N是2的n次方。设像素首地址为addr[a-1:0]，a为地址的位数。像素首地址与BURST长度、存储地址的关系如下表一所示。BURST数据往内存中存储时，还要根据有效位数来设置有效位信号。

表一

步骤S106，将所组成的BURST数据存入内存中。

作为一个较好的实施例，在所述步骤S106将组成的BURST数据存入内存之后，还可以包括步骤S107：

当一幅图像的所有行都完成了柱面变换且变换后的像素全部存入内存之后，给视频拼接系统中的其他模块发出可读信号。

本发明实施例中以FPGA为例进行说明：FPGA接收视频数据时是一行一行接收的，每一行数据有效信号是连续的，行与行之间有间隔。而本发明实施例中，FPGA在接收完一行像素数据并缓存后就对该行像素进行柱面变换。柱面变换的结果是每个像素有一个新的纵横坐标，表示在柱面图像中的位置。一幅图像经过柱面变换后，图像的行长度减小，新的行长度可通过相应公式计算，列高度不变，以分辨率1024*768为例，柱面变换后图像的行宽为976，列高为768。在柱面变换过程中，一行图像原始像素数据经过柱面变换后被分配到了多个行，如图2所示。在图2中，A表示原始的第0行图像像素（这里对行的排序时从0开始，例如1024行，就是从0到1023），B表示的是原始第0行图像像素经过柱面变换后的情况，原来的像素被分到了第0～27行（这里以分辨率1024*768为例），等于是原图像的一行像素被拆分成多个部分，每部分被分到一个行。

在每行像素做完柱面变换后，需要把像素存入到存储器中，以方便系统中其他功能模块读出调用。因此在DDR2或DDR3内存中需要安排一段连续地址区域来存储柱面变换后的图像像素数据，柱面变换后的图像像素在该区域里按行连续存储，像素坐标与存储地址线性对应。这里就涉及到了柱面图像像素的存储问题。

DDR2或DDR3内存属于动态RAM，动态RAM一个特点是有激活、预充电、刷新等必须的操作。动态RAM的存储阵列是按照行列分布的，每换行读写时都要先激活该行，如果换行操作多了就会影响存储效率。此外，为了提高带宽利用率，DDR2或DDR3内存在读写时按照BURST方式进行，BURST是指在内存中同一行中相邻的存储单元连续进行数据传输的方式。有时也把BURST认为是一个突发数据包，例如，内存每个单元存储48bit数据，BURST突发长度是4（一次连续写4个存储单元），则一个BURST是192bit的数据。

由于原图像一行数据经过柱面变换后被分配到了多个行，前面提到了柱面变换后的图像像素坐标与存储地址线性对应，这样数据的存储连续性就被大大破坏，不能直接对柱面变换后的数据进行连续存储，否则从内存中读出的图像就是错误的。如果对单个像素根据其地址进行存储，则会浪费带宽，因为内存是按照BURST方式进行，这样一个像素就要占用一个BURST，不仅浪费带宽，而且还造成数据存储时换行情况增多，导致存储效率降低。经过试验发现，上述这种存储方式在分辨率为1024*768、帧速为60帧/秒时还勉强可以使用，但分辨率稍大一些就不行了。如果按行对像素进行等待缓存，把柱面变换后的像素按行分别缓存到一个缓存中，等一行像素存满后再存入内存，这样的话耗费硬件资源极大，对FPGA是不现实的。而通过本发明的全景视频柱面图像存储方法，则可以在保证功能正确（即数据存储正确）的前提下解决带宽利用率低的问题，同时还可以解决FPGA资源使用问题。原图像一行数据经过柱面变换后被分配到了多个行，把分成多个行的每部分看成是一个数据段。例如图2的B中，把左边属于第27行的那部分数据看成一个数据段，依次类推，这一行被分成了55个数据段。每个数据段里的像素在柱面图像里是连续排列的，因此在内存区域里也是连续存储的，把数据段里的像素根据数据段的像素个数、BURST突发长度、存储单元位数和数据段里首个像素的像素地址来组成BURST，可明显提高存储效率。当数据段的像素总字节数小于一个BURST时，需要根据像素首地址来分为一个或两个BURST；当数据段的像素总字节数大于一个BURST时，根据像素首地址来分为至少两个BURST。像素地址在BURST形成过程中很重要，这与内存的BURST读写方式有关。例如，BURST突发长度是4，如果从地址0开始写入一个BURST，则数据写入的地址依次是0、1、2、3；如果从地址1开始写入一个BURST，则数据写入的地址依次是1、2、3、0。由此可见，在存储器里写入BURST数据时，地址最好是BURST突发长度的整数倍，如果不是则需要根据地址来确定BURST中有效数据字节数，否则会造成存储混乱。例如，前一个BURST是从地址0开始存入，BURST的有效位数是144bit，每个存储单元的位数是48，则存储单元0、1、2存储了有效数据，存储单元3存入的是无效数据，后一个BURST从地址3存入一个完整BURST，这样则把前面存入存储单元0、1、2的数据给覆盖了，如果后一个BURST的有效字节数是48或者小于48，就不会出现存储冲突。

下面以一个例子来进一步说明：

仍以分辨率1024*768的图像举例。原始第0行图像像素经过柱面变换后的像素数据分布情况如图2中B所示，数据依次被分到了第27行、第26行、第25行等等。假设这里存储柱面图像像素的内存是DDR2SDRAM，内存每个单元存储48bit数据，BURST突发长度是4，因此每8个像素可组成一个BURST。图像经过柱面变换后的大小为976*768。从原第0行像素左边算起，变换后，属于第27行的数据段长度是4个像素，称为数据段A，属于第26行的数据段长度是9个像素，称为数据段B，属于第25行的数据段长度是10个像素，称为数据段C。数据段A的像素地址依次为0x66f0，0x66f1，0x66f2，0x66f3（地址计算方法不再详细说明）；数据段B的像素地址依次为0x6324，0x6325，0x6326，0x6327，0x6328，0x6329，0x632a，0x632b，0x632c；数据段C的像素地址依次为0x5f5d，0x5f5e，0x5f5f，0x5f60，0x5f61，0x5f62，0x5f63，0x5f64，0x5f65，0x5f66。数据段A的首地址是0x66f0，是8的整数倍，且数据段只有4个像素，因此数据段A组成了一个有效位数是96的BURST，存储地址从0x3378开始。数据段B的首地址时0x6324，不是8的整数倍，所以0x6324、0x6325、0x6326、0x6327组成一个有效位数是96的BURST，存储地址从0x3192开始。数据段B中剩下的像素从地址0x6328开始，0x6328是8的整数倍，剩余像素个数为5，所以这些组成一个有效位数是120的BURST，存储地址从0x3194开始。数据段C的首地址是0x5f5d，不是8的整数倍，因此0x5f5d、0x5f5e、0x5f5f组成一个有效位数是72的BURST。数据段C剩下的像素组成另一个BURST。

与上述一种全景视频柱面图像存储方法相对应的，本发明还提供一种全景视频柱面图像存储系统，如图3所示，包括：

数据接收与缓存模块101，用于按行接收帧像素数据，并用FIFO缓存；

判断模块102，用于判断FIFO是否缓存满一行像素数据；

柱面变换模块103，用于在所述判断模块的判断结果为是的情况下，从FIFO中连续读出一行像素数据并进行柱面变换，每个像素进行计算得到新的坐标，并计算各像素的像素地址；

数据划分模块104，用于将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行；

BURST组成模块105，用于根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址组成BURST；

数据存放模块106，用于将所组成的BURST数据存入内存中。

作为一个较好的实施例，所述数据划分模块可以根据像素地址连续性将柱面变换后的数据划分为若干个数据段；

或者是

所述数据划分模块根据行坐标的差异将柱面变换后的数据划分为若干个数据段。

作为一个较好的实施例，所述全景视频柱面图像存储系统还可以包括：

信号发送模块，用于当一幅图像的所有行都完成了柱面变换且变换后的像素全部存入内存之后，发出可读信号。

作为一个较好的实施例，所述BURST组成模块中可以包括：

第一组成模块，用于当数据段的像素总位数小于或等于一个BURST突发长度的位数时，根据数据段里首个像素的像素地址组成一个或两个BURST；

第二组成模块，用于当数据段的像素总位数大于一个BURST突发长度的位数时，根据数据段里首个像素的像素地址组成至少两个BURST。

上述一种全景视频柱面图像存储系统的其他技术特征与本发明的一种全景视频柱面图像存储方法相同，此处不予赘述。

通过以上方案可以看出，本发明的全景视频柱面图像存储方法及系统，对视频图像做柱面变换的硬件实现时，先变换后存储，原图像一行数据经过柱面变换后被分配到了多个行，把分成多个行的每部分看成是一个数据段，然后根据数据段的像素个数、BURST突发长度、存储单元位数和数据段里首个像素的像素地址来组成BURST。本发明的方法及系统在实现视频图像的柱面变换时，显著提高了带宽利用率，可支持1080p的视频数据，同时可节省FPGA内部资源，方便视频拼接系统其他模块读取内存中的柱面图像数据，为视频拼接系统整体打下良好基础。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景视频柱面图像存储方法，其特征在于，包括以下步骤：

按行接收帧像素数据，并用FIFO缓存；

判断FIFO是否缓存满一行像素数据；

若是，则从FIFO中连续读出一行像素数据并进行柱面变换，每个像素进行计算得到新的坐标，并计算各像素的像素地址；

将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行；

根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址组成BURST；

将所组成的BURST数据存入内存中。

2.根据权利要求1所述的全景视频柱面图像存储方法，其特征在于，所述将柱面变换后的数据划分为若干个数据段的过程包括：

根据像素地址连续性将柱面变换后的数据划分为若干个数据段。

3.根据权利要求1所述的全景视频柱面图像存储方法，其特征在于，所述将柱面变换后的数据划分为若干个数据段的过程包括：

根据行坐标的差异将柱面变换后的数据划分为若干个数据段。

4.根据权利要求2或3所述的全景视频柱面图像存储方法，其特征在于，在所述将组成的BURST数据存入内存之后，还包括步骤：

当一幅图像的所有行都完成了柱面变换且变换后的像素全部存入内存之后，发出可读信号。

5.根据权利要求2或3所述的全景视频柱面图像存储方法，其特征在于，当数据段的像素总位数小于或等于一个BURST突发长度的位数时，根据数据段里首个像素的像素地址组成一个或两个BURST；或

当数据段的像素总位数大于一个BURST突发长度的位数时，根据数据段里首个像素的像素地址组成至少两个BURST。

6.一种全景视频柱面图像存储系统，其特征在于，包括：

数据接收与缓存模块，用于按行接收帧像素数据，并用FIFO缓存；

判断模块，用于判断FIFO是否缓存满一行像素数据；

柱面变换模块，用于在所述判断模块的判断结果为是的情况下，从FIFO中连续读出一行像素数据并进行柱面变换，每个像素进行计算得到新的坐标，并计算各像素的像素地址；

数据划分模块，用于将柱面变换后的数据划分为若干个数据段；其中，在所述划分后的数据段中，每个数据段内的像素地址都是连续的，且相邻数据段属于不同的行；

BURST组成模块，用于根据数据段的像素个数、内存的BURST突发长度、内存的存储单元位数以及数据段里首个像素的像素地址组成BURST；

数据存放模块，用于将所组成的BURST数据存入内存中。

7.根据权利要求6所述的全景视频柱面图像存储系统，其特征在于，所述数据划分模块根据像素地址连续性将柱面变换后的数据划分为若干个数据段。

8.根据权利要求6所述的全景视频柱面图像存储系统，其特征在于，所述数据划分模块根据行坐标的差异将柱面变换后的数据划分为若干个数据段。

9.根据权利要求7或8所述的全景视频柱面图像存储系统，其特征在于，还包括：

信号发送模块，用于当一幅图像的所有行都完成了柱面变换且变换后的像素全部存入内存之后，发出可读信号。

10.根据权利要求7或8所述的全景视频柱面图像存储系统，其特征在于，所述BURST组成模块包括：

第一组成模块，用于当数据段的像素总位数小于或等于一个BURST突发长度的位数时，根据数据段里首个像素的像素地址组成一个或两个BURST；

第二组成模块，用于当数据段的像素总位数大于一个BURST突发长度的位数时，根据数据段里首个像素的像素地址组成至少两个BURST。

Images