CN108540808A - 基于fpga的高动态图像压缩处理系统 - Google Patents

Abstract

本发明公开一种基于FPGA的高动态图像压缩处理系统，主要解决现有技术实时性低、赖高功耗平台以及便携性差的问题。其包括高动态图像采集单元(1)、数据传输单元(2)、高动态图像压缩单元(3)和图像显示单元(4)；高动态图像采集单元获取高动态图像数据后通过数据传输单元传输到高动态图像压缩单元中，高动态图像压缩单元将高动态图像压缩为低动态图像后通过数据传输单元传输到图像显示单元中进行显示。本发明对图像熵最大高动态图像压缩算法进行了硬件加速，提高了系统的处理速率和数据吞吐率，利用基于FPGA的嵌入式平台提高了系统的便携性，降低了系统功耗，可用于嵌入式环境下高动态图像压缩技术中。

Description

基于FPGA的高动态图像压缩处理系统

技术领域

本发明属于图像处理技术领域，更进一步涉及一种高动态图像压缩处理系统，可用于在嵌入式场景下对高动态图像动态范围的压缩。

背景技术

高动态范围HDR图像能全面地展现场景的细节信息。然而现有的显示设备由于动态范围受限,无法直接显示图像。所以需要对高动态图像的动态范围进行压缩，以满足显示器的显示要求。基于图像熵最大的全局压缩算法计算效率高，算法复杂度低，压缩后图像效果好，是目前比较高效的高动态图像压缩算法之一。但该算法需要基于中央处理器CPU的平台，类似平台功耗高，体积庞大，并且该算法需要复杂的迭代过程，并行性差，难以满足高实时性的需求。因此，有必要针对嵌入式场景高动态图像压缩开发一套更加注重实时性、功耗、面积和价格的高动态图像压缩处理系统。

西安电子科技大学在其发表的论文“基于FPGA的高动态影像色调映射算法实现”中公开了一种基于空域滤波的Dutand压缩算法的高动态图像压缩系统，该系统包含3*3模板电路模块、双边滤波电路模块、以10为底的对数计算模块、映射电路模块。该系统不足之处有以下两点：第一，该系统为保证处理精度，将复杂运算结果先使用软件计算得出，然后构建大量查找表，保存在FPGA中，该方法将会耗费大量存储资源。第二，该方法对算法中间结果产生的双精度浮点数据保存位数不足，导致图像处理效果不佳。

武汉大学在其申请的专利文献“一种高质量的快速色调映射方法和系统”(申请号201710868455.9，公开号107657594)中公开了一种高质量的快速色调映射系统。该系统包括输入模块、颜色空间转换模块、对数调整模块、全局动态压缩模块、局部细节调整模块、饱和度调整模块、输出模块。该系统存在的不足之处有以下两点：第一，该系统需要运行在基于中央处理器CPU的平台上，功耗较大，便携性不强。第二，该系统采用软件压缩算法，计算过程并行性低，图像处理速度较低，实时性不强。

发明内容

本发明的目的在于这对上述已有技术的不足，提出一种基于FPGA的高动态图像压缩处理系统，以在嵌入式环境下实现对高动态图像动态范围的压缩，提高系统图像处理速度，减少系统资源占用以及降低系统功耗。

为实现上述目的，本发明基于FPGA的高动态图像压缩处理系统，包括：

高动态图像采集单元1，数据传输单元2，高动态图像压缩单元3，图像显示单元4；高动态图像采集单元1获取高动态图像数据后通过数据传输单元2传输到高动态图像压缩单元3中，高动态图像压缩单元3将高动态图像压缩为低动态图像后通过数据传输单元2传输到图像显示单元4中进行显示，其特征在于：

所述高动态图像压缩单元3，包括：

灰度直方图统计模块31，用于统计输入高动态图像的灰度直方图，并存入存储器RAM_h中；

任意路径的权值计算模块32，用于将存储器RAM_h中的灰度直方图数据按照设定顺序读出后，经过累加计算以及查权值查找表产生任意路径的权值数据矩阵，并将权值数据矩阵经过地址映射存入任意路径的权值存储器组RAM_G中；

中间结果并行计算模块33，用于计算动态规划过程中的所有子问题的最优解，结合存储器组RAM_G中数据，生成节点数据矩阵C和最大权值路径矩阵L，并将矩阵L经过地址映射保存到寄存器组REG_L中，将节点数据矩阵C经过地址映射保存到存储器RAM_C中；

生成有序向量模块34，用于读存储器RAMC中的数据产生有序向量S，并将有序向量S存储在存寄存器组REGF中，根据寄存器组REGF中的数据配置图像灰度值映射模块35中的数值比较器的阈值参数；

图像灰度值映射模块35，用于输出低动态范围图像的像素值，根据模块中数值比较器的阈值参数对输入高动态图像的像素值进行映射，将其映射为低动态范围像素值。

进一步，所述灰度直方图统计模块31由控制子模块311，地址译码子模块312，双端口RAM313，加法子模块314组成；控制子模块311用于控制地址译码器312产生地址，地址译码子模块312用于将输入灰度值数据译码为读取双端口RAM313的地址数据，加法子模块314将读出双端口RAM313数据加1回写入双端口RAM313中。

进一步，所述任意路径的权值计算模块32是由累加子模块321、权值查找表322、地址产生子模块323组成；地址产生子模块323以设定的方式产生读取存储器RAMh的地址，读出数据经过累加子模块321后产生的结果输入到权值查找表322的地址端口，权值查找表322输出相应权值数据。

进一步，所述中间结果并行计算模块33，由137个计算比较子模331块组成，每个计算比较子模块计算一条路径的最大权值，并且输出当前路径的节点数据。

进一步，所述生成有序向量模块34，由地址译码子模块341和控制子模块342组成，控制子模块342控制地址译码子模块341产生读RAM_C的首地址，将读出数据输入到地址译码子模块341的输入端口并存入存器组REG_F中，地址译码子模块341输出下次读取RAM_C的地址数据，如此循环直到地址译码子模块341输出地址数据为0。

进一步，所述图像灰度值映射模块35由256个数值比较子模块351和数据选择子模块352组成，每个数值比较子模块351有两个阈值参数，分别是下限a_n和上限b_n，n表示数值比较子模块的序数，这两个阈值参数由寄存器组REG_F中数据确定；每个高动态图像的像素输入到所有数值比较子模块351的输入端口，当该像素值大于a_n并且小于b_n时，数据选择子模块352选择序数n作为该模块的输出。

本发明与现有技术相比具有以下优点：

第一，由于本发明在计算全局最大熵高动态图像压缩算法的中间结果时采用多个计算单元并行工作，提高了系统的处理速度，克服了现有技术实时性差的缺点，可应用在实时性要求高的场合。

第二，由于本发明对全局最大熵高动态图像压缩算法进行了存储优化，克服了全局最大熵高动态图像压缩算法对存储空间要求高的缺点，适用于存储资源局促的场合。

第三，由于本发明采用大规模可编程阵列实现高动态图像压缩功能，克服了现有技术依赖高功耗平台以及便携性差的缺点，可应用在低功耗等多种嵌入式应用场景中。

附图说明

图1是本发明的系统框图；

图2是本发明中的高动态图像压缩单元结构框图；

图3是本发明高动态图像压缩单元中的灰度直方图统计模块框图；

图4是本发明高动态图像压缩单元中的任意路径的权值计算模块权值存储器组RAM_G结构框图；

图5是本发明高动态图像压缩单元中的中间结果并行计算模块框图；

图6是本发明高动态图像压缩单元中的生成有序向量模块框图；

图7是本发明高动态图像压缩单元中的图像灰度值映射模块框图。

具体实施方式

下面结合附图对本发明做进一步详细描述。

本发明是对图像熵最大高动态图像压缩算法进行加速的硬件系统，并通过FPGA实现。

参照图1，本发明基于FPGA的高动态图像压缩系统包括：高动态图像采集单元1，数据传输单元2，高动态图像压缩单元3和图像显示单元4；高动态图像采集单元1获取高动态图像数据后通过数据传输单元2传输到高动态图像压缩单元3中，高动态图像压缩单元3将高动态图像压缩为低动态图像后通过数据传输单元2传输到图像显示单元4中进行显示。

参照图2，高动态图像压缩单元3，包括：灰度直方图统计模块31、任意路径的权值计算模块32、中间结果并行计算模块33、生成有序向量模块34和图像灰度值映射模块35；灰度直方图统计模块31，用于统计输入高动态图像的灰度直方图，并存入存储器RAM_h中；任意路径的权值计算模块32将存储器RAM_h中的灰度直方图数据按照设定顺序读出后，经过累加计算以及查权值查找表产生任意路径的权值数据矩阵，并将权值数据矩阵经过地址映射存入任意路径的权值存储器组RAM_G中；中间结果并行计算模块33用于计算动态规划过程中的所有子问题的最优解，结合存储器组RAM_G中数据，生成节点数据矩阵C，将节点数据矩阵C经过地址映射保存到存储器RAM_C中；生成有序向量模块34用于读存储器RAM_C中的数据产生有序向量S，并将有序向量S存储在存寄存器组REG_F中；图像灰度值映射模块35，根据REG_F中的数据配置数值比较器的阈值参数，并根据数值比较器的阈值参数对输入高动态图像的像素值进行映射，将其映射为低动态范围像素值并输出。

参照图3，灰度直方图统计模块，包括控制子模块311、地址译码子模块312、双端口RAM313、加法子模块314，其中：控制子模块311为地址译码子模块312产生开始译码、结束译码的控制信号；地址译码子模块312以像素时钟直接将输入灰度值作为读取双端口RAM313的地址数据，并将此地址数据保存在地址寄存器REG_A中，用四倍像素时钟将此地址数据采集后送到双端口RAM313的读地址端口上，在下一个四倍像素时钟周期读出数据，并将此数据送入加法子模块314中加1保存在数据寄存器REG_B中，在下一个四倍像素时钟周期将地址寄存器REG_A中地址送到双端口RAM313的地址端口并打开写使能将数据寄存器REG_B中数据写入到双端口RAM313中，在下一个四倍像素时钟周期后关闭写使能，清空地址寄存器REG_A，数据寄存器REG_B，等待读入新的像素值。

参照图4，任意路径的权值计算模块，包括累加子模块321、权值查找表322、地址产生子模块323；地址产生子模块包括，一个带置数功能的计数器、两个5位加法器、和一组寄存器；权值存储器组RAM_G，包括137个双端口RAM以及地址译码器。完成任意路径的权值计算模块共计算4110组权值数据，每组包含30个权值数据，计算每个权值数据需要多个时钟周期完成。

在第一个时钟周期，地址产生子模块产生第一组数据的首地址R₀，将其送入直方图存储器RAM_h的地址端口，读出一个数据a，将该数据a存入数据寄存器REG_add中，并将R₀存入到一号地址寄存器REG_addr中与三号地址寄存器REG_addrs中，同时将首地址R₀送入地址译码器的输入端口，地址译码器输出写入任意路径的权值存储器组RAM_G的首地址，包含片选地址和片内首地址，将其保存在二号地址寄存器REG_addrG中；

在第二个时钟周期后，地址产生子模块323将一号地址寄存器REG_addr中数据R₀减1，并将减1后的地址数据R₀-1送入到直方图存储器RAM_h的地址端口，读出第二个数据b；

在第三个时钟周期，将该第二个数据b与累加寄存器REG_add中的数据相加，并将结果保存在累加寄存器REG_add中；

在第四个时钟周期，将累加寄存器REG_add中数据输入到权值查找表322的地址端口，权值查找表322输出两像素值的累积熵即权值数据，保存在权值寄存器REG_w中；在第四个时钟周期，将二号地址寄存器REG_addrG中的数据送入任意路径的权值存储器组RAM_G的地址端口，并打开写使能，同时将权值寄存器REG_c中的数据送入任意路径的权值存储器组RAM_G的数据端口，将其写入到任意路径的权值存储器组RAM_G中；此时完成写入任意路径的权值存储器组RAM_G的第一个数据；

在第五个时钟周期，地址产生子模块将一号地址寄存器REG_addr中数据减1，并将减1后的地址数据送入到直方图存储器RAM_h的地址端口，读出第三个数据c；

在第六个时钟周期，将c与累加寄存器REG_add中数据相加，并将结果保存在累加寄存器REG_add中；

在第七个时钟周期，将累加寄存器REG_add中的数据输入到权值查找表的地址端口，权值查找表输出两像素值的累积熵即权值数据，保存在权值寄存器REG_w中，同时将二号地址寄存器REG_addrG中数据加1保存入二号地址寄存器REG_addrG中；

在第八个时钟周期，将二号地址寄存器REG_addrG中数据送入任意路径的权值存储器组RAM_G的地址端口，并打开写使能，同时将权值寄存器REG_c中数据送入任意路径的权值存储器组RAM_G的数据端口，将其写入到任意路径的权值存储器组RAM_G中；此时完成写入任意路径的权值存储器组RAM_G的第二个数据；

重复第五到第八时钟周期过程，直到一号地址寄存器REG_addr中数据为R₀-30，此时完成第一组数据填写；在下一个时钟周期，地址产生子模块将三号地址寄存器REG_addrs中数据减1作为第二组数据的首地址并重复上述过程，后续组数据填充与上述过程相同。

参照图5，中间结果并行计算模块33，包括137个计算比较子模块331和中间结果寄存器组332、节点数据缓存寄存器组333；每个计算比较子模块331包括地址产生器、比较器、寄存器和加法器。所述中间结果是指图像熵最大高动态图像压缩算法在进行动态规划过程中分解成的多个子问题，每个子问题对应多个局部最优解。在计算局部最优解时，计算比较子模块以四倍系统时钟进行运算，该子模块功能为，在第一个四倍系统时钟周期，计算比较子模块的地址产生器产生地址数据e，将该地址数据送到任意路径的权值存储器组RAM_G的读地址端口，读出数据m，同时地址产生器产生地址数据f，将该地址数据送入中间结果寄存器组332的地址端口，读出数据n，并且将当前节点数据保存在一号寄存器REG₁中；在第二个四倍系统时钟周期，将数据m与n相加，保存在四号寄存器REG₄中；在第三个四倍系统时钟周期，将四号寄存器REG₄中数据与三号寄存器REG₃中数据作比较，如果四号寄存器REG₄中数据较大，将四号寄存器REG₄中数据保存在三号寄存器REG₃中，并将一号寄存器REG₁中数据保存在二号寄存器REG₂中，如果四号寄存器REG₄中数据较小，二号寄存器REG₂与三号寄存器REG₃中数据不变；在第四个四倍系统时钟周期，地址产生器分别产生写入中间结果寄存器组332和写入节点数据缓存寄存器组333的地址，并打开中间结果寄存器组332和节点数据缓存寄存器组333的写使能，将二号寄存器REG₂与三号寄存器REG₃中数据分别写入中间结果寄存器组332和节点数据缓存寄存器组333，同时清空一号寄存器REG₁与四号寄存器REG₄中数据。由此，计算比较子模块331可在一个系统时钟完成读取，求和，比较，写入四个操作。

每个子问题都有多个局部解，每个局部最优解需要计算比较子模块331运算30次，在计算每个子问题时，单个计算比较子模块331负责计算30个局部解的最优解，需要30个系统时钟周期，所有计算比较子模块同时工作最多可同时计算137个局部解。寄存器组332包括一号寄存器组REG_G1和二号寄存器组REG_G2；一号寄存器组REG_G1用于缓存上一个子问题的局部最优解数据，二号寄存器组REG_G2用于存储当前子问题的局部最优解数据；等到当前子问题的局部解数据完全缓存在二号寄存器组REG_G2中时，清空一号寄存器组REG_G1，一号寄存器组REG_G1开始缓存下一个子问题的所有局部最优解，如此乒乓操作，完成所有子问题的计算。

在并行计算过程中，每过30个时钟周期，众多计算比较子模块331会同时生成多个局部最优解的节点数据，缓存寄存器组333包括两组寄存器，用于缓存节点数据矩阵，两组寄存器可交替对多个节点数据进行缓存，并且将其经过串并转换转化为串行数据存储到C矩阵存储器RAM_C中。

参照图6，生成有序向量模块34，由地址译码子模块341和控制子模块342组成，控制子模块342控制地址译码子模块341产生读C矩阵存储器RAM_C的首地址，将读出数据输入到地址译码子模块341的输入端口并存入S向量寄存器组REG_F中，地址译码子模块341输出下次读取C矩阵存储器RAM_C的地址数据，如此循环直到地址译码子模块341输出地址数据为0，所述S向量是指输入像素到输出像素的映射关系。

参照图7，图像灰度值映射模块35由256个数值比较子模块351和数据选择子模块352组成，每个数值比较子模块351有两个阈值参数，分别是下限a_n和上限b_n，n表示数值比较子模块351的序数，这两个阈值参数由S向量寄存器组REG_F中数据确定；每个高动态图像的像素输入到所有数值比较子模块351的输入端口，当该像素值大于a_n并且小于b_n时，数据选择子模块352选择该数值比较子模块序数n作为该模块的输出。

以上描述仅是本发明的一个具体事例，不构成对本发明的任何限制。显然对应本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节的各种修正和改变，但是这些基于本发明思想的修正和改变仍然在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于FPGA的高动态图像压缩系统，包括：高动态图像采集单元(1)，数据传输单元(2)，高动态图像压缩单元(3)，图像显示单元(4)；高动态图像采集单元(1)获取高动态图像数据后通过数据传输单元(2)传输到高动态图像压缩单元(3)中，高动态图像压缩单元(3)将高动态图像压缩为低动态图像后通过数据传输单元(2)传输到图像显示单元(4)中进行显示，其特征在于：

所述高动态图像压缩单元(3)，包括：

灰度直方图统计模块(31)，用于统计输入高动态图像的灰度直方图，并存入直方图存储器RAM_h中；

任意路径的权值计算模块(32)，用于将直方图存储器RAM_h中的灰度直方图数据按照设定顺序读出后，经过累加计算以及查权值查找表产生任意路径的权值数据矩阵，并将权值数据矩阵经过地址映射存入任意路径的权值存储器组RAM_G中；

中间结果并行计算模块(33)，用于计算动态规划过程中的所有子问题的最优解，结合任意路径的权值存储器组RAM_G中数据，生成节点数据矩阵C，将节点数据矩阵C经过地址映射保存到C矩阵存储器RAM_C中；

生成有序向量模块(34)，用于读C矩阵存储器RAM_C中的数据产生有序向量S，并将有序向量S存储在S向量寄存器组REG_F中，根据S向量寄存器组REG_F中的数据配置图像灰度值映射模块(35)中的数值比较器的阈值参数；

图像灰度值映射模块(35)，用于输出低动态范围图像的像素值，根据模块中数值比较器的阈值参数对输入高动态图像的像素进行映射，将其映射为低动态范围像素。

2.根据权利要求1所述的系统，其特征在于：所述灰度直方图统计模块(31)由控制子模块(311)，地址译码子模块(312)，双端口RAM(313)，加法子模块(314)组成；控制子模块(311)用于控制地址译码器(312)产生地址，地址译码子模块(312)用于将输入灰度值数据译码为读取双端口RAM(313)的地址数据，加法子模块(314)将读出双端口RAM(313)数据加1回写入双端口RAM(313)中。

3.根据权利要求1所述的系统，其特征在于：所述任意路径的权值计算模块(32)是由累加子模块(321)、权值查找表(322)、地址产生子模块(323)组成；地址产生子模块(323)以设定的方式产生读取直方图存储器RAM_h的地址，读出数据经过累加子模块(321)后产生的结果输入到权值查找表(322)的地址端口，权值查找表(322)输出相应权值数据。

4.根据权利要求1所述的系统，其特征在于：所述将任意路径的权值计算数据矩阵经过地址映射存入任意路径的权值存储器组RAM_G中，是指在权值查找表输出数据同时，按设定方法产生写入任意路径的权值存储器组RAM_G的地址数据，该地址数据由片选地址和片内地址组成。

5.根据权利要求1所述的系统，其特征在于：所述任意路径的权值存储器组RAM_G，是指一种由137个双端口RAM及地址译码器组成的存储器映射框架，用于分组存储任意路径的权值数据。

6.根据权利要求1所述的系统，其特征在于：所述中间结果并行计算模块(33)，由137个计算比较子模块(331)、中间结果寄存器组REG_L(332)与节点数据缓存寄存器组(333)组成，计算比较子模块用于计算动态规划过程中子问题的局部最优解并暂存入中间结果寄存器组REG_L(332)中，同时将节点数据缓存入节点数据缓存寄存器组(333)，经过串并转换输出当前路径的节点数据。

7.根据权利要求1所述系统，其特征在于：所述生成有序向量模块(34)，由地址译码子模块(341)和控制子模块(342)组成，控制子模块(342)控制地址译码子模块(341)产生读C矩阵存储器RAM_C的首地址，将读出数据输入到地址译码子模块(341)的输入端口并存入S向量存器组REG_F中，地址译码子模块(341)输出下次读取C矩阵存储器RAM_C的地址数据，如此循环直到地址译码子模块(341)输出地址数据为0。

8.根据权利要求1所述系统，其特征在于：所述图像灰度值映射模块(35)由256个数值比较子模块(351)和数据选择子模块(352)组成，每个数值比较子模块(351)有两个阈值参数，分别是下限a_n和上限b_n，n表示数值比较子模块的序数，这两个阈值参数由S向量寄存器组REG_F中数据确定；每个高动态图像的像素值输入到所有数值比较子模块(351)的输入端口，当该像素值大于a_n并且小于b_n时，数据选择子模块(352)选择序数n作为该模块的输出。