CN113933111B - 一种实现图像尺寸放大的上采样装置及其方法 - Google Patents

Abstract

本发明提供了一种实现图像尺寸放大的上采样装置及其方法。其装置包括数据存储单元、数据传输单元、数据接收单元、卷积运算单元、读控制单元和写控制单元。本发明提供的实现图像上采样的方法，可以对不同尺寸图像、不同类型的图像进行处理，同时采用了流水化、模块化的思想，通过对处理的图像数据进行分块处理，重复使用分块中部分数据，例如分块的某一行及某一列，以避免卷积操作造成的图像的信息损失，提升了图像上采样的效果，也减少了硬件资源的开销。

Description

一种实现图像尺寸放大的上采样装置及其方法

技术领域

本发明涉及一种针对图像处理中实现尺寸放大的上采样装置和方法，属于图像处理技术领域。

背景技术

在图像处理算法中，需要在不损失图像信息的情况下，将现有图像缩放至合适尺寸，其中放大图像以将其显示在更高分辨率的显示设备上的操作就是上采样。图像上采样的方法包括线性插值、反卷积(transposed convolution，其实也是一种特殊的正向卷积)、反池化(unpooling)等，通过将输入图像进行补零，来扩大图像尺寸，接着与特定卷积核进行卷积，从而达到还原原来图像尺寸的目的。

具体而言，线性插值分为最近邻插值算法、双线性插值、双三次插值算法，最近邻插值即在像素点周围插上与该像素点灰度完全相同的像素，采用该方法的缺点在于容易在图像上产生马赛克块，成像效果不佳，优点是计算量小，处理速度快；双线性插值是将图像的横向和纵向看作x轴和y轴，在x轴和y轴方向依次做线性变换，经过两次线性变换之后，在待插像素点处插入所求像素值，优点在于处理速度居中，效果也优于最近邻插值，但是会使得图像的细节产生退化；双三次插值，通过对距离待求像素点最近的十六个采样点的值做加权平均，优点在于图像处理效果最佳，但是处理速度也最慢，计算复杂度高。

另外就是基于深度学习的方法，转置卷积对于输入数据只是执行了常规的卷积操作，但是可以重建图像先前的空间分辨率，可以实现图像的粗粒化效果，且参数可学习，很适合用于编解码器中；反池化的做法比较简单，分为反平均池化和反最大池化，反平均池化就是将平均池化操作所生成的平均值补位到待求像素点处，反最大池化就是在最大池化像素点处保留像素值，在待求像素点处补零，由于反池化操作只能通过补位来实现信息的相对完整，所以是会存在图像信息丢失的问题。

发明内容

为了能够在较小的硬件开销下，更好地实现图像像素尺寸的还原，本发明对图像处理的具体过程和方法进行了一定的优化，减少图像的搬运重叠，并为之提出了一种具体的装置和方法。

本发明装置采用的技术方案如下：

一种实现图像尺寸放大的上采样装置，包括：总控制单元，用于协调控制不同单元的工作时序；

读控制单元，用于配置图像数据存储的起始地址和突发传输长度，并采用分块读取的策略从数据存储单元读取数据；

写控制单元，用于配置数据写入数据存储单元的地址信息和传输长度，并将卷积运算单元的运算结果数据写入数据存储单元；

数据传输单元，用于传输数据；

数据存储单元，用于存储待处理的图像数据，以及接受卷积运算单元的运算结果；

数据接收单元，用于接收数据传输单元的数据，并对输入的图像数据进行插零和补零操作；

卷积运算单元，用于读取数据接收单元经插零和补零操作后的图像数据，并进行卷积运算。

进一步地，所述数据传输单元采用FIFO。

进一步地，所述数据存储单元采用DRAM存储器，当读控制单元发起读数据请求时，数据存储单元将需要送出的数据经由数据传输单元传输至数据接收单元，当写控制单元发起写数据请求时，数据存储单元将卷积运算单元的运算结果写入数据存储单元。

进一步地，所述数据接收单元中，进行插零和补零操作的规则为：第1列分块的最左侧需要补一列0，第2列至第n列分块的最左侧不补零；第1行分块的最上方补一行0，第2行至m行分块的最上方不补零；补完零之后按照每次传输4行3列数据的方式传输给卷积运算单元；其中，m代表图像分块的行，n代表图像分块的列。

本发明还提供一种实现图像尺寸放大的上采样的方法，包括以下步骤：

(1)假设输入图像的长和宽分别为M、N，将输入图像进行分块，长边分为m行，宽边分为n列，整个图像即分为m*n个分块；

(2)根据图像的存储地址，记录下每个分块最后一行的地址last_addr，从而分块读取数据；

(3)根据分块地址进行数据读取，对读取之后的图像数据进行插零以及补零操作；

(4)将步骤(3)处理后的图像数据进行卷积运算操作，包括乘法和累加操作，并将累加结果进行移位输出；

(5)将卷积运算结果进行存储。

进一步地，步骤(2)中，在进行读取数据的时候，第2行分块至m行分块需要分别复用第1行至m-1行分块的最后一行，第2列至n列分块需要分别复用第1列至n-1列分块的最后一列，从而减弱图像在卷积运算操作中所造成的信息损失。

进一步地，步骤(3)中，进行插零以及补零操作的具体步骤为：第1列分块的最左侧需要补一列0，第2列至第n列分块的最左侧不补零；第1行分块的最上方补一行0，第2行至m行分块的最上方不补零。

进一步地，步骤(4)中，在进行卷积运算操作的时候，采用两个8bit乘8bit的乘法单元，并且每次取出12个点的图像数据，即4行3列的图像像素点，与上采样的卷积核进行乘法操作，并将结果进行累加，最后将运算结果右移quant位，并截取低8位输出；其中quant为量化系数。

本发明适合深度学习的相关应用，通过卷积操作来实现图像尺寸的放大，并且为了照顾图像数据处理的速度，将图像分块处理，并且采用了行列复用的方式，来弱化数据处理过程中带来的图像数据损失。本发明具有以下有益效果：

(1)方法中的数据处理流程采用了流水化、模块化的思路，通过对数据不同处理阶段的流水化，实现整体处理速度的提升，缩短关键路径，并且通过配置不同的模块，以实现整体工作的稳定，可监测，提升数据处理的可靠性。

(2)通过对处理的图像数据进行分块处理，同时，重复使用分块中部分数据，例如分块的某一行及某一列，以避免卷积操作造成的图像的信息损失，提升了图像上采样的效果。

(3)通过每次处理小批量的数据，减少了硬件资源的开销，尤其是对图像的卷积运算操作，所消耗的资源减少了许多。

附图说明

图1是本发明实现图像上采样的硬件装置的整体架构图。

图2是总控制单元协调的内部工作顺序示意图。

图3是图像的分块策略示意图。

图4是数据接收单元的数据处理流程图。

图5是卷积计算单元的内部结构图。

具体实施方式

下面结合附图对本发明方案进行详细说明。

针对输入图像进行上采样，放大图像尺寸的硬件装置整体架构如图1所示。该装置包括以下组成部分：

总控制单元，负责协调控制不同单元的工作时序，并且协调各个模块稳定有序工作；

读控制单元，负责配置图像数据存储的起始地址、突发传输长度，从图像数据存储单元分块读取数据；

写控制单元：负责配置数据写入数据存储单元的信息，包括数据写入DRAM的地址信息、传输长度等，将卷积运算单元的结果数据写入数据存储单元；

数据传输单元：由于DRAM数据的读取速度与卷积运算单元的运算速度无法完全匹配，所以采用FIFO，实现大批量数据的稳定传输；

数据存储单元：即DRAM存储器，负责存储待处理的图像数据，以及接收卷积运算单元的运算结果，当读控制单元发起读数据请求时，数据存储单元将需要送出的数据经由FIFO传输至数据接收单元，当写控制单元发起写数据请求时，将运算结果写入数据存储单元；

数据接收单元：数据传输单元将数据传输过来时，需要对输入的图像数据进行插零和补零操作，补完零之后将数据传输给卷积运算单元；

卷积运算单元：读取数据接收单元的图像数据，用于卷积运算，并将运算结果量化，右移quant位，并截取低8位输出，处理完分块数据之后，接收卷积运算单元传出的有效信号，将数据输出并传输至数据存储单元。其中，quant为事先存储在卷积运算单元内的设定的量化系数。

本发明利用上述装置实现图像上采样的方法，包括以下步骤：

(1)首先输入图像数据，根据图像在数据存储单元内的存储顺序和具体地址，由读控制单元指定当前传输的图像信息，配置突发传输长度，根据总控制单元的状态信号，进入读状态。图像需要分块传输，整体图像的像素规格为长度*宽度*通道数，传输时对图像进行划分，例如对于尺寸为M*N的图像，将图像长边划分m块，短边划分为n块，共计m*n个分块，并根据图像分块地址依次传输。并且为了避免卷积操作引起的数据损失，分块之间存在行列数据的复用，图像的第2行分块至m行分块需要分别复用第1行至m-1行分块的最下一行，第2列至n列分块需要分别复用第1列至n-1列分块的最右一列，具体的图像分块及复用策略如图3所示，对于每一个图像分块的最后一行的地址last_addr，在读取下一行的分块时，要从last_addr-1，即上一行分块的最后一行数据的起始地址开始读起。

(2)读取RAM中图像数据，用于卷积运算。在读取数据的时候，FIFO不空则可以开始读取数据。对于除第一行的分块，其余的行分块最上面一行的上方不需要补零，因为复用了上面一行图像的数据，在存储输入图层时，由于是逐行存储，因此控制单元会记录下每行的最后写入的地址last_addr，在复用时，只需从last_addr-1的地址开始读取即可。

(3)然后，根据步骤(1)中描述的逐行传输的原则，需要例化宽度为((M/m)*8bit)，深度为N的寄存器组用于存储一行分块的数据。数据接收模块在接收到控制模块传输的当前分块信息之后，对输入的图像数据进行补零和插零操作。补零操作需要在整体输入图像上下左右补一行或者一列零，插零即在每个输入像素的上下左右插零。对于控制单元指定的分块规则，插零时有如下约束：图像最上一行的分块补一行零，其余行分块的最上面一行由于复用了上面一个分块的最下面一行，因此不需要补零，图像最左侧一列分块补一列零，其余列分块由于分别复用了左边一列分块的最右侧一列数据，也不需要补零。除去图像整体的最上面一行和最下面一行的补零，图像最左侧一列和最右侧一列的补零，可以和插零一起实现。插零的操作可以设置一个深度为(N/n)，宽度为(2(M/m)+1)*8bit的临时寄存器组，利用位拼接运算向每个输入像素的两侧插零。至于中间的列分块，需要复用该分块左侧分块的最右侧一列数据的，可以设置另外一个寄存器组，存储列分块最右侧的图像数据，在复用时，输出对应某行某列的像素数据。具体流程见图4。

(4)在数据接收单元完成了插零及补零的操作之后，就可以单次输出4行3列的图像数据，采用两个滑窗做运算，一个滑窗处理1、2、3行的数据，一个滑窗处理2、3、4行的数据，依次往下类推，送至卷积运算单元做乘累加运算，并且根据寄存在卷积运算单元的量化系数quant，右移quant位，并截取低8位输出。由于上采样层的特殊性，本实施例采用固定的卷积核[[0.25,0.5,0.25],[0.5,1,0.5],[0.25,0.5,0.25]]来做卷积运算，卷积运算单元结构如图5。卷积运算单元采用两个8bit乘8bit的乘法单元，并且每次取出12个点的图像数据，即4行3列的图像像素点，与上采样的卷积核进行乘法操作。

(5)当卷积运算完毕之后，就可以输出有效信号，在写控制模块的控制下，将运算结果输出至数据传输单元FIFO的输入端口，若FIFO不空，则可以写入，数据经由FIFO传输至数据存储单元。以上传输数据，卷积运算，结果传输的过程都可同步完成。

上述整个处理数据的流程都是并行执行的，通过总控制单元调节各个部分的工作时序，以及监测各部分工作是否正常。

实施例

假设输入的图像信息参数如下，为544*960*3的RGB图片，在传输时，将图像分成多块小分块，划分方案如下：行方向，544行分为16行，每一行分块有34行，列方向有12列，每列分块有80列像素点。假定总共3幅图像，每幅图像被分为192块，每块图像的尺寸为34*80，图像在数据存储单元是逐行存储的。

读控制单元：控制数据存储单元每次输出单个分块的一行数据，在传输时，逐行传输，即数据存储单元的输出位宽为80*8bit，每8bit的数据表示一个像素点。并将分块逐行传输，再传输完一行分块之后，再传输下一行分块，直至传输完所有16行分块。在传输第2行至第16行分块的时候，要复用第1行至第15行分块的最后一行。

数据接收单元：当接收到数据传输单元传输的图像分块信息之后，对输入的图像进行补零和插零操作。对于前面所述的分块规则，插零时有如下约束：图像最上一行的分块补一行零，2至16行分块的最上面一行由于复用的原因，不需要插零；图像最左侧一列分块补一列零，第2至12列分块由于分别复用了第1列至第11列分块的最右侧一列数据，也不需要插零，单个分块的尺寸为34*80，在插零及补零操作完成之后，即成为尺寸为69*161的分块。另外分块之间存在复用的策略，行复用直接通过控制读取数据的起始地址来实现，列复用即通过例化深度为11，宽度为34*8bit的寄存器组，用于存储一行、第2至12列分块所需要复用的数据。在完成数据的插零和补零之后，每次输出4行3列的图像数据，供卷积运算单元处理，每个分块逐行输出，直至输出至单个分块的第31至34行，第78至第80列数据，单个分块输出完毕，进入下一分块的输出。

卷积运算单元：在提取出信息之后，做乘累加运算，同时根据单元寄存的量化系数quant，将输出结果右移quant位，再截取低8位输出，当计算完毕的时候，向数据传输单元和写控制模块发送有效信号。

数据传输单元：当读控制模块告知进入读取数据的状态时，接收数据存储单元的读使能信号，将数据传输至数据接收模块；当卷积运算单元输出运算结果的时候，接收其发出的有效信号，在写控制单元告知进入写状态后，将数据传输至数据存储单元。

Claims (8)

1.一种实现图像尺寸放大的上采样装置，其特征在于，该装置包括：

总控制单元，用于协调控制不同单元的工作时序；

读控制单元，用于配置图像数据存储的起始地址和突发传输长度，并采用分块读取的策略从数据存储单元读取数据；在读取数据的时候，第2行分块至m行分块需要分别复用第1行至m-1行分块的最后一行，第2列至n列分块需要分别复用第1列至n-1列分块的最后一列，其中，m代表图像分块的行，n代表图像分块的列；

写控制单元，用于配置数据写入数据存储单元的地址信息和传输长度，并将卷积运算单元的结运算结果数据写入数据存储单元；

数据传输单元，用于传输数据；

数据存储单元，用于存储待处理的图像数据，以及接受卷积运算单元的运算结果；

数据接收单元，用于接收数据传输单元的数据，并对输入的图像数据进行插零和补零操作；

卷积运算单元，用于读取数据接收单元经插零和补零操作后的图像数据，并进行卷积运算。

2.根据权利要求1所述的一种实现图像尺寸放大的上采样装置，其特征在于，所述数据传输单元采用FIFO。

3.根据权利要求1所述的一种实现图像尺寸放大的上采样装置，其特征在于，所述数据存储单元采用DRAM存储器，当读控制单元发起读数据请求时，数据存储单元将需要送出的数据经由数据传输单元传输至数据接收单元，当写控制单元发起写数据请求时，数据存储单元将卷积运算单元的运算结果写入数据存储单元。

4.根据权利要求1所述的一种实现图像尺寸放大的上采样装置，其特征在于，所述数据接收单元中，进行插零和补零操作的规则为：第1列分块的最左侧需要补一列0，第2列至第n列分块的最左侧不补零；第1行分块的最上方补一行0，第2行至m行分块的最上方不补零；补完零之后按照每次传输4行3列数据的方式传输给卷积运算单元；其中，m代表图像分块的行，n代表图像分块的列。

5.一种实现图像尺寸放大的上采样的方法，其特征在于，包括以下步骤：

(1)假设输入图像的长和宽分别为M、N，将输入图像进行分块，长边分为m行，宽边分为n列，整个图像即分为m*n个分块；

(2)根据图像的存储地址，记录下每个分块最后一行的地址last_addr，从而分块读取数据；在进行读取数据的时候，第2行分块至m行分块需要分别复用第1行至m-1行分块的最后一行，第2列至n列分块需要分别复用第1列至n-1列分块的最后一列；

(3)根据分块地址进行数据读取，对读取之后的图像数据进行插零以及补零操作；

(4)将步骤(3)处理后的图像数据进行卷积运算操作，包括乘法和累加操作，并将累加结果进行移位输出；

(5)将卷积运算结果进行存储。

6.根据权利要求5所述的一种实现图像尺寸放大的上采样的方法，其特征在于，步骤(3)中，进行插零以及补零操作的具体步骤为：第1列分块的最左侧需要补一列0，第2列至第n列分块的最左侧不补零；第1行分块的最上方补一行0，第2行至m行分块的最上方不补零。

7.根据权利要求5所述的一种实现图像尺寸放大的上采样的方法，其特征在于，步骤(4)中，在进行卷积运算操作的时候，采用两个8bit乘8bit的乘法单元，并且每次取出12个点的图像数据，即4行3列的图像像素点，与上采样的卷积核进行乘法操作，并将结果进行累加，最后将运算结果右移quant位，并截取低8位输出；其中quant为量化系数。

8.根据权利要求7所述的一种实现图像尺寸放大的上采样的方法，其特征在于，卷积运算采用固定的卷积核，即采用[[0.25,0.5,0.25],[0.5,1,0.5],[0.25,0.5,0.25]]。

Images