CN101452572B - 基于三次平移算法的图像旋转vlsi结构 - Google Patents

Abstract

本发明属于VLSI结构设计领域，为一种基于三次平移算法的图像旋转VLSI结构。该结构基于三次平移和立方卷积插值算法的图像旋转ASIC结构设计，用于纠正因摄像机平台倾斜、抖动或运动所带来的图像不稳定问题，以及实现目标匹配中的模板旋转。本发明在三次平移旋转算法硬件实现结构的基础上，通过暂存平移量的方式减少了片上存储空间需求；通过引入延迟线(Delay Line)结构，实现了三次平移的流水线操作；通过对存储器和寄存器的写入数据控制实现了图像边缘扩展，减轻了图像边界的模糊现象。与现有结构相比，它有效降低了片上存储器容量，提高了处理速度，很好的解决了电子稳像的速度与精度难题。

Description

基于三次平移算法的图像旋转VLSI结构

技术领域

本发明属于超大规模集成电路(VLSI)结构设计领域，具体涉及到一种基于三次平移算法的图像旋转VLSI结构。

背景技术

随着光电监视、跟踪、侦察系统使用要求的不断提高，对图像信息的稳定性要求也日趋严格。图像的不稳定主要是由于摄像机载体的运动或姿态的变化会传递给摄像系统的瞄准线，造成摄像系统的光轴与目标之间出现无效的相对运动(包括平移和旋转)。因此有必要研究出高效的图像旋转硬件结构来满足电子稳像的高精度和高速度要求。

在数字图像旋转算法中，Paeth在“A Fast Algorithm for General RasterRotation”(Graphics Interface，1986：77-81)一文中提出的三次平移旋转算法因具有运算简单、无缩放效应，便于硬件实现等优点成为大多数图像旋转ASIC设计首选。其具体旋转矩阵如(1)式所式

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ \tan (\mathrm{\θ}/2)& 1\end{array}\right]\left[\begin{array}{cc}1& -\sin \mathrm{\θ}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& 0\\ \tan (\mathrm{\θ}/2)& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(1\right)$

其中，(x，y)和(x′，y′)分别表示图像旋转前后相应点的坐标，参数θ表示绕原点的旋转角度。要校正因载体不稳定而带来的序列图像间的几何对应性改变，若通过传感器测得θ的值，则可以根据式(1)的地址变换获得序列图像中前后帧的正确几何对应性。

由于旋转矩阵包含有sinθ、tan(θ/2)等浮点运算，旋转后的像素点一般不可能正好位于原始图像的整像素点上，所以旋转后的像素值就需要用插值算法计算出来。

Keys在“Cubic Convolution Interpolation for Digital Image Processing”(IEEE Transactions on Acoustics，Speech，and Signal Processing，1981，29(6)：1153-1160)一文中提出的立方卷积插值算法不仅考虑了原像素点周围像素点灰度值的影响，而且考虑了邻近像素点灰度值变化率的影响，频带宽，在图像高频区正确性更高。其插值核公式如下：

$s\left(v\right)=\left\{\begin{array}{cc}\frac{3}{2}{\left|v\right|}^3-\frac{5}{2}{\left|v\right|}^2+1& 0\&le;\left|v\right|<1\\ -\frac{1}{2}{\left|v\right|}^3+\frac{5}{2}{\left|v\right|}^2-4\left|v\right|+2& 1\&le;\left|v\right|<2\\ 0& \left|v\right|\&GreaterEqual;2\end{array}\right.---\left(2\right)$

二维立方卷积插值就是利用原像素点周围的16个像素点组成的像素阵列来插值得到旋转后像素点的像素值。

将二维立方卷积插值公式展开可以得到：

f(x，y)＝A·B·C    (3)

其中A＝[s(1+v)s(v)s(1-v)s(2-v)]

$B={\left[\begin{array}{cccc}f(i-1,j-1)& f(i-1,j)& f(i-1,j+1)& f(i-1,j+2)\\ f(i,j-1)& f(i,j)& f(i,j+1)& f(i,j+2)\\ f(i+1,j-1)& f(i+1,j)& f(i+1,j+1)& f(i+1,j+2)\\ f(i+2,j-1)& f(i+2,j)& f(i+2,j+1)& f(i+2,j+2\end{array}\right]}^T$

$C=\left[\begin{array}{c}s(1+u)\\ s\left(u\right)\\ s(1-u)\\ s(2-u)\end{array}\right]$

上述二维立方卷积插值应用到三次平移旋转算法中，由于每一次平移都是在一维进行的，所以每一次平移时u或v就必有一个为0。以第一次平移为例，则u为0，式(3)也就可以简化为：

$f(x,y)=\left[\begin{array}{cccc}s(1+v)& s\left(v\right)& s(1-v)& s(2-v)\end{array}\right]\&times;\left[\begin{array}{c}f(i-1,j)\\ f(i,j)\\ f(i+1,j)\\ f(i+2,j)\end{array}\right]---\left(4\right)$

但当2-v＞2时，由式(2)可知s(2-v)≡0，那么4点插值就相当于3点插值，精度将大大降低。为了解决这个问题，将(i，j)向相反方向的偏移v看作是(i-1，j)向正向偏移了1-v，那么在负向偏移的情况下，向左多取一个像素点，也就是取(i-2，j)、(i-1，j)、(i，j)、(i+1，j)四个点，就可以达到像素不丢失的目的。这样，插值公式就必须分情况考虑，具体实现公式如下：

if(v＞＝0)

$f(x,y)=\left[\begin{array}{cccc}s(1+|v\left|\right)& s\left(\right|v\left|\right)& s(1-|v\left|\right)& s(2-|v\left|\right)\end{array}\right]\&times;\left[\begin{array}{c}f(i-1,j)\\ f(i,j)\\ f(i+1,j)\\ f(i+2,j)\end{array}\right]$

else

$f(x,y)=\left[\begin{array}{cccc}s(2-|v\left|\right)& s(1-|v\left|\right)& s\left(\right|v\left|\right)& s(1+|v\left|\right)\end{array}\right]\&times;\left[\begin{array}{c}f(i-2,j)\\ f(i-1,j)\\ f(i,j)\\ f(i+1,j)\end{array}\right]$

而实现三次平移旋转算法的硬件结构一般流程如下：

(1)上位机将旋转角度、平移量、插值核参数及原始图像数据通过输入接口电路送至第一步插值与地址计算单元，实现第一次行平移和插值，本单元处理完毕后将图像传送至存储器1中缓存；

(2)第一次行平移处理完后，第二步插值与地址计算单元从存储器1中读取图像进行列插值与平移，并将计算结果送存储器2缓存；

(3)列平移完成后，第三步插值与地址计算单元再从存储器2中读取图像做第二次行插值与平移，最后结果经过输出接口电路送至外部存储器中。

这样，经过3次平移后就实现了图像的旋转，但这个硬件实现上存在一些问题和难点：

1、片上集成了两大块用以保存前一步平移后的图像的存储器，必将大大增加芯片的面积和成本。

2、由于存储器过大，使ASIC大部分时间花在存储器的读写访问上，没有发挥硬件的并行和流水线的速度优势。

发明内容

本发明针对数字图像处理中的旋转操作耗时多的问题，提供了一种基于三次平移算法的图像旋转VLSI结构，该结构在硬件实现时可以减小芯片的面积和成本，发挥硬件的并行和流水线的速度优势。

本发明提供的基于三次平移算法的图像旋转VLSI结构，其特征在于：它包括中心控制器，查找表单元，行插值核及平移量计算存储单元，列插值核及平移量计算存储单元，行列地址产生单元，第一次平移单元，第二次平移单元，第三次平移单元，输入接口单元和输出接口单元；

输入接口单元由一先入先出存储器构成；

查找表单元用于存储旋转角度的正弦和正切值；

行列地址产生单元负责生成查找行列整数平移量和插值核存储器的行列地址、存储中间图像的列地址、旋转后像素的行列地址；

中心控制器用于接收来自输入接口单元的图像旋转参数，利用接收到的旋转角度到查找表单元中找到对应的正弦正切值，并将接收到的行列信息传送给行列地址产生单元，并结合输入接口单元的存储状态，实时控制各个单元的状态控制和数据调度；

行插值核及平移量计算存储单元利用从查找表单元查找出的正切值，结合行列地址产生单元中行计数器产生的行计数，计算出每行的插值核及平移量，并加以存储；

列插值核及平移量计算存储单元利用从查找表单元查找出的正弦值，结合行列地址产生单元中列计数器产生的列计数，计算出每列的插值核及平移量，并加以存储；

第一次平移单元接收来自输入接口单元的串行输入图像以及实现图像的列扩展，并完成第一次插值操作，并将结果传送给第二次平移单元；

第二次平移单元负责暂存第一次平移后图像以及实现图像的行扩展，并完成第二次列平移及其插值操作，并传送给第三次平移单元；

第三次平移单元负责暂存第二次平移后的图像，以及从暂存的五行图像中选择处于同一行的四个像素完成第三次插值操作；

输出接口单元接收第三次平移单元的输出结果和行列地址产生单元产生的图像旋转后的行列地址，送入外部存储器。

与现有结构相比，本发明有效降低了片上存储器容量，提高了处理速度，很好的解决了电子稳像的速度与精度难题。具体而言，本发明具有以下技术效果：

(1)通过暂存平移量的方式减少了片上存储空间需求

在第一次平移插值过程中，插值后的结果存入行缓冲时考虑其平移量，即将插值后的结果存入其平移后的地址中；而第二次平移由于是列平移，平移量较大，如果将其插值后的结果存入其平移后的地址中，则存储器的容量会很大，将严重影响芯片的面积和成本。考虑到第二次平移后的地址就是图像旋转后的行地址，第三次平移后的地址就是图像旋转后的列地址，因此可以将第二次平移插值过程中的平移量暂存，将其插值结果顺序写入延迟线中，然后通过一定的选择算法确保从5×4寄存器组中读出的数据为同一行像素以完成第三次平移插值操作；当第三次平移插值单元完成插值运算后，再将暂存的第二次平移过程中的平移量与第三次平移过程中的平移量组合起来就可以得到最终图像旋转后的地址，将输出像素和对应的地址对齐就可以输出给ASIC外部的存储器。

(2)通过引入延迟线结构，实现了三次平移的流水线操作

摒弃传统三次平移旋转过程中三次平移插值操作依次进行的慢速结构，通过引入延迟线，将串行输入数据转化为多抽头的并行输出数据，方便下级完成插值运算。

(3)通过对存储器和寄存器的写入数据控制实现了图像边缘扩展，减轻了图像边界的模糊现象

(A)列扩展：每行第一列像素进入ASIC时，通过多路选择器置第一寄存器组的输入为输入像素，实现列扩展；

(B)行扩展：第一行像素进入ASIC时，通过多路选择器置第二寄存器组的输入为第一次插值输出结果，实现行扩展。

本发明在图像第二次平移过程中，采用暂存列地址平移量的方式，将用于缓冲第二次平移结果图像的存储器数量减少为原先的5％，显著减小了芯片总面积，降低了器件功耗和设计成本；该设计方案同时提高了流水线效率，使图像旋转所需要的总的时钟周期数减少为原先的30％。

附图说明

图1为基于三次平移算法的图像旋转VLSI总体结构示意图。

图2为中心控制器1的基本状态转移示意图。

图3为行列地址产生单元5的结构示意图。

图4为第一次平移单元6的结构示意图。

图5为第二次平移单元7的结构示意图。

图6为第三次平移单元8的结构示意图。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。

本发明提出的基于三次平移算法的图像旋转VLSI结构，是基于流水线操作和有限状态机的控制方式。如图1所示，本发明图像旋转VLSI结构包括中心控制器1，查找表单元2，行插值核及平移量计算存储单元3，列插值核及平移量计算存储单元4，行列地址产生单元5，第一次平移单元6，第二次平移单元7，第三次平移单元8，以及输入接口单元9和输出接口单元10。

本发明中，中心控制器1负责系统中各个模块的状态控制和数据调度。当控制器接收到外部启动信号后，进入芯片初始化阶段，开始接收来自输入接口单元9的图像旋转参数，接收完毕后，再利用接收到的旋转角度到查找表单元2中找到对应的正弦正切值。查找表单元2由两块只读存贮器(ROM)组成，用于存储旋转角度的正弦和正切值。行插值核及平移量计算存储单元3和列插值核及平移量计算存储单元4结构类似，分别用于完成行和列插值核及平移量的计算存储。行插值核及平移量计算模块利用查找出的正切值，结合行列地址产生单元5中行计数器产生的行计数，计算出每行的插值核及平移量，然后分别存储到一块单端口静态随机存储器(Single-Port RAM)中。列插值核及平移量计算存储单元与之类似。行列地址产生单元5负责生成查找行列整数平移量和插值核存储器的行列地址、存储中间图像的列地址、旋转后像素的行列地址等。中心控制器1将接收到的行列信息送入行列地址产生单元5，行列地址产生单元则以接收到的行列值为上限开始计数，当列计数满时行计数加1。同时结合三次平移过程中的整数平移量，计算出对应像素在中间缓存中的存储地址。第一次平移单元6接收来自输入接口单元9的串行输入图像以及实现图像的列扩展，并完成第一次插值操作；第二次平移单元7负责暂存第一次平移后图像以及实现图像的行扩展，并完成第二次列平移及其插值操作；第三次平移单元8负责暂存第二次平移后的图像，以及从暂存的5行图像中选择处于同一行的4个像素完成第三次插值操作；输入接口单元9由一先入先出存储器(输入接口单元9)构成。当芯片处于初始化阶段时，其输出为图像旋转参数，送入中心控制器1完成初始化操作；当芯片处于流水平移阶段时，其输出为串行图像数据，送入第一次平移单元6完成三次平移操作。同时控制器1结合先入先出存储器存储状态，实时控制整个芯片的工作状态。输出接口单元10接收第三次平移单元8的输出结果，并送入外部存储器。

下面对各个处理单元分别进行阐述。

中心控制器1的基本状态转移如图2所示。S0为空闲状态，S1为接收输入参数状态，S2为生成变量状态，S3为计算存储平移量及插值核状态，S4为流水旋转状态，S5为旋转完成状态。所有的状态转换及状态停留都发生在时钟跳变的上升沿。ASIC运行中，若检测到异步复位信号，则系统复位到S0状态，各信号也都置为无效状态。

此状态机中使用一个可变上限计数器，用于对各状态运行时间的计数，以控制状态的跳转。

S0为空闲状态：ASIC若检测到DSP发出的芯片启动信号，则转入S1态，开启输入接口电路9开始接收旋转参数，包括旋转角度，待旋转图像的行数和列数；否则，停留在S0态，等待有效的启动信号。

S1为接收参数状态：开启计数器，接收来自输入接口电路9的旋转参数，并停留在S1态，直至所有参数接收完毕，计数器清零，转入S2态。

S2为生成变量状态：开启计数器，以在S1状态中接收的有效旋转参数为基础，计算旋转算法中要用的一些变量，包括扩展后图像的行数和列数，最大行平移量以及最大列平移量等，并停留在S2态，直至所有变量的计算完成，计数器清零，转入S3态。

S3为计算存储平移量及插值核状态：计算并存储扩展后图像的行列平移量及插值核。当行平移方向、行整数平移量以及行插值核都存储完毕后，发出行初始化完成信号；当列平移方向、列整数平移量以及列插值核都存储完毕后，发出列初始化完成信号；只有当行列初始化都完成的情况下，即行列初始化信号都有效时，才转入S4态，否则停留在S3态，直至行列初始化都完成。

S4为流水旋转状态：接收来自输入接口电路的图像数据，以及读取在S3态中存储的平移量和插值核数据，流水实现图像的三次平移操作，直至最后一个有效像素从第三次平移单元7输出，转入S5；否则，停留在S4态，继续流水处理旋转图像。

S5为旋转完成状态：ASIC发出旋转完成信号，转入S0态，等待下一次的旋转操作。

如图3所示，行列地址产生单元5包括列计数器51、行计数器52及加法器53、54、55。当列计数器51计数为0时，表明当前处理列为第一列，此时产生头列指示信号I1，进行头列扩展，同时开始读输入输入接口单元9中的输入像素；当列计数器51计数大于列数M时，表明外部图像数据输入到达最后一列，此时产生尾列指示信号I2，进行尾列扩展，同时停止读输入接口单元9；当列计数器51计数为M+N×tanθ/2+1+1时，表明行缓冲71读取一行完毕，可以进入下一行操作。当列计数器51计数满时行计数器52加1。当行计数器52计数为0时，表明当前处理行为第一行，此时产生头行指示信号I3，进行头行扩展；当行计数器52计数大于行数N时，表明外部图像数据输入完毕，此时产生尾行指示信号I4，进行尾行扩展，扩展完毕后旋转完成。第一加法器53将第一次平移量与当前处理的列号相加得到图像第一次平移后的列地址，并作为行缓冲71的写地址送入第二次平移单元7。第二加法器54将暂存的第二次平移量与当前处理的行号相加得到图像旋转后的行地址，第三加法器55将第三次平移量与当前处理的列号相加得到图像旋转后的列地址，两者组合后作为第三插值计算单元84计算结果的存储地址送入输出接口单元10。

如图4所示，第一次平移单元6包括第一多路选择器组61、第一寄存器组62、第一寄存器63和第一插值计算单元64。第一寄存器63接收来自输入接口单元9的串行输入图像，经过一级寄存后，同第一寄存器组62的下两路输出一起作为第一多路选择器组61的其中一路输入，而第一多路选择器组61的另一路输入则都来自输入接口单元9的输出。在第一列指示信号I1的控制下选择其中一路输出，用于实现串并转换模式到列扩展模式的切换，即在输入每行第一列数据的时候，使用该数据填充第一寄存器组62，实现图像横向边沿扩展。第一寄存器组62将来自第一多路选择器组61的输出寄存一级后，同第一寄存器63的输出一起进入第一插值计算单元64，完成一维立方卷积行插值操作，也就是完成式(4)中的乘加运算，其结果送入第二次平移单元7。

如图5所示，第二次平移单元7包括行缓冲71、第一延迟线72、第二多路选择器组73、第二寄存器组74、第二寄存器75和第二插值计算单元76。行缓冲71选用双口静态随机存储器(Two-Port RAM)模型，输入接第一插值计算单元64的输出，输出接第二寄存器75。为了避免读写地址冲突，强制每行读起始地址为0，写起始地址为[图像行数/2×tanθ/2]+第一平移量+1。第一延迟线72共分4级，由4块双口静态随机存储器(Two-Port RAM)组成，每块存储器的深度为M+N×tanθ/2+1-1，其中M，N，θ分别为待旋转图像的列数，行数和旋转角度，从下往上级数依次递增。第一级输入接第二寄存器75的输出，后3级输入分别接第二寄存器组74的上一级输出，4级输出作为第二多路选择器组73的其中一路输入，而第二多路选择器组73的另一路输入则都来自行缓冲71的输出，在第一行指示信号I2的控制下选择其中一路输出，实现一般模式到行扩展模式的切换，即在输入第一行数据的时候，使用该行数据填充第一延迟线72，实现图像纵向边沿扩展。第二寄存器75接收来自行缓冲71的输出，第二寄存器组74接收来自第二多路选择器组73的输出，二者经过一级寄存后，将结果并行送入第二插值计算单元76，完成一维立方卷积列插值运算，其计算结果送入第三次平移单元8。

如图6所示，第三次平移单元8包括第二延迟线81、5×4寄存器组82、同行选择器83和第三插值计算单元84。第二延迟线81共分5级，由5块双口静态随机存储器(Two-Port RAM)组成，每块存储器的深度为M+N×tanθ/2+1-5，其中M，N，θ分别为待旋转图像的列数，行数和旋转角度，从下往上级数依次递增。第一级输入接第二插值计算单元76的输出，后4级输入分别接5×4寄存器组82的上一级输出，5级输出则作为5×4寄存器组82的输入。5×4寄存器组82将第二延迟线81的输出寄存4级后，将这20个寄存器的值送入同行选择器83。同行选择器83从20个相邻像素中选出处于同一行的4个像素后送入第三插值计算单元84完成最后一次的插值计算，其输出将作为最终旋转结果，经过输出接口电路10送入外部存储器。

Claims (1)

1.一种基于三次平移算法的图像旋转VLSI结构，其特征在于：它包括中心控制器(1)，查找表单元(2)，行插值核及平移量计算存储单元(3)，列插值核及平移量计算存储单元(4)，行列地址产生单元(5)，第一次平移单元(6)，第二次平移单元(7)，第三次平移单元(8)，输入接口单元(9)和输出接口单元(10)；

输入接口单元(9)由一先入先出存储器构成；

查找表单元(2)用于存储旋转角度的正弦和正切值；

行列地址产生单元(5)负责生成查找行列整数平移量和插值核存储器的行列地址、存储中间图像的列地址、旋转后像素的行列地址；

中心控制器(1)用于接收来自输入接口单元(9)的图像旋转参数，利用接收到的旋转角度到查找表单元(2)中找到对应的正弦正切值，并将接收到的行列信息传送给行列地址产生单元(5)，并结合输入接口单元(9)的存储状态，实时控制各个单元的状态控制和数据调度；

行插值核及平移量计算存储单元(3)利用从查找表单元(2)查找出的正切值，结合行列地址产生单元(5)中行计数器产生的行计数，计算出每行的插值核及平移量，并加以存储；

列插值核及平移量计算存储单元(4)利用从查找表单元(2)查找出的正弦值，结合行列地址产生单元(5)中列计数器产生的列计数，计算出每列的插值核及平移量，并加以存储；

第一次平移单元(6)接收来自输入接口单元(9)的串行输入图像以及实现图像的列扩展，并完成第一次插值操作，并将结果传送给第二次平移单元(7)；

第二次平移单元(7)负责暂存第一次平移后图像以及实现图像的行扩展，并完成第二次列平移及其插值操作，并传送给第三次平移单元(8)；

第三次平移单元(8)负责暂存第二次平移后的图像，以及从暂存的五行图像中选择处于同一行的四个像素完成第三次插值操作；

输出接口单元(10)接收第三次平移单元(8)的输出结果和行列地址产生单元(5)产生的图像旋转后的行列地址，送入外部存储器；

行列地址产生单元(5)包括列计数器(51)、行计数器(52)及第一、第二和第三加法器(53、54、55)；

列计数器(51)根据其计数产生相应的列扩展指示信号，进行列扩展，并将列计数分别传送给第一、第二加法器(53、54)；在计数满时，发送进位信号给行计数器(52)；

行计数器(52)根据其计数产生相应的行扩展指示信号，进行行扩展，并将行计数传送给第三加法器(55)；当接收到进位信号时，行计数器(52)的计数加1；

第一加法器(53)将第一次平移量与当前处理的列号相加得到图像第一次平移后的列地址，并送入第二次平移单元(7)；

第二加法器(54)将暂存的第二次平移量与当前处理的行号相加得到图像旋转后的行地址，并送入输出接口单元(10)；

第三加法器(55)将第三次平移量与当前处理的列号相加得到图像旋转后的列地址，两者组合后送入输出接口单元(10)；

第一次平移单元(6)包括第一多路选择器组(61)、第一寄存器组(62)、第一寄存器(63)和第一插值计算单元(64)；

第一寄存器(63)接收来自输入接口单元(9)的串行输入图像，经过一级寄存后，同第一寄存器组(62)的下两路输出分别作为第一多路选择器组(61)各选择器的一路输入；输入接口单元(9)的输出作为第一多路选择器组(61)各选择器的另一路输入；第一多路选择器组(61)在列指示信号的控制下选择其中一路输出，用于实现串并转换模式到列扩展模式的切换，并使用输入接口单元(9)提供的数据填充第一寄存器组(62)；第一寄存器组(62)将来自第一多路选择器组(61)的输出寄存一级后，同第一寄存器(63)的输出一起进入第一插值计算单元(64)，完成一维立方卷积行插值操作，其结果送入第二次平移单元(7)；

第二次平移单元(7)包括行缓冲(71)、第一延迟线(72)、第二多路选择器组(73)、第二寄存器组(74)、第二寄存器(75)和第二插值计算单元(76)；

行缓冲(71)输入接第一插值计算单元(63)的输出，输出接第二寄存器(75)；第一延迟线(72)由4级存储器构成，第一级输入接第二寄存器(75)的输出，后3级输入分别接第二寄存器组(74)的上一级输出，4级输出作为第二多路选择器组(73)的其中一路输入，第二多路选择器组(73)的另一路输入则都来自行缓冲(71)的输出，行指示信号的控制下选择其中一路输出，实现一般模式到行扩展模式的切换，使用行缓冲(71)的输出数据填充第一延迟线(72)，实现图像纵向边沿扩展；

第二寄存器(75)接收来自行缓冲(71)的输出，第二寄存器组(74)接收来自第二多路选择器组(73)的输出，二者经过一级寄存后，将结果并行送入第二插值计算单元(76)，完成一维立方卷积列插值运算，其计算结果送入第三次平移单元(8)；

第三次平移单元(8)包括第二延迟线(81)、5×4寄存器组(82)、同行选择器(83)和第三插值计算单元(84)；

第二延迟线(81)由5级存储器构成，第一级输入接第二插值计算单元(76)的输出，后4级输入分别接5×4寄存器组(82)的上一级输出，5级输出则作为5×4寄存器组(82)的输入；5×4寄存器组(82)将第二延迟线(81)的输出寄存4级后，将各寄存器的值送入同行选择器(83)；同行选择器(83)从所有相邻像素中选出处于同一行的4个像素后送入第三插值计算单元(84)。

Images