CN209593615U - 一种用于视频去隔行的帧场图像缓存及访问电路 - Google Patents

Abstract

一种用于视频去隔行的帧场图像缓存及访问电路,其特征在于，包括输入视频场信号缓存电路，参考帧缓存及访问电路和视频后处理去隔行电路，所述输入视频场信号缓存电路与视频后处理去隔行电路相连，所述参考帧缓存及访问电路与视频后处理去隔行电路相连，所述参考帧缓存及访问电路用于运动估计和运动补偿。本实用新型电路能够最小化视频后处理电路的参考帧缓存访问时延，避免视频数据输入停顿；降低控制电路复杂度；降低帧缓存的访问频率和数据接口时钟频率，减小帧缓存相关电路功耗。

Description

一种用于视频去隔行的帧场图像缓存及访问电路

[技术领域]

本实用新型涉及视频去隔行技术领域，具体涉及一种用于视频去隔行的帧场图像缓存及访问电路。

[背景技术]

帧缓存与访问技术在数字视频编码、传输、解码、回放相关产品中广泛使用。在视频解码完成后回放前的视频后处理阶段，帧率或视频图像分辨率的改变、隔行图像向逐行图像的转换都需要利用帧缓存存储回放显示图像，并将该缓存帧作为参考帧用于新的回放帧计算。

现有设计的帧缓存和访问技术主要基于视频图像的像素访问，即帧缓存的数据操作最小粒度为单个像素。一个像素块的帧缓存写入或读出需要较多时钟周期完成，例如一个8x8像素块的读写均需要64个时钟周期。部分参考设计采用了帧缓存结合串联的像素行FIFO缓存，以保证帧图像的同一列连续多个像素同时输出到视频后处理电路，通过多个FIFO的并行输出减小帧缓存的读出操作频率。

现有技术存在以下缺陷：

(1)以像素为单位的帧缓存访问造成帧缓存存储器的访问频率过高

如图1所示，对于一个块尺寸为8x8像素,参考帧搜索范围为在x和y方向均为-16～+16的设计，搜索区范围为40x40。每次处理像素块切换到相邻右侧块时，以块为中心的搜索区需要读取5个块新的像素值，即320个像素。对于平均64个像素输入时钟周期的块处理时间，相当于缓存帧需要以320/64＝5倍的像素时钟频率读访问帧缓存。对于单端口SRAM缓存设计，高时钟频率造成功耗增加，同时制约视频分辨率的提升。

(2)以像素为单位的帧缓存访问造成视频后处理电路本地存储增高

如图1所示，在每个块的处理周期内，搜索窗右侧需要读入5个块的像(图中选线框内的块)，即8x40像素，但靠上的4个块为当前视频图像处理过程中已读入过的像素块。如果为了减小帧缓存访问频率而本地缓存靠上的4块，每个块处理周期从帧缓存读入像素减小为一个块，即图中打钩标记的块。但视频处理电路内部需要缓存多个条带的像素(上图例中需要缓存4个条带(条带定义为帧或场图像的一行像素块)和5个块的像素)，造成电路面积和功耗开销显著上升。相对而言，视频处理基于IP或片外缓存，如FIFO、SRAM、SDRAM等，在功耗和电路面积方面优势更高。

(3)以像素为单元读写帧缓存结合像素行FIFO缓存造成视频处理停顿

部分参考设计在参考帧缓存与视频处理电路之间配置像素行的FIFO缓存。FIFO的存储数据深度为图像的行宽度，即每个FIFO可保存一行像素。同一条带内的块处理过程中，参考像素可按列自动输入，视频输入控制简化。但当处理像素块切换到下一条带，向像素行FIFO导入新条带数据需要大量数据缓冲时间，造成视频处理停顿，处理效率降低。基于像素行FIFO缓存的设计以像素为单位读写帧缓存，视频后处理电路相应地以像素时钟驱动，时钟频率较高。高复杂度的计算须分割为多时钟周期实现，造成电路设计复杂度和实现成本增加。

[实用新型内容]

为了克服现有技术缺陷，本实用新型提供了一种用于视频去隔行的帧场图像缓存及访问电路，其目的在于，1)最小化视频后处理电路的参考帧缓存访问时延，避免视频数据输入停顿；2)通过合理设置帧缓存访问电路简化视频后处理的帧缓存读取控制流程，降低控制电路复杂度；3)降低帧缓存的访问频率和数据接口时钟频率，减小帧缓存相关电路功耗；4)降低视频后处理的驱动时钟频率，在较长时钟周期实现复杂计算，减小视频后处理时钟周期数及相应的动态功耗；5)优化视频后处理控制，最小化参考帧缓存数据量，减小存储电路面积；6)提高视频帧缓存电路设计的可配置性和可扩展性，提升本实用新型的电路在视频后处理及其他视频信号处理应用的适用范围。

为了实现以上目的，本实用新型的技术方案如下：

一种用于视频去隔行的帧场图像缓存及访问电路,其特征在于，包括输入视频场信号缓存电路，参考帧缓存及访问电路和视频后处理去隔行电路，所述输入视频场信号缓存电路与视频后处理去隔行电路相连，所述参考帧缓存及访问电路与视频后处理去隔行电路相连，所述参考帧缓存及访问电路用于运动估计和运动补偿。

进一步地，所述输入视频场信号缓存电路包括解复用器，像素转场块列FIFO，复用器，场块列FIFO和输入场块缓存，所述解复用器与像素转场块列FIFO相连，所述像素转场块列FIFO与复用器相连，所述复用器和场块列FIFO相连，所述场块列FIFO与输入场块列缓存相连，所述输入场块缓存与视频后处理去隔行电路相连。

进一步地，所述像素转场块列FIFO包括单像素输入多行像素并行输入控制电路。

进一步地，所述参考帧缓存及访问电路包括参考帧缓存SRAM存储器，多个帧块列FIFO，参考帧搜索窗，参考帧抓取模块，所述参考帧缓存SRAM存储器的写端口和读端口与视频后处理去隔行电路相连，所述参考帧缓存SRAM存储器的读端口与多个帧块列FIFO相连，所述多个帧块列FIFO相连与参考帧搜索窗相连，所述参考帧搜索窗与参考帧抓取模块相连，所述参考帧抓取模块与视频后处理去隔行电路相连。

进一步地，所述参考帧缓存SRAM存储器和帧块列FIFO输出的帧块列并行输入到参考帧搜索窗缓存。

本实用新型的有益效果为：

基于帧块列的帧缓存访问，并以像素块列为帧缓存的基本存储单元。相对于基于单个像素的帧缓存访问方式，本实用新型显著降低帧缓存数据接口时钟频率，并降低相应的频后处理数据接口电路及视频处理电路时钟频率，实现低时钟频率视频后处理架构，带来的优势包括：整体功耗降低，视频后处理计算的时序控制电路得以简化。

采用多个串联的帧块列FIFO串行缓存帧缓存输出数据，FIFO的数据接口宽度为帧块列。实用新型通过帧缓存及各FIFO的数据输出端口向视频后处理电路并行(拼接方式)提供搜索窗缓存区的列写入数据。该方式相对于其他背景技术，简化了视频后处理的参考帧搜索窗的写入控制电路。相对于采用像素行FIFO缓存的设计，基于帧块列的FIFO缓存电路避免了由于处理条带切换造成的视频后处理参考帧数据输入停顿，提高了视频处理吞吐率。

视频后处理的参考帧搜索区按列写入更新数据。每个时钟周期从帧缓存和串联的各个帧块列FIFO数据输出端口拼接出完整的一列搜索区列数据，写入搜索窗的更新区。相对于背景技术，本实用新型的参考帧输入控制逻辑简单，仅需累加方式更新搜索窗数据的写入列地址，在写入使能条件下自动写入列数据。与本实用新型对比，基于像素更新搜索区的参考设计需要精确计算每个更新像素的帧缓存坐标，并计算搜索区写入像素坐标，并需要根据帧缓存输出数据是否有效控制搜索区写入操作是的暂停和恢复，计算复杂度高。

结合视频后处理参考帧缓存的访问特点，从帧缓存提前读取当前处理像素块依赖的搜索窗列数据，减小参考帧缓存的存储数据量。相对于背景技术，采取单帧缓存的应用不需要存储完整的参考帧，而是根据运动估计搜索窗尺寸减小一部分参考帧缓存数据，降低参考帧缓存成本。

[附图说明]

图1为基于运动估计的视频后处理像素块的搜索窗随当前块移动示意图；

图2为视频输入场信号像素转块列缓存及控制电路示意图；

图3为视频后处理去隔行的参考帧缓存及访问电路连接框图。

[具体实施方式]

下面结合附图对本实用新型的实施方式作详细说明。

如图2-3所示一种用于视频去隔行的帧场缓存及访问电路,包括输入视频场信号缓存电路，参考帧缓存及访问电路和视频后处理去隔行电路，输入视频场信号缓存电路与视频后处理去隔行电路相连，参考帧缓存及访问电路与视频后处理去隔行电路相连，参考帧缓存及访问电路用于运动估计和运动补偿。

如图2所示，输入视频场信号缓存电路包括解复用器，像素转场块列FIFO，复用器，场块列FIFO和输入场块缓存，解复用器与像素转场块列FIFO相连，像素转场块列FIFO与复用器相连，复用器和场块列FIFO相连，场块列FIFO与输入场块列缓存相连，输入场块缓存与视频后处理去隔行电路相连。

其中，像素转场块列FIFO包括单像素输入多行像素并行输入控制电路。

如图3所示，参考帧缓存及访问电路包括参考帧缓存SRAM存储器，多个帧块列FIFO，参考帧搜索窗，参考帧抓取模块，参考帧缓存SRAM存储器的写端口和读端口与视频后处理去隔行电路相连，参考帧缓存SRAM存储器的读端口与多个帧块列FIFO相连，多个帧块列FIFO相连与参考帧搜索窗相连，参考帧搜索窗与参考帧抓取模块相连，参考帧抓取模块与视频后处理去隔行电路相连。

其中，参考帧缓存SRAM存储器和帧块列FIFO输出的帧块列并行输入到参考帧搜索窗缓存。

(1)输入视频场信号缓存电路

相对于以像素为单位访问视频图像的视频后处理设计，本实用新型是以像素块列(像素块的一列)为单位访问视频图像。如图2所示，对于帧图像8x8像素块，帧块列为8像素；对于场图像8x4像素块，场块列为4像素。基于块列访问视频图像，可以降低电路驱动时钟频率和帧图像缓存SRAM访问频率。

本实用新型首先将输入隔行扫描场像素转化为场块列，以支持视频后处理电路以块列为单元访问视频图像。图2展示了视频输入场像素转块列的控制和缓存电路。电路采用定制的像素转块列FIFO。该FIFO将输入像素按图像的行存储。当属于输入场同一个条带(条带：slice,场或帧图像的一行像素块)的4行像素存满后，电路控制该FIFO以场块列(4像素)为单位输出该缓存条带的整列像素。为了避免像素输入缓存与块列输出的时间冲突，电路采用ping-pong缓存方式，配置两个相同的像素转块列FIFO，当一个用于缓存输入数据时，另一个FIFO用于向视频后处理电路输出块列。解复用器控制输入场像素写入的像素转场块列FIFO，而复用器控制输出FIFO输出块列的通路选择。

场块列FIFO用于缓存像素转块列缓存的输出块列。场块列FIFO深度等于视频图像的像素宽度，存储数据单元为场块列。场块列FIFO缓存的数据主要用于视频后处理的场内图像处理如中值滤波(MED)等，提供当前块的上下相邻块像素。场块列FIFO输出的场块列写入场块缓存。单个场块缓存为8x4像素。如图所示,电路配置多个场块缓存(图中8x4xN)，以实现场块列的输入缓存与对当前处理场块数据访问的并行。

(2)用于运动估计和运动补偿的参考帧缓存及访问电路

在视频后处理应用中，运动估计ME和运动补偿MC技术可以利用视频图像在时域和空域的关联性，提高去隔行等后处理应用的重建图像质量。本实用新型提出用于视频后处理的ME和MC计算的参考帧缓存及访问电路结构。图3简要说明参考帧缓存SRAM、从SRAM读出的帧块列FIFO缓存、运动估计搜索窗缓存、参考块抓取、视频后处理去隔行电路的连接框图。电路针对视频处理系统的典型像素块尺寸(8x8)，并假设视频后处理运动估计的x、y方向的典型搜索范围均为-16～+16。因此，如图中网格区显示，搜索区需要5x5块，即边长为40的正方形搜索窗。对于搜索范围不是帧像素块边长整数倍的设计，缓存区的写入数据需作相应调整。

1)参考帧缓存优化设计

在处理块(0,0)(块坐标为(0,0))时，块(2,2)需要已读入搜索区，以满足运动估计搜索范围要求。因此对于单个参考帧设计，参考帧缓存可以减少两个条带(两行像素块)及3个块(该数值3取决于帧缓存读写时序要求)的参考帧像素存储。由于帧缓存的读、写块坐标相对位置固定不变，帧缓存SRAM读写图像块数据不需要由块坐标计算存储地址，只需采用类似FIFO访问方式，控制参考帧SRAM缓存的读写使能信号和读写指针的累加。

2)运动估计搜索窗电路结构

由于参考帧缓存的读出数据单元为8像素块列，一个块只需要8个读周期即可读出，帧缓存的块列的读写时钟频率降低为基于像素访问帧缓存的时钟频率的1/8。帧缓存输出的块列数据经过4个帧块列FIFO缓存。每个帧块列FIFO可以存储完整的一个条带的图像，存储单元为帧块列，存储深度为视频帧图像的像素宽度。帧缓存和4个帧块列FIFO输出的块列数据(如图3所示)拼接为5x8像素的搜索区像素列，写入到搜索区的更新区域。由于每个块的视频后处理时间为8个块列时钟周期，电路在当前像素块处理的8个时钟周期，并行写入下一个块搜索区所需更新的8列数据。

3)运动估计搜索窗数据更新和读出机制

本实用新型的帧缓存SRAM和帧块列FIFO输出的帧块列并行输送到参考帧搜索窗缓存。该。由于采用帧块列并行写入搜索窗的方式，搜索窗的写入控制电路简单。本实用新型的搜索窗写入控制不需要精确控制参考块的每个像素的读取地址和搜索窗写入地址。实用新型的搜索窗的写地址更新计算仅需在帧块列写入时钟周期进行简单的累加计算。本实用新型的优势在于简化了从帧缓存输送到视频后处理电路的控制逻辑电路，并以较低的块列输出时钟频率驱动搜索窗缓存写入以及后续视频后处理电路，降低搜索窗及后续电路的时钟相关功耗。

参考帧搜索窗缓存的读出控制电路与视频后处理功能紧密关联。本实用新型的搜索窗读取电路应用于运动估计和运动补偿计算，支持在单周期内根据运动矢量MV数值在搜索窗内抓取参考块(8x8像素)，并可在后处理去隔行应用中，根据参考块计算运动估计块与运动补偿块。由于采用低频率块列输出时钟，本实用新型支持在单周期内完成搜索窗提取运动估计块和运动补偿块，确保电路实现每个时钟周期完成一个运动矢量的运动估计和运动补偿。

本实用新型的搜索窗读出电路可通过硬件电路并行拓展，配置多个读控制逻辑电路以支持单时钟周期内从搜索窗缓存同时提取多个MV的运动估计块和补偿块，实现多MV并行计算。

4)视频图像缓存的电路实现选择

参考帧缓存、帧块列FIFO、场块列FIFO在数字芯片设计中可通过调用SRAM和FIFO的IP实现；而在FPGA设计中，可以分别映射为FPGA的片内块存储器(Block RAM)和FIFO。运动估计计算需要在单周期内访问参考帧搜索窗缓存的任意一个像素。要实现快速抓取参考块，搜索窗缓存采用寄存器矩阵实现。

以上所述仅为本实用新型的优选实施方式，本实用新型的保护范围并不仅限于上述实施方式，凡是属于本实用新型原理的技术方案均属于本实用新型的保护范围。对于本领域的技术人员而言，在不脱离本实用新型原理的前提下进行的若干改进，这些改进也应视为本实用新型的保护范围。

Claims (5)

1.一种用于视频去隔行的帧场图像缓存及访问电路，其特征在于，包括输入视频场信号缓存电路，参考帧缓存及访问电路和视频后处理去隔行电路，所述输入视频场信号缓存电路与视频后处理去隔行电路相连，所述参考帧缓存及访问电路与视频后处理去隔行电路相连，所述参考帧缓存及访问电路用于运动估计和运动补偿。

2.根据权利要求1所述的一种用于视频去隔行的帧场图像缓存及访问电路，其特征在于，所述输入视频场信号缓存电路包括解复用器，像素转场块列FIFO，复用器，场块列FIFO和输入场块缓存，所述解复用器与像素转场块列FIFO相连，所述像素转场块列FIFO与复用器相连，所述复用器和场块列FIFO相连，所述场块列FIFO与输入场块列缓存相连，所述输入场块缓存与视频后处理去隔行电路相连。

3.根据权利要求2所述的一种用于视频去隔行的帧场图像缓存及访问电路，其特征在于，所述像素转场块列FIFO包括单像素输入多行像素并行输入控制电路。

4.根据权利要求1所述的一种用于视频去隔行的帧场图像缓存及访问电路，其特征在于，所述参考帧缓存及访问电路包括参考帧缓存SRAM存储器，多个帧块列FIFO，参考帧搜索窗，参考帧抓取模块，所述参考帧缓存SRAM存储器的写端口和读端口与视频后处理去隔行电路相连，所述参考帧缓存SRAM存储器的读端口与多个帧块列FIFO相连，所述多个帧块列FIFO相连与参考帧搜索窗相连，所述参考帧搜索窗与参考帧抓取模块相连，所述参考帧抓取模块与视频后处理去隔行电路相连。

5.根据权利要求4所述的一种用于视频去隔行的帧场图像缓存及访问电路，其特征在于，所述参考帧缓存SRAM存储器和帧块列FIFO输出的帧块列并行输入到参考帧搜索窗缓存。