CN101789228A

CN101789228A - 视频定标器

Info

Publication number: CN101789228A
Application number: CN 201010134932
Authority: CN
Inventors: 张怡; 周毅
Original assignee: WUXI ZHIXIN TECHNOLOGIES Co Ltd
Current assignee: WUXI ZHIXIN TECHNOLOGIES Co Ltd
Priority date: 2010-03-30
Filing date: 2010-03-30
Publication date: 2010-07-28

Abstract

本发明提供一种视频定标器，由AHB MASTER控制模块、APB控制模块、输入DMA和输出DMA、输入FIFO和输出FIFO、寄存器及双线性插值算法模块组成。AHB MASTER控制模块提供AHB总线的接口信号，APB控制模块用于控制内部的寄存器的读写，输入DMA将输入图像写入输入FIFO，输出DMA将输出图像从输出FIFO写回内存，双线性插值算法模块控制电路实现图像的缩小。本发明可直接输出裁剪后缩小的图像，无需预先进行人工裁剪，采用双线性插值算法，复杂度低，同时具有良好的显示效果，有效地实现了图像分辨率的转换，提高显示的刷新速率。

Description

视频定标器

技术领域

本发明涉及视频图像处理领域，具体涉及视频定标器。

背景技术

LCD显示器在显示终端设备中逐渐占据主导地位，但其最佳分辨率为固定值，即为其物理显示像素点，不同的显示设备其物理显示像素点也不尽相同。视频输出电路对图像进行一系列处理后，通过显示控制电路产生显示设备需要的行/场同步、帧同步等输入信号，最终将图像输出到显示设备。在实际应用中，数字电视或计算机的输入图像分辨率也是可变的，显示设备的最佳分辨率和图像分辨率往往存在着不匹配，这样就无法显示正确的图像，所以需要视频定标器对不同分辨率的输出图像进一步加以处理，将输出图像缩小从而满足显示设备分辨率的要求，实际中还可能需要对图像裁剪后再缩小，最后映射到显示设备上，从而满足LCD显示设备的参数要求。

现有的视频定标器普遍集成在显示控制电路内部，只能对当前的图像进行缩放，在当前图像显示结束后再进行其它图像的缩放，从而降低了显示设备的刷新速度。

发明的内容

针对现有视频定标器的上述问题，申请人进行了研究改进，提供一种独立的、可以和显示控制电路并行工作的视频定标器电路，在显示控制电路处理当前图像的同时，可对下一帧图像提前进行缩放，提高显示的刷新速率。

本发明的技术方案如下：

一种视频定标器，与显示控制电路集成在同一块芯片中，又独立于显示控制电路，结构如下：

APB控制模块，与APB总线进行通信的接口，用于控制内部所有寄存器的读写；

AHB MASTER控制模块，与AMBA总线进行通信的接口，用于提供主机的控制信号；

输入DMA，与AHB MASTER控制模块及输入FIFO连接，用于将输入图像数据传输到输入FIFO；

输出DMA，与AHB MASTER控制模块及输出FIFO连接，用于将输出图像数据从输出FIFO写回到外部存储设备；

输入FIFO，与输入DMA及双线性插值算法模块连接，用于顺序写入数据；

输出FIFO，与输出DMA及双线性插值算法模块连接，用于顺序读出数据；

双线性插值算法模块，与输入FIFO及输出FIFO连接，用于从输入FIFO中读取图像数据，经过处理后将图像数据写入到输出FIFO；

寄存器，其读写由APB控制模块控制，其值控制输入DMA、输出DMA及双线性插值算法模块用到的参数。

其进一步的技术方案为：

所述双线性插值算法模块结构如下：

参数控制模块，与裁剪控制模块连接，用于控制YUV编码的采样格式，并在处理不同格式的Y，U，V分量时控制需要的参数；

坐标计算模块，与缩小控制模块连接，用于计算输出图像反向映射到输入图像的坐标；

裁剪控制模块，与参数控制模块、输入FIFO及缩小控制模块连接，用于判断当前读取的输入图像数据处于需要裁剪区域或裁剪后区域，并控制需要裁剪区域的图像数据的读取；当数据处于需要裁剪区域时，才启动缩小控制模块。

缩小控制模块，与输入FIFO、裁剪控制模块、坐标计算模块、RAM缓存及第一数据选择模块连接，用于控制裁剪后区域的图像数据的读取，判断裁剪后区域读取的哪些数据是有效数据，并判断这些数据中有几个BYTE是有效数据，同时控制RAM缓存的读写；

RAM缓存，与裁剪控制模块及第二数据选择模块连接，用于缓存上一行的图像数据。

第一数据选择模块，与缩小控制模块及双线性计算模块连接，用于从当前有效数据中选择双线性运算需要的2个点的像素值；

第二数据选择模块，与RAM缓存及双线性计算模块连接，用于从RAM数据中选择双线性运算需要的另2个点的像素值；

双线性计算模块，与第一数据选择模块、第二数据选择模块及输出控制模块连接，用于计算得到输出图像的像素值；

输出控制模块，与输出FIFO及双线性计算模块连接，用于缓存输出数据，得到4个点的数据后再写入输出FIFO。

以及，其进一步的技术方案为：

所述YUV编码的采样格式包括YUV 4:2:0以及YUV 4:2:2。

所述参数控制模块控制的参数包括宽度、高度。

所述反向映射的坐标计算结果保留11位小数。

上述技术方案中：

所述YUV是指一种颜色编码方法，Y代表亮度，UV代表色差，U和V是构成彩色的两个分量。

所述AHB是指Advanced High performance Bus，高级高性能总线。

所述APB是指Advanced Peripheral Bus，高级外设总线。

所述DMA是指Direct Memory Access，直接存储器访问。

所述FIFO是指First Input First Output，先入先出队列。

所述AHB MASTR是指AHB主机，能够通过提供地址和控制信息发起读写操作，任何时候只允许一个总线主机处于有效状态并能使用总线。

本发明的有益技术效果是：

(1)本发明解决了显示图像和显示设备之间的匹配问题，将输出图像的分辨率进行调整，满足显示设备的要求。采用双线性插值算法，复杂度低，同时具有良好的显示效果，有效地实现了图像分辨率的转换。

(2)本发明作为独立的IP，直接作为AHB总线上的MASTER，是AMBA总线上的一个单独模块，独立于显示控制模块，所以显示控制电路显示当前图像的同时，可以进行一帧视图像的缩小，而不是当前图像显示结束后再进行其它图像的缩小，从而可以加块显示设备的刷新速度。

(3)本发明可实现整体输出图像的缩小，也可实现裁剪后输出图像的缩小。确定裁剪参数后，裁剪过程硬件可自动处理，无需人工干预。

(4)APB控制模块使内部的寄存器具有位清除，置位和翻转功能，即直接对特定的位操作即可实现该位的置0，置1，无需考虑寄存器其它位的状态，这样配置寄存器相当方便。

(5)寄存器的DMA启动控制位置1即可启动输入和输出DMA，在DMA启动后该位就自动清零。DMA每次只处理一帧YUV图像，处理下一帧图像需要重新启动DMA，这样就有足够的时间更新寄存器和内存数据。

(6)在反向映射的过程选取足够的小数位数提高精度，而在双线性运算的时候尽可能减少小数位数从而降低硬件资源，但仍保证图像精度。

附图说明

图1是本发明的结构框图。

图2是双线性插值算法模块的结构框图。

图3是裁剪区域的示意图。

具体实施方式

以下结合附图，通过实施例对本发明进行具体说明。

本发明独立于显示控制电路，介于视频输出电路和显示控制电路之间。本发明只实现了图像的缩放，输出的图像数据仍需要由显示控制电路进行处理，所以本发明和显示控制电路必须集成在同一块芯片中。

如图1所示，本发明由APB控制模块101、AHB MASTER控制模块102、输入DMA 103和输出DMA 107、输入FIFO 104和输出FIFO 106、双线性插值算法模块105、寄存器110组成。其中：

APB控制模块101，与APB总线108通信的接口，用于控制内部所有寄存器110的读写；APB控制模块101使内部的寄存器110具有位清除，置位和翻转功能，即直接对特定的位操作即可实现该位的置0、置1，无需考虑寄存器其它位的状态，配置寄存器相当方便。

AHB MASTER控制模块102，与AHB总线109进行通信的接口，提供主机的控制信号。本发明通过AHB MASTER控制模块102直接与AHB总线109进行通信。高性能的AHB接口使其可以作为一个IP应用到AHB总线109的SOC设计中。

输入DMA 103，与AHB MASTER控制模块102及输入FIFO 104连接，用于将输入图像数据传输到输入FIFO 104。输入DMA 103的启动模式相当方便。同时，逐帧处理模式保证有足够的时间更新寄存器。

输出DMA 107，与AHB MASTER控制模块102及输出FIFO 106连接，用于将输出图像数据从输出FIFO 106写回到外部的存储设备，如为SDRAM或其他内存。输出DMA 107的启动模式相当方便。同时，逐帧处理模式保证有足够的时间更新内存数据。

输入FIFO 104，与输入DMA 103及双线性插值算法模块105连接，用于顺序写入数据。

输出FIFO 106，与输出DMA 103及双线性插值算法模块105连接，用于顺序读出数据。

双线性插值算法模块105，与输入FIFO 104及输出FIFO 106连接，用于从输入FIFO 4中读取图像数据，经过处理后将图像数据写入到输出FIFO 106。双线性插值算法模块105实际上不仅仅只是单纯进行图像缩小，由于输入DMA103是将完整的图像传输到输入FIFO 104，所以必须还需要去除需要裁剪的部分。整个双线性算法可分为裁剪和缩小两个过程，本发明只对裁剪后的图像数据进行双线性运算。

寄存器110，其读写由APB控制模块101控制，其值控制输入DMA 103、输出DMA 107及双线性插值算法模块105用到的参数。

下面结合图2和图3说明双线性插值算法模块105的结构和工作原理。

如图2所示，上述双线性插值算法模块105由参数控制模块201、坐标计算模块202、裁剪控制模块203、缩小控制模块204、RAM缓存205、第一数据选择模块206、第二数据选择模块207、双线性计算模块208和输出控制模块209组成(不包括图2中的输入FIFO 104和输出FIFO 106)。其中：

参数控制模块201，与裁剪控制模块203连接，主要控制YUV 4:2:0和YUV4:2:2采样格式，并且在处理不同格式的y，u，v分量时，控制需要的参数，如宽度，高度等。

坐标计算模块202，与缩小控制模块204连接，用于计算输出图像反向映射到输入图像的坐标，为提高精度，该部分的计算保留了11位小数。

裁剪控制模块203，与参数控制模块201、输入FIFO 104及缩小控制模块204连接，用于判断当前读取的输入图像数据处于需要裁剪区域或裁剪后区域，并控制需要裁剪区域的图像数据的读取；当数据处于需要裁剪区域时，才启动缩小控制模块。

如图3所示，图3中P区域为裁剪后的图像，P1，P2，P3，P4区域为需要裁剪的图像。根据不同的参数配置，P1，P2，P3，P4可能只有部分出现，也可能全部不出现。本实施例用图像的4个方向都需要裁剪的情况来进行说明。裁剪控制模块203判断当前读取的FIFO数据处于图3中的哪个区域，并控制P1，P2，P3，P4部分数据的读取。裁剪控制模块203内部含有两个计数器，分别是像素计算器和行计数器(图中未示出)，通过计数值来判断FIFO数据处于哪个区域。每读取一个有效的输入FIFO读取信号，像素计算器会加4，计满一行后计数器清零，行计数器加1。用状态基进行有效控制。当数据处于P区域时，才启动缩小控制模块。

缩小控制模块204，与输入FIFO 104、裁剪控制模块203、坐标计算模块202、RAM缓存205及第一数据选择模块206连接，用于控制P部分数据的读取，它的有效输入FIFO读取信号同样会让裁剪控制模块的计数器进行计数。它主要判断P部分读取的哪些32位数据是有效数据，并判断32位数据有几个BYTE是有效数据。缩小控制模块同时控制RAM缓存的读写。

RAM缓存205，与裁剪控制模块204及第二数据选择模块207连接，用于缓存按行读取的上一行的图像数据。

数据选择模块有两路：第一数据选择模块206和第二数据选择模块207。分别从当前有效的FIFO数据和RAM数据中选择双线性运算需要的4个点的像素值(p10、p11、p00、p01)。其中第一数据选择模块206，与缩小控制模块204及双线性计算模块208连接，用于从当前有效数据中选择双线性运算需要的2个点的像素值(p10、p11)；第二数据选择模块207，与RAM缓存205及双线性计算模块208连接，用于从RAM数据中选择双线性运算需要的另2个点的像素值(p00、p01)。

双线性计算模块208，与第一数据选择模块206、第二数据选择模块207及输出控制模块209连接，用于计算得到输出图像的像素值。计算结果是8位二进制整数。

输出控制模块209，与输出FIFO 106及双线性计算模块208连接。由于每次计算得到的都是8位图像数据，只得到1个点的数据。而输出FIFO 106写入数据要求32位，也就是4个点的数据。因此输出控制模块209用于缓存输出数据，得到4个点的数据后再写入输出FIFO 106。

图2中相关内容注释如下：

parameter：高度，宽度等参数；

pixel_y：判读处理的是y数据还是u，v数据，1代表y数据，0代表u，v数据；

clip_rd：裁剪控制模块的FIFO数据读取信号；

clip_data：裁剪控制模块读取的FIFO数据，读到的是被裁剪的数据；

useful_rd：缩小控制模块的FIFO数据读取信号；

useful_data：缩小控制模块读取的FIFO数据，读到的是裁剪后的数据；

x：映射的x坐标值；

y：映射的y坐标值；

xratio：输入宽度和输出宽度比值；

yratio：输入高度和输出高度比值；

scale_start：缩小控制模块的使能；

ram_en：ram缓存的使能；

ram_write：ram缓存的写信号；

ram_addr：ram缓存的地址；

write_data1：写入ram的数据；

read_data：从ram中读取的数据；

data_out：进行双线性插值运算的32位输入图像数据；

p00-p10：进行双线性插值运算的4个图像数据点，都是8位的；

pixel_out：输出图像数据，为8位二进制数；

out_ff_wr：输出FIFO写信号；

write_data：写入输出FIFO的数据。

图1、图2中，各电路模块均为市售商品，各电路模块间的连接方式及工作过程均采用现有技术。

下面对工作过程及原理进行说明：

通过APB控制模块101配置好其它各寄存器110的参数后，最后配置控制寄存器110的DMA启动位，向该位配置高电平使启动位有效。输入DMA 103开始将数据传输到输入FIFO 104，然后输入双线性插值算法模块105。一帧完整的图像数据包含Y，U和V三部分的数据，处理过程是先处理Y数据，然后是U，最后是V。对于YUV422，Y分量的水平方向参数是U，V的2倍，垂直方向参数和U，V相等；对于YUV420，Y分量的水平方向参数和垂直方向参数都是U，V的2倍。双线性插值算法模块105中的裁剪控制模块203首先判断当前处理的是Y分量还是U、V分量，同时判断当前的YUV格式，然后根据判断结果得到输入，输出和裁剪宽度和高度等参数。

启动DMA后，先处理Y数据，参数确定后裁剪控制模块203根据裁剪参数预先判断读取的FIFO数据处于图3的哪个区域，如果不处于P区域，就给出FIFO读取信号。

裁剪控制模块203首先进入P1区域，给出FIFO读信号。得到有效的读取信号后，裁剪控制模块203内部的像素计算器和行计数器开始工作，并把计算器结果作为输入图像的x和y坐标。当行计数器计算到P2区域的那一行时，裁剪控制模块进入P2区域，此时FIFO读信号仍由裁剪控制模块203给出。当像素计数器计到P区域或者跨区域的数据，就进入缩小状态，缩小控制模块204开始工作，裁剪控制模块203停止给出FIFO读信号。

缩小控制模块204把参数输出到坐标计算模块202计算映射坐标，坐标计算模块202把计算结果反馈到缩小控制模块204。缩小控制模块204首先判断反馈的y坐标小数部分，判断要用2行还是1行的数据进行运算。如果小数部分为0那么只用1行，如果不为0就用2行。分两种情况进行讨论。

如果只要1行，即y坐标为0，那么缩小控制模块把y坐标的整数和当前输入图像的y坐标进行比较，小于y就给出FIFO数据读取信号，这个读信号同样会使裁剪控制模块的计数器工作。直到当前输入图像的y坐标和坐标计算模块反馈的y整数部分相等，就可以进行x坐标的比较。

如果需要用2行，即y坐标不为0，那么当读到输入图像的y坐标和坐标计算模块反馈的y整数部分相等时，此时将这1行的数据写入RAM。读到下1行数据时，进行x坐标的比较。

x方向的数据是1次4个点，所以我们就需要根据坐标计算模块反馈的x整数部分，和当前4个输入图像中最大的x坐标进行比较，当前值大于反馈值，就从RAM中读取上1行数据，然后用数据选择模块选择正确的4个点进行输出数据的计算。为了提高速度，采用了2路双线性运算单元进行计算，所以每次会根据坐标值选择当前4个数据点有几个是需要的点，只有1个就只启动1路双线性运算单元，2个就同时启动2路双线性运算单元，3个以上就先启动2路，然后再重新启动计算单元，最坏情况下，4个点都有效，那么需要要用2个周期完成计算，然后再读取下一个32位数据。

每次计算得到输出图像数据后都会写入缓存，每计算得到4个输出数据点就写入输出FIFO。

当裁剪控制模块计数得到的坐标超过P区域时，缩小控制模块停止工作，此时裁剪控制模块进入P3状态。缩小控制模块停止给出FIFO读信号，由裁剪控制模块给出读信号。继续读取数据，然后重新回到P2状态，再重新进入P状态，缩小控制模块重新工作。重复这个过程直到裁剪控制模块进入P4状态，此时已经得到全部的输出数据，缩小控制模块不会再工作。裁剪控制模块持续读取剩下的数据直到2个计数器清零。

计数器清零后开始处理U的数据，处理流程和Y相同，但是参数有了变化。U结束后处理V，V处理结束DMA会给出一帧YUV数据的结束标志。

处理下一帧时，要重新写入寄存器起始位，以重新启动DMA，如果参数不同就需要重新配置寄存器，同时需要更新内存的输入图像数据。多帧数据要重复多次上述过程。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下，可以做出其他改进和变化。

Claims

1.一种视频定标器，与显示控制电路集成在同一块芯片中，又独立于显示控制电路，其特征在于结构如下：

2.根据权利要求1所述视频定标器，其特征在于：所述双线性插值算法模块结构如下：

3.根据权利要求2所述视频定标器，其特征在于：所述YUV编码的采样格式包括YUV 4:2:0以及YUV 4:2:2。

4.根据权利要求2所述视频定标器，其特征在于：所述参数控制模块控制的参数包括宽度、高度。

5.根据权利要求2所述视频定标器，其特征在于：所述反向映射的坐标计算结果保留11位小数。