CN112019790A

CN112019790A - 一种基于mipi协议的视频图像缩放方法和fpga系统

Info

Publication number: CN112019790A
Application number: CN202010926400.0A
Authority: CN
Inventors: 朱道林; 夏群兵; 梁丕树; 刘爱珠
Original assignee: Shenzhen Aixiesheng Technology Co Ltd
Current assignee: Shenzhen Aixiesheng Technology Co Ltd
Priority date: 2020-09-07
Filing date: 2020-09-07
Publication date: 2020-12-01

Abstract

本发明公开了一种基于MIPI协议的视频图像缩放方法和FPGA系统，具体包括以下步骤：根据BYTE CLOCK将MIPI协议的四数据通道的图像数据存入到先进先出堆栈中；根据BYTE CLOCK、缩放系数、缩放公式确定Scaler CLOCK；从先进先出堆栈中读取原始图像数据，根据双线性插值原理和像素点计算公式计算原始图像数据的像素点，直至视频图像的所有像素点计算完毕。本发明将缩放的Scaler CLOCK通过先进先出堆栈与提取RGB DATA数据的BYTE CLOCK交互，从而在保证实现同样功能的前提下，可以降低系统的运行时钟的频率，从而达到降低功耗，增加系统稳定性的作用。

Description

一种基于MIPI协议的视频图像缩放方法和FPGA系统

技术领域

本发明涉及视频技术领域，特别是指一种基于MIPI协议的视频图像缩放方法和FPGA系统。

背景技术

在现在的显示领域，因为显示屏幕的分辨率不一样，因此需要对视频源的图像数据进行缩放，以达到跟后端屏幕的分辨率适应。因为现在的移动显示设备，如手机等，传送视频显示数据大多数是用MIPI协议，因此就产生一个问题，如何将MIPI传送的显示数据提取出来进行缩放处理。一个适合的数据提取办法与缩放算法对整个图像压缩工程是非常有意义的。

如图1-图3所示，MIPI是一种传输视频显示数据的协议，包括一个clock lane和四个data lane。MIPI通过串行地传输四个通道的数据，需要将4个data lane的串行数据解成并行，然后提取有效的RGB显示数据。将RGB DATA提取出来之后，进行图像的缩放处理。因为Scaler算法是分别对RGB三个子元素的数据，进行计算的，因此需要将MIPI data lane中的BYTE DATA对应的RGB DATA提取出来。

一般在从BYTEDATA中提取RGB DATA的时候，采用的办法是用一个BYTE CLOCK将BYTE DATA写入到BUFFER里面去，在用PIXEL CLOCK读取出来，这样的会涉及到跨时钟域的处理。PIXEL CLOCK的时钟可能会比BYTE CLOCK的时钟快，运行的时钟快会导致功耗的提升，降低系统的稳定性。在进行Scaler之后，因为像素点的减少，又需要用一个相比PIXELCLOCK慢的Scaler CLOCK将数据读取出来，这样就会导致整个系统的时钟过多，降低系统的稳定性。

发明内容

本发明提出一种基于MIPI协议的视频图像缩放方法和FPGA系统，简化整个系统的流程，减少系统运行的频率，从而达到降低系统的功耗，增加系统的稳定性。

本发明的技术方案是这样实现的：

一种基于MIPI协议的视频图像缩放方法，具体包括以下步骤：

S1，根据BYTE CLOCK将MIPI协议的四数据通道的图像数据存入到先进先出堆栈中；

S2，根据BYTE CLOCK、缩放系数、缩放公式确定Scaler CLOCK；

S3，从先进先出堆栈中读取原始图像数据，根据双线性插值原理和像素点计算公式计算原始图像数据的像素点，直至视频图像的所有像素点计算完毕。

优选的，步骤S1中图像数据存入到先进先出堆栈中具体指的是图像数据输入时每拍输入一个像素并存入先进先出堆栈中做缓冲。

优选的，步骤S3中从先进先出堆栈中读取原始图像数据具体指的是每拍处理两个像素输出，根据计算需要从先进先出堆栈中读取原始图像数据。

优选的，步骤S2中，缩放公式为Scaler CLOCK》＝BYTE CLOCK*(4/3)*(M/N)/2，缩放系数为N/M。

优选的，步骤S3中，像素点计算公式为：P_NEW(i)＝P_SRC(i*N/M)，i为新的像素点的序号，其中P_SRC为原始像素点。

一种基于MIPI协议的视频图像缩放FPGA系统，包括用于实现所述基于MIPI协议的视频图像缩放方法的FPGA芯片。

本发明的有益效果在于：将缩放的Scaler CLOCK通过先进先出堆栈与提取RGBDATA数据的BYTE CLOCK交互，从而在保证实现同样功能的前提下，可以降低系统的运行时钟的频率，从而达到降低功耗，增加系统稳定性的作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为MIPI协议的四数据通道的示意图；

图2为BYTE_DATA转成RGB DATA的示意图；

图3为对RGB的数据进行缩放计算的示意图；

图4为本发明一种基于MIPI协议的视频图像缩放方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图4所示，本发明提出了一种基于MIPI协议的视频图像缩放方法，具体包括以下步骤：

S1，根据BYTE CLOCK将MIPI协议的四数据通道的图像数据存入到先进先出堆栈中；步骤S1中图像数据存入到先进先出堆栈中具体指的是图像数据输入时每拍输入一个像素并存入先进先出堆栈中做缓冲。

S2，根据BYTE CLOCK、缩放系数、缩放公式确定Scaler CLOCK；步骤S2中，缩放公式为Scaler CLOCK》＝BYTE CLOCK*(4/3)*(M/N)/2，缩放系数为N/M。

步骤S3中从先进先出堆栈中读取原始图像数据具体指的是每拍处理两个像素输出，根据计算需要从先进先出堆栈中读取原始图像数据。

步骤S3中，像素点计算公式为：P_NEW(i)＝P_SRC(i*N/M)，i为新的像素点的序号，其中P_SRC为原始像素点。

实施例一

现在以MIPI 4DATALane，也就是Lane Num为4。缩放系数为(N/M)＝4/3，也就是N＝4，M＝3进行说明。

BYTE0对应第一个像素点的红色，也是就R1，BYTE1对应第一个像素点的绿色，也是就G1，BYTE2对应第一个像素点的蓝色，也是就B1。BYTE3对应第二个像素点的红色，也是就R2，BYTE4对应第二个像素点的绿色，也是就G2，BYTE5对应第二个像素点的蓝色，也是就B2。BYTE6对应第二个像素点的红色，也是就R3，BYTE7对应第二个像素点的绿色，也是就G3，BYTE8对应第二个像素点的蓝色，也是就B3。BYTE9对应第二个像素点的红色，也是就R4，BYTE10对应第二个像素点的绿色，也是就G4，BYTE11对应第二个像素点的蓝色，也是就B4。后续像素对应关系以此类推。

对进来的BYTE DATA直接存入异步fifo(先进先出堆栈)中。图像数据输入时每拍输入一个像素并存入fifo中做缓冲，Scaler输出计算时每拍处理两个像素输出，根据计算需要从fifo中读取原始图像数据。

根据公式：Scaler CLOCK》＝BYTE CLOCK*(4/3)*(M/N)/2，因为M＝3，N＝4，所以Scaler CLOCK》＝BYTE CLOCK/2。

缩放系数为N/M＝4/3，根据双线性插值的原理，新的像素点的计算公式为：P_NEW(i)＝P_SRC(i*N/M)，i为新的像素点的序号，其中P_SRC为原始像素点。所以新的第一个像素点P_NEW(1)＝P_SRC(1*4/3)。将1*4/3的整数部分和小数部分提取出来，分别为1和1/3。所以P_SRC(1*4/3)＝P_SRC(1)*(1-1/3)+P_SRC(1+1)*(1/3)。最终可以得到P_NEW(1)＝P_SRC(1)*(1-1/3)+P_SRC(1+1)*(1/3)。也就是说新的第一个像素点，是用原始的第一个像素点和第二个像素点乘上相应的权重得到的，每个像素按照RGB分量分别计算处理。同理，当i分别取不同的值得时候，可以计算出它与相应原始像素点的对应值。

根据公式可得P_NEW_R(1)＝P_SRC_R(1)*(1-1/3)+P_SRC_R(1+1)*(1/3)，P_NEW_R(2)＝P_SRC_R(2)*(1-1/3)+P_SRC_R(2+1)*(1/3)。因为BYTE0＝P_SRC_R(1)，BYTE4＝P_SRC_R(2)。因此可以用BYTE CLOCK从FIFO中提取数据，进行逻辑运算，可以得到P_NEW_R(1)，P_NEW_R(2)。第一个像素点和第二个像素点的另外两个颜色G和B也是通过同样的办法可以计算出来。在计算完第一个像素点和第二个像素点之后，下一个BYTE CLOCK判断fifo中是否还有数据，如果还有数据则继续处理，否则暂停处理，等待新的数据写入fifo之后再继续处理。依次类推，一直到计算完一帧图像所有像素点为止。

本发明还提出了一种基于MIPI协议的视频图像缩放FPGA系统，包括用于实现所述基于MIPI协议的视频图像缩放方法的FPGA芯片。

本发明将缩放的Scaler CLOCK通过先进先出堆栈与提取RGB DATA数据的BYTECLOCK交互，从而在保证实现同样功能的前提下，可以降低系统的运行时钟的频率，从而达到降低功耗，增加系统稳定性的作用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于MIPI协议的视频图像缩放方法，其特征在于，具体包括以下步骤：

S2，根据BYTE CLOCK、缩放系数、缩放公式确定Scaler CLOCK；

2.根据权利要求1所述的一种基于MIPI协议的视频图像缩放方法，其特征在于，步骤S1中图像数据存入到先进先出堆栈中具体指的是图像数据输入时每拍输入一个像素并存入先进先出堆栈中做缓冲。

3.根据权利要求2所述的一种基于MIPI协议的视频图像缩放方法，其特征在于，步骤S3中从先进先出堆栈中读取原始图像数据具体指的是每拍处理两个像素输出，根据计算需要从先进先出堆栈中读取原始图像数据。

4.根据权利要求1或3所述的一种基于MIPI协议的视频图像缩放方法，其特征在于，步骤S2中，缩放公式为Scaler CLOCK》＝BYTE CLOCK*(4/3)*(M/N)/2，缩放系数为N/M。

5.根据权利要求4所述的一种基于MIPI协议的视频图像缩放方法，其特征在于，步骤S3中，像素点计算公式为：P_NEW(i)＝P_SRC(i*N/M)，i为新的像素点的序号，其中P_SRC为原始像素点。

6.一种基于MIPI协议的视频图像缩放FPGA系统，其特征在于，包括用于实现权利要求1-3、5任一项所述基于MIPI协议的视频图像缩放方法的FPGA芯片。