CN115955589A - 基于mipi的优化视频拼接方法、系统和存储介质 - Google Patents

Abstract

本发明公开了一种基于MIPI的优化视频拼接方法，包括以下步骤：FPGA主控模块接收视频数据；对所述视频数据进行格式处理和视频切割，以产生多块图像数据；根据存储格式依次对所述多块图像数据进行存储并计算每块图像数据的像素值，其中，所述存储格式包括镜像格式、非镜像格式；根据所述外部控制器的配置信息，确定是否对所述每块图像数据进行缩放处理；若是，则根据所述每块图像数据的像素值依次对其进行缩放处理，以得到所述每块图像数据对应的目标图像像素值；采用同一个时序控制模块，根据MIPI协议将所述每块目标图像像素值转换成对应的MIPI信号，并同时发送给多个模组进行显示，大大减少了FPGA资源，提高了FPGA的运行效率。

Description

基于MIPI的优化视频拼接方法、系统和存储介质

技术领域

本发明涉及液晶模组的显示和测试技术领域，尤其涉及一种基于MIPI的优化视频拼接方法、系统和存储介质。

背景技术

目前显示行业实现MIPI视频分割处理的方式主要有两种，一种是通过RGB转MIPI芯片将分割后的视频数据传输到模组进行显示，另外一种是通过FPGA内部处理切割视频数据，并通过MIPI协议将数据传输到模组进行显示。

第一种方式通过硬件实现RGB转MIPI的功能，这样虽然开发难度低，但是由于要用到多个转换芯片，开发成本也随之增加。而第二种方式是比较通用的方式，该方式需要FPGA实现MIPI协议，这种方式虽然开发成本低，但是如果进行多个模组进行显示的话，需要实例化多个MIPI核，使得占用FPGA内部资源较多，导致系统处理速度相对较慢。

发明内容

本发明的目的在于提供一种基于MIPI的优化视频拼接方法、系统和存储介质。

为了实现上述发明目的，本发明提供一种基于MIPI的优化视频拼接方法，所述方法包括步骤：

作为本发明的进一步改进，所述方法还包括：FPGA主控模块接收视频数据；对所述视频数据进行格式处理和视频切割，以产生多块图像数据；根据存储格式依次对所述多块图像数据进行存储并计算每块图像数据的像素值，其中，所述存储格式包括镜像格式、非镜像格式；根据所述外部控制器的配置信息，确定是否对所述每块图像数据进行缩放处理；若是，则根据所述每块图像数据的像素值依次对其进行缩放处理，以得到所述每块图像数据对应的目标图像像素值；采用同一个时序控制模块，根据MIPI协议将所述每块目标图像像素值转换成对应的MIPI信号，并同时发送给多个模组进行显示。

作为本发明的进一步改进，所述“根据存储格式依次对所述多块图像数据进行存储并计算每块图像数据的像素值”具体包括：根据外部控制器的配置信息，确定每块图像数据对应的存储格式；基于所述存储格式，计算所述每块图像数据对应的存储地址并按照所述存储地址去从FPGA缓存中读取对应的图像数据；将所述读取的图像数据存储到FPGA外挂的存储器中。

作为本发明的进一步改进，所述“计算所述每块图像数据对应的存储地址并按照所述存储地址去从FPGA缓存中读取对应的图像数据”具体包括：根据所述视频数据和分割的图像数据块个数，确定每块图像数据的存储位置；若当前读取的图像数据块对应的存储格式是非镜像格式，则从所述当前图像数据块的低地址向高地址开始读取图像数据；若当前读取的图像数据块对应的存储格式是镜像格式，则从所述当前图像数据块的高地址向低地址开始读取图像数据。

作为本发明的进一步改进，所述方法还包括：利用FPGA中的读写存储模块实现FPGA和其外挂的存储器之间读写操作；所述读写存储模块由多路读一路写端口的接口读写控制逻辑和外挂存储器的控制器组成，以缓存所述图像数据。

作为本发明的进一步改进，所述“根据MIPI协议将所述每块目标图像像素值转换成对应的MIPI信号，并同时发送给多个模组进行显示”具体包括：根据所述多块目标图像像素值，在物理层实例化多个数据并串转换器；根据所述外部控制器的配置信息和MIPI协议，将所述多块目标图像像素值转成成对应的MIPI信号；将所述多个MIPI信号通过所述多个数据并串转换器同时发送到多个对应的模组进行显示。

作为本发明的进一步改进，所述“将所述多块图像数据通过所述多个数据并串转换器同时发送到多个对应的模组进行显示”步骤之前还包括：通过广播方式将需要读取的模组寄存器信息发送给所有模组；接收所有模组的反馈信息并根据所述反馈信息进行仲裁，筛选出符合需求的模组寄存器信息并发送给所述外部控制器，以实现读取对应模组的寄存器信息。

作为本发明的进一步改进，所述方法还包括：所述缩放处理采用双线性插值法。

作为本发明的进一步改进，所述方法还包括：所述每块图像数据对应的存储格式是相互独立的。

本发明还提供一种基于MIPI的优化视频拼接系统，该系统包括外部控制器模块，用于配置FPGA内部需要的地址信息和参数信息；通信模块，用于实现所述外部控制模块和FPGA之间的通信和对外部存储器进行数据读写；全局寄存器配置模块，用于配置所述图像输出时的相关时序参数和MIPI接口相关参数的配置；图像数据打包模块，用于根据外部寄存器的配置信息，按照指定的数据格式打包，并传送给图像数据存储模块；图像数据存储模块，用于根据外部控制器的配置信息将图像数据按照指定的存储格式存储到外部存储器上；图像数据处理模块，用于根据指定地址去外部存储器上依次读取相应的图像数据并进行数据处理；图像数据缓存模块，用于缓存所述多块图像数据，以实现FPGA和FPGA外挂的存储器之间的读写操作；图像数据输出模块，用于将所述图像数据处理模块产生的多个目标图像像素值按照指定的MIPI协议输出到对应的多个模组。

本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项基于MIPI的优化视频拼接的方法。

与现有技术相比，本发明实施例具有如下至少一种有益效果：

本发明主要通过将多个图像数据块按照MIPI协议传输到多个模组进行显示，在进行数据的传输过程中，多个MIPI核共用同一个协议层，而在物理层中实例化多个数据并串转换器，实现广播式的数据发送，并接收多个模组的反馈信息，对反馈信息进行仲裁，选择满足要求的模组寄存器信息并发送到外部控制器中，以控制图像数据块输出到对应模组的显示。一个协议层对应多个物理层，从而实现一个MIPI核可以同时点亮多个模组，大大减少了FPGA资源，提高了FPGA的运行效率；另外，实现多模组显示的画面可实现独立的调整、缩放和画面镜像等功能，从而方便用户自己调试，应用更简便，提升了用户体验效果。

附图说明

图1是本发明实施例中基于MIPI的优化视频拼接方法的步骤流程图。

图2是本发明实施例中基于MIPI的优化视频拼接系统示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明的实施例针对一种基于MIPI的优化视频拼接方法，该方法是在MIPI基础上进行修改，从而实现一个协议层对应多个物理层，将切割后的多块视频数据同时发送给多个模组，从而大大减少FPGA资源，提高FPGA运行速率。基于常规或者无需创造性的劳动，所述方法在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施方式中所提供的执行顺序。

如图1所示，所述基于MIPI的视频优化拼接系统，包括：外部控制模块(STM32)、通信模块(FSMC)、全局寄存器配置模块(global_REG)、图像数据打包模块(DATA_STREAM)、图像数据存储模块(PIC_Storage)、图像数据处理模块(PIC_Process)、图像数据缓存模块(SDRAM_IF)和图像数据输出模块(MIPI_IP)。

外部控制模块通过总线配置相关模块，主要配置FPGA内部需要的一些寄存器，比如图像像素频率、分辨率、时序参数、MIPI核需要的一些参数等。该模块通过总线通知FPGA将视频接收卡输出的图像数据缓存到FPGA外挂的存储器中，同时也将外挂的存储器所要缓存的地址通过总线传送给FPGA的寄存器中，也就是说，外部控制器模块就是通过通信模块与FPGA进行通信，另外，通信模块还可以对外部存储器进行数据的读写操作。

进一步的，在本实施方式中，全局寄存器配置模块(global_REG)内部主要由寄存器单元模块和多路接口转接控制模块构成，其中寄存器单元模块用于配置图像输出时的时序参数，而接口转接控制模块是为了方便系统后期扩展而预留的外设接口，只需要将相应接口的外设连上该接口转接模块即可，比如MIPI接口控制器以及该控制器使用的可配时钟生成模块。具体的，在本实施例中，作为接口转接模块采用的是2路axi-lite接口转接控制模块。

图像数据打包模块(DATA_STREAM)主要由输入接口时序控制以及数据打包两部分组成，其中，时序控制主要是对输入信号进行时序调整，数据打包主要将接收到的数据按照相应的格式传给图像数据存储模块进行保存。

图像数据存储模块(PIC_Storage)主要用于根据外部控制器配置将图像数据打包模块产生的图像数据按照镜像或非镜像的存储格式存储到FPGA外挂的存储器中，比如DDR上。该模块主要包含两部分，分别是地址控制部分和数据控制部分，该模块在外部存储器上开出两个缓存区，假设为缓存区一和缓存区二。具体的，缓存区一用于根据不同图像数据块的存储格式，存储从FPGA的低功耗随机存储器中读取的一行图像数据，缓存完一帧完整图像数据后，通知图像数据处理模块来读取该缓存区中缓存的图像数据，同时，也实现缓存区地址的切换，使得写地址信号指向缓存区二继续下一帧图像数据的缓存，从而在两个缓存区之间实现读写数据的轮转，当然，所述的缓存器也不仅限于两个，也可以是多个，具体根据实际需求做出相应的调整。

图像数据处理模块(PIC_Process)主要实现按照特定地址去从外挂的存储器去读取缓存的图像数据，另外，该模块是在一帧图像数据完整的缓存到外挂存储器之后，才会去相应的地址中去读取该帧图像数据的，从而保证读取数据的完整性和准确性。

图像数据缓存模块(SDRAM_IF)主要用于图像数据的缓存，在本实施例中，该存储模块由具备多路读一路写端口的接口读写控制逻辑和外部存储器的控制器构成。具体的，该模块可以实现将切割产生的多块图像数据依次缓存起来，最后通过读写控制逻辑实现多块图像数据同时输出的效果，在本发明的实施例中，当获得的视频数据被切割成N块时，产生8块图像数据，比如N等于8，则该接口读写控制器设置为对应的读写端口逻辑，即设置为8路读1路写端口的AXI4接口读写控制逻辑，从而实现缓存的这8块图像数据可以同时输出到不同的模组上。

图像数据输出模块(MIPI_IP)主要负责将图像数据缓存模块中输出的多块图像数据按照指定的MIPI协议输出到对应的多个模组，以显示完整的图像数据。

具体的，在本实施例中，外部控制器通过通信模块与FPGA实现通信，FPGA根据全局寄存器配置模块中配置的图像地址，读取视频数据，并按照要求进行格式处理，按照指定的格式输出到FPGA中，比如RGB或RRGGBB。再按照要求将指定输出格式的视频数据进行切割，以产生多个图像数据块，图像数据打包模块根据全局寄存器的配置信息，按照指定的数据格式以及延时信号，将图像数据整理打包后传送到图像数据存储模块，该存储模块根据外部控制器模块对FPGA的配置确定是否需要镜像操作，从而将多个图像数据块存放到外挂的存储器中，最后图像处理模块从外挂的存储器中按照指定地址读取数据，最后将读取到的数据依次缓存到图像数据缓存模块，再借助其中的读写控制器输出到图像数据输出模块，进而输出到对应的多个模组并显示。

如图2所示，本发明实施例还提供一种基于MIPI的优化视频拼接方法，包括如下步骤：

步骤101，FPGA主控模块接收视频数据。

步骤102，对所述视频数据进行格式处理和视频切割，以产生多块图像数据。

步骤103，根据存储格式依次对所述多块图像数据进行存储并计算每块图像数据的大小。

步骤104，根据所述外部控制器的配置信息，确定是否对所述每块图像数据进行缩放处理。

步骤105，若是，则根据所述每块图像数据的大小依次对其进行缩放处理，以得到所述每块图像数据的像素值。

步骤106，采用同一个时序控制模块，根据MIPI协议将所述每块图像数据的像素值转换成对应的MIPI信号，并同时发送给多个模组进行显示。

在步骤101中，外部控制器将FPGA内部需要的寄存器信息，比如MIPI核相关参数和时序信息都提前配置到FPGA寄存器中，使得FPGA可以正常工作，视频接收卡接收到相应的图像数据时，FPGA会根据全局寄存器配置信息加载该图像数据的地址，并根据该地址获取图像数据。

在步骤102中，FPGA中的低功耗随机存储器在每读取一帧图像数据时，都会将其先存储到外挂的存储器DDR上，在写入到外挂存储器DDR之前需要按照指定的格式对图像数据进行解码和切割，以产生多块图像数据。具体的，在本实施例中，输入的图像数据格式和外挂存储器DDR的数据存储格式可能是不同的，比如图像数据格式是24bit，而DDR的数据存储格式是512bit，所以需要将图像数据按照外部存储器DDR的数据格式进行处理，再将满足存储格式的图像数据写入到外挂的存储器DDR中，以提高传输速率。

在步骤103中，其具体包括：

步骤1031，根据外部控制器的配置信息，确定每块图像数据对应的存储格式。

步骤1032，基于所述存储格式，计算所述每块图像数据对应的存储地址并按照所述存储地址去从FPGA缓存中读取对应的图像数据。

步骤1033，将所述读取的图像数据存储到FPGA外挂的存储器中。

本发明实施例中，FPGA根据外部控制器的配置信息，确定切割后的每个图像数据块对应的存储格式，其中，所述存储格式包括镜像格式和非镜像格式，且每个图像数据块对应的存储格式是相互独立的。若当前读取的图像数据块是非镜像格式，则按照正常的读取方法，从低地址向高地址开始读取该图像数据块中的数据并按顺序存入到外挂的存储器DDR中，相反，若当前读取的图像数据块是镜像格式，则从高地址向低地址开始读取该图像数据块中的数据并按顺序存入到外挂的存储器DDR中。在存储的同时还要计算出每块图像数据对应的图像大小。

在此说明一下，存入之前，外挂的存储器DDR预先开辟了两个缓存区，以实现轮转。当接收下一帧数据的垂直同期(vsync)信号来的时候，证明外部存储器已经完整接收到一帧图像了，此时会通知图像数据处理模块去外挂的存储器DDR中根据相应的地址读取图像数据，同时外挂的存储器写地址信号也会转向下一个缓存区，完成地址的切换，实现下一个缓存区存储下一帧图像数据。

在步骤104中，当外挂的存储器DDR存储完一帧完整图像数据后，FPGA中的图像数据处理模块按照指定的地址从外挂的存储器中读取该帧图像数据，该帧图像数据是由多块图像数据组成，根据外部控制器的配置信息，确定是否对所述每块图像数据进行缩放处理，并根据每块图像数据的大小计算出缩放比例，其中，每块图像数据的缩放比例是相同的。具体的，在本发明实施例中，采用双线性插值法实现图像数据的缩放，公式如下：

f(x,y)＝f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy其中，x、y是坐标系中的坐标点，f就是一个像素点的像素值。

在本发明实施例中，具体的，根据外部控制器的配置信息，获取每个模组显示的目标图像大小，再结合当前一帧图像数据中每个数据块的大小，确定出目标图像某个像素点的位置在当前图像数据中的对应位置，进而计算出该相应位置最接近的四个像素点以及对应的权重，从而利用上述公式计算出缩放后的像素值，以得到每块图像数据缩放后的像素值。再将缩放后产生的多块图像数据依次进行缓存，并根据外部寄存器的配置信息，确定是否进行数据偏移或加边框处理，以缓存了多个处理后的图像数据块。

在步骤106中，将步骤105产生的多个图像数据块以及数据有效信号传送给同一个时序控制模块，该模块根据外部控制器的配置实时的将数据发送给一个MIPI IP核模块，该模块利用同一个协议层，将所述每块图像数据的像素值转换成对应的MIPI信号，并发送给多个物理层，从而使一个MIPI IP核可以同时点亮多个模组。在本发明实施例中，具体的，根据MIPI协议，在物理层根据图像数据被切割的个数实例化N个并-串转换器(OSERDESE)，并将多个图像数据块和对应的时钟信号同时发送给对应的多个模组以实现数据的同时发送和显示，这样可以完整的显示一帧图像。

在本发明实施例中，模组显示之前，不同的模组可能显示的要求是不同的，比如，模组显示的亮度。为了满足需求，先以广播的方式将需要读取的模组寄存器信息发送到多个模组，并在接收模组应答之前将多个数据总线方向转向，开始同时接收多个模组反馈的信息，接收完反馈数据后再将数据总线转向，从而实现了利用同一组总线实现数据的发送和接收。另外，当接收到多个模组的反馈信息之后根据需求对接收到的反馈信息进行仲裁，筛选出满足条件的模组寄存信息并发送给外部控制器，方便在显示之前对图像数据做出对应的处理，最终显示到对应的模组中，从而使得最终显示的图像数据满足各个模组的需求；而且用户也可以根据需求独立调整某个模组的相关参数，操作简便，提升用户的体验效果。

本发明一实施例提供了一种基于MIPI的优化视频拼接系统，包括：外部控制器模块，用于配置FPGA内部需要的地址信息和参数信息；通信模块，用于实现所述外部控制模块和FPGA之间的通信和对外部存储器进行数据读写；全局寄存器配置模块，用于配置所述图像输出时的相关时序参数和MIPI接口相关参数的配置；图像数据打包模块，用于根据外部寄存器的配置信息，按照指定的数据格式打包，并传送给图像数据存储模块；图像数据存储模块，用于根据外部控制器的配置信息将图像数据按照指定的存储格式存储到外挂的存储器上；图像数据处理模块，用于根据指定地址去外挂的存储器上依次读取相应的图像数据并进行数据处理；图像数据缓存模块，将所述图像数据处理模块处理后的每块图像数据依次进行缓存；图像数据输出模块，用于将所述缓存的多块图像数据按照指定的MIPI协议输出到对应的多个模组。

本发明实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项所述基于MIPI的优化视频拼接方法。

综上所述，本发明提供的一种基于MIPI的优化视频拼接方法、系统及存储介质，本发明的技术方案是在MIPI的基础上做出修改优化，从而实现了一个协议层对应多个物理层，从而大大减少了FPGA资源，不仅降低了成本，同时也提高了FPGA运行速率。另外，实现分屏后多个模组显示的画面是独立的，具有单独可调、画面镜像或缩放等功能，从而客户自行调试方便简便。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于MIPI的优化视频拼接方法，其特征在于，所述方法包括：

FPGA主控模块接收视频数据；

对所述视频数据进行格式处理和视频切割，以产生多块图像数据；

根据存储格式依次对所述多块图像数据进行存储并计算每块图像数据的像素值，其中，所述存储格式包括镜像格式、非镜像格式；

根据所述外部控制器的配置信息，确定是否对所述每块图像数据进行缩放处理；

若是，则根据所述每块图像数据的像素值依次对其进行缩放处理，以得到所述每块图像数据对应的目标图像像素值；

采用同一个时序控制模块，根据MIPI协议将所述每块目标图像像素值转换成对应的MIPI信号，并同时发送给多个模组进行显示。

2.根据权利要求1所述基于MIPI的优化视频拼接方法，其特征在于，

所述“根据存储格式依次对所述多块图像数据进行存储”具体包括：

根据外部控制器的配置信息，确定每块图像数据对应的存储格式；

基于所述存储格式，计算所述每块图像数据对应的存储地址并按照所述存储地址去从FPGA缓存中读取对应的图像数据；

将所述读取的图像数据存储到FPGA外挂的存储器中。

3.根据权利要求2所述基于MIPI的优化视频拼接方法，其特征在于，

所述“计算所述每块图像数据对应的存储地址并按照所述存储地址去从FPGA缓存中读取对应的图像数据”具体包括：

根据所述视频数据大小和分割的图像数据块个数，确定每块图像数据的存储位置；

若当前读取的图像数据块对应的存储格式是非镜像格式，则从所述当前图像数据块的低地址向高地址开始读取图像数据；

若当前读取的图像数据块对应的存储格式是镜像格式，则从所述当前图像数据块的高地址向低地址开始读取图像数据。

4.根据权利要求2所述基于MIPI的优化视频拼接方法，其特征在于，

所述方法还包括：

利用FPGA中的读写存储模块实现FPGA和其外挂的存储器之间读写操作；

所述读写存储模块由多路读一路写端口的接口读写控制逻辑和外挂存储器的控制器组成，以缓存所述图像数据。

5.根据权利要求1所述基于MIPI的优化视频拼接方法，其特征在于，

所述“根据MIPI协议将所述每块目标图像像素值转换成对应的MIPI信号，并同时发送给多个模组进行显示”具体包括：

根据所述多块目标图像像素值，在物理层实例化多个数据并串转换器；

根据所述外部控制器的配置信息和MIPI协议，将所述多块目标图像像素值转成成对应的MIPI信号；

将所述多个MIPI信号通过所述多个数据并串转换器同时发送到多个对应的模组进行显示。

6.根据权利要求5所述基于MIPI的优化视频拼接方法，其特征在于，

所述“将所述多块图像数据通过所述多个数据并串转换器同时发送到多个对应的模组进行显示”步骤之前还包括：

通过广播方式将需要读取的模组寄存器信息发送给所有模组；

接收所有模组的反馈信息并根据所述反馈信息进行仲裁，筛选出符合需求的模组寄存器信息并发送给所述外部控制器，以实现读取对应模组的寄存器信息。

7.根据权利要求1所述基于MIPI的优化视频拼接方法，其特征在于，

所述缩放处理采用双线性插值法。

8.根据权利要求1所述基于MIPI的优化视频拼接方法，其特征在于，

所述每块图像数据对应的存储格式是相互独立的。

9.一种基于MIPI的优化视频拼接系统，其特征在于，

包括：

外部控制器模块，用于配置FPGA内部需要的地址信息和参数信息；

通信模块，用于实现所述外部控制模块和FPGA之间的通信和对外部存储器进行数据读写；

全局寄存器配置模块，用于配置所述图像输出时的相关时序参数和MIPI接口相关参数的配置；

图像数据打包模块，用于根据外部寄存器的配置信息，按照指定的数据格式打包，并传送给图像数据存储模块；

图像数据存储模块，用于根据外部控制器的配置信息将图像数据按照指定的存储格式存储到外部存储器上；

图像数据处理模块，用于根据指定地址去外部存储器上依次读取相应的图像数据并进行数据处理；

图像数据缓存模块，用于缓存所述多块图像数据，以实现FPGA和FPGA外挂的存储器之间的读写操作；

图像数据输出模块，用于将所述图像数据处理模块产生的多个目标图像像素值按照指定的MIPI协议输出到对应的多个模组。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时候实现如权利要求1-8任意一项所述的方法。

Images