CN113115112B - 验证平台和验证方法 - Google Patents

Abstract

本发明提供了一种验证平台，包括视频激励生成模块，所述视频激励生成模块接收输入的视频文件，生成RAW RGB输入文件；验证模块，所述验证模块通讯连接所述视频激励生成模块，接收并处理所述RAW RGB输入文件，以及输出待比对图像和参比图像；显示模块，通讯连接所述验证模块，接收并可视化所述验证模块发送的所述待比对图像和所述参比图像以供测试者观察不同配置的图片处理效果，解决了传统验证平台无法满足图像处理模块验证的难题，开发出专门用于图像处理模块的验证平台，同时可以模拟真实视频流数据的激励输入，让测试者可以在一套验证平台里从不同视角对图像进行测试比较。本发明还提供了一种基于所述验证平台的验证方法。

Description

验证平台和验证方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种验证平台和验证方法。

背景技术

图像处理模块（Image Signal Processing，ISP）是用于处理从传感芯片传来的RAW RGB格式图像信号。由于硬件相较于软件具有更快的处理速度，因此广泛用硬件如集成电路的办法实现对原始图像的高速、高性能处理。YUV系列图像格式由于其便于图像的压缩、高速传输处理的优点，最重要的是可以保留在AI识别中最重要的Y分量（亮度）灰度信息，在现在AI智能识别领域被广泛的应用。同时，ISP模块又会有生成RGB图片的场景，例如AI模块采用位图算法（Bitmap，BMP）作为输入数据来训练神经网络，或者直接通过接口传送数据到显示屏幕进行人眼观察。

目前集成电路(Integrated Circuit，IC)设计的前端验证过程中应用最多的技术是UVM验证方法学(Universal Verification Methodology)。然而，传统的UVM验证平台是一套通用的结构，优点在于模块化、可重用性，但无法满足特定情境下的IP（IntellectualProperties）模块验证工作。通过system verilog语言很难搭建出适合图像数据处理的激励产生单元、参考模型单元以及数据图形化模块。此外，现有的UVM验证平台验证方法没有解决对图像处理模块的专业化验证，无法产生出模拟真实视频流数据的激励输入、无法按照预定的方案对图片进行撒盐测试，例如给一副正常图片输入随机插入坏点，难以模拟真实场景ISP处理的视频处理流水线，难以在ISP模块处理图像数据后将YUV444、YUV422、YUV420、RGB656、RGB666等格式图像及时进行转换。

因此，有必要提供一种验证平台及验证方法以解决现有技术中存在的上述问题。

发明内容

本发明的目的在于提供一种验证平台及验证方法，以解决传统UVM验证平台无法满足图像处理模块验证的难题，模拟真实视频流数据的激励输入，并通过可视化处理让测试者可以在一套验证平台里从不同视角对图片处理结果进行测试比较。

为实现上述目的，本发明所述的验证平台，包括：

视频激励生成模块，所述视频激励生成模块接收输入的视频文件，生成RAW RGB输入文件；

验证模块，所述验证模块通讯连接所述视频激励生成模块，接收并处理所述RAWRGB输入文件，以及输出待比对图像和参比图像；

显示模块，通讯连接所述验证模块，接收并可视化所述验证模块发送的所述待比对图像和所述参比图像以供测试者观察不同配置的图片处理效果。

本发明的有益效果在于：通过搭建视频激励生成模块、验证模块和显示模块解决传统UVM无法满足图像处理模块验证的难题，开发出专门用于图像处理模块的验证平台，所述视频激励生成模块可以模拟真实视频流数据的激励输入，所述显示模块可以将所述验证模块提供的原始数据与处理后数据的图像可视化后直接供测试者比较查看，让测试者可以在一套验证平台里从不同视角进行测试比较。

进一步优选地，所述视频激励生成模块还包括视频分解模块，所述视频分解模块将所述视频文件逐帧分解为若干bmp格式的图片文件。

进一步优选地，所述视频激励生成模块还包括格式转换模块，将所述bmp格式的图片文件转成RAW RGB格式文件后生成所述RAW RGB输入文件。

进一步优选地，所述视频激励生成模块还包括噪点插入模块，用以在所述RAW RGB输入文件中随机插入噪点。其有益效果在于：通过构建噪点插入模块用以测试所述验证平台的可重用性和所述验证模块的降噪功能。

进一步优选地，所述视频文件包括H.264编码视频文件和H.265编码视频文件中的至少一种，所述RAW RGB输入文件的格式包括RGGB、BGGR、GBRG和GRBG格式中的至少一种。其有益效果在于：支持多种视频格式的输入和图片格式的输出，提高了被检测样本的普适性，简化了图像处理单元测试中的素材准备工作，可以广泛的查找素材，生成所需的测试文件。

进一步优选地，所述RAW RGB输入文件的像素信息包括H.264编码视频转生图片，H.265编码视频转生图片，纯色测试图片和彩条测试图片中的至少一种。

进一步优选地，所述视频激励生成模块还包括排列模块，用以将所述RAW RGB输入文件根据像素点进行排列，使所述RAW RGB输入文件中一行放置至少一个像素点信息，所述像素点的存储形式包括二进制和十六进制中的任一种。

进一步优选地，所述验证模块还包括与所述视频激励生成模块通讯连接的配置模块，用以写入配置文件。

进一步优选地，所述验证模块还包括与所述配置模块通讯连接的序列产生模块，所述序列产生模块调用所述RAW RGB输入文件和所述配置文件生成相应信号。

进一步优选地，所述验证模块还包括与所述序列产生模块通讯连接的寄存器驱动器，以接收和处理所述序列产生模块发出的信号，并发送寄存器配置信息。

进一步优选地，所述验证模块还包括与所述序列产生模块通讯连接的数据驱动器，以接收和处理所述序列产生模块发出的信号，并发送数据信息。

进一步优选地，所述验证模块还包括与所述寄存器驱动器和所述数据驱动器通讯连接的ISP待测模块，以接收并处理所述寄存器配置信息和所述数据信息，并输出处理结果。

进一步优选地，所述验证模块还包括通讯连接所述ISP待测模块的检测器模块，以接收所述ISP待测模块的所述处理结果并输出待测数据。

进一步优选地，所述验证模块还包括通讯连接所述配置模块的参考模块，以接收并处理所述配置文件生成参比数据。

进一步优选地，所述验证模块还包括通讯连接所述参考模块和所述检测器模块的数据比对模块，以接收所述参考模块处理后的参比数据和所述检测器模块输出的待测数据，并对所述参比数据和所述待测数据进行比较。

进一步优选地，所述验证模块还包括通讯连接所述ISP待测模块的数据后处理图形化模块，所述数据后处理图形化模块接收所述ISP待测模块的待测数据，并对所述待测数据进行图形化处理得到所述待比对图像。

进一步优选地，所述验证模块还包括数据前处理图形化模块，所述数据前处理图形化模块接收并图形化所述RAW RGB输入文件得到所述参比图像。

本发明还提供了一种基于所述验证平台进行的验证方法。所述验证方法的有益效果在于：通过搭建视频激励生成模块、验证模块和显示模块解决传统UVM无法满足图像处理模块验证的难题，开发出专门用于图像处理模块的验证平台，所述视频激励生成模块可以模拟真实视频流数据的激励输入，所述显示模块可以将所述验证模块提供的原始数据与处理后数据的图像可视化后直接供测试者比较查看，让测试者可以在一套验证平台里从不同视角进行测试比较。

附图说明

图1为本发明实施例的验证平台的结构框图；

图2为本发明实施例的视频激励生成模块的结构框图；

图3至图6为本发明实施例的RAW RGB像素的四种排列方式示意图；

图7为本发明实施例的验证模块的结构框图；

图8为本发明实施例利用ISP参考模型生成参比数据的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

针对现有技术存在的问题，本发明的实施例提供了一种验证平台以及基于所述验证平台进行的验证方法。

图1为本发明验证平台的结构框图，验证平台1包括：

视频激励生成模块11，所述视频激励生成模块11接收输入的视频文件，生成RAWRGB输入文件；

验证模块12，所述验证模块12通讯连接所述视频激励生成模块11，接收并处理所述RAW RGB输入文件，以及输出待比对图像和参比图像；

显示模块13，通讯连接所述验证模块12，接收并可视化所述验证模块12发送的所述待比对图像和所述参比图像以供测试者观察不同配置的图片处理效果。

通过搭建视频激励生成模块11、验证模块12和显示模块13解决传统UVM无法满足图像处理模块验证的难题，开发出专门用于图像处理模块的验证平台，所述视频激励生成模块11可以模拟真实视频流数据的激励输入，所述显示模块13可以将所述验证模块提供的原始数据与处理后数据的图像可视化后直接供测试者比较查看，让测试者可以在一套验证平台里从不同视角进行测试比较。

本发明的一些实施例中，图2为本发明视频激励生成模块的结构框图，所述视频激励生成模块11还包括视频分解模块111，所述视频分解模块111将所述视频文件逐帧分解为若干bmp格式的图片文件。

本发明的一些实施例中，参图2，所述视频激励生成模块11还包括格式转换模块112，将所述bmp格式的图片文件转成RAW RGB格式文件后生成所述RAW RGB输入文件。

具体的，正常的bmp图片中每个像素都包含RGB三个通道的信息，根据邻近插值原则即RAWRGB转BMP图片的方法进行反推，根据配置信息所要的RAW RGB格式，每个像素只取相应的颜色单通道信息，最后组成单通道二维矩阵，所述单通道二维矩阵的长宽与输入图片一致，按顺序将所述单通道二维矩阵一维展开，按行将像素信息写入RAW RGB输入文件。

本发明的一些实施例中，结合图1和图2所示，所述视频激励生成模块11还包括噪点插入模块113，用以在所述RAW RGB输入文件中随机插入噪点，通过构建噪点插入模块113用以测试所述验证平台的可重用性和所述验证模块12的降噪功能。

在一种具体的实施例中，参照图2，所述噪点插入模块113在所述RAW RGB输入文件中根据配置信息和配置概率将0和255两种噪点值写入相应的像素，其中所述配置概率根据产生概率计算得到，所述产生概率是一个0-100之间的整数，所述配置概率与所述产生概率的和为100，在每次采集信号时会产生一个0-100之间的随机整数，当所述随机整数大于所述配置概率，则会插入噪点，例如：原本在第300个RAW RGB像素应该记录R通道信息，但是产生的所述随机整数大于设定的所述配置概率，那么将不会记录R通道信息，而去记录噪点信息。

本发明的一些实施例中，所述视频文件包括H.264编码视频文件和H.265编码视频文件中的至少一种，并支持多种数据格式如YUV、MP4、AVI，所述RAW RGB输入文件的格式包括RGGB、BGGR、GBRG和GRBG格式中的至少一种，用以支持多种视频格式的输入和图片格式的输出，提高了被检测样本的普适性，简化了图像处理单元测试中的素材准备工作，可以广泛的查找素材，生成所需的测试文件。

本发明的一些实施例中，所述RAW RGB输入文件的像素信息包括H.264编码视频转生图片，H.265编码视频转生图片、纯色测试图片和彩条测试图片中的至少一种。

本发明的一些实施例中，参照图2，所述视频激励生成模块11还包括排列模块114，用以将所述RAW RGB输入文件根据像素点进行排列，使所述RAW RGB输入文件中一行放置一个像素点信息，每个像素点信息占8-12bit，所述像素点的存储形式包括二进制和十六进制中的任一种。

具体的，图3至图6为本发明实施例的RAW RGB像素的四种排列方式示意图。参照图3至图6，RAW RGB像素的四种排列方式分别为RGGB、RGGR、GBRG和GRBG。具体的，图3所示的排列方式为RGGB，图4所示的排列方式为RGGR，图5所示的排列方式为GBRG，图6所示的排列方式为GRBG。

在一种具体的实施例中，参图2和图7，所述视频激励生成模块11接收输入的所述视频文件，利用ffmpeg开源计算机程序作为第一步处理核心，将H.264或H.265格式的视频逐帧分解成RGB图片，第二步再根据python写成的脚本将每张RGB图片按照验证平台中序列产生模块122的像素排列要求转RAW RGB的格式要求转成RAWRGB输入文件。

在另一种具体的实施例中，参图2，所述视频激励生成模块还11还可以直接接收配置信息生成纯色图片或者生成colorbar图片，所述配置信息为RGB三分量信息。

正常的bmp图片每个像素都含有RGB三个通道的信息，根据邻近插值原则（RAWRGB转BMP图片的方法）反推，根据配置信息所要的RAW RGB格式，每个像素只取相应的颜色单通道信息，最后组成单通道二维矩阵（长宽与输入图片一致）。

本发明的一些实施例中，图7为本发明验证模块的结构框图，结合图1和图7所示，所述验证模块12还包括与所述视频激励生成模块11通讯连接的配置模块121，用以写入配置文件。

具体的，根据测试需求，按照所述序列产生模块122针对所述配置文件的格式要求单独写所述配置文件来配置ISP待测模块125和参考模块127，将所述配置文件写入所述配置模块121，所述配置文件可以满足所述ISP待测模块125与参考模块127配置其各自寄存器，所述配置文件中一行信息对应一个寄存器的操作。

本发明的一些实施例中，参图7，所述验证模块12还包括与所述配置模块121通讯连接的序列产生模块122，所述序列产生模块122调用所述RAW RGB输入文件和所述配置文件生成相应信号。

本发明的一些实施例中，参图7，所述验证模块12还包括与所述序列产生器122通讯连接的寄存器驱动器123，以接收和处理所述序列产生模块122发出的信号，并发送寄存器配置信息。

具体的，所述序列产生器122是应用了UVM验证平台本身的特性对配置输入与图像输入进行了顺序控制，按照正常芯片内的工作顺序，先进行所述寄存器驱动器123的配置工作，再进行图像的输入。

本发明的一些实施例中，参图7，所述验证模块12还包括与所述序列产生器122通讯连接的数据驱动器124，以接收和处理所述序列产生模块122发出的信号，并发送数据信息。

具体的，所述序列产生模块122的功能通过序列产生器122实现，所述序列产生器122按规则读取所述RAWRGB输入文件与所述配置文件后，先调用所述寄存器驱动器123，再去调用所述数据驱动器124，所述寄存器驱动器123与所述ISP待测模块125的接口为APB总线，以完成寄存器的读写操作，所述数据驱动器124与所述ISP待测模块125的接口为DVP接口，所述数据驱动器124的DVPCLK时钟频率在64k-100Mb/s之间调整，其中行有效信号与帧有效信号在高有效与低有效之间调整，其帧与帧之间可以插入可调的无效信号，以模仿真实情况下真实接口的行为。

本发明的一些实施例中，参图7，所述验证模块12还包括与所述寄存器驱动器123和所述数据驱动器124通讯连接的ISP待测模块125，以接收并处理所述寄存器配置信息和所述数据信息，并输出处理结果。

具体的，所述寄存器驱动器123首先根据APB接口将寄存器配置信息发送给所述ISP待测模块125，所述数据驱动器124在所述寄存器驱动器123配置之后将数据信息按照DVP接口的格式发送给所述ISP待测模块125，所述ISP待测模块125接收并处理所述寄存器配置信息和所述数据信息，并通过video_out接口输出处理结果。

本发明的一些实施例中，参图7，所述验证模块12还包括通讯连接所述ISP待测模块125的检测器模块126，以接收所述ISP待测模块125的所述处理结果并输出待测数据。

具体的，所述检测器模块126对从所述video_out接口出来的数据进行检测并打包发给数据比对模块128。

本发明的一些实施例中，参图7，所述验证模块12还包括通讯连接所述配置模块121的参考模块127，以接收并处理所述配置文件生成参比数据。

具体的，在所述参考模块127中通过使用python搭建其内部pipeline算法建立ISP参考模型，以生成所述参比数据来与所述ISP待测模块125产生的所述待测数据进行比较。

图8为利用ISP参考模型生成参比数据的流程图，结合图7和图8所示，所述ISP参考模型获取所述二维矩阵依次进行黑电平矫正、绿平衡、动态缺陷修正、静态缺陷修正、帧间缝合、RAW伽马矫正、数码增益、3D降噪、静态白平衡、镜头阴影矫正、网络校正、鱼眼校正、去马赛克颜色校正、RGB伽马矫正、颜色降噪、锐化和颜色空间转换得到所述参比数据。最终将处理过得到的所述参比数据放在一个文本文件中，同样每一个像素点信息放一行，传递给所述数据比对模块128进行数据比对。

本发明的一些实施例中，参图7，所述验证模块12还包括通讯连接所述参考模块127和所述检测器模块126的数据比对模块128，以接收所述参考模块127处理后的参比数据和所述检测器模块126输出的待测数据，并对所述参比数据和所述待测数据进行比较。

具体的，所述数据比对模块128会接收所述参考模块127处理好的数据，以及所述检测器模块126检测到的video_out接口出来的所述ISP待测模块125的数据，在数据比较阶段，所述数据比对模块128会将两个方向过来的数据进行比较，若有不同则打印错误信息。

在此需要说明的是，传统的数据比较是在UVM平台内搭建的，但是由于UVM验证平台使用的是System verilog语言相对难以实现相关指标的计算，因此本发明采用了python语言搭建的所述数据比对模块128。

所述数据比对模块128主要实现的功能，一是将所述参考模型产生出的数据文件与所述待测ISP模块125产生的数据文件进行比对，二是计算图片的峰值信噪比(PSNR，PeakSignal-to-Noise Ratio)。

在比对时会用到插入噪点前产生的数据文件与插入噪点后产生的数据文件，首先计算出两张图片的均方误差MES，所述MES的计算公式为：

其中w为宽，l为长，I为插入噪点前的数据，K为插入噪点后的数据，然后根据MSE计算PSNR，所述PSNR的计算公式为：

其中

为图片可能的最大像素值，如果每个像素都由8位二进制来表示，那么

，即图片可能的最大像素值为255。

需要注意的是对于YUV图像会直接计算Y分量的PSNR值，而RGB数据会转成YUV在进行Y分量的PSNR计算。

本发明的一些实施例中，参图7，所述验证模块12还包括通讯连接所述ISP待测模块125的数据后处理图形化模块129，所述数据后处理图形化模块129接收所述ISP待测模块125的待测数据，并对所述待测数据进行图形化处理得到所述待比对图像，所述待测数据具体为YUV、RGB格式像素文件，所述像素文件的记录方式与RAW RGB输入文件类似，即一行记录一个像素信息。

本发明的一些实施例中，参图7，所述验证模块12还包括数据前处理图形化模块120，所述数据前处理图形化模块120接收并图形化所述RAW RGB输入文件得到所述参比图像以供测试者观察，其中所述RNW RGB输入文件包括RGGB、BGGR、GBRG和GRBG格式中的至少一种。

具体的，在人眼比对阶段，所述显示器会将原始RAW RGB输入文件经过所述数据前处理图形化模块120处理显示给检测者观察，另外还会将所述ISP待测模块125处理过的数据经过所述数据后处理图形化模块129显示给测试者观察，测试者可以对两者进行比较，并根据比较结果调整配置信息，观察不同配置的图片处理效果。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (10)

1.一种验证平台，其特征在于，包括：

视频激励生成模块，所述视频激励生成模块接收输入的视频文件，生成RAW RGB输入文件，所述视频激励生成模块还包括噪点插入模块，用以在所述RAW RGB输入文件中随机插入噪点；

验证模块，所述验证模块通讯连接所述视频激励生成模块，接收并处理所述RAW RGB输入文件，所述验证模块包括：

配置模块，所述配置模块与所述视频激励生成模块通讯连接；

序列产生模块，所述序列产生模块与所述配置模块通讯连接；

寄存器驱动器，所述寄存器驱动器与所述序列产生模块通讯连接；

数据驱动器，所述数据驱动器与所述序列产生模块通讯连接；

ISP待测模块，所述ISP待测模块分别与所述寄存器驱动器和所述数据驱动器通讯连接；

数据前处理图形化模块，所述数据前处理图形化模块与所述视频激励生成模块通讯连接；

数据后处理图形化模块，所述数据后处理图形化模块与所述ISP待测模块通讯连接；

其中，所述配置模块用于写入配置文件，所述序列产生模块用于调用所述RAW RGB输入文件和所述配置文件以生成相应信号，所述寄存器驱动器用于接收和处理所述序列产生模块发出的信号并发送寄存器配置信息，所述数据驱动器用于接收和处理所述序列产生模块发出的信号并发送数据信息，所述ISP待测模块用于接收并处理所述寄存器配置信息和所述数据信息并输出处理结果，所述数据后处理图形化模块用于接收所述ISP待测模块输出的处理结果并对所述ISP待测模块输出的处理结果进行图形化处理得到待比对图像，所述数据前处理图形化模块用于接收并图形化所述RAW RGB输入文件以得到参比图像；

显示模块，通讯连接所述验证模块，接收并可视化所述验证模块发送的所述待比对图像和所述参比图像以供测试者观察不同配置的图片处理效果。

2.根据权利要求1所述的验证平台，其特征在于，所述视频激励生成模块还包括视频分解模块，所述视频分解模块将所述视频文件逐帧分解为若干bmp格式的图片文件。

3.根据权利要求2所述的验证平台，其特征在于，所述视频激励生成模块还包括格式转换模块，所述格式转换模块将所述bmp格式的图片文件转成RAW RGB格式文件后生成所述RAW RGB输入文件。

4.根据权利要求1所述的验证平台，其特征在于，所述视频文件包括H.264编码视频文件和H.265编码视频文件中的至少一种，所述RAW RGB输入文件的格式包括RGGB、BGGR、GBRG和GRBG格式中的至少一种。

5.根据权利要求1所述的验证平台，其特征在于，所述RAW RGB输入文件包括H.264编码视频转生图片，H.265编码视频转生图片，纯色测试图片和彩条测试图片中的至少一种。

6.根据权利要求1所述的验证平台，其特征在于，所述视频激励生成模块还包括排列模块，用以将所述RAW RGB输入文件根据像素点进行排列，使所述RAW RGB输入文件中一行放置至少一个像素点信息，所述像素点的存储形式包括二进制和十六进制中的任一种。

7.根据权利要求1所述的验证平台，其特征在于，所述验证模块还包括通讯连接所述ISP待测模块的检测器模块，以接收所述ISP待测模块的处理结果并输出待测数据。

8.根据权利要求7所述的验证平台，其特征在于，所述验证模块还包括通讯连接所述配置模块的参考模块，以接收并处理所述配置文件并生成参比数据。

9.根据权利要求8所述的验证平台，其特征在于，所述验证模块还包括通讯连接所述参考模块和所述检测器模块的数据比对模块，以接收并比较所述参考模块处理后的参比数据和所述检测器模块输出的待测数据。

10.一种验证平台的验证方法，其特征在于，基于如权利要求1-9中任一项所述的验证平台进行。

Images