CN114116464A - 一种图像处理的测试方法和装置 - Google Patents

Abstract

本申请公开了一种图像处理单元的测试方法，包括：从测试序列中提取每个测试帧图像，对每个所述测试帧图像进行图像处理得到对应的输出图像，并确定与每个所述输出图像对应的测试目标图像；针对每个所述输出图像，计算该输出图像中每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像；基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定。通过本申请，能够改善测试效果，节省测试时间，在有图像主观人员参与的测试中，明显降低对于图像主观测试人员的要求，协助图像主观测试人员方便地进行测试结果分析。

Description

一种图像处理的测试方法和装置

技术领域

本申请涉及图像处理技术，特别涉及一种图像处理的测试方法和装置。

背景技术

图像处理算法通常会对输入源图像做一系列处理，一般输入输出尺寸保持不变，但图像效果会有改善。在对图像处理算法进行效果测试时，客观指标测试通常只能从图像整体指标(例如整体图像的信噪比等)上反映图像处理的效果。而对于图像处理在视觉上的效果以及图像部分区域上的处理效果，通常需要由图像主观测试人员根据输出图像在显示效果上与输入图像的比较，判定算法改善程度是否符合预期。而由图像主观测试人员进行的上述显示效果的比较，要求图像主观测试人员必须懂得算法处理原理，才能知道需要着重关注哪些问题点和改善点，但显然，这对图像主观测试人员的相关知识储备要求较高。同时，在图像处理中，大部分算法处理后的输出图像和输入图像相比，经过指定算法处理的部分差异可能较小，并受到不同显示器显示差异的影响，加之图像主观测试人员长期盯住屏幕，产生视觉疲劳，因此，图像主观测试人员并不能直观定位算法改善的内容，不易看出差距和问题以及改善点，很难判断算法改进方向的正确性。通过上述对目前图像处理算法的测试方式进行的分析可见，目前的测试方式主要是采用主观测试方式，比较费时，对图像主观测试人员要求较高，也非常消耗图像主观测试人员的精力。

发明内容

本申请提供一种图像处理的测试方法和装置，能够改善测试效果，节省测试时间，在有图像主观人员参与的测试中，明显降低对于图像主观测试人员的要求，协助图像主观测试人员方便地进行测试结果分析。

为实现上述目的，本申请采用如下技术方案：

一种图像处理单元的测试方法，包括：

从测试序列中提取每个测试帧图像，对每个所述测试帧图像进行图像处理得到对应的输出图像，并确定与每个所述输出图像对应的测试目标图像；

针对每个所述输出图像，计算该输出图像中目标区域的每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像；

基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定。

较佳地，所述测试帧图像与输出图像的尺寸相同时，所述测试目标图像为所述测试帧图像；和/或，

当所述测试帧图像与输出图像的尺寸不同时，选择指定的输出图像作为所述测试目标图像。

较佳地，所述测试序列为一张静态图片，所述测试帧图像为所述静态图片；或者，

所述测试序列为一段视频，所述测试帧图像为所述视频的所有帧图像或指定帧图像；所述视频为实时视频或预录的非实时视频。

较佳地，所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

显示至少一个输出图像对应的差值特征图像，根据差值特征图像确定所述图像处理的结果；和/或，

基于至少一个输出图像对应的差值特征图像，与预先设定的客观指标进行比较，根据比较值确定所述图像处理的结果。

较佳地，所述基于相应的差值确定该输出图像对应的差值特征图像包括：

将所述差值作为差值特征图像中相应位置像素的像素值，将差值特征图像中与输出图像中非所述目标区域相同位置像素的像素值设为指定的像素值，得到所述差值特征图像；或者，

将所述差值作为差值图像中相应位置像素的像素值，得到所述差值图像；将所述差值图像的像素值进行量化处理作为差值特征图像相应位置像素的像素值，并将差值特征图像中与输出图像中非所述目标区域相同位置像素的像素值设为指定的像素值，得到所述差值特征图像。

较佳地，当所述图像处理为自动曝光时，所述测试序列为：连续拍摄的一段静态视频；其中，在所述连续拍摄中首先在设定亮度的光源下进行拍摄、然后在比所述设定亮度更暗的光源下进行拍摄、最后在所述设定亮度的光源下进行拍摄；

所述将所述差值图像的像素值进行量化处理后得到所述差值特征图像包括：

将所述差值图像按照设定尺寸进行分块，计算每个分块内像素值的方差；对于每个分块，若该分块内像素值的方差大于设定的第一阈值，则将该分块内的所有像素的像素值量化为第一颜色对应的像素值，否则，将该分块内的所有像素的像素值量化为第二颜色对应的像素值；将量化处理后的所述差值图像作为所述差值特征图像；其中，第一颜色和第二颜色的像素值之差大于设定的第二阈值。

较佳地，当所述图像处理为自动曝光时，所述基于至少一个输出图像对应的差值特征图像进行图像处理效果的判定包括：

在按照时间顺序排列的所有输出图像对应的差值特征图像中，当首次在任一所述差值特征图像中出现第一颜色时，或者，当任一所述差值特征图像中出现第一颜色的分块数达到各差值特征图像中最多时，确定开始出现曝光，并记录当前帧数为第一帧数；在开始出现曝光的差值特征图像之后，当首次出现又一所述差值特征图像的所有像素均显示为第二颜色时，确定曝光完全收敛，并记录当前帧数作为第二帧数；若在开始出现曝光的差值特征图像之后直到最后一个差值特征图像，没有出现所有像素均为第二颜色的差值特征图像，则确定曝光无法完全收敛；根据第一帧数和第二帧数计算出现曝光到曝光完全收敛的时间；

或者，

按照时间顺序显示所有输出图像对应的差值特征图像，用于判断曝光是否能够完全收敛；接收图像主观测试人员的指示，将指定的第一差值特征图像作为开始出现曝光的差值特征图像，将其对应的帧数作为第一帧数；将指定的第二差值特征图像作为曝光完全收敛的差值特征图像，将其对应的帧数作为第二帧数；根据第一帧数和第二帧数计算出现曝光到曝光完全收敛的时间。

较佳地，当所述图像处理为自动曝光时，所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

在按照时间顺序排列的多个输出图像对应的差值特征图像中，对于同一分块位置，当不同差值特征图像中该分块位置上的像素由第一颜色变为第二颜色再变回第一颜色时，确定出现曝光反弹；或者，

按照时间顺序显示多个输出图像对应的差值特征图像，用于判断是否出现曝光反弹。

较佳地，当所述图像处理单元的测试为开启或关闭功能的测试时：

基于所述差值确定该输出图像对应的差值特征图像包括：将所述差值作为差值特征图像中相应位置像素的像素值，得到所述差值特征图像；

所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

当关闭所述图像处理单元时，对于所有输出图像对应的差值特征图像，判断所有差值特征图像中的像素值是否为全0，若是，则确定关闭功能正常；否则，确定关闭功能异常；

当开启所述图像处理单元时，对于所有输出图像对应的差值特征图像，判断所有差值特征图像中的像素值是否为全0，若是，则确定开启功能异常；否则，开启功能正常。

较佳地，所述图像处理为gamma调参；

所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

在每个差值特征图像中，确定gamma调参的目标区域，将目标区域中的像素值与预先设定的测试阈值进行比较，若存在不符合所述测试阈值要求的像素，则确定gamma调参处理未达到效果；否则，确定gamma调参处理已达到效果，或者，按照时间顺序显示所有输出图像对应的差值特征图像，用于进行gamma调参结果的判定。

较佳地，所述图像处理为CAC调参，所述测试序列为CAC测试图像；

所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

显示至少一个输出图像对应的差值特征图像，用于确定差值特征图像中表现的对应测试目标图像与输出图像的像素值之差显著的位置，以在所述输出图像中相应位置上观察图像处理效果。

较佳地，显示所述差值特征图像的方式包括：在白色底图上绘制所述差值特征图像。

一种图像处理单元的测试装置，包括：第一图像获取单元、差值特征图像获取单元和效果判定单元；

所述第一图像获取单元，用于从测试序列中提取每个测试帧图像，对每个所述测试帧图像进行图像处理得到对应的输出图像，并确定与每个所述输出图像对应的测试目标图像；

所述差值特征图像获取单元，用于针对每个所述输出图像，计算该输出图像中目标区域的每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像；

所述效果判定单元，用于基于至少一个输出图像对应的差值特征图像进行图像处理效果的判定。

由上述技术方案可见，本申请中，从测试序列中提取每个测试帧图像，对每个测试帧图像进行图像处理得到对应的输出图像，并确定与每个输出图像对应的测试目标图像；针对每个输出图像，计算该输出图像中每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像；基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定。通过上述方式，能够得到反映当前输出图像与测试目标图像之间区别的差值特征图像，从而利用差值特征图像确定图像处理效果，改善测试效果，节省测试时间，同时在有图像主观人员参与的测试中，能够明显降低对于图像主观测试人员的要求，协助图像主观测试人员方便地进行测试结果分析。

附图说明

图1为本申请中图像处理单元的测试方法流程图；

图2为对差值图像进行分块时无法整分的示意图；

图3a为曝光正常收敛的示意图；

图3b为曝光收敛过程中存在曝光反弹的示意图；

图4为本申请中图像处理单元的测试装置的基本结构示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

本申请的基本思想在于：在对图片或视频的图像处理进行测试时，通过差值特征图像来衡量处理前和处理后的图像间的差别，从而利用该差别对图像处理效果进行判定。

图1为本申请中图像处理单元的测试方法的基本流程示意图。如图1所示，该方法包括：

步骤101，从测试序列中提取每个测试帧图像。

测试序列是用于进行图像处理单元测试的原始图像序列，既可以是单张的静态图片，也可以是一段视频。其中，视频可以是实时拍摄的视频，也可以是预先录制的非实时视频。显然，当测试序列为单张静态图片时，该测试序列仅包括一张静态图片；当测试序列为一段视频时，该测试序列包括多个视频帧图像。为方便进行统一描述，下面将测试序列中包括的单幅图像(可能是一张静态图片，也可能是视频中的单帧图像)称为帧图像。

在进行图像处理单元的测试时，可以将测试序列中所有帧图像全部输入图像处理单元进行指定的图像处理，或者，也可以根据实际需要在测试序列中选择部分帧图像输入图像处理单元进行指定的图像处理，例如可以在视频中按照特定的时间周期选择帧图像输入图像处理单元。本申请中，将输入图像处理单元进行指定图像处理的帧图像称为测试帧图像。

从测试序列中提取各个测试帧图像输入图像处理单元。其中，各个测试帧图像可以按照时间顺序进行提取，或者可以根据实际需要按照自定义顺序提取测试帧图像。后续各个步骤的处理均是对所有测试帧图像进行的，其中，对每个测试帧图像进行的处理都是相同的。另外，后续步骤的处理，其处理顺序是针对一个测试帧图像而言的，并不是针对所有测试帧图像的整体而言的。具体地，对于任意一个测试帧图像，后续步骤102-103构成一个组处理，不同测试帧图像对应不同的组处理，同一组处理内的步骤是顺序执行的(也就是说对于同一个测试帧图像，需要顺序执行步骤102-103)；对于步骤102-103中任意一个步骤的处理，依次对各个测试帧图像分别进行，当然如果该步骤的处理能力较强，可以对多个测试帧图像进行并行处理，那么各个测试帧图像顺序排列，每次处理从排列的队列中选择可以并行处理的若干测试帧图像进行相应处理。也就是说，虽然步骤102和103是以先后顺序介绍的，但是并不是说对所有测试帧图像都执行完步骤102，再去统一执行步骤103，该步骤执行顺序是对于一个测试帧图像对应的组处理而言的，不同测试帧图像之间步骤102和103可能不是顺序执行的，例如测试帧图像M在执行完步骤103的处理后，另一测试帧图像N可能还在执行步骤102的处理。

步骤102，对每个测试帧图像进行图像处理得到对应的输出图像，并确定与每个输出图像对应的测试目标图像。

测试帧图像按照时间顺序输入图像处理单元进行处理得到对应的输出图像。输出图像对应的测试目标图像，用于后续与输出图像进行比较，以确定图像处理单元的输入与输出的差别。

一般地，图像处理单元的输入与输出尺寸相同，也就是测试帧图像与输出图像的尺寸相同，这种情况下，输出图像对应的测试目标图像可以是测试帧图像，后续在进行比较时，直接利用测试帧图像和对应的输出图像进行比较，得到差值特征图像。特别地，有些图像处理单元的输入与输出尺寸可能会不同(也就是说测试帧图像和对应的输出图像尺寸不同)，例如电子防抖(EIS)的处理，这种情况下无法直接将输出图像与输入的测试帧图像进行比较，可以预先指定一个输出图像作为测试目标图像，通常该指定的输出图像为图像主观测试人员判定图像处理效果较好的输出图像，一般称为golden图像；由于该指定输出图像与其他输出图像之间尺寸相同，因此方便进行差值操作处理，就利用该指定输出图像来代表对应的测试帧图像，反映输入与输出间的区别。

步骤103，针对每个输出图像，计算该输出图像中目标区域的每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像。

对于每个输出图像的处理均相同。以一个输出图像A为例进行说明，通过前述步骤102确定出输出图像A对应的测试目标图像B，可能是测试帧图像，也可能是预先指定的一个输出图像。对于输出图像A中目标区域的每个像素x，确定测试目标图像B中相同位置的像素y，并计算像素x和y之间的像素值之差，这样得到对应像素x的像素值之差。再基于对应所有像素的像素值之差，确定输出图像A对应的差值特征图像。这里，在比较输出图像与测试目标图像(即上述计算输出图像与测试目标图像对应像素差值的操作)时，可以将整个图像进行比较，也可以是对其中部分区域进行比较；当将整个图像进行比较时，前述输出图像A中的目标区域就是指输出图像A的所有区域，当仅将图像中的部分区域进行比较时，前述输出图像A中的目标区域就是指需要进行比较的部分区域。其中进行比较的区域可以预先指定，或者采用默认值，具体可以根据待测试的图像处理的特点进行指定。

其中，确定差值特征图像时，可以直接将像素x和y的像素差作为差值特征图像中对应像素x位置上的像素的像素值，也就是直接将像素差值作为差值特征图像的像素值，将差值特征图像中与输出图像中非目标区域相同位置像素的像素值设为指定的像素值，构成差值特征图像。例如，当图像处理单元为伽玛(gamma)调参或色彩失常校正(CAC)调参等时，差值特征图像可以直接由像素差值作为像素值来构成。

或者，确定差值特征图像时也可以是先将像素差值作为差值图像相应位置像素的像素值，构成差值图像，然后对差值图像的像素值进行量化处理作为差值特征图像相应位置像素的像素值，并将差值特征图像中与输出图像中非目标区域相同位置像素的像素值设为指定的像素值，得到差值特征图像。例如，当图像处理为自动曝光、且目标区域为整个图像时，对差值图像的像素值进行量化处理得到差值特征图像的过程具体可以包括：首先将差值图像按照设定尺寸进行分块，计算每个分块内像素值的方差；然后，对于每个分块，若该分块内像素值的方差大于设定的第一阈值，则将该分块内的所有像素的像素值量化为第一颜色对应的像素值，否则，将该分块内的所有像素的像素值量化为第二颜色对应的像素值；将量化处理后的差值图像作为差值特征图像；其中，第一颜色和第二颜色的差别大于设定的第二阈值，这样可以明显区分出两种不同的颜色，例如可以使用黑色和白色作为第一颜色和第二颜色。上述差值特征图像利用分块的方差反应了输出图像与测试目标图像差值间的变化情况，对于需要变化情况来判定处理效果的图像处理单元就比较适合，例如自动对焦(AF)或者自动白平衡(AWB)等。

如上可以针对每个输出图像得到相应的差值特征图像。

步骤104，基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定。

在本申请中基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定时，可以是由客观指标来衡量处理效果，或者也可以提供相应的差值特征图像，供图像主观测试人员来对图像处理效果进行主观判定，或者还可以将上述客观指标与主观判定相结合。

具体地，在进行图像处理结果的判定时，可以基于至少一个输出图像对应的差值特征图像，与预先设定的客观指标进行比较，确定图像处理的效果。

或者，在进行图像处理结果的判定时，还可以显示至少一个输出图像对应的差值特征图像，根据差值特征图像确定图像处理的结果，例如将显示的差值特征图像用于辅助图像主观测试人员进行图像处理效果的判定。更详细地，可以根据差值特征图像确定出输出图像与测试目标图像之间差别明显的位置，由此图像主观测试人员可以根据该差别明显的位置，在输出图像中找到对应的位置，即图像主观测试人员更容易查出需要判定图像处理效果的位置，极大地降低了对于图像主观测试人员的要求，大大缩减了测试时间。其中在显示至少一个输出图像对应的差值特征图像时，可以按照时间顺序进行显示，也可以按照自定义顺序进行显示。

又或者，在进行图像处理结果的判定时，还可以结合上述两种方式，基于所有输出图像对应的差值特征图像，与预先设定的客观指标进行比较，并显示至少一个输出图像对应的差值特征图像，辅助图像主观测试人员判断；若与客观指标的比较和图像主观测试人员的判断都符合图像处理要求，确定本次测试对应的图像处理符合要求；否则，确定图像处理不符合要求。具体地，可以首先基于所有输出图像对应的差值特征图像，与预先设定的客观指标进行比较，若满足客观指标，再显示至少一个输出图像对应的差值特征图像，用于辅助图像主观测试人员进行图像处理效果的判定；若不满足客观指标，则直接确定图像处理不符合要求，不需要再进行主观判定。或者，也可以首先显示至少一个输出图像对应的差值特征图像，用于辅助图像主观测试人员进行图像处理效果的判定；当接收到图像主观测试人员发出的图像处理符合要求的信息后，再基于至少一个输出图像对应的差值特征图像，与预先设定的客观指标进行比较，若满足客观指标，则确定图像处理符合要求，若不满足客观指标，则确定图像处理不符合要求；当接收到图像主观测试人员发出的图像处理不符合要求的信息后，直接确定图像处理不符合要求，不需要再进行客观指标的判定。

在上述部分处理中涉及到顺序显示所有差值特征图像，具体进行显示时，可以直接按照差值特征图像中像素取值进行显示，或者为方便观察，还可以将显示图像底色设为白色，在该白色底色上绘制差值特征图像，当输出图像与测试目标图像的差别越明显，差值特征图像的像素显示越趋近于黑色。

例如，利用RGB格式进行显示的差值特征图像中，一个像素由R、G、B三个部分组成，分别为R、G、B三色，差值特征图像某像素的像素值也就是指R、G、B三色各自的像素值。在显示差值特征图像时，显示像素值为R_out＝R₂₅₅-clip(ɑ|R'|)，G_out＝G₂₅₅-clip(ɑ|G'|)，B_out＝B₂₅₅-clip(ɑ|B'|)，具体处理包括：

1、分别获取差值特征图像中三个色彩像素值的绝对值，即获取|R'|、|G'|、|B'|，其中，R'、G'、B'分别表示差值特征图像中像素的像素值(这里仅表示测试目标图像与输出图像的像素值之差，可能并不符合像素值的取值范围)；||表示取绝对值；如前所述，R'、G'、B'为测试目标图像的像素值与输出图像的像素值之差。因为图像处理后可能会变暗，也可能会变亮，而本申请处理中只看测试目标图像与输出图像的差距，并不关注变化的方向，同时也考虑到RBG格式正常像素取值范围是[0，255]，因此，为了避免负数值出现，所以将差值特征图像的像素取绝对值操作，保证此处给出的是一个正数；

2、对绝对值取加权值ɑ|R'|、ɑ|G'|、ɑ|B'|；ɑ为定义的权重，此权重可以是为了差值特征图像的显示效果更加明显，根据每个图像处理单元大概的色差的阈值，设定的一个合理的经验权重值；

3、当计算得到的加权值ɑ|R'|、ɑ|G'|、ɑ|B'|大于255时，将该数值修正为255；由于RGB格式的正常像素取值范围是[0，255]，因此若像素取值大于255，则需要限定该取值为RGB的最大值255，可以通过clip()来表示，以避免RGB的取值范围超界；这里同时也考虑到前面进行图像处理时可能涉及其他图像格式，而在本步骤进行差值特征图像显示时希望利用RGB格式显示，那么就需要将其他图像显示格式下的差值特征图像的像素值转换为RGB格式下的像素值，在转换过程中，转换后的RGB像素值在加权处理后可能会超界，这时就可以利用clip()操作将转换后的加权RGB像素值限定为最大值255；比如RGB888图像格式，在进行格式转换并加权处理后可能大于255，本步骤中需要将相应的加权像素值修改为255；

4、在白色底图上进行显示，即显示的输出值R_out＝R₂₅₅-clip(ɑ|R'|)，G_out＝G₂₅₅-clip(ɑ|G'|)，B_out＝B₂₅₅-clip(ɑ|B'|)，其中，R_out、G_out、B_out分别表示显示的RGB三个分量的像素值，R₂₅₅、G₂₅₅、B₂₅₅表示RGB像素取值均为255，表示白色。

同时上述显示差值特征图像的操作可以合并到前述步骤102-103的组处理中，规则与前述组处理相同，即对于同一测试帧图像，保证依次执行步骤102-103以及本步骤的显示操作，对于不同测试帧图像，并不需要全部图像执行完步骤102以及103才统一执行显示操作，只要保证所有差值特征图像按照时间顺序显示即可。

至此，本申请中图像处理单元的测试方法流程结束。利用本申请的上述方法，能够直接获取图像处理单元的输出图像与相应测试目标图像间的区别，用于方便地进行图像处理单元的客观指标测试和辅助主观测试。下面给出一些具体的图像处理单元的测试例子进行详细说明。

例一：图像处理单元的开关测试。

对于这类测试，测试序列可以是单张图片，也可以是一段视频。确定差值特征图像的方式，可以是直接将像素差值作为差值特征图像的像素值，构成差值特征图像。

在关闭图像处理单元的功能时，若关闭功能正常，那么输出图像应当是与测试帧图像相同的，因此，当测试帧图像输入图像处理单元后，获取输出图像和相应的差值特征图像，若差值特征图像中的像素为全0，那么代表关闭功能正常，否则关闭功能异常，可能图像处理单元本身的开关或图像处理通路有问题。

在开启图像处理单元的功能时，若开启功能正常，那么输出图像应当是与测试帧图像不同的，因此，当测试帧图像输入图像处理单元后，获取输出图像和相应的差值特征图像，若差值特征图像中的像素为全0，那么代表开启功能异常，可能图像处理单元本身的开关或图像处理通路有问题，否则开启功能正常。

在本例的开关测试中，单独使用客观指标就可以判定图像处理单元的开关功能是否正常，不需要图像主观测试人员再进行主观判断，减轻了主观测试人员的工作量，同时提高了测试效率。

例二：gamma调参，参数差值有指定值。

测试帧图像在进行gamma处理时，颜色跨度被分为16级，即1到16，每级内像素色差均为16个色度变化。gamma通过调节R，G，B线性或非线性变换，实现色彩饱和度和对比度等变换。假定gamma调参处理为将R色度全部调低2级，也就是说原始R色度值高于32的像素，处理前后R色差至少要相差32个色度值，原始R色度低于32的像素，其红色亮度均变为0。如果相应的调参处理后图像的输出结果符合要求，那么主观判定的趋向应当是图片红色调不饱和，客观指标相当于高红区域的所有像素R的亮度都至少降低32。

利用上述本申请的方法对上述gamma调参进行测试时，测试序列通常是单张图片，当然也可以是一段视频。确定差值特征图像的方式，可以是直接将像素差值作为差值特征图像的像素值，构成差值特征图像。

将测试帧图像输入图像处理单元后，获取输出图像和相应的差值特征图像，将差值特征图像在目标区域(即前述高红区域)中的像素值与预先设定的测试阈值进行比较，判断是否存在小于测试阈值的像素(也就是判断是否存在R色度值小于32的像素)，若是，则确定gamma调参处理未达到预期处理效果，可以向测试人员反馈相应的信息；否则，确定gamma调参处理已达到预期处理效果，可以向测试人员反馈相应的信息，或者，也可以继续进行主观判定，按照时间顺序显示所有输出图像对应的差值特征图像，用于辅助图像主观测试人员进行gamma调参效果的判定。图像主观测试人员通过查看差值特征图像，对应到输出图像，查看变化的像素点或者像素块，精准判断主观效果。具体在图像主观测试人员查看差值特征图像时，可以通过取色工具直接读出像素值，以确定输出图像与测试帧图像间的像素差值。

在本例的gamma调参处理的测试中，可以单独使用客观指标判定图像处理单元是否达到期望效果，也可以通过客观指标和图像主观测试人员的主观判断相结合来判定图像处理单元是否达到预期效果，尤其对于审美型图片，通常需要主观测试人员判定处理效果是否符合预期。

例三：CAC调参。

传感器(sensor)采集图像时可能由于sensor色散而引起色彩色散，会因为折射等在图像边缘区域形成伪彩，通常称为紫边，因此需要进行CAC处理。由于色散的位置可能和其他像素融合，导致主观测试不容易看出CAC处理的效果。图像主观测试人员通常需要了解透镜知识，才能知道CAC改善的位置，通常图像细节多时、图像色彩丰富时、以及在图像中间区域基本都看不到CAC处理的效果，只能在黑白对比明显且斜线部分能看到CAC改善效果。基于此，通常CAC调参测试采用分辨率图，观察纯黑斜线边缘伪彩程度的去除效果，能够反映CAC的处理效果，只有这个位置容易出问题，而色彩鲜艳的部分则没有明显差别。但没有经验的测试人员不能区分到底哪些地方效果明显，显然CAC调参的测试对于图像主观测试人员的要求较高，测试过程也比较耗时。

利用上述本申请的方法对上述gamma调参进行测试时，测试序列通常为单张图片，当然也可以是一段视频。确定差值特征图像的方式，可以是直接将像素差值作为差值特征图像的像素值，构成差值特征图像。

将测试帧图像输入图像处理单元后，获取并显示输出图像和相应的差值特征图像，图像主观测试人员通过查看差值特征图，可以很容易地找到输出图像与测试帧图像间像素值差距较大的位置，然后对照这些位置观察输出图像的相应位置，来判断CAC调参效果是否达到预期，也就是观察色度有剧烈变化的斜边经过CAC处理后伪彩色是否减少。即使对于不熟悉透镜原理的图像主观测试人员，也可以准确找到需要观察的图像位置，来对图像处理效果进行主观判定。

在本例的CAC调参处理的测试中，可以利用差值特征图像辅助图像主观测试人员进行图像处理效果的主观判定，大大降低了对于图像主观测试人员的要求，能够改善测试效果，提高测试效率，节省测试时间。

例四：自动曝光(AE)。

AE可以纠正Sensor在不同亮度的光源下拍摄的物体亮度发生的偏离。通常测试序列为有一系列操作的视频，具体包括：首先在设定亮度(例如正常亮度)的光源下拍摄静态画面a，然后在比设定亮度更暗的光源下(通常利用黑板或灰板对静态画面进行遮挡，或者关闭光源)拍摄静态画面a，最后仍然以设定亮度的光源拍摄静态画面a。最终拍摄的是一段静态视频，只是随着时间的不同，拍摄光源的亮度不同。视频经过AE处理后应当具有特征：正常色度场景过渡到非正常色度场景，最终过渡到正常色度的场景。AE功能正确性的判断分为三部分，第一确保曝光的像素是否能恢复正常(即画面能否恢复正常色度)；第二判断开始曝光到曝光完全收敛的收敛时间是否符合产品需求，第三收敛过程是否存在曝光反弹(也就是已经恢复正常色度的图像区域重新变成非正常色度)情况。

利用上述本申请的方法对上述AE处理进行测试时，将测试帧图像输入图像处理单元后，获取输出图像，对应每个输出图像，计算输出图像与测试帧图像间相同位置像素的像素差，并将该像素差作为差值图像在相应位置上像素的像素值，构成差值图像。接下来，对每个差值图像进行量化处理得到差值特征图像，以一个差值图像的量化处理为例进行说明，将该差值图像等分成若干分块，计算每个分块内像素值的方差；对于每个分块，若该分块内像素值的方差大于设定的第一阈值，则将该分块内的所有像素的像素值更新为第一颜色(例如黑色)对应的像素值，否则，将该分块内的所有像素的像素值更新为第二颜色(例如白色)对应的像素值；将所有像素更新像素值后的差值图像作为差值特征图像。也就是说，将差值图像分块量化后得到差值特征图像。其中，第一颜色和第二颜色的差别大于设定的第二阈值，本例中第一颜色为黑色，第二颜色为白色，这样可以明显区分出差值特征图像中的两种不同分块的像素取值，第一阈值可以根据经验和实际需求确定。由上述可见，本例中差值特征图像的获取与前三个例子不同，对于需要通过图像差值变化来反映图像处理效果的图像处理单元，一般需要利用本例中的方式获取差值特征图像，例如AWB和AF等。

另外，在上述处理中对差值图像进行分块时，对于一些特定的图像格式，对分块大小还有一些特殊需求。例如，YUV420格式下，4个Y共用一个UV，因此，希望每个分块的宽和高可分别被指定宽度整除，指定宽度取值只能是2ⁿ,例如8,16,32,64,128,256,512等值，这样指定宽度就可以方便对齐数据取值。如果图像尺寸不能被指定宽度整除，也就是图像进行分块后会剩余出一部分无法凑成与其它分块相同尺寸的分块，那么这部分图像作为单独的分块进行处理。如图2所示，差值特征图像被划分为宽和高均为4的分块，但是最下面剩余3行无法凑成4*4的分块，则将最后一行划分为3*4的分块进行处理。另外，考虑到一般视频播放的标准尺寸比例为16：9，因此，本例中优选地，可以将图像划分为16*9个块，即将差值特征图像划分为9行16列。

按照上述方式可以得到所有输出图像对应的差值特征图像。接下来，利用所有差值特征图像判定AE的处理效果。如前所述，AE的处理效果分为三个部分：a、曝光是否能够恢复正常，也就是曝光是否能够完全收敛；b、从开始曝光到曝光完全收敛的时间(即曝光收敛时间)是否达到预期效果；c、收敛过程是否存在曝光反弹。其中，a和b的效果可以一起判断，下面分别介绍三个部分处理效果的判断方式：

a和b，曝光是否能够完全收敛以及收敛时间都可以通过客观指标来判定，也可以通过图像主观测试人员来判断。

具体地，通过客观指标进行判断的方式为：首先在按照时间顺序排列的所有输出图像对应的差值特征图像中，当首次在某差值特征图像中出现第一颜色(本例中也就是在差值特征图像中第一次出现黑色)时，确定开始出现曝光，并记录相应差值特征图像对应的帧数为第一帧数；或者，当所有差值特征图像中出现第一颜色的分块数最多的那个差值特征图像出现(也就是本例中黑色块达到最多)时，确定开始出现曝光，并记录相应差值特征图像对应的帧数为第一帧数；通过上述两种方式之一确定第一帧数；接下来，在开始出现曝光的差值特征图像之后，首次出现某差值特征图像的所有像素均显示为第二颜色(也就是该差值特征图像第一颜色消失)时，确定曝光完全收敛，并记录当前帧数作为第二帧数；若在开始出现曝光的差值特征图像之后直到最后一个差值特征图像，都没有出现所有像素均显示为第二颜色的差值特征图像，则确定曝光无法完全收敛；根据第一帧数和第二帧数计算出现曝光到曝光完全收敛的时间。

通过图像主观测试人员判断a和b的处理效果的方式为：按照时间顺序显示所有输出图像对应的差值特征图像，用于图像主观测试人员判断曝光是否能够完全收敛；若图像主观测试人员观察到差值特征图像由全部为第二颜色到出现第一颜色，再到全部为第二颜色，则认为曝光能够完全收敛；若图像主观测试人员观察到差值特征图像无法由出现第一颜色变为全部是第二颜色(也就是本例中无法由出现黑色变为全白)，则认为曝光无法完全收敛；图像主观测试人员在观察到差值特征图像由全部为第二颜色变为出现第一颜色或出现第一颜色最多时，指定该出现第一颜色或出现第一颜色最多的差值特征图像为第一差值特征图像；图像主观测试人员在第一差值特征图像之后，观察到首次出现全部显示为第二颜色的差值特征图像时，将该差值特征图像指定为第二差值特征图像。接收图像主观测试人员的指示，将图像主观测试人员指定的第一差值特征图像作为开始出现曝光的差值特征图像，将其对应的帧数作为第一帧数；将图像主观测试人员指定的第二差值特征图像作为曝光完全收敛的差值特征图像，将其对应的帧数作为第二帧数；根据第一帧数和第二帧数计算出现曝光到曝光完全收敛的时间。

c、是否出现曝光反弹可以通过客观指标来判定，也可以通过图像主观测试人员来判断。

具体地，通过客观指标进行判断的方式包括：在按照时间顺序排列的所有输出图像对应的差值特征图像中，对于同一分块位置，当不同差值特征图像中该分块位置上的像素由第一颜色变为第二颜色再变回第一颜色(也就是本例中按照时间顺序某个分块在黑变白后又出现白变黑的跳变)时，确定出现曝光反弹，否则，若所有分块位置都没有出现曝光反弹的现象，则确定未出现曝光反弹。

通过图像主观测试人员判断c的处理效果的方式为：按照时间顺序显示所有输出图像对应的差值特征图像，用于图像主观测试人员判断是否出现曝光反弹；图像主观测试人员发现某个分块按照时间顺序在黑变白后又出现白变黑的跳变，则认为出现曝光反弹，若所有分块均没有出现曝光反弹的现象，则确定未出现曝光反弹。

图3a和图3b给出了自动曝光处理后按照时间顺序排列的差值特征图像的显示示意图。其中以将图像划分为5*5个分块为例，图3a是曝光正常收敛的示意图，黑色块由最多逐渐减少，最后全部消失，曝光完全收敛；图3b是曝光收敛过程中存在曝光反弹的示意图，黑色块由最多变少，又变多(即出现曝光反弹)，最后完全消失，曝光完全收敛。

上述即为本申请中图像处理单元测试方法的具体实现。上述测试方法是对一次测试过程的描述。在实际应用中，可以对图像处理单元的算法进行多次调整，对应进行多次测试得到多次测试的差值特征图像，构成测试差异集，这一差异集可以反映历次算法迭代的改善趋势。

本申请还提供了一种图像处理单元的测试装置，可以用于实施上述测试方法。图4为本申请中测试装置的基本结构示意图。如图4所示，该装置包括：第一图像获取单元、差值特征图像获取单元和效果判定单元。

其中，第一图像获取单元，用于从测试序列中提取每个测试帧图像，对每个测试帧图像进行图像处理得到对应的输出图像，并确定与每个输出图像对应的测试目标图像。

差值特征图像获取单元，用于针对每个输出图像，计算该输出图像中每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像。

效果判定单元，用于基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定。

通过上述本申请中的测试方法和装置，不再要求图像主观测试人员掌握算法实现细节，直接通过差值特征图像给出输出图像改善的内容和位置，消除不同显示器显示差异的影响，提升测试的准确率，加快测试进程，避免无效测试，节省人力和时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种图像处理单元的测试方法，其特征在于，该方法包括：

从测试序列中提取每个测试帧图像，对每个所述测试帧图像进行图像处理得到对应的输出图像，并确定与每个所述输出图像对应的测试目标图像；

针对每个所述输出图像，计算该输出图像中目标区域的每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像；

基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定。

2.根据权利要求1所述的方法，其特征在于，当所述测试帧图像与输出图像的尺寸相同时，所述测试目标图像为所述测试帧图像；和/或，

当所述测试帧图像与输出图像的尺寸不同时，选择指定的输出图像作为所述测试目标图像。

3.根据权利要求1所述的方法，其特征在于，所述测试序列为一张静态图片，所述测试帧图像为所述静态图片；或者，

所述测试序列为一段视频，所述测试帧图像为所述视频的所有帧图像或指定帧图像；所述视频为实时视频或预录的非实时视频。

4.根据权利要求1所述的方法，其特征在于，所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

显示至少一个输出图像对应的差值特征图像，根据差值特征图像确定所述图像处理的结果；和/或，

基于至少一个输出图像对应的差值特征图像，与预先设定的客观指标进行比较，根据比较值确定所述图像处理的结果。

5.根据权利要求1所述的方法，其特征在于，所述基于相应的差值确定该输出图像对应的差值特征图像包括：

将所述差值作为差值特征图像中相应位置像素的像素值，将差值特征图像中与输出图像中非所述目标区域相同位置像素的像素值设为指定的像素值，得到所述差值特征图像；或者，

将所述差值作为差值图像中相应位置像素的像素值，得到所述差值图像；将所述差值图像的像素值进行量化处理作为差值特征图像相应位置像素的像素值，并将差值特征图像中与输出图像中非所述目标区域相同位置像素的像素值设为指定的像素值，得到所述差值特征图像。

6.根据权利要求5所述的方法，其特征在于，当所述图像处理为自动曝光时，所述测试序列为：连续拍摄的一段静态视频；其中，在所述连续拍摄中首先在设定亮度的光源下进行拍摄、然后在比所述设定亮度更暗的光源下进行拍摄、最后在所述设定亮度的光源下进行拍摄；

所述将所述差值图像的像素值进行量化处理后得到所述差值特征图像包括：

将所述差值图像按照设定尺寸进行分块，计算每个分块内像素值的方差；对于每个分块，若该分块内像素值的方差大于设定的第一阈值，则将该分块内的所有像素的像素值量化为第一颜色对应的像素值，否则，将该分块内的所有像素的像素值量化为第二颜色对应的像素值；将量化处理后的所述差值图像作为所述差值特征图像；其中，第一颜色和第二颜色的像素值之差大于设定的第二阈值。

7.根据权利要求6所述的方法，其特征在于，当所述图像处理为自动曝光时，所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

在按照时间顺序排列的多个输出图像对应的差值特征图像中，当首次在任一所述差值特征图像中出现第一颜色时，或者，当任一所述差值特征图像中出现第一颜色的分块数达到各差值特征图像中最多时，确定开始出现曝光，并记录当前帧数为第一帧数；在开始出现曝光的差值特征图像之后，当首次出现又一所述差值特征图像的所有像素均显示为第二颜色时，确定曝光完全收敛，并记录当前帧数作为第二帧数；若在开始出现曝光的差值特征图像之后直到最后一个差值特征图像，没有出现所有像素均为第二颜色的差值特征图像，则确定曝光无法完全收敛；根据第一帧数和第二帧数计算出现曝光到曝光完全收敛的时间；

或者，

按照时间顺序显示多个输出图像对应的差值特征图像，用于判断曝光是否能够完全收敛；接收图像主观测试人员的指示，将指定的第一差值特征图像作为开始出现曝光的差值特征图像，将其对应的帧数作为第一帧数；将指定的第二差值特征图像作为曝光完全收敛的差值特征图像，将其对应的帧数作为第二帧数；根据第一帧数和第二帧数计算出现曝光到曝光完全收敛的时间。

8.根据权利要求6所述的方法，其特征在于，当所述图像处理为自动曝光时，所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

在按照时间顺序排列的多个输出图像对应的差值特征图像中，对于同一分块位置，当不同差值特征图像中该分块位置上的像素由第一颜色变为第二颜色再变回第一颜色时，确定出现曝光反弹；或者，

按照时间顺序显示多个输出图像对应的差值特征图像，用于判断是否出现曝光反弹。

9.根据权利要求1所述的方法，其特征在于，当所述图像处理单元的测试为开启或关闭功能的测试时：

基于所述差值确定该输出图像对应的差值特征图像包括：将所述差值作为差值特征图像中相应位置像素的像素值，得到所述差值特征图像；

所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

当关闭所述图像处理单元时，对于所有输出图像对应的差值特征图像，判断所有差值特征图像中的像素值是否为全0，若是，则确定关闭功能正常；否则，确定关闭功能异常；

当开启所述图像处理单元时，对于所有输出图像对应的差值特征图像，判断所有差值特征图像中的像素值是否为全0，若是，则确定开启功能异常；否则，开启功能正常。

10.根据权利要求1所述的方法，其特征在于，所述图像处理为gamma调参；

所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

在每个差值特征图像中，确定gamma调参的目标区域，将目标区域中的像素值与预先设定的测试阈值进行比较，若存在不符合所述测试阈值要求的像素，则确定gamma调参处理未达到效果；否则，确定gamma调参处理已达到效果，或者，按照时间顺序显示所有输出图像对应的差值特征图像，用于进行gamma调参结果的判定。

11.根据权利要求1所述的方法，其特征在于，所述图像处理为CAC调参，所述测试序列为CAC测试图像；

所述基于至少一个输出图像对应的差值特征图像进行图像处理结果的判定包括：

显示至少一个输出图像对应的差值特征图像，用于确定差值特征图像中表现的对应测试目标图像与输出图像的像素值之差显著的位置，以在所述输出图像中相应位置上观察图像处理效果。

12.根据权利要求4、7、8、10或11所述的方法，其特征在于，显示所述差值特征图像的方式包括：在白色底图上绘制所述差值特征图像。

13.一种图像处理单元的测试装置，其特征在于，该装置包括：第一图像获取单元、差值特征图像获取单元和效果判定单元；

所述第一图像获取单元，用于从测试序列中提取每个测试帧图像，对每个所述测试帧图像进行图像处理得到对应的输出图像，并确定与每个所述输出图像对应的测试目标图像；

所述差值特征图像获取单元，用于针对每个所述输出图像，计算该输出图像中目标区域的每个像素与对应的测试目标图像中相同位置像素的像素值之差，基于相应的差值确定该输出图像对应的差值特征图像；

所述效果判定单元，用于基于至少一个输出图像对应的差值特征图像进行图像处理效果的判定。

Images