CN117478806A - 信息处理设备和方法、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种信息处理设备和方法、计算机可读存储介质。其中，信息处理设备包括处理电路，处理电路被配置为：基于针对样本图片执行任务处理的预定模型，生成样本图片的显著图，其中，显著图反映预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度，以及，基于显著图和样本图片中的标注区域调整生成样本图像的图像信号处理器的参数，使得任务处理的结果与样本图片的标注值之间的差异满足预定条件。

Description

信息处理设备和方法、计算机可读存储介质

技术领域

本公开涉及信息处理技术领域，具体地涉及对图像信号处理器进行调优。更具体地，涉及一种信息处理设备和方法、计算机可读存储介质。

背景技术

图像信号处理器(ISP)是一个硬件的底层图像处理设备，其将光学传感器捕捉到的原始光照信号，转换成人眼可以在各类设备观看的图片，在目前的数码相机、手机摄像头等设备中有着广泛应用，对于最终图像的质量有着较大影响。ISP一般提供大量的配置参数可供调整，ISP的生产商一般会有专家来对配置参数进行调优。一般ISP的调优目标都是人眼视觉感受，如纹理清晰度、视觉噪声等。随着机器学习的发展，大量图片被用于计算机视觉任务，因此，也出现了大量针对自动驾驶等高级计算机视觉任务的ISP调优。如何实现对ISP调优是目前研究的热点。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开的一个方面，提供了一种信息处理设备，其包括处理电路，该处理电路被配置为：基于针对样本图片执行任务处理的预定模型，生成样本图片的显著图，其中，显著图反映预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度，以及，基于显著图和样本图片中的标注区域调整生成样本图像的图像信号处理器的参数，使得任务处理的结果与样本图片的标注值之间的差异满足预定条件。

在根据本公开的实施例的信息处理设备中，显著图无需专家而是可以基于预定模型和样本图片自动生成，此外不同样本图片的显著图不一样，因此灵活性、针对性更强。在根据本公开的实施例的信息处理设备100中并没有对ISP进行简化，从而更贴近现实应用。显著图包含预定模型执行任务处理中的决策过程信息(例如，预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度)，在调整ISP的参数的过程中，由于样本图片的质量改变的过程中，显著图比任务评估指标的变化更为均匀且频繁，因此使用显著图可以更利于对ISP参数进行调优，能够实现比直接基于任务评估指标对ISP调优更好的效果，提高任务处理的准确性。

根据本公开的另一个方面，提供了一种信息处理方法，包括：基于针对样本图片执行任务处理的预定模型，生成样本图片的显著图，其中，显著图反映预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度，以及，基于显著图和样本图片中的标注区域调整生成样本图像的图像信号处理器的参数，使得任务处理的结果与样本图片的标注值之间的差异满足预定条件。

依据本发明的其它方面，还提供了用于实现上述信息处理方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述用于信息处理方法的计算机程序代码的计算机可读存储介质。

附图说明

为了进一步阐述本发明的以上和其它优点和特征，下面结合附图对本发明的具体实施方式作进一步详细的说明。附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本发明的典型示例，而不应看作是对本发明的范围的限定。在附图中：

图1示出了根据本公开实施例的信息处理设备的功能模块框图。

图2是示出根据本公开实施例的应用场景的示意图。

图3是示出根据本公开实施例的进行图像信号处理器调优的示意流程图。

图4示出了分别使用现有方法与基于显著分数对图像信号处理器调优后，预定模型对样本图片的预测结果。

图5示出了当测试数据集的大小变化时，基于显著分数所进行的调优和现有方法的比较的图。

图6示出了在困难场景下，基于显著分数所进行的调优和现有方法的比较的图。

图7A至7D示出了基于不同对象计算显著分数从而进行调优和现有方法调优的示意图。

图8是示出根据本公开实施例的基于根据不同重要度掩模计算得到的显著分数而进行图像信号处理器调优的效果示意图。

图9是示出根据本公开实施例的信息处理方法的流程示例的流程图。

图10是示出作为本公开实施例中可采用的个人计算机的示例结构的框图。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。

下面结合附图详细说明根据本公开的实施例。

图1示出了根据本公开实施例的信息处理设备100的功能模块框图，如图1所示，信息处理设备100包括：处理单元102，其可以被配置为基于针对样本图片执行任务处理的预定模型，生成样本图片的显著图，其中，显著图反映预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度；以及调整单元104，其可以被配置为基于显著图和样本图片中的标注区域调整生成样本图像的图像信号处理器的参数，使得任务处理的结果与样本图片的标注值之间的差异满足预定条件。

其中，处理单元102和调整单元104可以由一个或多个处理电路实现，该处理电路例如可以实现为芯片。

作为示例，ISP的输入为由光学传感器捕捉到的原始图片。例如，原始图片可以是24bit的Bayer图片。然而，以上仅是示例，本领域技术人员可以理解，原始图片可以是其他形式的图片。ISP的输出(即，ISP处理后的图片)为以上提到的样本图片。例如，样本图片可以是3通道8bit的RBG图片。然而，以上仅是示例，本领域技术人员可以理解，样本图片可以是其他形式的图片。

ISP例如可以由ISP模拟器来实现。ISP模拟器的输入为测试数据集中的原始图片样本。例如，ISP作为黑盒，ISP模拟器本身也可以是个黑盒，无需知道其内部结构。优选的，ISP模拟器可以对应索尼FUJI传感器的硬件ISP，其功能包含例如去马赛克、白平衡、降噪、锐化、色调映射、位长压缩中至少之一。ISP模拟器可以针对特定硬件ISP进行模拟，其参数与硬件ISP一一对应，一组参数在ISP模拟器上得到的效果与对应硬件ISP上的效果一致。

例如，样本图片中的标注区域可以对应于原始图片或原始图片样本中的标注区域。

在下文中，如无特殊说明，则没有区分ISP和ISP模拟器，也没有区分原始图片和原始图片样本。

作为示例，预定模型可以是计算机视觉任务模型。计算机视觉任务模型的输入为上述样本图片，输出为对应任务处理的结果。计算机视觉任务模型例如可以是深度学习模型，例如卷积神经网络(CNN)等。例如，CNN可以是被训练完成以实现特定任务处理的神经网络。

任务处理可以包括分类任务、对象检测任务(即，物体检测任务)等。本领域还可以想到任务处理的其他示例，这里不再累述。

针对不同任务处理，可以使用相同或不同的计算机视觉任务模型。

在本公开中，显著图用来量化预定模型执行任务处理中的决策过程信息(例如，预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度)，基于显著图可以将任务处理的结果定量地进行优化。基于显著图和样本图片中的标注区域调整ISP的参数，并调用ISP基于新的参数对原始图片进行处理，可以获得更新的样本图片，即，使得调整后的ISP所输出的样本图片的质量改变。在迭代地调整ISP的参数的过程中，样本图片质量不断发生改变，将会使得显著图中的重要区域(例如，与要检测的对象对应的区域)能与标注区域尽可能重合。显著图将比任务评估指标的变化更为均匀且频繁，因此使用显著图可以更利于对ISP参数进行调优，达到比直接基于任务评估指标调优更好的效果。例如，对于分类任务，任务评估指标可以包括准确率或F1值；对于对象检测任务，任务评估指标可以包括mAP(mean average precision，平均准确率)。例如，可以基于样本图片包含的标注信息例如标注区域，计算出预定模型针对样本图片执行任务处理所对应的任务评估指标。

例如，信息处理设备100可以调用优化器来调整ISP的参数。优化器例如可以作为信息处理设备100的一部分设置在信息处理设备100中，或者优化器可以设置在信息处理设备100外。优化器的优化目标是对ISP的参数调优，使得任务处理的结果与样本图片的标注值之间的差异满足预定条件。对于计算机视觉任务而言，优化的目标是为了使得ISP输出的样本图片能在当前计算机视觉任务获得更高的任务评估指标。优化器例如可以是CMA-ES(协方差自适应调整的进化策略，Covariance Matrix Adaptation Evolution Strategy)优化器。例如，信息处理设备100可以随机抽取一组等同于优化器内部参数个数的数字作为优化器的初始值。作为示例，信息处理设备100可以调用优化器，优化器可以产生一组等同于ISP参数个数的多个连续数值，即，优化器针对ISP参数产生数值，这些数值与ISP的参数有一一对应关系；按照ISP实际参数的范围与数值类型，对产生的多个连续数值进行处理，以使其符合ISP参数要求；对多个连续数值所进行的处理包括：将超出对应参数范围的数值进行截断、缩放或反射等操作，使其符合参数范围要求；如果参数类型为离散型，则通过四舍五入将连续的数值转换成离散。然后，使用处理后的数值设置ISP的参数，并调用ISP基于新的参数对原始图片处理，得到更新的样本图片。

作为示例，本领域技术人员可以根据经验或应用场景预先确定上述预定条件。例如，预定条件包括任务处理的结果与样本图片的标注值之间的差异小于预定阈值(或当前处理后的样本图片在对应任务处理上的任务评价指标高于预设指标阈值)，或者迭代地调整ISP的参数的次数(或迭代地执行任务处理的次数)达到预定次数，或者直到经连续迭代次数之后任务处理的结果没有得到提升等等。

现有技术中，对ISP进行优化的方法主要分为以下思路并存在对应问题。

在现有技术的思路1中，基于专家的理解，对ISP进行自动调优。例如基于专家理解，得出图像的锐利度与对比度会对配准、行人检测等计算机视觉任务有所帮助，因此通过ISP来增强专家认为有效的图像特征。该思路尽管不需要专家手动调整，但依然需要专家的领域知识，同时，专家的结论与任务评价往往只有很浅层的关系，影响最终效果。

在现有技术的思路2中，使用任务评估指标作为优化目标，但为了简化优化，对ISP进行近似或者局部优化。例如在一种实现中，将ISP功能抽象为数个CNN并整体针对下游任务进行训练；该思路的问题在于其CNN与ISP参数无准确的对应关系，无法将处理结果应用于ISP参数的调优，也就无法对现有的硬件加以利用。另外，在另一种实现中，分别优化ISP中的独立模块，虽然减少了优化难度，但也忽视了模块的互相影响，从而仅能得到次优解。此外，在又一种实现中，训练一个代理神经网络来对ISP整体进行模拟，然而由于无法忽略模拟带来的噪声，其基于代理神经网络得到的结果也是次优的。

在现有技术的思路3中，将ISP作为黑盒，任务评估指标作为优化目标，通过黑盒优化器，直接对参数进行调优，其主要难点在于ISP参数数量多，同时任务评估指标仅包含模型最终预测效果，信息量单一，使得优化较为困难。例如在一种实现中，通过一个CMA-ES优化器，对ISP参数进行黑盒调优，可以在将ISP视为一个整体的同时，明确地对各个参数进行调优。其主要问题在于调优仅依赖计算机视觉任务的评估分数，因此调优效率较低，且优化效果不好。

然而，在根据本公开的实施例的信息处理设备100中，基于显著图来调整ISP的参数，即对ISP调优，使得优化预定模型执行任务处理的结果。相比思路1，显著图无需专家而是可以基于预定模型和样本图片自动生成，此外不同样本图片的显著图不一样，因此灵活性、针对性更强。相比思路2，在根据本公开的实施例的信息处理设备100中并没有对ISP进行简化，从而更贴近现实应用。相比思路3，显著图包含预定模型执行任务处理中的决策过程信息(例如，预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度)，在迭代地调整ISP的参数的过程中，由于样本图片的质量改变的过程中，显著图比任务评估指标的变化更为均匀且频繁，因此使用显著图可以更利于对ISP参数进行调优，能够实现比直接基于任务评估指标对ISP调优更好的效果，提高任务处理的准确性。

作为示例，信息处理设备100可以将数据流形式的数据作为输入，调用ISP模拟器处理，并以数据流形式输出处理后得到的样本图片至预定模型。由于测试数据集中包含多个样本，这样有利于提高信息处理设备100运行效率(即，提高ISP自动调优的速度)以及节约系统资源。

作为示例，处理单元102可以被配置为基于将样本图片输入预定模型之后得到的输出，使用机器学习解释工具得到至少一个热图，以及基于至少一个热图，生成显著图。

例如，可以对样本图片中的不同类型、不同大小的对象(物体)分别生成热图，从而生成多张热图。

图2是示出根据本公开实施例的应用场景的示意图。

如图2所示，由光学传感器捕捉原始图片并将其输入到ISP。ISP对原始图片进行处理并且输出样本图片，例如，ISP的功能包含例如去马赛克(Demosaick)、白平衡(WhiteBalance)、降噪(Denoise)、锐化(Sharpen)、色调校正(Tone&Color Correction)、位长压缩(Compression)中至少之一。预定模型对样本图片进行处理，获得模型输出，同时记录预定模型进行处理的中间激活值结果。机器学习解释工具例如可以使用上述模型输出和中间激活值结果生成热图，并且基于热图生成显著图。基于显著图和样本图片中的标注区域调整ISP的参数，使得预定模型的输出结果与样本图片的标注值之间的差异满足预定条件。

作为示例，机器学习解释工具可以是深度学习解释工具。作为示例，机器学习解释工具包括Grad-CAM(Gradient-weighted Class Activation Mapping，梯度加权的类激活热图)、Grad-CAM++、XGrad-CAM(改进的类激活热图)、Ablation-CAM(消融的类激活热图)、Score-CAM(基于分数的类激活热图)、导向反向传播中至少之一。

作为示例，显著图的大小与样本图像的大小相同，以及显著图中的像素的像素值反映该像素对任务处理的贡献度。例如，在任务处理是分类任务的情况下，显著图中的像素的像素值反映该像素对分类任务的贡献度。例如，在任务处理是对象检测任务的情况下，显著图中的像素的像素值反映该像素对对象检测任务的贡献度。

作为示例，在至少一个热图仅包括一个热图的情况下，将一个热图中的像素的像素值进行归一化处理，从而生成显著图。

例如，在仅存在一个热图的情况下，使用以下式1来生成显著图。

假设热图中一共有n个像素，在式1中，x_i代表热图中第i个像素的像素值，Max()表示取最大值，x′_i代表显著图中第i个像素的被缩放到0到1之间的显著值。

作为示例，在至少一个热图包括针对样本图片中包括的不同对象而得到的多个热图的情况下，将多个热图中的像素的像素值进行归一化处理，并且将归一化处理后的多个热图中的相同位置处的像素的像素值进行平均，从而生成显著图。

例如，在存在多个热图的情况下，先按照式1将每个热图中的像素的像素值进行归一化处理，然后，使用以下式2来生成显著图。

假设共有K个热图，在式2中，x′_ki代表第k个热图中的第i个像素的归一化处理后的值，y_i代表所生成的显著图中的第i个像素的像素值。在下文中，为了方便，都使用y_i代表显著图中的第i个像素的像素值。

作为示例，处理单元102可以被配置为基于显著图和标注区域，计算与样本图片对应的显著分数，并且调整单元104可以被配置为基于显著分数进行上述调整。

基于显著图和标注区域所计算出的显著分数能够更直接地反映预定模型针对样本图片执行任务处理的效果。显著分数由于会直接根据样本图片的质量变化而变化，因此可以更快地指导ISP调优，提高ISP自动调优的速度。另外，显著分数即使在任务评估指标不变时也能提供样本图片的质量信息来指导ISP调优，因此能够提高任务处理的准确性。

作为示例，在任务处理是分类任务的情况下，样本图片中的标注区域是用于判断样本图片的类型的区域。例如，标注区域可以为专家判断此图片类型所依据的图像区域。

作为示例，在任务处理是对象检测任务的情况下，样本图片中的标注区域是样本图片中被标注为对象的限位框。

作为示例，调整单元104可以被配置为以增大显著分数为目标迭代地调整ISP的参数。在迭代地调整ISP的参数的过程中，调整后的ISP输出的样本图片的质量不断发生改变，直到使得任务处理的结果与样本图片的标注值之间的差异满足上述预定条件为止。

作为示例，处理单元102可以被配置为计算显著图当中位于标注区域内的像素的像素值之和作为第一数值以及计算显著图中的所有像素的像素值之和作为第二数值，并且计算第一数值与第二数值之间的比值作为显著分数。

例如，可以使用以下式3来计算显著分数s。

在式3中，y_i代表显著图中的第i个像素的像素值，若第i个像素在标注区域内，则r_i＝1，否则，r_i＝0。

作为示例，处理单元102可以被配置为基于显著图生成用于反映显著图中的像素的重要性的重要度掩模，并且基于重要度掩膜和标注区域来计算显著分数。

在下文中，有时将显著图中的像素值称为显著值。

重要度掩模相比于显著图，可以排除由于噪声带来的大量极小显著值累加后所造成的影响。

作为示例，处理单元102可以被配置为保留显著图中的像素值大于第一预定阈值的像素，并且将显著图中其他像素的像素值设置为0，从而生成重要度掩膜。

例如，本领域技术人员可以根据经验或应用场景预先设置第一预定阈值。

例如，给定第一预定阈值，重要度掩模仅保留显著图中的像素值大于第一预定阈值的像素，而遮盖掉像素值小于等于第一预定阈值的像素(将其像素值置为0)。

作为示例，在重要度掩膜中，所保留的像素的像素值是显著图中的对应位置处的像素的像素值，或者是基于显著图中的对应位置处的像素的像素值而计算得到的值。

例如，在重要度掩膜中，所保留的像素的像素值可以是显著值的原值，或将显著值进行一定的数学变换，例如取平方、开根号、直接设置为1等等。

作为示例，处理单元102可以被配置为计算重要度掩膜当中位于标注区域内的、其像素值大于预定第二阈值的像素的第一数量以及计算重要度掩膜中的、其像素值大于预定第二阈值的像素的第二数量，并且计算第一数量与第二数量之间的比值作为显著分数。

例如，本领域技术人员可以根据经验或应用场景预先设置第二预定阈值。

作为示例，标注区域是用于对样本图片中的多个对象进行标注的区域当中的、与多个对象中的至少一部分对象相对应的至少一部分区域。由此，能够基于样本图片中的不同对象分别计算显著分数，例如，基于样本图片中的特定类别和/或特定大小的对象分别计算显著分数。

例如，假设样本图片中包括车辆、行人、骑手等不同类别的对象。例如，在上述至少一部分区域与车辆、行人、骑手中的任意对象相对应的情况下，可以基于上述任意对象计算显著分数。例如，在上述至少一部分区域与车辆、行人、骑手中的一个对象相对应的情况下，可以基于所述一个对象计算显著分数；在上述至少一部分区域与车辆、行人、骑手中的任两个对象相对应的情况下，可以基于所述任两个对象计算显著分数；在上述至少一部分区域与车辆、行人、骑手相对应的情况下，可以基于车辆、行人、骑手三者计算显著分数。

作为示例，处理单元102可以被配置为基于显著分数和预定模型执行任务处理的评估指标，进行上述调整。由此，可以进一步提供任务处理的准确性。

如上，例如，对于分类任务，任务评估指标可以包括准确率或F1值；对于对象检测任务，任务评估指标可以包括mAP。预定模型针对样本图片执行任务处理后，会计算相应的评估指标。

作为示例，处理单元102可以被配置为基于显著分数乘以第一预定权重所得到的第一值与评估指标乘以第二预定权重所得到的第二值之间的和值，进行上述调整。

作为示例，第一预定权重为显著图当中位于标注区域内的像素的数量与显著图中的所有像素的数量之间的比值。

例如，可以使用以下式4来表示第一预定权重w。

在式4中，若显著图中的第i个像素在标注区域内，则r_i＝1，否则，r_i＝0。

例如，本领域技术人员还可以根据经验或应用场景预先设置第一预定权重w。

例如，本领域技术人员可以根据经验或应用场景预先设置第二预定权重。

处理单元102还可以基于显著分数结合除了评估指标之外的其他指标，进行上述调整。其他指标例如可以是计算机视觉模型批归一化(BN)的均值与方差，对调优前后样本图片的数据分布的差异进行评估而得到的评估值。

例如，优化器可以基于其针对ISP参数产生的数值的评估分数来进行ISP调优。例如，优化器可以将显著分数作为当前优化器产生数值的评估分数，或者可以将显著分数乘以第一预定权重所得到的第一值与评估指标乘以第二预定权重所得到的第二值之间的和值作为当前优化器产生数值的评估分数。例如，为了能更稳定地进行优化，优选的，针对当前优化器，执行特定次数的重复处理，以获得当前优化器针对ISP参数产生的多组数值和与每组数值分别对应的评估分数。例如，上述特定次数可以是16次。信息处理设备100可以将上述多组数值与对应评估分数输入优化器，以更新优化器的状态。优化器会对评估分数进行比较，并且更新内部状态，从而针对ISP参数新产生的数值会更可能接近于评估分数高的数值，同时更可能远离评估分数低的数值。例如，优化器可根据从信息处理设备100收到的反馈评估分数对内部状态进行更新。优化器会先对评估分数按从高到底进行排序，将排名最高的几个评估分数对应的、优化器针对ISP参数所产生的数值作为正面数值，排名最低的几个评估分数对应的、优化器针对ISP参数所产生的数值作为负面数值。优化器会根据正面数值与负面数值对内部状态进行更新，从而使得优化器针对ISP参数所新产生的数值的均值会更接近正面数值，同时更可能远离负面数值。

为了取得更好的ISP调优结果，优选的，重复地更新优化器的状态，直到连续a次评估分数没有较上一次重复提高，或达到预设的b次。优选的，a次可以为50次，b次可以为500次。

图3是示出根据本公开实施例的进行ISP调优的示意流程图。

在步骤S31中，读取测试数据集中的原始图片。在步骤S32中，调用ISP模拟器对原始图片进行处理，以得到样本图片。在步骤S33中，利用预定模型对样本图片进行处理。在步骤S34中，确定预定模型对样本图片进行处理后得到的评估指标。在步骤S35中，计算显著分数。在步骤S36和S37中，将评估指标和显著分数反馈给优化器。在步骤S38中，基于评估指标和显著分数，更新优化器的状态。在步骤S39中，基于更新的优化器的状态，更新ISP的参数。迭代地执行S32至S39的步骤，直到预定模型对样本图片执行任务处理的结果与样本图片的标注值之间的差异满足预定条件为止。

在下文中，介绍根据信息处理设备100的应用实施例。

(一)、应用实施例1

在应用实施例1中，使用修改的Grad-CAM和Yolov3对象检测模型计算样本图片的显著图以及显著分数，从而可视化其判断过程。

例如，经典的Grad-CAM技术用于对图片分类模型进行解释，图片分类模型特征在于：最终层输出为单一代表类别置信度的值。而以Yolov3为代表的对象检测模型，其区别于图片分类模型的特征在于：最终层输出为多个代表检测框置信度的值，以及多个代表类别置信度的值；同时有多个平行的最终层，分别对应不同大小对象的检测。

在应用实施例1中，按以下步骤计算Yolov3对象检测模型中任一最终层中的对象对应的显著图：

(1)将检测框置信度与类别置信度按位置相乘，得到多个最终置信度。

(2)删除最终置信度小于阈值的输出，阈值优选为0.001、0.1、0.5。

(3)使用非最大值抑制技术，删除类别相同、重叠面积过大的检测框，记录剩余检测框对应的模型输出。

(4)对记录下的模型输出最终置信度取平均，得到单一置信度值。

(5)基于此单一置信度值，使用Grad-CAM技术计算显著图。

由于Yolov3有多个平行的最终层，例如可以按以下步骤结合多个对应不同大小对象的显著图得到最终显著图：

(1)每个显著图中的显著值分别除以对应显著图的最大值，得到归一化显著图。

(2)将多个归一化显著图按像素点取平均，得到最终的显著图，该最终的显著图包括了不同大小对象的显著性。

由此，显著图可以展示Yolov3进行对象检测时所依据的图片区域。

基于最终的显著图，例如可以按以下步骤计算显著分数：

(1)根据对象位置或重要区域的标注，计算显著图当中位于标注区域内的像素的像素值之和，记为A。

(2)显著图中的所有像素的像素值之和，记为B。

(3)显著分数＝A/B。

(二)、应用实施例2

在应用实施例2中，使用显著分数，提高ISP自动调优的效果。具体地，在应用实施例2中，使用已有的公开数据集来体现ISP自动调优的效果提升。KITTI是一个自动驾驶领域的常用数据集，可以基于KITTI数据集来进行对象识别。在应用实施例2中，KITTI数据集被划分为训练集(约占80％)用于训练Yolov3对象检测模型；剩余20％的图片则通过ExpandNet生成ISP处理前的原始图片。256个原始图片用于调优ISP参数，其余原始图片用于测试模型对ISP处理后的样本图片的检测效果。为了尽量消除测试中的随机性，分别随机从20％的数据中抽取10组128张原始图片用于ISP调优，并将剩余原始图片用于对应调优结果的测试。

应用实施例2中使用的ISP模拟器包含基于双边滤波与高斯滤波的降噪器，基于高通滤波的边缘强化，以及基于Durand(杜兰德)色调映射算法的色调映射器。其可以模拟索尼Fuji系列的ISP的数个重要功能。为了模拟硬件ISP中参数的离散特点，ISP模拟器中使用的参数也是离散型。

在应用实施例2中，计算机视觉任务为对象检测，评估分数是mAP@0.5值(以下简称mAP)。mAP值计算方式为：1.针对某一类别，首先设置检测置信度阈值，阈值以下的模型预测被剔除；2.分别计算模型剩余预测检测框与人工标注检测框的交集部分面积与并集部分面积，如果交集面积大于并集面积的0.5倍，则视为正确检测，否则为错误；3.基于2中正确与错误的数量，计算对应的精确值与召回值；4.通过调整1中的置信度阈值，可以得到一条精确值关于召回值变化的曲线；计算该曲线下方的面积，作为该类别的AP值；将所有类别的AP值取平均，得到mAP值。mAR的计算方式与mAP相似，不过并非计算曲线下面积，而是计算平均的召回值。

在应用实施例2中，使用CMA-ES优化器作为自动优化器，设定每次会针对ISP产生12组参数，并基于这12组参数模拟图片的评估分数来更新优化器的内部状态。优化器的优化目标，现有技术仅使用mAP进行调优，而该实施例中为mAP+显著分数，在不同情况下，mAP与显著分数可以使用不同权重。

图4示出了分别使用现有方法与基于显著分数对ISP调优后，预定模型对样本图片的预测结果。其中，由于显著分数可以针对不同类别分别计算，因此图4给出了分别基于车辆、行人、骑手计算的显著分数进行调优的结果，以及基于这3类平均计算的显著分数进行调优的结果。可以看到，对于10组不同的调优与测试数据分割，使用基于任一类别计算的显著分数进行ISP调优都优于现有技术。而基于车辆的显著分数调优则可以达到最佳效果。

(三)、应用实施例3

在ISP调优的前期，由于初始参数随机，处理后图片质量一般较差，仅通过现有方法则需要耗费较长时间才能获得相对较好的调优效果。现有方法使用mAP进行调优，在初始调优阶段可能会很难使得mAP提高，因此优化器无法获得足够信息来决定参数优化方向。而显著分数由于会直接根据图片质量变化而变化，前期依然有较好的调优信号，因此本发明的实施例可以更快的指导ISP调优，提高ISP自动调优的速度。

(四)、应用实施例4

当测试数据集较小时，会使得评价指标变化更为稀疏，因此现有方法直接基于评价指标优化，需要耗费较长时间才能获得相对较好的效果。而显著分数由于会直接根据图片质量变化而变化，评价指标不变时也能提供图片质量信息指导ISP调优，因此相比现有方法可以获得更多的提升。使用显著分数进行ISP调优，能够提高对于测试数据集的利用效率，减少所需测试数据集的数据量。

图5示出了当测试数据集的大小变化时，基于显著分数所进行的调优和现有方法的比较的图。在图5中，对于与测试数据集的大小为64和128对应的两对mAP图，每对图中的位于左侧的mAP对应于现有方法，而位于右侧的mAP对应于基于显著分数所进行的调优。从图5可见，当测试数据集的大小从128减小到64时，基于显著分数所进行的调优相比现有方法的mAP的提高变得更大。

(五)、应用实施例5

在评价指标难以提升的困难场景下，评价指标难以提升，因此现有方法的ISP调优无法获得足够的评价指标变化信息，难以取得理想的优化效果。而显著分数由于会直接根据样本图片质量变化而变化，评价指标不变时也能提供样本图片的质量信息来指导ISP调优，因此相比现有方法可以获得更多的提升。图6示出了在困难场景下，基于显著分数所进行的调优和现有方法的比较的图。在图6中，为了简单，横坐标简写为显著分数调优mAP，纵坐标简写为现有方法调优mAP。图6中的虚线为对角线。如图6所示，当选取了100张取自上述困难场景的图片时，比较现有方法的ISP调优与显著分数的ISP调优效果，可以看到通过使用显著分数，大部分图片的mAP都得到了提高。平均来说，使用现有方法，这100张图片的mAP为0.471，而显著分数调优的mAP为0.523，提高超过10％。由此可见，使用显著分数进行ISP调优，能够提高对于困难场景的调优效果。

(六)、应用实施例6

不同场景下对应不同类别、大小、目标的准确度要求有所不同。由于显著图可以根据某一个限位框(预测框)计算，因此对应显著分数可以针对某一个特定类别、或特定大小、或特定目标而被计算，从而提高ISP调优的灵活性。也就是说，通过使用针对特定类别的显著分数，能够提高ISP调优灵活性，适应不同场景。

图7A至7D示出了基于不同对象计算显著分数从而进行调优和现有方法调优的示意图。在图7A中使用现有方法调优中，在对车辆进行检测时，除了检测到两个车辆之外，还可能错误地检测到由斜线覆盖的2个区域，因此，在显著图上存在错误的注意力。在图7B中基于车辆计算的显著分数所进行的调优中，在对车辆进行检测时，正确地检测到两个车辆，并且没有错误地检测到图7A中由斜线覆盖的2个区域，因此，减少了图7A中在显著图上存在错误的注意力。在图7C中使用现有方法调优中，在对骑手进行检测时，除了检测到1个骑手之外，还可能错误地检测到由虚线围起来的1个区域，因此，在显著图上存在错误的注意力。在图7D中基于骑手计算的显著分数所进行的调优中，在对骑手进行检测时，正确地检测到骑手，并且没有错误地检测到图7C中由虚线围起来的区域，因此，减少了图7C中在显著图上存在错误的注意力。

(七)、应用实施例7

当使用深度学习模型时，一般希望模型决策方式与人类一致，可以根据人类的经验来解释。然而，由于深度学习的复杂性，其判断依据有时会与人类有所出入。以对象检测为例，由于训练数据大量来自城市，而城市中的车辆一般都出现在公路路面上。因此，模型检测车辆时，其依据可能不是车辆本身，而是公路路面。因此，如果调优的图片也来自城市，且仅根据模型的mAP进行优化，有可能会出现ISP输出图片中公路路面更为显眼的情况。此时，如果碰到车辆在乡村土路的情况，很可能会影响模型检测汽车的效果。在本公开中，显著分数的计算依据人工标注的对象区域，以车辆检测为例，模型注意力在车辆区域时可以提高显著分数，而注意力在路面时，会降低显著分数。因此，ISP输出的图片不会突出路面，而是使得车辆本身更为突出。因此，通过显著分数的调优，可以使得模型在该ISP输出的图片上的结果更符合人类的经验，有更好的可解释性。也就是说，使用显著分数进行ISP调优，能够提高模型可解释性。

图8是示出根据本公开实施例的基于根据不同重要度掩模计算得到的显著分数而进行ISP调优的效果示意图。其中，样本图片包括车辆、行人、骑手等不同类别的对象，预定模型所执行的任务处理为对象检测任务，将用于生成重要度掩模的上述预定第一阈值分别设置为0、0.4、0.5、0.6，将显著图中的像素值大于第一预定阈值的像素设置为1，并且将显著图中其他像素的像素值设置为0，从而生成不同重要度掩膜。图8示出了基于车辆、行人和骑手三者计算显著分数，并且基于所计算的显著分数进行ISP调优的而计算得到的mAP。

由图8可见，相比于预定第一阈值为0.4、0.5、0.6的情况，当预定第一阈值为0时(即，相当于使用式3计算显著分数的情况)，mAP值有所提升。

本公开还提供了包括上述信息处理设备的图像处理装置。该图像处理装置可以通过硬件产品实现，该图像处理装置例如可以设置在照相机、摄像机等中。

与上述信息处理设备实施例相对应地，本公开还提供了信息处理方法的实施例。

图9是示出根据本公开实施例的信息处理方法S900的流程示例的流程图。

根据本公开实施例的信息处理方法S900从S902开始。

在S904中，基于针对样本图片执行任务处理的预定模型，生成样本图片的显著图，其中，显著图反映预定模型执行任务处理时，对样本图片中不同位置的对象的重视程度。

在S906中，基于显著图和样本图片中的标注区域调整生成样本图像的图像信号处理器的参数，使得任务处理的结果与样本图片的标注值之间的差异满足预定条件。

信息处理方法S900在S908结束。该方法例如可以通过上文所描述的信息处理设备100来执行，其具体细节可参见上述有关信息处理设备100的相关处理的描述，在此不再重复。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者其组合的形式实现，这是本领域的技术人员在阅读了本发明的描述的情况下利用其基本电路设计知识或者基本编程技能就能实现的。

而且，本发明还提出了一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在通过软件或固件实现本发明的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图10所示的通用计算机1000)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图10中，中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM 1003中，也根据需要存储当CPU 1001执行各种处理等等时所需的数据。CPU 1001、ROM 1002和RAM 1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。

下述部件连接到输入/输出接口1005：输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1009经由网络比如因特网执行通信处理。根据需要，驱动器1010也可连接到输入/输出接口1005。可移除介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上，使得从中读出的计算机程序根据需要被安装到存储部分1008中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质1011安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质1011。可移除介质1011的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

还需要指出的是，在本发明的装置、方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应该视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按时间顺序执行。某些步骤可以并行或彼此独立地执行。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

本技术还可以如下实现。

附记1.一种信息处理设备，包括：

处理电路，被配置为：

基于针对样本图片执行任务处理的预定模型，生成所述样本图片的显著图，其中，所述显著图反映所述预定模型执行所述任务处理时，对所述样本图片中不同位置的对象的重视程度，以及

基于所述显著图和所述样本图片中的标注区域调整生成所述样本图像的图像信号处理器的参数，使得所述任务处理的结果与所述样本图片的标注值之间的差异满足预定条件。

附记2.根据附记1所述的信息处理设备，其中，所述处理电路被配置为基于所述显著图和所述标注区域，计算与所述样本图片对应的显著分数，并且基于所述显著分数进行所述调整。

附记3.根据附记2所述的信息处理设备，其中，所述处理电路被配置为计算所述显著图当中位于所述标注区域内的像素的像素值之和作为第一数值以及计算所述显著图中的所有像素的像素值之和作为第二数值，并且计算所述第一数值与所述第二数值之间的比值作为所述显著分数。

附记4.根据附记2所述的信息处理设备，其中，所述处理电路被配置为基于所述显著图生成用于反映所述显著图中的像素的重要性的重要度掩模，并且基于所述重要度掩膜和所述标注区域来计算所述显著分数。

附记5.根据附记4所述的信息处理设备，其中，

所述处理电路被配置为保留所述显著图中的像素值大于第一预定阈值的像素，并且将所述显著图中其他像素的像素值设置为0，从而生成所述重要度掩膜。

附记6.根据附记5所述的信息处理设备，其中，

在所述重要度掩膜中，所保留的像素的像素值是所述显著图中的对应位置处的像素的像素值，或者是基于所述显著图中的对应位置处的像素的像素值而计算得到的值。

附记7.根据附记5或6所述的信息处理设备，其中，

所述处理电路被配置为计算所述重要度掩膜当中位于所述标注区域内的、其像素值大于预定第二阈值的像素的第一数量以及计算所述重要度掩膜中的、其像素值大于所述预定第二阈值的像素的第二数量，并且计算所述第一数量与所述第二数量之间的比值作为所述显著分数。

附记8.根据附记2至7中任一项所述的信息处理设备，其中，所述处理电路被配置为基于所述显著分数和所述预定模型执行所述任务处理的评估指标，进行所述调整。

附记9.根据附记8所述的信息处理设备，其中，所述处理电路被配置为基于所述显著分数乘以第一预定权重所得到的第一值与所述评估指标乘以第二预定权重所得到的第二值之间的和值，进行所述调整。

附记10.根据附记9所述的信息处理设备，其中，所述第一预定权重为所述显著图当中位于所述标注区域内的像素的数量与所述显著图中的所有像素的数量之间的比值。

附记11.根据附记2至10中任一项所述的信息处理设备，其中，所述标注区域是用于对所述样本图片中的多个对象进行标注的区域当中的、与所述多个对象中的至少一部分对象相对应的至少一部分区域。

附记12.根据附记2至11中任一项所述的信息处理设备，其中，所述处理电路被配置为：

基于将所述样本图片输入所述预定模型之后得到的输出，使用机器学习解释工具得到至少一个热图；以及

基于所述至少一个热图，生成所述显著图。

附记13.根据附记12所述的信息处理设备，其中，

所述显著图的大小与所述样本图像的大小相同，以及

所述显著图中的像素的像素值反映该像素对所述任务处理的贡献度。

附记14.根据附记12或13所述的信息处理设备，其中，

在所述至少一个热图仅包括一个热图的情况下，将所述一个热图中的像素的像素值进行归一化处理，从而生成所述显著图，或者

在所述至少一个热图包括针对所述样本图片中包括的不同对象而得到的多个热图的情况下，将所述多个热图中的像素的像素值进行归一化处理，并且将归一化处理后的多个热图中的相同位置处的像素的像素值进行平均，从而生成所述显著图。

附记15.根据附记12至14中任一项所述的信息处理设备，其中，

所述机器学习解释工具包括Grad-CAM、Grad-CAM++、XGrad-CAM、Ablation-CAM、Score-CAM、导向反向传播中至少之一。

附记16.根据附记2至15中任一项所述的信息处理设备，其中，所述处理电路被配置为以增大所述显著分数为目标迭代地调整所述图像信号处理器的参数。

附记17.根据附记1至16中任一项所述的信息处理设备，其中，

在所述任务处理是分类任务的情况下，所述标注区域是用于判断所述样本图片的类型的区域。

附记18.根据附记1至16中任一项所述的信息处理设备，其中，

在所述任务处理是对象检测任务的情况下，所述标注区域是所述样本图片中被标注为对象的限位框。

附记19.根据附记1至18中任一项所述的信息处理设备，其中，

所述预定模型是计算机视觉任务模型。

附记20.一种图像处理装置，其包括根据附记1至19中任一项所述的信息处理设备。

附记21.一种信息处理方法，包括：

基于针对样本图片执行任务处理的预定模型，生成所述样本图片的显著图，其中，所述显著图反映所述预定模型执行所述任务处理时，对所述样本图片中不同位置的对象的重视程度，以及

基于所述显著图和所述样本图片中的标注区域调整生成所述样本图像的图像信号处理器的参数，使得所述任务处理的结果与所述样本图片的标注值之间的差异满足预定条件。

附记22.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据附记21所述的信息处理方法。

Claims (10)

1.一种信息处理设备，包括：

处理电路，被配置为：

基于针对样本图片执行任务处理的预定模型，生成所述样本图片的显著图，其中，所述显著图反映所述预定模型执行所述任务处理时，对所述样本图片中不同位置的对象的重视程度，以及

基于所述显著图和所述样本图片中的标注区域调整生成所述样本图像的图像信号处理器的参数，使得所述任务处理的结果与所述样本图片的标注值之间的差异满足预定条件。

2.根据权利要求1所述的信息处理设备，其中，所述处理电路被配置为基于所述显著图和所述标注区域，计算与所述样本图片对应的显著分数，并且基于所述显著分数进行所述调整。

3.根据权利要求2所述的信息处理设备，其中，所述处理电路被配置为计算所述显著图当中位于所述标注区域内的像素的像素值之和作为第一数值以及计算所述显著图中的所有像素的像素值之和作为第二数值，并且计算所述第一数值与所述第二数值之间的比值作为所述显著分数。

4.根据权利要求2所述的信息处理设备，其中，所述处理电路被配置为基于所述显著图生成用于反映所述显著图中的像素的重要性的重要度掩模，并且基于所述重要度掩膜和所述标注区域来计算所述显著分数。

5.根据权利要求4所述的信息处理设备，其中，

所述处理电路被配置为保留所述显著图中的像素值大于第一预定阈值的像素，并且将所述显著图中其他像素的像素值设置为0，从而生成所述重要度掩膜。

6.根据权利要求5所述的信息处理设备，其中，

在所述重要度掩膜中，所保留的像素的像素值是所述显著图中的对应位置处的像素的像素值，或者是基于所述显著图中的对应位置处的像素的像素值而计算得到的值。

7.根据权利要求5或6所述的信息处理设备，其中，

所述处理电路被配置为计算所述重要度掩膜当中位于所述标注区域内的、其像素值大于预定第二阈值的像素的第一数量以及计算所述重要度掩膜中的、其像素值大于所述预定第二阈值的像素的第二数量，并且计算所述第一数量与所述第二数量之间的比值作为所述显著分数。

8.一种图像处理装置，其包括根据权利要求1至7中任一项所述的信息处理设备。

9.一种信息处理方法，包括：

基于针对样本图片执行任务处理的预定模型，生成所述样本图片的显著图，其中，所述显著图反映所述预定模型执行所述任务处理时，对所述样本图片中不同位置的对象的重视程度，以及

基于所述显著图和所述样本图片中的标注区域调整生成所述样本图像的图像信号处理器的参数，使得所述任务处理的结果与所述样本图片的标注值之间的差异满足预定条件。

10.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据权利要求9所述的信息处理方法。