CN118159995A - 图像信号处理器优化方法及设备 - Google Patents

图像信号处理器优化方法及设备 Download PDF

Info

Publication number
CN118159995A
CN118159995A CN202280056428.0A CN202280056428A CN118159995A CN 118159995 A CN118159995 A CN 118159995A CN 202280056428 A CN202280056428 A CN 202280056428A CN 118159995 A CN118159995 A CN 118159995A
Authority
CN
China
Prior art keywords
evaluation score
sample
image signal
signal processor
configuration parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280056428.0A
Other languages
English (en)
Inventor
沈凌浩
伊藤厚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony China Ltd
Sony Group Corp
Original Assignee
Sony China Ltd
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony China Ltd, Sony Group Corp filed Critical Sony China Ltd
Publication of CN118159995A publication Critical patent/CN118159995A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像信号处理器优化方法及设备。提供了用于图像信号处理器的优化设备，所述优化设备包括处理电路，被配置为使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及基于所述评估分数来调整图像信号处理器的配置参数。

Description

图像信号处理器优化方法及设备
相关申请的交叉引用
本申请要求于2021年8月23日递交的中国专利申请No.202110965449.1的优先权，其全文通过引用并入于此。
技术领域
本公开涉及图像信号处理，特别涉及图像信号处理器的优化。
背景技术
随着电子摄影设备，诸如各种数码相机、便携设备搭载摄影设备等日益普及，人们越来越多地利用电子摄影设备进行获取各种场景的照片、视频等等。
图像信号处理器(ISP)是电子摄影设备中的底层图像处理装置，其用于对电子摄影设备中的光学传感器捕捉到的原始光照信号进行转换以获得人眼可以在各类显示设备观看的图片，在目前的数码相机、手机摄像头等设备中有着广泛应用。ISP的性能对于拍摄得到的最终图像的质量有着较大影响。ISP一般提供大量的配置参数可供调整，而ISP的生产商往往会有专家来对配置参数进行调优。一般ISP的调优目标都是人眼视觉感受，如纹理清晰度、视觉噪声等。
除非另有说明，否则不应假定本节中描述的任何方法仅仅因为包含在本节中而成为现有技术。同样，除非另有说明，否则关于一种或多种方法所认识出的问题不应在本节的基础上假定在任何现有技术中都认识到。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。
本公开的一个目的是对图像信号处理器进行优化，特别地针对图像信号处理器所应用于的特定任务对图像信号处理器进行优化。
在本公开的一个方面，提供了一种用于图像信号处理器的优化设备，所述优化设备包括处理电路，被配置为使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；获取基于所述图像信号处理器所应用于的特定任务的任务模 型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及基于所述评估分数来调整图像信号处理器的配置参数。
在本公开的另一个方面，提供了一种用于图像信号处理器的优化方法，所述方法包括：使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及基于所述评估分数来调整图像信号处理器的配置参数。
在本公开的另一方面，提供了一种摄影设备，包括图像信号处理器，其用于基于由图像传感器将摄影设备所采集的光转化成的电信号，产生图像，以及如本文所述的优化设备，其用于对图像信号处理器进行优化。
在还另一方面，提供了一种优化设备，包括至少一个处理器和至少一个存储设备，所述至少一个存储设备其上存储有指令，该指令在由所述至少一个处理器执行时可使得所述至少一个处理器执行如本文所述的方法。
在仍另一方面，提供了一种存储有指令的存储介质，该指令在由处理器执行时可以使得执行如本文所述的方法。
在仍另一方面，提供了一种程序产品，所述程序产品包含指令，该指令在由处理器执行时可使得所述处理器执行如本文所述的方法。
在仍另一方面，提供了一种计算机程序，所述计算机程序包括指令，所述指令在由计算机执行时使得计算机执行如本文所述的方法。
从参照附图的示例性实施例的以下描述，本发明的其它特征将变得清晰。
附图说明
下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用于解释本公开。应当理解的是，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开构成限制。
图1示出了图像信号处理流程的一般概念图。
图2示出了根据本公开的实施例的图像信号处理器调优应用场景的示意图。
图3A示出了根据本公开的实施例的用于图像信号处理器的优化设备的框图。
图3B示出了根据本公开的实施例的用于图像信号处理器的优化方法的流程图。
图4A示出了根据本公开的实施例的图像信号处理器调优的应用场景分析，而图4B示出了根据本公开的实施例的图像信号处理器调优的示意性流程图。
图5A示出了根据本公开的实施例的示例性基于KITTI数据集，进行ISP自动调优的流程，图5B示出了根据本公开的实施例的调优效果图，其中示出了手动调节ISP参数与ISP参数自动调优后，模型对ISP处理后图片的预测结果，并且图5C示出了手动调优ISP参数和自动调节ISP参数处理生成的图片。
图6示出了示出了无监督调优效果，其中示出了手动调节ISP参数与ISP参数自动调优后，模型对ISP处理后图片的预测结果。
图7示出了示出了半监督调优效果，其中示出了手动调节ISP参数与ISP参数自动调优后，模型对ISP处理后图片的预测结果。
图8示出了基于不同标注数据量调优后的模型性能，其中示出了手动调节ISP参数与ISP参数自动调优后，模型对ISP处理后图片的预测结果。
图9示出了不同ISP模拟器参数调优后的模型性能，其中示出了手动调节ISP参数与ISP参数自动调优后，模型对ISP处理后图片的预测结果。
图10示出了根据本公开的实施例的摄影设备。
图11示出了示出了能够实现本发明的实施例的计算机系统的示例性硬件配置的框图。
应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此，一旦某一项在一个附图中被定义，则在随后的附图中可能不再对其进行进一步讨论。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。附图以及下文对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。
此外，在下文中结合附图对本公开的示范性实施例进行描述时，为了清楚和简明起见，在说明书中并未描述实施例的所有特征。应当注意，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或设备结构， 而省略了与本公开关系不大的其他细节。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。
在本公开中，术语“第一”、“第二”等仅仅用于区分元件或者步骤，而不是要指示时间顺序、优先选择或者重要性。
ISP(Image Signal Processor)，即图像信号处理器，是电子摄影设备，诸如各种数码相机、便携设备搭载摄影设备等中重要的组成部分。图1示出了ISP在拍摄架构中的概念性布置。特别地，在拍照时，光线通过镜头模组进入透镜模组，紧接着图像传感器将通过透镜接到的光转化为电信号，电信号将会发送到图像信号处理器，图像信号处理器基于所接收到的电信号来产生图像，以供被呈现给用户，或者进一步被处理，例如经由图像处理器(例如，GPU)处理，其处理结果可被呈现给用户。在操作中，图像信号处理器(ISP)单元可以执行一系列的信号处理过程，旨在使图像在视觉呈现上较为美观并且适于用户观察。ISP所执行的处理可以包括但不限于AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、去噪、去马赛克、锐化、色彩校正、伽马映射、色调映射、压缩等等。ISP单元所产生的信号可以为任何适当的格式，只要该信号可以被进一步处理或者适于用户观看即可，例如可以是JPEG，JPG等格式的图像。
ISP可以在各种图像应用中得到广泛地使用。例如，随着机器学习的发展，大量图片被用于计算机视觉任务，然而，但是ISP优化/调优、尤其是针对自动驾驶等高级计算机视觉任务的ISP优化/调优尚存在困难。具体而言，针对计算机视觉任务进行调优主要有两个难点：一是人类专家基于视觉效果的调优很难得到计算机视觉算法的最优解；二是计算机视觉模型会随着技术与数据的积累快速迭代，而人类专家难以如此快的对ISP参数进行调优。
已经提出了一些ISP自动调优的尝试。一种思路是基于专家的理解在考虑了ISP图像处理效果的情况下对ISP进行自动调优，例如基于专家理解，得出图像的诸如锐利度、对比度等图像特征会对配准、行人检测等计算机视觉任务有所帮助，因此通过调整ISP的部分参数来增强专家认为有效的图像特征。该思路尽管不需要专家手动调整，但依然需要专家的领域知识进行判断，同时，仅对一部分ISP的参数进行调节，难以充分利用和改善ISP的功能。另一种思路是对ISP进行模块化的优化，特别地，通过数学上效果近似的算 法对ISP的各个模块进行简化模拟，例如将ISP功能抽象为数个卷积神经网络(CNN)并整体针对下游任务进行训练。该思路的问题在于针对ISP的独立模块进行优化，而忽视了模块的互相影响，无法实现有效的优化。而且，各个CNN与ISP参数无准确的对应关系，无法将CNN结果有效地应用于ISP参数的调优，也就无法对现有的硬件加以利用。
鉴于此，本公开提出改进的ISP调优方案。特别地，本公开提出了针对任务、尤其是针对任务执行效果来进行ISP调优的构思。具体而言，对于特定图像信号处理器应用任务，以改善该应用任务的完成效果为目标来进行ISP调优。有别于当前主要由专家针对个人感官对ISP调优的方法，本公开的方案在于无需专家参与，且能够针对特定任务优化，可以使ISP处理的图片能在该任务上有更好的效果。这样，与针对图片视觉效果进行调优相比，能够更好地优化ISP的应用效果。
进一步地，本公开提出了针对用于特定任务的任务模型的表现来自动调优图像信号处理器(ISP)。特别地，利用黑盒优化算法针对用于特定任务的特定模型的表现来自动调优图像信号处理器(ISP)，其中在将ISP视为一个整体的同时，明确地对各个参数进行调优，从而能够获得针对该任务的完成效果更好的ISP参数。
应指出，本公开的技术方案可以应用于各种适当的任务，包括但不局限于计算机视觉任务。在一些实施例中，计算机视觉任务包括图像分类、物体检测、物体分割、实例分割、全景分割中的至少一个，从而可以针对不同的任务来分别调优。计算机视觉任务通常可以用于各种应用场景，继而ISP调优可以针对计算机视觉任务、或者计算机视觉任务所用于的各种应用场景来适应性地进行。
作为一个示例，其应用场景之一为自动驾驶。自动驾驶的应用需要一系列计算机视觉任务的支撑，包括车道检测、信号灯识别、标志识别、车辆与行人检测等。车道检测需要基于图像分割出各个车道，该任务需要能准确的识别路面的车道线，不需要ISP有很好的色彩准确性，却需要清晰的边缘特征以帮助曲线识别。信号灯识别需要能识别信号灯的位置与颜色，主要需要ISP准确的颜色校正与防止过度曝光。标志识别需要识别路面的车道标志或路边的路牌标志，需要ISP能稳定的获得标志的颜色，用于进行定位与分类。车辆与行人检测最为复杂，需要ISP整体的性能较强。而自动驾驶中也有多类不同的细分应用，对不同任务的依赖程度不一，例如自动巡航主要需要先检测当前车道并检测道路前方障碍物，因此对于ISP色彩准确性的需求较低；同时，车道检测一般以车道线的分割为性能评测标准，然而该场景下车道障碍物检测准确性为更好的评测标准，因此针对该场景，本公开的方案需要先进行车道线分割，再基于其结果进行障碍物检测，并根据此障碍物检测准 确率来进行ISP调优。
针对应用进行的ISP调优，其另一应用场景为无人零售。无人零售的应用主要需要人脸检测，人脸验证，商品检测功能。其中，人脸检测需要ISP能准确反映人脸肤色、形状等；人脸验证则需要ISP能清晰的展示人脸特征点。商品检测需要ISP能准确反映包装袋颜色、花纹、文字等纹理特征。因此，在本公开中，可以通过人脸检测、人脸验证、商品检测的计算机视觉任务模型效果的综合，来进行无人零售应用的ISP调优。
总之，针对某一个应用的最终效果进行ISP调优，比针对图片视觉特征或单一计算机视觉任务进行ISP调优带来更好的效果。
图2示出了根据本公开的实施例可应用于其中的特定应用场景的示意图，其中可执行根据本公开的实施例的ISP调优处理。该应用场景与计算机视觉任务相关，并且可以借助于用于计算机视觉任务的模型来进行ISP调优。具体而言，光学传感器处理入射光以产生电信号并将之发送到图像信号处理器，图像信号处理器(ISP)基于所接收到的电信号来产生图像，例如8位RGB图片，所产生的图像被输入到计算机视觉任务模型以用于完成计算机视觉任务。在该应用场景中，可以基于计算机视觉任务模型效果来自动调节ISP参数，继而基于调节后的ISP参数来提高模型效果。这样，通过ISP参数与计算机视觉任务模型之间的交互来优化ISP参数，继而能够提高模型表现。
图3A示出了根据本公开的实施例的用于图像信号处理器(ISP)的优化设备的框图。如图3A所示，设备30包括处理电路302，处理电路302被配置用于使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及基于所述评估分数来调整图像信号处理器的配置参数。
根据本公开的实施例，ISP模拟器是针对真实/实际ISP的模拟，其可实现与真实ISP相同的功能，并且可应用ISP的配置参数实现与真实ISP一致的处理。也就是说，ISP模拟器的参数和功能效果与图像信号处理器的参数和功能效果一一对应。因此，在一些实施例中，模拟器可基于ISP的配置参数对输入样本图片进行处理，以获得与真实ISP基本一致的处理结果。作为示例，ISP模拟器可以采用各种方式来实现，例如可以通过硬件、软件或者固件来实现。例如，ISP模拟器本身可以是个黑盒来模拟真实ISP，而内部结构对实现并无影响。
在一些实施例中，样本图片可以是可由图像信号处理器处理的任何适当的图像，例如 可以是从预先存储在数据中的样本图片中选择的，或者是通过摄影设备在特定时间段内拍摄得到的。另外，样本图片可以是原始图片，或者已对原始图片进行过特定处理的图像，例如初步过滤，去混叠，颜色调整，对比度调整，规范化等等。应指出，预处理操作还可以包括本领域已知的其它类型的预处理操作，这里将不再详细描述。在一些实施例中，样本图片可以具有特定标注状态，例如其标注情况为全都有人工标注、部分有人工标注、无人工标注的其中一类，从而在这样的标注情况下进行的调优可分别对应有监督调优、半监督调优、无监督调优。以下将详细描述。
根据本公开的实施例，任务模型是表征应用了ISP的特定任务的模型。针对不同任务，可以使用不同模型。例如，该任务模型可以是计算机视觉任务模型，也可以是任何其它适当的任务的模型，这里将不再详细描述。在一些实施例中，任务模型可以是采用各种适当的方式来实现，例如神经网络等。作为示例，任务模型可以采用深度神经网络、卷积神经网络等中的任一个来实现。
在一些实施例中，本公开的任务模型可以是基于模型训练数据集训练得到针对特定任务的模型，其输入为经ISP模拟器处理后的样本图片，并且模型输出结果可以表征对应任务的执行结果。应指出，本公开中的任务模型可基于模型训练数据集被训练得到，特别地可以是更为复杂的且基于大规模数据集而训练得到的模型，这样就意味着本公开的调优方案可以通过复杂的模型来实现，能够很好地应对复杂的应用场景。而且，本公开中的任务模型不是基于调优所使用的样本图片被训练，而是任务模型已经训练好并且能够在ISP调优过程中执行相关的任务以便进行模型执行效果评估，而无需再进一步进行训练和修改。这样无需对模型本身进行修改就可以提高ISP完成特定任务的性能，而且调优过程中能够保持性能稳定。
根据本公开的实施例，评估分数可以用于评价特定任务的执行效果，其可对应于相应的任务模型的任务准确性，例如计算机视觉模型的任务准确性，继而可被用于对ISP进行调优来改善真实环境中完成任务的效果。在一些实施例中，评估分数可以基于所述图像信号处理器所应用于的特定任务的任务模型被获得，特别地基于任务模型对于得自样本图像的结果图像的处理而获得的。
根据本公开的实施例，评估分数可以包含各种适当形式的评估分数，和/或可以由各种适当形式的评估分数组成。
根据本公开的实施例，评估分数可以包括指示样本图片分布偏差的分布评估分数。特别地，该分布评估分数指示所述模型的训练集与所述样本图片之间的分布差异。分布差异 越小，则分布评估分数越高，越说明模型对于样本图片的运算处理能够获得期望的效果，代表任务执行效果好。具体而言，应用于特定任务的任务模型是基于某一个训练集训练的。一般来说，在应用该任务模型时所使用的图片与训练集比较相似的话效果会比较好，反之则会比较差。因此，在ISP处理后的样本图片被施加到应用任务模型来进一步运算时，如果ISP处理后的图片分布与训练集分布的偏差较小，则多数情况下模型可以给出更好的结果。
在本公开的一些实施例中，分布评估分数可针对各种类型的输入样本被计算，并且尤其适用于针对无人工标注样本的计算。在此情况下，该分布评估分数可被称为无监督评估值。因此，分布评估分数尤其适合于应用无监督样本图片的任务评估以及相应的ISP调优。当然，分布评估分数也可以用于有监督样本图片、半监督样本图片的任务评估以及相应的ISP调优。
分布评估分数可以采用各种适当的方式来计算。根据本公开的实施例，分布评估分数可以基于分层结构的任务模型中所包含的特定层的统计特征以及结果图片在所述特定层处和/或在所述特定层之前的运算结果的统计特征中的至少一者被计算。作为示例，任务模型是深度神经网络，而可以基于其特有的批归一化层(Batch normalization，简称BN)作为该特定层来计算分布评估分数。
在一些实施例中，批归一化层的统计特征可通过适当的方式来获得，例如基于模型进行运算、从已有数据读取等。优选地，可从模型的权重中直接读取，从而避免使用训练数据计算，提高效率且节约计算开销。在一些实施例中，结果图片在所述特定层处和/或在所述特定层之前的运算结果的统计特征可在通过任务模型对结果图片进行运算时被获取并记录，被称为激活值，并且用于评估分数的计算。在一些实施例中，可以基于任务模型中的特定层的统计特征以及在特定层之前的结果图片的运算结果的统计特征两者来计算分布评估分数。特别地，作为示例，可以通过如下方式来计算分布评估分数：读取深度神经网络批归一化层的权重；计算测试样本在批归一化层前的激活值；根据权重与激活值的统计特征计算样本分布差异。
根据本公开的实施例，批归一化层的统计特征包括批归一化层的均值和方差。优选地，批归一化层的统计特征包括从模型的权重、尤其是模型的BN层权重中直接读取的均值和方差。根据本公开的实施例，结果图片在所述批归一化层处的运算结果包括该运算结果的各个通道的分布的均值与方差。在一些实施例中，在计算直接记录所有的激活值会占用大量显存从而难以实现。因此优选地，在操作中，可以根据每次输入样本激活值，对记录的 一阶矩与二阶矩进行更新。并在完成对所有批次样本的运算后基于记录计算出均值与方差。
在一些实施例中，分布评估分数可以为各种适当的形式，例如选自包含L范数、Kullback-Leibler(KL)散度、Jensen-Shannon(JS)散度、Wasserstein距离的组中的至少一个。分布评估分数可以针对应用ISP的任务被适当地选择。
根据本公开的一些实施例，分布评估分数可以是基于所述批归一化层的均值与所述运算结果的均值之差、以及所述批归一化层的方差与所述运算结果的方差的比值而计算的。在一些实施例中，这样的分布评估分数可以是KL散度。作为一个示例，KL散度可被用于进行无监督、半监督或者全监督情况下的优化，并且尤其适合于无监督情况下的优化。KL散度计算可以采用本领域中任何适当的方式来实行。作为一个示例，KL散度的计算可如以下公式所示：
[公式1]
其中，
[公式2]
公式1中i代表第i个样本数据，b i为该数据所在批次大小，N为总样本数据量，x i为输入样本在当前批归一化层(Batch normalization，以下简称BN)处的计算结果。μ 1，σ 1为当前BN处的均值与标准差，由于μ 1，σ 1都可以基于求和计算，其计算时所占用的显存资源与单个x i所需显存相等，从而可以避免由于数据量增加导致占用过多显存。公式2中的μ 1，σ 1为公式1中的计算结果，μ 2，σ 2为当前BN的均值与标准差，可以从模型的权重中直接读取，从而避免使用训练数据计算。
应指出，此实施例中仅是计算第一BN层的KL散度，此KL散度的计算可以针对任意多个BN层同时进行。在此情况下，对于任一BN层的计算，上述公式中的x i为输入样本在当该BN层处的计算结果，然后可以根据上述公式计算该BN层的KL散度。
根据本公开的一些实施例，分布评估分数可以是基于所述批归一化层的均值与所述运算结果的均值之差、以及所述批归一化层的方差与所述运算结果的方差之差而计算的。在 一些实施例中，这样的分布评估分数可以是L范数。具体来说，按如下公式计算L1范数差，且用其作为评估分数：
[公式3]
L1范数差＝|σ 1 2-σ 2 2|+|μ 1-μ 2|，
其中μ 1，σ 1、μ 2，σ 2定义与前述定义一致。
由此，通过使用分布评估分数来评价ISP应用的特定任务的执行效果，从而可以有利地指导ISP的调优。
根据本公开的实施例，评估分数还可包括基于所述任务模型对所述结果图片进行运算得到的模型输出的模型评估分数。特别地，评估分数还可以基于模型评估分数来确定。在一些实施例中，可基于模型输出结果来计算用于评价任务完成效果的分数来作为模型评估分数。模型评估分数尤其适合于在输入包含有标注样本的情况下的任务执行效果的评价，并且这样的模型评估分数可被认为是有监督评估值。在一些实施例中，模型评估分数可以是针对有标注样本图片、基于有标注样本图片包含的标注信息而计算的。
在一些实施例中，模型评估分数为选自包含F1值、mean Average Precision(mAP)值、meana Average Recall(mAR)值、Intersection over Union(IoU)值、骰子系数、Panoptic Quality(PQ)值的组中的至少一个。特别地，模型评估分数可以对于不同类型的任务选择不同类型的值。作为示例，对于图片分类任务，优选F1值；对于物体检测任务，优选mAP值；对于物体分割任务，优选骰子系数；对于实例分割任务，优选mAR值；对于全景分割，优选PQ值。这些值可以采用各种适当的方式来计算得到，这里将不再详细描述。
根据本公开的实施例，评估分数可以是基于分布评估分数和模型评估分数两者而得到的，以更加适当地指示任务执行效果。这样的评估分数尤其适合于有监督评估、半监督评估、全监督评估等等。特别地，评估分数可以是通过对分布评估分数和模型评估分数进行加权和而得到的。应用于分布评估分数和模型评估分数的权重可以被适当地选定，并且不被特别限制，只要评估分数能够被计算为使得任务执行效果越好，评估分数越高即可。
这样，通过上述过程，可以生成对于应用了ISP或者预期应用ISP的特定任务的任务效果的评估分数。
根据本公开的实施例，可以基于所生成的评估分数来优化ISP的配置参数，该ISP配置参数即为在生成评估分数的过程中，由ISP模拟器用于对样本图片进行处理的配置参数，其也对应于真实ISP的相应配置参数。这里，配置参数的优化是考虑了任务的执行效 果/完成状况，并且是以使得任务的执行效果更优为目标来进行优化。在一些实施例中，可以将配置参数调整为使得基于调整后的配置参数完成所述特定任务时所取得的任务效果更优。
根据本公开的实施例，评估分数实质上是与ISP的配置参数一一相对应的。具体而言，在优化过程中，可以进行至少一次评估分数生成，其中，在每次生成操作中，设定初始ISP配置参数，然后利用ISP模拟器基于该初始ISP配置参数来处理样本图片，然后基于任务模型来生成评估分数，这样可以获得至少一个评估分数，每个评估分数与每组配置参数相对应，由此作为评估分数集合来进行后续的参数调整。
在一些实施例中，优化操作可以执行为使得调整后的配置参数更接近于导致更优评估分数的配置参数。在一些实施例中，所述处理电路进一步配置为：获取多组评估分数，所述多组评估分数分别与多组配置参数对应，并且是基于所述多组配置参数处理样本图片以供所述任务模型运算所获得多组评估分数；并且将图像信号处理器的配置参数调整为使得调整后的配置参数更接近于所述多组评估分数中的更优评估分数相对应的配置参数，且远离所述多组评估分数中的更差评估分数相对应的配置参数。
作为示例，为了能更稳定地进行优化，优选地，可以将前述从利用ISP模拟器处理样本图片直到相应地获取评估分数的过程反复执行特定次数，获得多组配置参数与对应的评估分数。该重复执行的次数可被任意地设定，并且优选的，可重复12次。应指出，在重复执行的多次操作中的每一次中，样本图片和任务模型可以保持不变，而可以在每次操作中设置各自的初始ISP配置参数来进行图片处理并由此生成相应的评估分数。然后，在优化过程中，可以对配置参数进行调整，以使得调整后的配置参数能接近前述多组配置参数中的产生高评估分数的配置参数，同时尽量远离产生低评估分数的配置参数。
根据本公开的实施例，所述处理电路进一步配置为迭代地执行图像信号处理器的配置参数的调整。也就是说，可以将上述的从利用ISP模拟器处理样本图片直到配置参数调整的过程迭代地执行。迭代中的每一次过程可以如上所述地执行，特别地，可以执行前述生成多组评估分数的过程以进行调整。在一些实施例中，配置参数调整的迭代过程可被以任何适当的方式来执行。在一些实施例中，可以根据特定条件来终止迭代。特别地，迭代终止条件包含以下中的至少一个：当迭代次数达到预先设定的次数阈值时，停止迭代；当一次迭代所对应的评估分数不再优于前一次迭代所对应的评估分数，则迭代停止；以及当特定次数迭代后所对应的评估分数不再优于前特定次数的迭代所对应的评估分数，则迭代停止。
作为一个示例，预定的次数阈值可以是适当的任何值，该值可以是由操作人员适当地设定的，例如根据经验设定或者根据相关设备的工作负载要求设定，或者根据先前的参数调整操作的结果而被设定，例如可以设定为先前参数调整操作的迭代次数的经验值。例如，预定的次数阈值可以是500次。作为另一示例，如果连续第一阈值次评估分数没有较上一次重复提高，则可以停止迭代。这里，连续第一阈值次评估分数指的是连续执行第一阈值次配置参数调整，之后使用调整后的配置参数计算得到的评估分数。连续执行第一阈值次调整可以如前文所述地执行，这里将不再详细描述。优选地，第一阈值为50次。
根据本公开的实施例，配置参数的设定和调整可采用各种适当的方式来执行。作为一个示例，配置参数可以由操作人员初始地设定并如上所述地调整。作为另一示例，配置参数可以通过适当的装置被设定和调整。根据本公开的实施例，图像信号处理器的配置参数可以采用优化器来生成和调整。优选地，优化器是黑盒优化器。尤其优选地，优化器是CMA-ES优化器。
在一些实施例中，图像信号处理器的配置参数可以是通过对于优化器产生的数值进行处理以使之符合图像信号处理器的参数要求而获得的。以下将示例性地描述基于优化器来获取图像信号处理器的配置参数生成方式的一个示例。首先，随机抽取一组等同于优化器内部参数个数的数字作为优化器的初始值。然后，调用优化器，能够产生一组等同于ISP参数个数的数值。这些数值与ISP的参数有一一对应关系。对于所产生的多个数值，按照ISP实际参数的范围与数值类型，对产生的多个数值进行处理，以使其符合ISP参数要求。处理包括但不限于：将超出对应参数范围的数值进行截断、缩放或反射等操作，使其符合参数范围要求。特别地，还可以根据参数类型来生成ISP参数。例如，如果参数类型为离散型，优化器可以直接产生离散数据并进行处理。作为另一示例，如果优化器产生连续的数值，则通过四舍五入将连续的数值转换成离散。这样，通过优化器能够产生相对应的配置参数。
根据一些实施例，处理电路进一步配置为：利用所述评估分数来更新优化器的状态；以及基于由更新后的优化器产生的数值来调整所述配置参数。特别地，考虑到评估分数与配置参数对应，继而也就与产生该配置参数的优化器数值相对应，因此在操作中可以基于评估分数来调整优化器的状态，继而可以调整配置参数。特别地，在一些实施例，优化器被更新为使得更新后的优化器所产生的数值更加接近于对应于更优评估分数的数值。
在一些实施例中，优化器的优化可以采用前述的配置参数优化的方式。作为示例，可以获取与优化器产生的多组数值对应的多组评估分数；并且更新优化器的状态，以使得更 新后优化器所产生的数值能够更接近对应于所述多组评估分数中的更优评估分数的数值，且远离对应于所述多组评估分数中的更差评估分数的数值。
前文描述了基于评估分数来对ISP进行调优，而评估分数可以被适当地确定，特别地可以考虑样本的标注状况而被选择和确定。例如，可以考虑样本是否为无标注、部分标注或者全部标注而确定适当的评估分数。在本公开中，可以注意到输入样本数据在存在标注的情况下可以相对高效地进行ISP调优。因此，本公开进一步提出了可对输入的样本图片进行标注，从而实现更加高效和改善的ISP调优。
根据本公开的实施例，可以采用各种适当的方式来对样本进行标注。作为一个示例，可以对于样本进行随机标注。作为另一示例，可以根据特定标准对样本进行标注。特别地，尤其基于样本的标注重要度、优先级等中的至少一个来进行样本标注。
根据本公开的实施例，所述处理电路进一步配置为：基于样本图片的标注重要度对预定数量的样本图片进行标注。作为示例，可以按照样本图片的标注重要度对样本进行排序，并且对于前预定数量的样本图片进行标注以供进行训练。这里，预定数量可以被适当地设定。例如，可以由操作人员根据经验被设定，或者可以考虑调优效果、效率和开销等等而被适当地设定。
在本公开的上下文中，可以采用各种适当的方法来确定样本图片的标注重要度。特别地，重要度可表征样本在测试集中的代表性，具有代表性的样本，例如高度集中的，与其它样本区别大的、或者以其它方式具有高代表性的样本，可被赋予高的重要度、优先级等。在一个示例中，可以考虑样本的集中度来设定样本的标注重要度，例如样本越集中，则样本的标注重要度越高。另一方面，可以考虑样本的近似似然性，例如近似似然性越小，则标注重要度越高。
在一些实施例中，所述处理电路进一步配置为：计算各样本的中心度，样本的中心度指示与该样本相邻的样本数量，相邻样本定义为图像特征间的距离小于某一阈值；计算各样本的近似似然，其中该近似似然是使用样本的图像特征以及对应批归一化层的均值和方差来计算的；以及计算中心度的绝对值与近似似然值的比值来确定样本的标注重要度。特别地，作为示例，标注重要度可按照如下公式进行计算。
[公式4]
K(x)＝{x′|d(g(f(x)),g(f(x′)))<D}，
其中，K(x)代表样本x的相邻样本；f表示当前ISP的函数，g(f(x))为样本图像特征， 获取方式为任务模型的模型输出(例如，模型主干网络的最后一层卷积输出)加以全局平均池化值；d为加权的L2范数，其每个维度的权重为该维度的标准差倒数；D为距离阈值。此实施例中f使用的参数同ISP调优的参数相同。
[公式5]
L(x)＝N(x；μ 2,σ 2 2)，
其中，L(x)代表样本x的近似似然度；μ 2,σ 2 2为任务模型的模型输出(例如，模型主干网络最后一层BN)记录的均值与方差；N(x；μ 2,σ 2 2)为各维度独立的多维正态分布。
[公式6]
其中，R(x)为样本x的标注重要度；|K(x)|为x相邻样本的数量，即中心度。
由此，可以确定各个样本的标注重要度。
然后，将样本根据标注重要度排序，然后按照排序从高到底进行标注。从而按照标注重要度标注数据进行调优比随机标注有更好效果。按R(x)降序排序，从高到底，对于样本x，如果其相邻样本中有排名更高的，则将其排到序列的最后。这样终得到的排序列表可以作为样本标注重要度的排序，并且将排序后的数据中的前预定数量个数据加以标注。这样，优先标注排名靠前的样本，即优先标注重要的样本，使得在同样标注量时达到更好的效果，能够更好地针对计算机视觉神经网络调优图像信号处理器。
以上概述了本公开的方案，其可被称为是适应于任务的ISP调优方案。特别地，在本公开的实施例中，本发明的评估是考虑了ISP结果与任务之间的接近程度，即评估分数是考虑了ISP输出是否更加符合执行任务，并不仅仅是图片本身的质量，从而可以从任务执行效果优化方面来进行ISP调优，而不局限于人识别能力。这样实现的ISP调优能够改善应用该ISP的任务的执行效果，例如对于计算机视觉任务而言，本公开能够提高计算机视觉任务的准确性。而且在本公开的实施例中，图像信号处理器无需人工调优，而是可以借助于适当的设备自动地进行，这样减少人工调试图像信号处理器的劳力消耗。
此外，在本公开的实施例中，可以更好地利用现有的数据以及模型，节省工作开销。作为示例，对于给定的样本数据，可以选择适当的评估分数，特别地可以根据数据的标注情况而选择和计算适当的评估分数。而且，如前文所述，在本公开的实施例中，模型被预先训练得到并且在调优过程中不变，即使图像传感器带来的图片质量变化对现有机器学习 模型也没有什么影响，这样能够保持调优的稳定性。
进一步地，在本公开的实施例中，可以对于样本数据进行适当的标注以有利于图像传感器调优。特别地，在本公开的实施例中，可以确定样本的标注重要度来主动地为样本数据进行标注，这样可以利用主动标注后的数据来进行图像传感器调优，实现更好的图像传感器优化，继而能够进一步改善任务完成效果。
在上述装置的结构示例中，处理电路302可以是通用处理器的形式，也可以是专用处理电路，例如ASIC。例如，处理电路120能够由电路(硬件)或中央处理设备(诸如，中央处理单元(CPU))构造。此外，处理电路302上可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如，布置在存储器中)或从外面连接的外部存储介质中，以及经由网络(诸如，互联网)下载。
根据本公开的实施例，处理电路302可以包括用于实现上述功能的各个单元，例如图片获得单元304，用于使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；评估分数获取单元306，获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及参数调整单元308，基于所述评估分数来调整图像信号处理器的配置参数。应指出，上述单元可采用各种适当的方式来实现。作为示例，图片获得单元304可由ISP模拟器实现，评估分数获取单元306可包含计算单元3061，以用于接收任务模型的处理结果来计算评估分数，当然，计算单元也可以在评估分数获取单元306之外、在处理电路302之外，甚至是在优化设备30之外。
优选地，参数调整单元308还可以包括优化单元3081，其利用所述评估分数来更新优化器的状态；以及基于由更新后的优化器产生的数值来调整所述配置参数。优化单元可通过任何适当的方式来实现，例如可实现为优化器，其输入为评估分数并且可以根据评估分数来更新自身的状态，输出为基于更新的状态产生的数值。
优选地，处理电路302还可以包括标注单元310，其被配置为对样本图片进行标注，特别地是根据样本图片的重要度/优先级来进行标注。优选地，标注单元310还可以包括重要度计算单元3101，其可以通过计算样本的集中度和近似似然性来计算样本的标注重要度。这样的重要度计算单元3101可以不被包含在标注单元310内，其可以在标注单元310之外、在处理电路302之外，甚至在优化设备30之外。
应指出，在图3A中，计算单元3061、优化单元3081、标注单元310和重要度计算 单元3101虚线绘出，旨在说明该单元并不一定被包含在处理电路中，或者并不存在。应注意，尽管图3A中将各个单元示为分立的单元，但是这些单元中的一个或多个也可以合并为一个单元，或者拆分为多个单元。
应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。
应理解，图3A仅仅是用于图像信号处理器的优化设备的概略性结构配置，优化设备30还可以包括其他可能的部件，诸如存储器、网络接口、控制器等，为了清楚起见这些部件并未示出。特别地，处理电路可以与存储器相关联。例如，处理电路可以直接或间接(例如，中间可能连接有其它部件)连接到存储器，以进行图像处理相关数据的存取。存储器可以存储由处理电路302产生的各种数据和/或信息。存储器还可以位于优化设备内但在处理电路之外，或者甚至位于优化设备之外。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器。
以下将参照图3B来描述根据本公开的实施例的图像信号处理器的优化方法的流程图。在方法300中，在图片获得步骤S301，使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片，在评估分数获取步骤S303，获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及在参数调整步骤S305，基于所述评估分数来调整图像信号处理器的配置参数。
优选地，参数调整步骤S305还可以包括优化步骤，其利用所述评估分数来更新优化器的状态；以及基于由更新后的优化器产生的数值来调整所述配置参数。优化步骤可通过任何适当的方式来实现，例如可通过优化器来执行，优化器的输入为评估分数并且可以根据评估分数来更新自身的状态，输出为基于更新的状态产生的数值。
优选地，方法300还可以包括标注步骤，其在图像获取步骤之前执行，并且其被配置为对样本图片进行标注，特别地是根据样本图片的重要度/优先级来进行标注。优选地，方法300还可以包括重要度计算步骤，其可以通过计算样本的集中度和近似似然性来计算样本的标注重要度。这样的重要度计算步骤可以被包含在标注步骤中，也可以在标注步骤 之外。应指出，上述优化步骤和标注步骤也可不被包含在本公开的调优方法中。
应指出，这些步骤可以由任何适当的设备或设备元件来执行，例如前述的调优设备，调优设备中的处理电路、处理电路中的相应元件等等。应指出，根据本公开的实施例的图像处理方法还可包含其他步骤，例如前文所述的各种进一步的处理。而且这些进一步的处理也可通过适当的设备或者设备元件来执行，这里将不再详细描述。
以下将参照附图描述根据本公开的实施例的示例性实现，其中以计算机视觉任务为例进行说明以便更清楚地解释本公开的构思和效果。图4A示出了根据本公开的实施例的ISP参数调优的概念性框图，其中还示出了ISP参数调优过程中的信息交互流，图4B示出了根据本公开的实施例的ISP参数调优的示例性流程图，该流程可以由图4A中的设备框架来执行。
在本公开的实施例中，参与执行ISP参数调优的各方可包括自动调优框架、输入自动调优框架的调优样本、以及与自动调优框架交互的计算机视觉模型。自动调优框架可包括ISP模拟器、黑盒优化器和评价指标计算部件，并且还可以包括未示出的可运行所需代码与模型的计算机等。
这里，自动调优框架可对应于根据本公开的实施例的优化设备的示例性实现。但是相比于自动框架，本申请的优化设备可包含更多或者更少的部件。作为示例，本公开的优化设备可以不包括评价指标计算部件，而评估分数可以在优化设备之外计算并输入到优化设备。
在操作中，自动调优框架接收调优样本，然后调用ISP模拟器处理，并且将处理后的图片至计算机视觉模型。在一些实施例中，调优样本可以按数据流形式输入，并且处理后的图片以数据流形式输出至计算机视觉模型。由于调优数据集包含多个样本，数据流输入和输出对于提高框架运行效率，节约系统资源有着重要作用。
这里，该调优样本可被以任何适当的方式被获取，例如被从任何适当的训练集获取。作为示例，调优样本可以包含任何适当的图像。应指出，这里获得的调优样本可以是原始的调优样本，可能初始即包含各自的标注信息，当然也可以是通过根据本申请的标注操作来主动添加标注，以便进一步提高调优效果。
ISP模拟器能够类似于ISP那样对调优样本进行处理，以获得ISP处理后的图片作为计算机视觉模型的输入。这里，ISP模拟器可以采用各种适当的方式实现，例如软件模块来实现，作为示例，ISP模拟器被输入原始样本图片(作为示例，24bit的Bayer图片)，并提供调节参数的界面；根据参数与输入图片，输出ISP处理后的图片。优选的，本发明 中使用的ISP模拟器对应索尼FUJI传感器的硬件ISP，基本功能包含去马赛克、白平衡、降噪、锐化、色调映射、位长压缩。ISP参数可以被设定适当的初始值，或者可以基于优化器来对ISP参数进行适当设定，如前所述。
计算机视觉模型是应用于特定任务的视觉模型，可以为任何适当的形式，并且本公开中使用的为卷积神经网络(CNN)。在本公开的实施例中，CNN都为训练完成可以实现特定任务的神经网络。针对不同任务，可以使用不同模型；可选的，本发明使用YOLOv3进行目标检测、Mask R-CNN进行目标分割与实例分割、Deeplab-v3进行全景分割。可选的，YOLOv3使用KITTI与COCO数据集训练，Mask R-CNN使用COCO数据集训练，Deeplab-v3使用COCO数据集训练。
在操作中，计算机视觉模型输入ISP处理后的图片(作为示例，3通道8bit的sRBG图片)，输出对应任务的结果，可包括图片识别结果。同时，会记录模型对结果图片在批归一化层(Batch normalization，简称BN)处/之前的运算结果(称为激活值)各个通道的分布的均值与方差。这样获得的模型输出结果和激活值可以被输入自动调优框架以进行评价指标计算。
优选地，为了提高运算效率，可以将样本进行批次处理。在一些实施例中，将多个样本图片被分成多个批次，然后其中，对于每一个批次的样本图片，使用该模拟器对该批次的样本图片进行处理，并且将处理得到的结果图片提供给任务模型以便应用所述任务模型来处理该批次的结果图片，同时使用该模拟器对下一批次的样本图片进行处理。这样将模拟器进行的图片处理与生成评价分数的图片进行并行处理，继而可以进一步提高效率。
该自动调优框架可以接收从前述模型输入的值，并计算评价指标。指标计算可以如前文所述地执行。特别地，可以对数据分布的差异进行评估，具体而言，可以基于计算机视觉模型BN的均值与方差来获取分布评估分数，例如KL散度或者L1范数。进一步地，还可以基于样本图片包含的标注信息来获取评价指标。特别地，如果至少有部分样本图片包含对应的标注，还可以基于模型输出结果来对任务效果进行评估。所述模型评估分数可以如前文所述地选择适当的方式并且被确定。还优选地，可以将模型评估分数与分布评估分数按一定权重加和作为当前优化器产生数值的评估分数。
所计算得到的评估分数可作为评价指标被反馈至ISP自动调优框架中的黑盒优化器，这样可以适应性地更新黑盒优化器的内部状态，由此优化器可基于更新的优化器状态而相应地生成更新的值以获得更新的ISP参数，以实现ISP参数的调优。在本公开的实施例中，黑盒优化器可以是CMA-ES优化器，其优化目标为提高模型表现的同时降低ISP处理后 的样本图片分布与可能的模型训练集分布的差异。
在一些实施例中，为了能更稳定的进行优化，优选的，可以重复地进行从调用ISP模拟器处理调优样本直到计算评价指标的操作，这样的操作可以重复特定的次数，以便获得当前优化器产生的多组数值与对应的评估分数。这样，在更新优化器状态的操作中，将多组数值与对应评估分数输入优化器，以更新优化器的状态。优化器会对评估分数进行比较，并且更新内部状态，从而新产生的数值会更可能接近于评估分数高的数值，同时更可能远离评估分数低的数值。作为示例，可以将使得优化器的内部状态更加接近产生高评估分数的数值的优化器内部状态，例如，调整为评估分数序列中的最高评估分数所对应的优化器内部状态或者在其特定范围内。
这样，通过信息交互流程，能够利用调优样本自动地进行ISP参数的优化。在一些实施例中，可以如前所述地迭代地执行ISP调优。
以下将进一步描述根据本公开的实施例的一些示例性实现来阐述本公开的方案的实现。
图5A示出了根据本公开的实施例的ISP自动调优的示例性流程图，在该实施例中，使用已有的公开数据集来体现ISP自动调优的效果提升。作为示例，所使用的公开数据集是KITTI，其是一个自动驾驶领域的常用数据集，我们基于KITTI数据集来进行物体识别。此实施例中，KITTI数据集被划分为训练集(约占80％)用于训练Yolov3物体检测模型，其对应于本公开的任务模型；剩余20％的图片则用于生成ISP处理前的原始样本，以下样本特指ISP处理前的原始样本，图片则特指样本经过ISP处理后的输出。256个样本用于调优ISP参数，其余样本用于测试模型对ISP处理后图片的检测效果。为了尽量消除测试中的随机性，我们分别随机从20％的数据中抽取10组256张样本用于ISP调优，并将剩余样本用于对应调优结果的测试。
图5A中的ISP f(θ)为指示此实施例中使用的ISP模拟器的函数，该ISP模拟器包含基于双边滤波与高斯滤波的降噪器，基于高通滤波的边缘强化，以及基于Durand色调映射算法的色调映射器。其可以模拟Sony Fuji Family ISP的数个重要功能。为了模拟硬件ISP中参数的离散特点，ISP模拟器中使用的参数也是离散型。此实施例使用CMA-ES优化器作为自动优化器，设定每次会产生12组参数，并基于这12组参数模拟图片的评估分数来更新内部状态。
评估分数由3项指标组成，分别是mAP@0.5值(以下简称mAP)，mAR@det10值(以下简称mAR)，KL散度。该实施例中评估分数＝mAP+0.1mAR-0.1KL散度，不同 情况下，不同指标可以使用不同的权重。但是mAP与mAR为正数权重，而KL散度需要为非正数的权重。
mAP可以采用本领域中任何适当的方式来计算。作为一个示例，mAP值计算方式为：1.针对某一类别，首先设置检测置信度阈值，阈值以下的模型预测剔除；2.分别计算模型剩余预测检测框与人工标注检测框的交集部分面积与并集部分面积，如果交集面积大于并集面积的0.5倍，则视为正确检测，否则为错误；3.基于2中正确与错误的数量，计算对应的精确值与召回值；4.通过调整1中的置信度阈值，可以得到一条精确值关于召回值变化的曲线；计算该曲线下方的面积，作为该类别的AP值；将所有类别的AP值取平均，得到mAP值。
mAR可以采用本领域中任何适当的方式来计算。作为一个示例，mAR计算方式与mAP相似，不过并非计算曲线下面积，而是计算平均的召回值。
KL散度可以采用各种适当的方式来计算，如前文所述的方式。
图5B中展示了手动调节ISP参数与ISP参数自动调优后模型对ISP处理后图片的预测结果。我们使用mAP与mAR评估模型效果，并且考虑了使用不同大小图片调优的情况(小：416×416像素，大：640×640像素)。可以看到，对于10组不同的调优与测试数据分割，ISP参数自动调优的效果都显著优于手动调优。图5C展示了部分对比样本，可以看到由于手动调优仅考虑人体视觉感受，其处理后图片与自动调优的图片效果差别较为明显。
以下将描述根据本公开的涉及无监督ISP自动调优的示例，该无监督ISP自动调优的执行能够提高模型效果。
在该实施例中，可以使用与前述实施例相同的数据集划分、同样的模型，但是用于调优的256个样本不使用其对应的标签，以模拟数据无人工标注的情况。在该实施例中，使用的ISP模拟器与优化器与前述实施例中的一致，而且评估分数可以分别由KL散度或者L1范数，但是评估分数中不使用mAP与mAR。该实施例中还比较了基于L1范数无监督调优的做法，L1范数可如前所述地计算。
具体来说，使用训练与调优中未使用的416×416像素大小的图片进行测试，并通过mAP@0.5来测量模型在不同ISP参数下的效果，效果见图6。可以看到基于KL散度调优效果优于基于L1范数差，并且二者都优于人工调优ISP参数的效果，可见无监督ISP自动调优对于提高计算机视觉模型效果的有效性。
以下将描述根据本公开的涉及半监督ISP自动调优的另一实施例，该半监督ISP自 动调优的执行能够提高模型效果。其中，样本图片中的至少一些已经被标注，从而可以根据图片的标注信息来确定相对应的评估分数。
在本实施例中，基于前述实施例相同的数据集划分、同样的模型，但是用于调优的256个样本仅有16个为标注样本，剩余样本不使用其对应的标签，以模拟数据仅有部分人工标注的情况。使用的ISP模拟器与优化器与前述实施例中的一致。对于有标注样本，评估分数与3.1一致，对于无标注样本，评估分数为KL散度。效果见图7。可以看到自动调优的ISP参数会比手工调优有更好的模型性能，同时，半监督的调优也比仅使用少量标注样本的效果更好，可以更接近256个样本都有标注时ISP参数调优的模型性能。
以下将描述根据本公开的按照标注重要度标注数据进行调优的另一实施例，其中将不标注与标注的情况进行比较。在该实施例中，基于与前述实施例相同的模型、ISP模拟器、优化器、训练集。调优集为两种情况，情况1与前述实施例一致，为随机抽取10组。情况2需要首先计算各个样本的标注重要度，然后按照标注重要度将样本排序，并且将前预定数量的样本进行标注。效果示意图见图8。基本来说，基于情况1调优集的调优效果比情况2的略差一些。说明按此标注优先级进行数据标注可以在同样标注量时取得更好效果。
以下将进一步描述根据本公开的还另一些实施例的ISP自动调优，其中，ISP自动调优的效果可以建议ISP的模块设计。
在本实施例中，基于前述实施例相同的数据集划分、同样的模型。但是同时考虑多种不同的ISP模块设计，并比较不同设计在调优后的模型性能。由于自动ISP调优可以高效率的找出对应模型设计的最佳参数配置，其可以很好的为评估不同ISP模块设计提供实验参考。此实施例中，我们测试了4种不同的ISP模拟器，以对应不同的ISP模块设计。其中，不同ISP的设计可以是但不限于：ISP1为高斯滤波器与伽马变换；ISP2为非局部均值滤波、高通滤波、Durand色调映射；ISP3为双边滤波、高通滤波、对比度压缩、全局色调映射；ISP4与3.1中ISP模拟器相同。不同函数效果可对应不同ISP模块。效果示意图见图9。包括不同两种性能评价值(左：mAP，右：mAR)以及两种图片大小(416×416像素，640×640像素)，附图中的折线为10次基于不同数据调优的均值，其周围的阴影区域为标准差。由于不同模块设计的ISP调优后所能达到的模型性能也不同，因此该实验数据可以作为设计ISP的参考。
在一些实施例中，本公开的优化设备可以集成在包含图像信号处理器(ISP)的任何设备中，诸如摄影设备或者其它图像获取/处理设备，例如以集成电路、处理器的形式集成在其中，甚至集成在设备已有的处理电路中；或者也可以作为分体器件可拆装地连接到 设备上，例如可以作为单独地模块，或者与可拆装到设备上其它部件一起。在一些实施例中，甚至可以设置在设备可通信的远程设备上。
在一些实施例中，本公开的方案可以通过软件算法来实现，从而可以方便地集成在包含图像信号处理器(ISP)的各种类型的设备中，例如摄影机、照相机例如单反相机、微单相机等等，以及便携式摄影设备，以及其它图像获取/处理设备中。特别地，本公开的方法可作为计算机程序、指令等由摄影设备的处理器来执行，以便进行对于ISP进行调优。
根据本公开的实施例，提出了一种摄影设备，包括：图像信号处理器，其用于基于由图像传感器将摄影设备所采集的光转化成的电信号，产生图像，以及优化设备，其用于对图像信号处理器进行优化。其中，优化设备可以采用各种适当的方式来实现，尤其是如上文所述的根据本公开的用于图像信号处理器的优化设备。特别地，尽管未示出，摄影设备还可以包括透镜单元、照相滤镜等等，其可以对采集到的光进行处理。应指出，尽管未示出，但是图像获取装置还可包含其他部件，只要能够获得待处理的图像即可。图10示出了根据本公开的实施例的摄影设备，其中摄影设备1000包括图像信号处理器1002和优化设备1004。
另外，应当理解，上述系列处理和设备也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图11所示的通用个人计算机1100安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。图11是示出根据本公开的实施例的中可采用的优化设备的个人计算机的示例结构的框图。在一个例子中，该个人计算机可以对应于根据本公开的上述示例性优化设备。
在图11中，中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM 1103中，也根据需要存储当CPU 1101执行各种处理等时所需的数据。
CPU 1101、ROM 1102和RAM 1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。
下述部件连接到输入/输出接口1105：输入部分1106，包括键盘、鼠标等；输出部分1107，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分1108，包括硬盘等；和通信部分1109，包括网络接口卡比如LAN卡、调制解调器等。通信部分1109经由网络比如因特网执行通信处理。
根据需要，驱动器1110也连接到输入/输出接口1105。可拆卸介质1111比如磁盘、 光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1110上，使得从中读出的计算机程序根据需要被安装到存储部分1108中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1111安装构成软件的程序。
本领域技术人员应当理解，这种存储介质不局限于图11所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1102、存储部分1108中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
应指出，文中所述的方法和设备可被实现为软件、固件、硬件或它们的任何组合。有些组件可例如被实现为在数字信号处理器或者微处理器上运行的软件。其他组件可例如实现为硬件和/或专用集成电路。
另外，可采用多种方式来实行本发明的方法和系统。例如，可通过软件、硬件、固件或它们的任何组合来实行本发明的方法和系统。上文所述的该方法的步骤的顺序仅是说明性的，并且除非另外具体说明，否则本发明的方法的步骤不限于上文具体描述的顺序。此外，在一些实施例中，本发明还可具体化为记录介质中记录的程序，包括用于实施根据本发明的方法的机器可读指令。因此，本发明还涵盖了存储用于实施根据本发明的方法的程序的记录介质。这样的存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
本领域技术人员应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其他各种实施例中可以改变操作顺序。但是，其它的修改、变化和替换同样是可能的。因此，本说明书和附图应当被看作是说明性的，而非限制性的。
另外，本公开的实施方式还可以包括以下示意性示例(EE)。
EE 1.一种用于图像信号处理器(ISP)的优化设备，所述优化设备包括处理电路，被配置为：
使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；
获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及
基于所述评估分数来调整图像信号处理器的配置参数。
EE 2、根据EE 1所述的优化设备，其中，所述分布评估分数指示所述任务模型的训练集与所述样本图片之间的分布差异。
EE 3、根据EE 2或3所述的优化设备，其中，所述分布评估分数是基于所述任务模型中所包含的批归一化层的统计特征以及所述结果图片在所述批归一化层处的运算结果中的至少一者计算的。
EE 4、根据EE 3所述的优化设备，其中，所述批归一化层的统计特征包括批归一化层的均值和方差。
EE 5、根据EE 3所述的优化设备，其中，所述结果图片在所述批归一化层处的运算结果包括该运算结果的各个通道的分布的均值与方差。
EE 6、根据EE 3-5中任一项所述的优化设备，其中，所述分布评估分数是基于所述批归一化层的均值与所述运算结果的均值之差、以及所述批归一化层的方差与所述运算结果的方差的比值而计算的。
EE 7、根据EE 3-5中任一项所述的优化设备，其中，所述分布评估分数是基于所述批归一化层的均值与所述运算结果的均值之差、以及所述批归一化层的方差与所述运算结果的方差之差而计算的。
EE 8、根据EE 1-7中任一项所述的优化设备，其中，所述分布评估分数为选自包含L范数、Kullback-Leibler(KL)散度、Jensen-Shannon(JS)散度、Wasserstein距离的组中的至少一个。
EE 9、根据EE 1-8中任一项所述的优化设备，其中，所述分布评估分数是针对无标注样本图片被获取的。
EE 10、根据EE 1-9中任一项所述的优化设备，其中，所述评估分数还包括基于所述任务模型对所述结果图片进行运算得到的模型输出的模型评估分数。
EE 11、根据EE 10所述的优化设备，其中，所述模型评估分数为选自包含F1值、mean Average Precision(mAP)值、meana Average Recall(mAR)值、Intersection over Union(IoU)值、骰子系数、Panoptic Quality(PQ)值的组中的至少一个。
EE 12、根据EE 10或11所述的优化设备，其中，所述模型评估分数是针对有标注 样本图片、基于有标注样本图片包含的标注信息而计算的。
EE 13、根据EE 10-12中任一项所述的优化设备，其中，所述评估分数是基于所述分布评估分数和所述模型评估分数的加权和而计算的。
EE 14、根据EE 1所述的优化设备，其中，所述模拟器的参数和功能效果与所述图像信号处理器的参数和功能效果一一对应。
EE 15、根据EE 1所述的优化设备，其中，所述处理电路进一步配置为：
将所述配置参数调整为使得基于调整后的配置参数完成所述特定任务所取得的任务效果更优。
EE 16、根据EE 15所述的优化设备，其中，调整后的配置参数更接近于导致更优评估分数的配置参数。
EE 17、根据EE 1或2所述的优化设备，其中，所述处理电路进一步配置为：
获取多组评估分数，所述多组评估分数分别与多组配置参数对应，并且是基于所述多组配置参数处理样本图片以供所述任务模型运算所获得的多组评估分数；并且
将图像信号处理器的配置参数调整为使得调整后的配置参数更接近于所述多组评估分数中的更优评估分数相对应的配置参数，且远离所述多组评估分数中的更差评估分数相对应的配置参数。
EE 18、根据EE 1-17所述的优化设备，其中，所述处理电路进一步配置为迭代地执行图像信号处理器的配置参数的调整。
EE 19、根据EE 18所述的优化设备，其中，迭代终止条件包含以下中的至少一个：
当迭代次数达到预先设定的次数阈值时，停止迭代；
当一次迭代所对应的评估分数不再优于前一次迭代所对应的评估分数，则迭代停止；以及
当特定次数迭代后所对应的评估分数不再优于前特定次数的迭代所对应的评估分数，则迭代停止。
EE 20、根据EE 1所述的优化设备，其中，所述图像信号处理器的配置参数是通过对于优化器产生的数值进行处理以使之符合图像信号处理器的参数要求而获得的。
EE 21、根据EE 20所述的优化设备，其中，所述处理电路进一步配置为：
利用所述评估分数来更新优化器的状态；以及
基于由更新后的优化器产生的数值来调整所述配置参数。
EE 22、根据EE 21所述的优化设备，其中，优化器被更新为使得更新后的优化器所 产生的数值更加接近于对应于更优评估分数的数值。
EE 23、根据EE 20-22中任一项所述的优化设备，其中，所述处理电路进一步配置为：
获取与优化器产生的多组数值对应的多组评估分数；并且
更新优化器的状态，以使得更新后优化器所产生的数值能够更接近对应于所述多组评估分数中的更优评估分数的数值，且远离对应于所述多组评估分数中的更差评估分数的数值。
EE 24、根据EE 20-23中任一项所述的优化设备，其中，所述优化器是黑盒优化器。
EE 25、根据EE 20-23中任一项所述的优化设备，其中，所述优化器是CMA-ES优化器。
EE 26、根据EE 1-25中任一项所述的优化设备，其中，所述任务模型是在大规模数据集上训练完成的针对特定任务的模型，并且所述任务模型的输出结果是对应任务的执行结果。
EE 27、根据EE 1-26中任一项所述的优化设备，其中，样本图片包含多个样本图片，并且所述处理电路进一步配置为对样本分批地进行处理，
其中，所述多个样本图片被分成多个批次，
其中，对于每一个批次的样本图片，使用该模拟器对该批次的样本图片进行处理，并且将处理得到的结果图片提供给所述任务模型以供运算；并且同时，对该模拟器对下一批次的样本图片进行处理。
EE 28、根据EE 1-27中任一项所述的优化设备，其中，所述处理电路进一步配置为：
按照样本图片的标注重要度对样本进行排序，并且
对于前预定数量的样本图片进行标注以供进行训练。
EE 29、根据EE 28所述的优化设备，其中，所述处理电路进一步配置为：
计算各样本的中心度，样本的中心度指示与该样本相邻的样本数量，相邻样本定义为图像特征间的距离小于某一阈值；
计算各样本的近似似然，其中该近似似然是使用样本的图像特征以及对应批归一化层的均值和方差来计算的；以及
计算中心度的绝对值与近似似然值的比值来确定样本的标注重要度。
EE 30、一种用于图像信号处理器(ISP)的优化方法，包括：
使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；
获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及
基于所述评估分数来调整图像信号处理器的配置参数。
EE 31、根据EE 30所述的方法，其中，所述分布评估分数指示所述模型的训练集与所述样本图片之间的分布差异。
EE 32、根据EE 30或31所述的方法，其中，所述评估分数还包括基于所述任务模型对所述结果图片进行运算得到的模型输出的模型评估分数。
EE 33、根据EE 30所述的方法，还包括：
将所述配置参数调整为使得基于调整后的配置参数完成所述特定任务所取得的任务效果更优。
EE 34、根据EE 30所述的方法，还包括：
获取多组评估分数，所述多组评估分数分别与多组配置参数对应，并且是基于所述多组配置参数处理样本图片以供所述任务模型运算所获得的多组评估分数；并且
将图像信号处理器的配置参数调整为使得调整后的配置参数更接近于所述多组评估分数中的更优评估分数相对应的配置参数，且远离所述多组评估分数中的更差评估分数相对应的配置参数。
EE 35、根据EE 30-34中任一项所述的方法，还包括：迭代地执行图像信号处理器的配置参数的调整。
EE 36、根据EE 35所述的方法，其中，迭代终止条件包含以下中的至少一个：
当迭代次数达到预先设定的次数阈值时，停止迭代；
当一次迭代所对应的评估分数不再优于前一次迭代所对应的评估分数，则迭代停止；以及
当特定次数迭代后所对应的评估分数不再优于前特定次数的迭代所对应的评估分数，则迭代停止。
EE 37、根据EE 30所述的方法，其中，所述图像信号处理器的配置参数是通过对于优化器产生的数值进行处理以使之符合图像信号处理器的参数要求而获得的。
EE 38、根据EE 37所述的方法，还包括：
利用所述评估分数来更新优化器的状态；以及
基于由更新后的优化器产生的数值来调整所述配置参数。
EE 39、根据EE 37或38所述的方法，还包括：
获取与优化器产生的多组数值对应的多组评估分数；并且
更新优化器的状态，以使得更新后优化器所产生的数值能够更接近对应于所述多组评估分数中的更优评估分数的数值，且远离对应于所述多组评估分数中的更差评估分数的数值。
EE 40、根据EE 30-39中任一项所述的方法，其中，样本图片包含多个样本图片，并且所述方法进一步包括为对样本分批地进行处理，
其中，所述多个样本图片被分成多个批次，
其中，对于每一个批次的样本图片，使用该模拟器对该批次的样本图片进行处理，并且将处理得到的结果图片提供给所述任务模型以供运算，并且同时，对该模拟器对下一批次的样本图片进行处理。
EE 41、根据EE 30-40中任一项所述的方法，还包括：
按照样本图片的标注重要度对样本进行排序，并且
对于前预定数量的样本图片进行标注以供进行训练。
EE 42、根据EE 41所述的方法，还包括：
计算各样本的中心度，样本的中心度指示与该样本相邻的样本数量，相邻样本定义为图像特征间的距离小于某一阈值；
计算各样本的近似似然，其中该近似似然是使用样本的图像特征以及对应批归一化层的均值和方差来计算的；以及
计算中心度的绝对值与近似似然值的比值来确定样本的标注重要度。
EE 43、一种摄影设备，包括：
图像信号处理器，其用于基于由图像传感器将摄影设备所采集的光转化成的电信号，产生图像，以及
根据EE 1-29中任一项所述的优化设备，其用于对图像信号处理器进行优化。
EE 44、一种设备，包括
至少一个处理器；和
至少一个存储设备，所述至少一个存储设备在其上存储指令，该指令在由所述至少一个处理器执行时，使所述至少一个处理器执行根据EE 30-42中任一项所述的优化方法。
EE 45、一种存储指令的存储介质，该指令在由处理器执行时能使得执行根据EE 30-42中任一项所述的优化方法。
EE 46、一种程序产品，所述程序产品包含指令，该指令在由处理器执行时能使得执行根据EE 30-42中任一项所述的优化方法。
EE 47、一种计算机程序，所述计算机程序包括指令，所述指令在由计算机执行时使得计算机执行根据EE 30-42中任一项所述的优化方法。
虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然已详细描述了本公开的一些具体实施例，但是本领域技术人员应当理解，上述实施例仅是说明性的而不限制本公开的范围。本领域技术人员应该理解，上述实施例可以被组合、修改或替换而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求限定的。

Claims (46)

  1. 一种用于图像信号处理器(ISP)的优化设备，所述优化设备包括处理电路，被配置为：
    使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；
    获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及
    基于所述评估分数来调整图像信号处理器的配置参数。
  2. 根据权利要求1所述的优化设备，其中，所述分布评估分数指示所述任务模型的训练集与所述样本图片之间的分布差异。
  3. 根据权利要求2或3所述的优化设备，其中，所述分布评估分数是基于所述任务模型中所包含的批归一化层的统计特征以及所述结果图片在所述批归一化层处的运算结果中的至少一者计算的。
  4. 根据权利要求3所述的优化设备，其中，所述批归一化层的统计特征包括批归一化层的均值和方差。
  5. 根据权利要求3所述的优化设备，其中，所述结果图片在所述批归一化层处的运算结果包括该运算结果的各个通道的分布的均值与方差。
  6. 根据权利要求3-5中任一项所述的优化设备，其中，所述分布评估分数是基于所述批归一化层的均值与所述运算结果的均值之差、以及所述批归一化层的方差与所述运算结果的方差的比值而计算的。
  7. 根据权利要求3-5中任一项所述的优化设备，其中，所述分布评估分数是基于所述批归一化层的均值与所述运算结果的均值之差、以及所述批归一化层的方差与所述运算 结果的方差之差而计算的。
  8. 根据权利要求1-7中任一项所述的优化设备，其中，所述分布评估分数为选自包含L范数、Kullback-Leibler(KL)散度、Jensen-Shannon(JS)散度、Wasserstein距离的组中的至少一个。
  9. 根据权利要求1-8中任一项所述的优化设备，其中，所述分布评估分数是针对无标注样本图片被获取的。
  10. 根据权利要求1-9中任一项所述的优化设备，其中，所述评估分数还包括基于所述任务模型对所述结果图片进行运算得到的模型输出的模型评估分数。
  11. 根据权利要求10所述的优化设备，其中，所述模型评估分数为选自包含F1值、mean Average Precision(mAP)值、meana Average Recall(mAR)值、Intersection over Union(IoU)值、骰子系数、Panoptic Quality(PQ)值的组中的至少一个。
  12. 根据权利要求10或11所述的优化设备，其中，所述模型评估分数是针对有标注样本图片、基于有标注样本图片包含的标注信息而计算的。
  13. 根据权利要求10-12中任一项所述的优化设备，其中，所述评估分数是基于所述分布评估分数和所述模型评估分数的加权和而计算的。
  14. 根据权利要求1所述的优化设备，其中，所述模拟器的参数和功能效果与所述图像信号处理器的参数和功能效果一一对应。
  15. 根据权利要求1所述的优化设备，其中，所述处理电路进一步配置为：
    将所述配置参数调整为使得基于调整后的配置参数完成所述特定任务所取得的任务效果更优。
  16. 根据权利要求15所述的优化设备，其中，调整后的配置参数更接近于导致更 优评估分数的配置参数。
  17. 根据权利要求1或2所述的优化设备，其中，所述处理电路进一步配置为：
    获取多组评估分数，所述多组评估分数分别与多组配置参数对应，并且是基于所述多组配置参数处理样本图片以供所述任务模型运算所获得的多组评估分数；并且
    将图像信号处理器的配置参数调整为使得调整后的配置参数更接近于所述多组评估分数中的更优评估分数相对应的配置参数，且远离所述多组评估分数中的更差评估分数相对应的配置参数。
  18. 根据权利要求1-17所述的优化设备，其中，所述处理电路进一步配置为迭代地执行图像信号处理器的配置参数的调整。
  19. 根据权利要求18所述的优化设备，其中，迭代终止条件包含以下中的至少一个：
    当迭代次数达到预先设定的次数阈值时，停止迭代；
    当一次迭代所对应的评估分数不再优于前一次迭代所对应的评估分数，则迭代停止；以及
    当特定次数迭代后所对应的评估分数不再优于前特定次数的迭代所对应的评估分数，则迭代停止。
  20. 根据权利要求1所述的优化设备，其中，所述图像信号处理器的配置参数是通过对于优化器产生的数值进行处理以使之符合图像信号处理器的参数要求而获得的。
  21. 根据权利要求20所述的优化设备，其中，所述处理电路进一步配置为：
    利用所述评估分数来更新优化器的状态；以及
    基于由更新后的优化器产生的数值来调整所述配置参数。
  22. 根据权利要求21所述的优化设备，其中，优化器被更新为使得更新后的优化器所产生的数值更加接近于对应于更优评估分数的数值。
  23. 根据权利要求20-22中任一项所述的优化设备，其中，所述处理电路进一步配置为：
    获取与优化器产生的多组数值对应的多组评估分数；并且
    更新优化器的状态，以使得更新后优化器所产生的数值能够更接近对应于所述多组评估分数中的更优评估分数的数值，且远离对应于所述多组评估分数中的更差评估分数的数值。
  24. 根据权利要求20-23中任一项所述的优化设备，其中，所述优化器是黑盒优化器。
  25. 根据权利要求20-23中任一项所述的优化设备，其中，所述优化器是CMA-ES优化器。
  26. 根据权利要求1-25中任一项所述的优化设备，其中，所述任务模型是在大规模数据集上训练完成的针对特定任务的模型，并且所述任务模型的输出结果是对应任务的执行结果。
  27. 根据权利要求1-26中任一项所述的优化设备，其中，样本图片包含多个样本图片，并且所述处理电路进一步配置为对样本分批地进行处理，
    其中，所述多个样本图片被分成多个批次，
    其中，对于每一个批次的样本图片，使用该模拟器对该批次的样本图片进行处理，并且将处理得到的结果图片提供给所述任务模型以供运算；并且同时，对该模拟器对下一批次的样本图片进行处理。
  28. 根据权利要求1-27中任一项所述的优化设备，其中，所述处理电路进一步配置为：
    按照样本图片的标注重要度对样本进行排序，并且
    对于前预定数量的样本图片进行标注以供进行训练。
  29. 根据权利要求28所述的优化设备，其中，所述处理电路进一步配置为：
    计算各样本的中心度，样本的中心度指示与该样本相邻的样本数量，相邻样本定义为图像特征间的距离小于某一阈值；
    计算各样本的近似似然，其中该近似似然是使用样本的图像特征以及对应批归一化层的均值和方差来计算的；以及
    计算中心度的绝对值与近似似然值的比值来确定样本的标注重要度。
  30. 一种用于图像信号处理器(ISP)的优化方法，包括：
    使用图像信号处理器的模拟器对用于图像信号处理器优化的样本图片进行处理以获得结果图片；
    获取基于所述图像信号处理器所应用于的特定任务的任务模型获得的、用于评价所述特定任务对于样本图片的执行效果的评估分数，所述评估分数包括指示样本图片分布偏差的分布评估分数；以及
    基于所述评估分数来调整图像信号处理器的配置参数。
  31. 根据权利要求30所述的方法，其中，所述分布评估分数指示所述模型的训练集与所述样本图片之间的分布差异。
  32. 根据权利要求30或31所述的方法，其中，所述评估分数还包括基于所述任务模型对所述结果图片进行运算得到的模型输出的模型评估分数。
  33. 根据权利要求30所述的方法，还包括：
    将所述配置参数调整为使得基于调整后的配置参数完成所述特定任务所取得的任务效果更优。
  34. 根据权利要求30所述的方法，还包括：
    获取多组评估分数，所述多组评估分数分别与多组配置参数对应，并且是基于所述多组配置参数处理样本图片以供所述任务模型运算所获得的多组评估分数；并且
    将图像信号处理器的配置参数调整为使得调整后的配置参数更接近于所述多组评估分数中的更优评估分数相对应的配置参数，且远离所述多组评估分数中的更差评估分数相对应的配置参数。
  35. 根据权利要求30-34中任一项所述的方法，还包括：迭代地执行图像信号处理器的配置参数的调整。
  36. 根据权利要求35所述的方法，其中，迭代终止条件包含以下中的至少一个：
    当迭代次数达到预先设定的次数阈值时，停止迭代；
    当一次迭代所对应的评估分数不再优于前一次迭代所对应的评估分数，则迭代停止；以及
    当特定次数迭代后所对应的评估分数不再优于前特定次数的迭代所对应的评估分数，则迭代停止。
  37. 根据权利要求30所述的方法，其中，所述图像信号处理器的配置参数是通过对于优化器产生的数值进行处理以使之符合图像信号处理器的参数要求而获得的。
  38. 根据权利要求37所述的方法，还包括：
    利用所述评估分数来更新优化器的状态；以及
    基于由更新后的优化器产生的数值来调整所述配置参数。
  39. 根据权利要求37或38所述的方法，还包括：
    获取与优化器产生的多组数值对应的多组评估分数；并且
    更新优化器的状态，以使得更新后优化器所产生的数值能够更接近对应于所述多组评估分数中的更优评估分数的数值，且远离对应于所述多组评估分数中的更差评估分数的数值。
  40. 根据权利要求30-39中任一项所述的方法，其中，样本图片包含多个样本图片，并且所述方法进一步包括为对样本分批地进行处理，
    其中，所述多个样本图片被分成多个批次，
    其中，对于每一个批次的样本图片，使用该模拟器对该批次的样本图片进行处理，并且将处理得到的结果图片提供给所述任务模型以供运算，并且同时，对该模拟器对下一批次的样本图片进行处理。
  41. 根据权利要求30-40中任一项所述的方法，还包括：
    按照样本图片的标注重要度对样本进行排序，并且
    对于前预定数量的样本图片进行标注以供进行训练。
  42. 根据权利要求41所述的方法，还包括：
    计算各样本的中心度，样本的中心度指示与该样本相邻的样本数量，相邻样本定义为图像特征间的距离小于某一阈值；
    计算各样本的近似似然，其中该近似似然是使用样本的图像特征以及对应批归一化层的均值和方差来计算的；以及
    计算中心度的绝对值与近似似然值的比值来确定样本的标注重要度。
  43. 一种摄影设备，包括：
    图像信号处理器，其用于基于由图像传感器将摄影设备所采集的光转化成的电信号，产生图像，以及
    根据权利要求1-29中任一项所述的优化设备，其用于对图像信号处理器进行优化。
  44. 一种设备，包括
    至少一个处理器；和
    至少一个存储设备，所述至少一个存储设备在其上存储指令，该指令在由所述至少一个处理器执行时，使所述至少一个处理器执行根据权利要求30-42中任一项所述的优化方法。
  45. 一种存储指令的存储介质，该指令在由处理器执行时能使得执行根据权利要求30-42中任一项所述的优化方法。
  46. 一种程序产品，所述程序产品包含指令，该指令在由处理器执行时能使得执行根据权利要求30-42中任一项所述的优化方法。
CN202280056428.0A 2021-08-23 2022-08-19 图像信号处理器优化方法及设备 Pending CN118159995A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021109654491 2021-08-23
CN202110965449.1A CN115719440A (zh) 2021-08-23 2021-08-23 图像信号处理器优化方法及设备
PCT/CN2022/113673 WO2023025063A1 (zh) 2021-08-23 2022-08-19 图像信号处理器优化方法及设备

Publications (1)

Publication Number Publication Date
CN118159995A true CN118159995A (zh) 2024-06-07

Family

ID=85253303

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110965449.1A Pending CN115719440A (zh) 2021-08-23 2021-08-23 图像信号处理器优化方法及设备
CN202280056428.0A Pending CN118159995A (zh) 2021-08-23 2022-08-19 图像信号处理器优化方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110965449.1A Pending CN115719440A (zh) 2021-08-23 2021-08-23 图像信号处理器优化方法及设备

Country Status (2)

Country Link
CN (2) CN115719440A (zh)
WO (1) WO2023025063A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170029185A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 이미지 신호 프로세서의 작동 파라미터들에 대한 자동 튜닝 방법
WO2019152499A1 (en) * 2018-01-30 2019-08-08 Qualcomm Incorporated Systems and methods for image signal processor tuning using a reference image
KR20200134374A (ko) * 2019-05-21 2020-12-02 삼성전자주식회사 이미지 신호 프로세서의 모델링 방법, 및 전자 기기
CN112118388B (zh) * 2020-08-04 2022-07-26 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112967190A (zh) * 2021-02-09 2021-06-15 北京爱芯科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023025063A1 (zh) 2023-03-02
CN115719440A (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
Hosu et al. KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment
US11544831B2 (en) Utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
CN111738243B (zh) 人脸图像的选择方法、装置、设备及存储介质
KR20190099914A (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN111935479A (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
GB2547760A (en) Method of image processing
ur Rehman et al. DeepRPN-BIQA: Deep architectures with region proposal network for natural-scene and screen-content blind image quality assessment
CN116670687A (zh) 用于调整训练后的物体检测模型以适应域偏移的方法和系统
CN112215831B (zh) 一种用于人脸图像质量的评价方法和系统
KR20200143450A (ko) 화상 처리 방법, 장치, 전자 장치 및 저장 매체
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
US11468571B2 (en) Apparatus and method for generating image
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN111242176A (zh) 计算机视觉任务的处理方法、装置及电子系统
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN117689884A (zh) 一种医学图像分割模型的生成方法及医学图像的分割方法
CN111667495A (zh) 一种图像场景解析方法和装置
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
US20230066331A1 (en) Method and system for automatically capturing and processing an image of a user
US20220366242A1 (en) Information processing apparatus, information processing method, and storage medium
CN115798005A (zh) 基准照片的处理方法及装置、处理器和电子设备

Legal Events

Date Code Title Description
PB01 Publication