CN118014917A - 图像处理模型的生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理模型的生成方法、装置、设备及存储介质，该方法包括：获取初始ISP参数集，初始ISP参数集包括至少一个初始ISP参数；初始ISP参数集指示初始图像对应的初始场景；对至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数；基于样本场景，将初始ISP参数集中至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，第一样本ISP参数集指示样本图像对应的样本场景；将第一样本ISP参数集输入至待训练图像处理模型，得到输出图像；对输出图像进行计算，得到第一损失函数值。本申请的技术方案，能够节省NPU算力。

Description

图像处理模型的生成方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理模型的生成方法、装置、设备及存储介质。

背景技术

在芯片系统中，尤其是带有NPU(Neural Processing Unit，神经网络处理器)的高分辨率的ISP(Image Signal Processor，图像信号处理器)系统中，NPU算力是一种非常重要的资源，因此，需要提高NPU算力的使用效率。

相关技术中，AI HDR(Artificial Intelligence High-Dynamic Range，人工智能高动态范围)模型对于经过芯片ISP处理后所得到的sRGB(standard Red Green Blue，标准红绿蓝色彩语言协议)图像，借助于有限的NPU算力，将低动态范围的图像增强成高动态范围的图像。其中，AI HDR模型基于随机模拟的配对训练数据进行训练。

但是，由于相关技术中，在训练AI HDR模型时使用的训练数据存在较大的随机性，从而导致AI HDR模型无法针对性解决实际中的问题，进而浪费了NPU算力。

发明内容

本申请实施例提供了一种图像处理模型的生成方法、装置、设备及存储介质，能够得到解决针对性问题的AI HDR模型，进而避免NPU算力的浪费。该技术方案如下：

根据本申请实施例的第一方面，提供了一种图像处理模型的生成方法，该方法包括：

获取初始ISP参数集，该初始ISP参数集包括至少一个初始ISP参数，该至少一个初始ISP参数中每个该初始ISP参数设有初始值；该初始ISP参数集指示初始图像对应的初始场景，该初始ISP参数指示该初始图像的图像效果；

对该至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数；

基于样本场景，将该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，该第一样本ISP参数集指示样本图像对应的该样本场景；

将该第一样本ISP参数集输入至待训练图像处理模型，得到输出图像；

对该输出图像进行计算，得到第一损失函数值，基于该第一损失函数值，对该待训练图像处理模型的模型参数进行更新。

在一种可能得实现方式中，在获取初始ISP参数集之后，还包括：

对该至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与该至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数。

在一种可能得实现方式中，该对该至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与该至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数，包括：

针对一次调整，将该至少一个初始ISP参数中一个初始ISP参数，作为待调整ISP参数；

将该待调整ISP参数的初始值，调整至对应的调整值，得到调整ISP参数；

基于该调整ISP参数以及该至少一个初始ISP参数中剩余的初始ISP参数，获取调整图像的图像效果。

在一种可能得实现方式中，该对该初始ISP参数中至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数，包括：

基于该调整图像的图像效果对该至少一个初始ISP参数进行筛选，得到该至少一个目标ISP参数。

在一种可能得实现方式中，该基于样本场景，将该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，包括：

将该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的第一候选值，得到对应的第一候选图像；

基于该样本场景，获取该第一候选图像的图像效果与该初始图像的图像效果的比对结果；

若该比对结果符合预设条件，则将该至少一个目标ISP参数中每个目标ISP参数的第一候选值，作为至少一个目标ISP参数中每个目标ISP参数的目标值；或若该比对结果不符合预设条件，则对该至少一个目标ISP参数中每个目标ISP参数的第一候选值继续调整，直至得到该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的目标值。

在一种可能得实现方式中，在该将该第一样本ISP参数集输入至待训练图像处理模型，得到输出图像之前，还包括：

获取第一环境数据；该第一环境数据指示该第一样本ISP参数集对应的环境。

在一种可能得实现方式中，该将该第一样本ISP参数集输入至待训练图像处理模型，得到输出图像，包括：

将该第一环境数据以及该第一样本ISP参数集输入至该待训练图像处理模型，得到该输出图像。

根据本申请实施例的第一方面，提供了一种图像处理模型的生成装置，该装置，包括：

第一获取模块，用于获取初始ISP参数集，该初始ISP参数集包括至少一个初始ISP参数，该至少一个初始ISP参数中每个该初始ISP参数设有初始值；该初始ISP参数集指示初始图像对应的初始场景，该初始ISP参数指示该初始图像的图像效果；

筛选模块，用于对该至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数；

第一调整模块，用于基于样本场景，将该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，该第一样本ISP参数集指示样本图像对应的该样本场景；

训练模块，用于将该第一样本ISP参数集输入至待训练图像处理模型，得到输出图像；

更新模块，用于对该输出图像进行计算，得到第一损失函数值，基于该第一损失函数值，对该待训练图像处理模型的模型参数进行更新。

在一种可能得实现方式中，该装置，还包括：

第二调整模块，用于对该至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与该至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数。

在一种可能得实现方式中，该第二调整模块，包括：

第一确定单元，用于针对一次调整，将该至少一个初始ISP参数中一个初始ISP参数，作为待调整ISP参数；

第一调整单元，用于将该待调整ISP参数的初始值，调整至对应的调整值，得到调整ISP参数；

第一获取单元，用于基于该调整ISP参数以及该至少一个初始ISP参数中剩余的初始ISP参数，获取调整图像的图像效果。

在一种可能得实现方式中，该筛选模块，包括：

筛选单元，用于基于该调整图像的图像效果对该至少一个初始ISP参数进行筛选，得到该至少一个目标ISP参数。

在一种可能得实现方式中，该调整模块，包括：

第二调整单元，用于将该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的第一候选值，得到对应的第一候选图像；

第二获取单元，用于基于该样本场景，获取该第一候选图像的图像效果与该初始图像的图像效果的比对结果；

确定单元，用于若该比对结果符合预设条件，则将该至少一个目标ISP参数中每个目标ISP参数的第一候选值，作为至少一个目标ISP参数中每个目标ISP参数的目标值；或若该比对结果不符合预设条件，则对该至少一个目标ISP参数中每个目标ISP参数的第一候选值继续调整，直至得到该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的目标值。

在一种可能得实现方式中，该装置，还包括：

第二获取模块，用于获取第一环境数据；该第一环境数据指示该第一样本ISP参数集对应的环境。

在一种可能得实现方式中，该训练模块，包括：

输入单元，用于将该第一环境数据以及该第一样本ISP参数集输入至该待训练图像处理模型，得到该输出图像。

根据本申请实施例的第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序，所述至少一段程序由所述处理器加载并执行上述的图像处理模型的生成方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现上述的图像处理模型的生成方法。

根据本申请实施例的第二方面，提供了一种，该装置包括：

本申请实施例提供的技术方案带来的有益效果是：

在本申请实施例中，本申请实施例提供了一种图像处理模型的生成方法，根据所需的样本场景确定第一样本ISP参数，然后基于第一样本ISP参数对AI HDR模型进行训练，将ISP与AI HDR相关联，以使得训练好的AI HDR模块与实际场景相关联，在处理实际问题时，具有针对性，进而节省了NPU算力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的一种实施环境的示意图；

图2是根据本申请实施例提供的一种图像处理模型的生成方法的流程示意图；

图3是根据本申请实施例提供的一种图像处理模型的生成装置的结构示意图；

图4是根据本申请实施例提供的一种终端的结构示意图；

图5是根据本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请中术语“第一”以及“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。

这些术语只是用于将一个元素与另一个元素区别开。例如，在不脱离各种示例的范围的情况下，第一动作能够被称为第二动作，并且类似地，第二动作也能够被称为第一动作。第一动作和第二动作都可以是动作，并且在某些情况下，可以是单独且不同的动作。

其中，至少一个是指一个或一个以上，例如，至少一个动作可以是一个动作、两个动作、三个动作等任意大于等于一的整数个动作。而多个是指两个或者两个以上，例如，多个动作可以是两个动作、三个动作等任意大于等于二的整数个动作。

图1是根据本申请实施例提供的一种实施环境的示意图，该实施环境可以包括终端100，在终端100的芯片101中包括带有NPU的高分辨率的ISP1011以及AI HDR模型1012。在基于芯片101对图像进行处理时，通过芯片中的ISP1011以及AI HDR模型1012对图像进行处理，输出处理后的图像，其中，AI HDR模型1012可以根据需要设置在芯片101中的预设位置。

在一些实施例中，终端100还包括摄像组件，摄像组件用于获取样本图像数据。

在一些实施例中，ISP1011包括多个模块，不同的模块对应不同的ISP参数，例如，白平衡模块、对比度模块、锐化模块以及亮度模块。其中，白平衡模块设有白平衡ISP参数、对比度模块设有对比度ISP参数、锐化模块设有锐化ISP参数以及亮度模块设有亮度ISP参数。

可选地，以亮度ISP参数为例进行说明，当对亮度ISP参数进行调整时，可以改变ISP的亮度性能。例如，经过改变亮度ISP参数后的ISP所处理得到的图像，相比于经过未改变亮度ISP参数的ISP处理得到的图像，亮度变暗或变亮。

可选地，当ISP1011相比对于AI HDR模型1012更靠近终端100的输入端时，终端的输入端获取样本图像数据，将样本图像数据数据发送至ISP1011，ISP1011基于ISP参数对该样本图像数据进行处理，得到第一中间图像。ISP1011将第一中间图像输入至AI HDR模型1012，AI HDR模型1012对第一中间图像进行处理，得到第一目标图像。

可选地，当ISP1011相比对于AI HDR模型1012更远离终端100的输入端时，终端100的输入端获取样本图像数据，将样本图像数据发送至AI HDR模型，AI HDR模型1012对样本图像数据进行处理，得到第二中间图像。将第二中间图像发送至ISP1011，ISP1011基于ISP参数对该第二中间图像进行处理，得到第二目标图像。

在一些实施例中，终端100与有线或无线网络相连。

在一些实施例中，无线网络或者有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(LocalArea Network，LAN)、城域网(MetropolitanAreaNetwork，MAN)、广域网(Wide AreaNetwork，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(HyperText Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

图2是根据本申请实施例提供的一种图像处理模型的生成方法的流程示意图，如图2所示，在本申请实施例中以应用于具有设置了带有NPU的高分辨率的ISP以及AI HDR模型的终端上为例进行说明。该方法包括以下步骤：

在步骤201中，终端获取初始ISP参数集，该初始ISP参数集包括至少一个初始ISP参数，该至少一个初始ISP参数中每个该初始ISP参数设有初始值；该初始ISP参数集指示初始图像对应的初始场景，该初始ISP参数指示该初始图像的图像效果。

在一些实施例中，图像处理模型可以为AI HDR模型，AI HDR模型用于将低动态范围的图像增强成高动态范围的图像。

在一些实施例中，初始ISP参数集包括影响图像效果的各个初始ISP参数。例如，初始ISP参数可以为白平衡、亮度、对比度以及锐化中的任意一项。初始图像的图像效果指示初始图像的清晰度以及对对应的初始场景的还原度等。初始场景以及样本场景可以为城市夜景、小区门口以及郊区天空中任意一项。初始值为一个范围，例如：10～230。

在一些实施例中，初始ISP参数可以通过如下方式获取：

第一种：复用已有的训练数据，例如，将上一次对AI HDR模型进行训练的训练数据作为初始ISP参数，以节省训练AI HDR模型的成本，缩短训练AI HDR模型的时间。

第二种：对终端(芯片)进行初始化，将预设图像输入至芯片，得到依次经过ISP以及待训练AI HDR模型处理后的第一处理图像，根据第一处理图像的图像效果有针对性地对预设图像对应的原始ISP参数集进行调整，得到调整后的第一原始ISP参数集，将第一处理图像输入至芯片，得到依次经过经过ISP基于第一原始ISP参数集处理以及待训练AI HDR模型处理后的第二处理图像，若第二处理图像的图像效果符合预设图像效果，则将第一原始ISP参数集作为初始ISP参数集，或若第二处理图像的图像效果不符合预设图像效果，则继续对第一原始ISP参数集进行调整，得到第二原始ISP参数等，直至得到初始ISP参数集。可选地，图像效果可以从图像的如下几个方面确定：色彩、亮度、对比度、清晰度以及噪声表现等，其中，色彩指示图像的色彩是否鲜艳、自然以及色彩还原度。亮度指示图像的明暗程度。对比度指示图像的明暗对比度以及图像中亮部和暗部的细节表现。清晰度指示图像的细节表现，可以包括边缘清晰度以及纹理清晰度。噪声表现指示图像中的噪声水平，可以包括噪点等。

在一些实施例中，为了使得图像可以最大程度地还原对应的场景，不同的场景对ISP参数的关注度不相同，也即不同的初始场景对应的至少一个初始ISP参数集中每个初始ISP参数的初始值不相同。

可选地，当初始场景为为城市夜景时，初始ISP参数(亮度)应该突出城市夜景的特色和细节，例如，灯光、建筑以及人流等，同时，也要考虑到图像的整体明暗分布和色彩对比度。初始ISP参数(对比度)，需要突出图像的层次感和立体感。

可选地，当初始场景为小区门口时，所需的亮度应该能够清晰地显示小区入口、门禁系统以及保安亭等，以突出小区的特色和氛围。也即，小区门口和城市夜景对应的初始ISP参数(亮度)的初始值不相同。

在一些实施例中，在步骤201之后，还包括如下步骤201A：终端对该至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与该至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数。

在一些实施例中，由于无法确定初始ISP参数集中的目标ISP参数的数量，在对初始ISP参数集进行调整时，将初始ISP参数集中一个初始ISP参数作为待调整ISP参数，或将初始ISP参数集中多个初始ISP参数同时作为待调整ISP参数。

可选地，在对待调整ISP参数进行调整时，可以对待调整ISP参数进行至少一次调整。

可选地，当将初始ISP参数集中多个初始ISP参数同时作为待调整ISP参数时，例如，可以将初始ISP参数集中的两个初始ISP参数同时作为待调整ISP参数，在对初始ISP参数集进行调整时，每次对一组数据中每个初始ISP参数进行调整。例如，将初始ISP参数集中的初始ISP参数(亮度)以及初始ISP参数(对比度)同时作为待调整ISP参数。

在一些实施例中，上述步骤201A包括，针对一次调整，将该至少一个初始ISP参数中一个初始ISP参数，作为待调整ISP参数；将该待调整ISP参数的初始值，调整至对应的调整值，得到调整ISP参数；基于该调整ISP参数以及该至少一个初始ISP参数中剩余的初始ISP参数，获取调整图像的图像效果。

在一些实施例中，以每次对初始ISP参数集中的一个初始ISP参数进行调整为例进行说明。可选地，当第一次对该初始ISP参数(亮度)的初始值进行调整时，该初始ISP参数(亮度)的初始值的范围为10～230，将该初始ISP参数(亮度)的初始值以及初始图像输入至参数调试工具，基于参数调试工具对该初始ISP参数(亮度)的初始值调整，得到该初始ISP参数(亮度)的调整值为50～200。参数调试工具基于该初始ISP参数(亮度)的调整值为50～200对该初始图像进行调整，得到亮度调整图像以及亮度调整图像的图像效果。

可选地，当第二次对该初始ISP参数(对比度)的初始值进行调整时，将该初始ISP参数(对比度)的初始值以及初始图像输入至参数调试工具，基于参数调试工具对该初始ISP参数(对比度)的初始值调整，得到该初始ISP参数(对比度)的调整值。参数调试工具基于该初始ISP参数(对比度)的调整值对该初始图像进行调整，得到对比度调整图像以及对比度调整图像的图像效果。

同理，可以得到初始ISP参数(白平衡)对应的白平衡调整图像的图像效果以及初始ISP参数(锐化)对应的锐化调整图像的图像效果。

可选地，在确定目标ISP参数时，可以对亮度调整图像的图像效果、对比度调整图像的图像效果、白平衡调整图像的图像效果以及锐化调整图像的图像效果进行比对，若对比度调整图像的图像效果最好，则将初始ISP参数(对比度)，作为目标ISP参数，从而得到一个目标ISP初始参数。

同理，还可以得到两个或三个目标ISP参数，本申请的实施例不再进行赘述。

在步骤202中，终端对该至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数。

在一些实施例中，根据实际需要，确定样本场景。在确定样本场景之后，基于样本场景确定影响样本图像的图像效果的至少一个目标ISP参数。

在一些实施例中，上述步骤202包括步骤202A：终端基于该调整图像的图像效果对该至少一个初始ISP参数进行筛选，得到该至少一个目标ISP参数。

可选地，以至少一个初始ISP参数中包括M个初始ISP参数为例进行说明，M为大于或等于1的整数。首先确定至少一个初始ISP参数中的N个目标ISP参数(也即N个有效ISP参数)，N为大于或小于1，且小于或等于M的整数。

可选地，对于目标ISP参数，可以理解为基于调整后的目标ISP参数对初始图像进行调整，得到第一调整图像，第一调整图像相比于初始图像可以更好地还原样本场景，也即在样本场景下，第一调整图像的图像效果相比于初始图像的图像效果更好。将至少一个初始ISP参数中剩余的(M-N)个初始ISP参数中每个初始ISP参数，作为无效ISP参数。

可选地，对于无效ISP参数，可以理解为基于调整后的无效ISP参数对初始图像进行调整，得到第二调整图像，第二调整图像相比于初始图像不能更好地还原样本场景，也即在样本场景下，第二调整图像的图像效果相比于初始图像的图像效果更差。

可选地，为了从M个初始ISP参数中筛选出N个目标ISP参数，将M个初始ISP参数以及初始图像输入至参数调试工具中，参数调试工具基于参数调试工具对M个初始ISP参数中的每个初始ISP参数的初始值进行调整，得到M个初始ISP参数中每个初始ISP参数对应的调整值，参数调试工具基于M个初始ISP参数中每个初始ISP参数对应的调整值对初始图像进行调整，得到第三调整图像。其中，参数调试工具将M个初始ISP参数种每个初始ISP参数对应的调整值以及对应的图像效果以文档的形式进行展示，文档中包括M个初始ISP参数中每个初始ISP参数的初始值以及对应的调整值、初始图像以及第三调整图像，以便于通过比对第三调整图像的图像效果以及初始图像的图像效果，确定是否将M个初始ISP参数中的每个初始ISP参数，作为目标ISP参数。

需要说明的是，本申请的实施例所涉及的参数调试工具为常规工具，因此，本申请的实施例不再对该参数调试工具进行具体的限定。

本申请的实施例，通过上述方法，对初始ISP参数集进行了筛选，以初步确定N个目标ISP参数，从而在后续的调整过程中，只需要对这N个目标ISP参数进行调整，而不再对初始ISP参数集中剩余的(M-N)个初始ISP个参数进行调整，进而减少了需要进行调整的初始ISP参数的数量，从而提高了AI HDR模型的训练效率，也节省了NPU算力。

在步骤203中，终端基于样本场景，将该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，该第一样本ISP参数集指示样本图像对应的该样本场景。

在一些实施例中，通过上述步骤201以及步骤202的分析可知，不同的初始场景，对应的初始ISP参数集不相同，也即不同的初始场景至少一个初始ISP参数中每个初始ISP参数的初始值不相同。因此，为了通过对初始图像进行调整，得到样本图像，以使得样本图像可以较好地还原样本场景，需要对至少一个目标ISP参数中每个目标ISP参数进行调整，也即将至少一个目标ISP参数中每个目标ISP参数的初始值调整值目标值，以得到可以较好还原样本场景的第一样本ISP参数集。

在一些实施例中，上述步骤203包括：将该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的第一候选值，得到对应的第一候选图像。基于该样本场景，获取该第一候选图像的图像效果与该初始图像的图像效果的比对结果。若该比对结果符合预设条件，则将该至少一个目标ISP参数中每个目标ISP参数的第一候选值，作为至少一个目标ISP参数中每个目标ISP参数的目标值；或若该比对结果不符合预设条件，则对该至少一个目标ISP参数中每个目标ISP参数的第一候选值继续调整，直至得到该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的目标值。

可选地，在基于该样本场景，获取该第一候选图像的图像效果与该初始图像的图像效果的比对结果时，可以首先通过人工确定第一候选图像的图像效果以及该初始图像的图像效果，然后通过人工对第一候选图像的图像效果以及该初始图像的图像效果进行比对，得到该对比结果，最后，终端获取该对比结果。

在一些实施例中，根据所需的样本场景，将步骤202中得到的至少一个目标ISP参数以及初始图像输入至参数调试工具，参数调试工具分别对至少一个目标ISP参数中每个目标ISP参数的初始值进行调整，得到至少一个目标ISP参数中每个目标ISP参数的第二候选调整值，基于至少一个目标ISP参数中每个目标ISP参数的调整值对初始图像进行调整，得到第二候选图像，根据第四调整图像的图像效果以及初始图像的图像效果，确定是否将至少一个目标ISP参数中每个目标ISP参数的第二候选调整值，确定为对应的目标值。

可选地，以N＝1为例进行说明，目标ISP参数(亮度)的初始值的范围为10～230，基于参数调试工具对该目标ISP参数(亮度)的初始值调整，得到该目标ISP参数(亮度)的第三候选调整值为50～200，基于该目标ISP参数(亮度)的第一调整值对初始图像进行调整，得到第三候选图像。若第五调整图像的图像效果不符合预设条件，则基于参数调试工具对该目标ISP参数(亮度)的第三候选调整值进行调整，得到第四候选调整值为60～180，基于该第四候选调整值对第三候选图像进行调整，得到第四候选图像，若第四候选图像的图像效果符合预设条件，则将第四候选调整值确定为该目标ISP参数(亮度)的目标值。

可选地，以初始ISP参数集包括亮度、对比度、白平衡以及锐化为例进行说明，在得到目标ISP参数(亮度)的目标值之后，将目标ISP参数(亮度)的目标值、对比度的初始值、白平衡的初始值以及锐化的初始值作为第一样本ISP参数集。

在步骤204中，终端将该第一样本ISP参数集输入至待训练图像处理模型，得到输出图像。

在一些实施例中，在步骤204之前，还包括终端获取第一环境数据，该第一环境数据指示该第一样本ISP参数集对应的环境。例如，晴天、室内以及室外中任意一项对应的环境。

在一些实施例中，终端将第一样本ISP参数以及样本图像数据输入至ISP，ISP基于第一样本ISP参数对样本图像数据进行处理，得到第三中间图像，ISP将第三中间图像输入至待训练AI HDR模型，待训练AI HDR模型对第三中间图像进行处理，得到输出图像。其中，样本图像数据基于摄像头组件获取，样本图像数据包括样本图像对应的样本场景、色彩、锐化、白平衡以及对比度等参数的数值等信息。

在一些实施例中，步骤204包括：将该第一环境数据以及该第一样本ISP参数集输入至该待训练图像处理模型，得到该输出图像。

在步骤205中，终端对该输出图像进行计算，得到第一损失函数值，基于该第一损失函数值，对该待训练图像处理模型的模型参数进行更新。

在一些实施例中，获取预设损失函数，基于预设损失函数对预设标签预想以及输出图像进行计算，得到第一损失函数值。

在一些实施例中，在步骤205之后还可以包括：将训练好的AI HDR模型部署在芯片中，芯片获取待处理图像数据，将待处理图像数据输入至ISP，ISP基于ISP参数对待处理图像数据进行处理，得到第四中间图像，将第四中间图像输入至训练好的AI HDR模型中，基于AI HDR模型对第四中间图像进行处理，得到目标图像。其中，待处理图像数据基于摄像头组件获取，待处理数据包括待处理图像对应的实际场景、色彩、锐化、白平衡以及对比度等参数的数值等信息。

可选地，在得到目标图像之后，获取目标图像的图像效果，判断目标图像的图像效果是否满足预设目标效果，若目标图像的图像效果不满足预设目标效果，则重复执行上述步骤201至步骤205，直至目标图像的图像效果满足预设目标效果。通过对待训练AI HDR模型进行迭代训练，可以使得所得到的训练好的AI HDR模型有针对性地解决高光边缘问题。

本申请的上述实施例以应用于终端为例进行说明，另外，本申请的实施例还可以应用于服务器。

本申请的实施例，根据所需的样本场景确定第一样本ISP参数，然后基于第一样本ISP参数对AI HDR模型进行训练，用于将ISP参数与AI HDR相关联，以使得训练好的AI HDR模块与实际场景相关联，在处理实际问题时，具有针对性，进而节省了NPU算力。

图3是根据本申请实施例提供的一种图像处理模型的生成装置300的结构示意图，装置包括：

第一获取模块301，用于获取初始ISP参数集，该初始ISP参数集包括至少一个初始ISP参数，该至少一个初始ISP参数中每个该初始ISP参数设有初始值；该初始ISP参数集指示初始图像对应的初始场景，该初始ISP参数指示该初始图像的图像效果。

筛选模块302，用于对该至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数。

第一调整模块303，用于基于样本场景，将该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，该第一样本ISP参数集指示样本图像对应的该样本场景。

训练模块304，用于将该第一样本ISP参数集输入至待训练图像处理模型，得到输出图像。

更新模块305，用于对该输出图像进行计算，得到第一损失函数值，基于该第一损失函数值，对该待训练图像处理模型的模型参数进行更新。

在一种可能得实现方式中，该装置，还包括：

第二调整模块，用于对该至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与该至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数。

在一种可能得实现方式中，该第二调整模块，包括：

第一确定单元，用于针对一次调整，将该至少一个初始ISP参数中一个初始ISP参数，作为待调整ISP参数。

第一调整单元，用于将该待调整ISP参数的初始值，调整至对应的调整值，得到调整ISP参数。

获取单元，用于基于该调整ISP参数以及该至少一个初始ISP参数中剩余的初始ISP参数，获取调整图像的图像效果。

在一种可能得实现方式中，该筛选模块，包括：

筛选单元，用于基于该调整图像的图像效果对该至少一个初始ISP参数进行筛选，得到该至少一个目标ISP参数。

在一种可能得实现方式中，该第一调整模块303，包括：

第二调整单元，用于将该至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的第一候选值，得到对应的第一候选图像；

第二获取单元，用于基于该样本场景，获取该第一候选图像的图像效果与该初始图像的图像效果的比对结果。

确定单元，用于若该比对结果符合预设条件，则将该至少一个目标ISP参数中每个目标ISP参数的第一候选值，作为至少一个目标ISP参数中每个目标ISP参数的目标值；或若该比对结果不符合预设条件，则对该至少一个目标ISP参数中每个目标ISP参数的第一候选值继续调整，直至得到该初始ISP参数集中该至少一个目标ISP参数中每个目标ISP参数的目标值。

在一种可能得实现方式中，该装置，还包括：

第二获取模块，用于获取第一环境数据；该第一环境数据指示该第一样本ISP参数集对应的环境。

在一种可能得实现方式中，该训练模块304，包括：

输入单元，用于将该第一环境数据以及该第一样本ISP参数集输入至该待训练图像处理模型，得到该输出图像。

需要说明的是：上述实施例提供的图像处理模型的生成装置在执行相应步骤时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理模型的生成装置与图像处理模型的生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请的实施例，根据所需的样本场景确定第一样本ISP参数，然后基于第一样本ISP参数对AI HDR模型进行训练，将ISP与AI HDR相关联，以使得训练好的AI HDR模块与实际场景相关联，在处理实际问题时，具有针对性，进而节省了NPU算力。

本申请的实施例还提供了一种计算机设备，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序时实现上述的图像处理模型的生成方法。

以计算机设备为终端为例，图4是本申请实施例提供的一种终端的结构示意图，参见图4，终端400可以是：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端400包括有：处理器401和存储器402。

处理器401可以包括一个或多个处理核心，比如4核心处理器、4核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，用户智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器401所执行以实现本申请中方法实施例提供的图像处理模型的生成方法中终端执行的过程。

在一些实施例中，终端400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、显示屏405、摄像头组件406、音频电路407和电源408中的至少一种。

外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一些实施例中，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏405用于显示UI(User Interface，用户页面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置在终端400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在终端400的不同表面或呈折叠设计；在另一些实施例中，显示屏405可以是柔性显示屏，设置在终端400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件406用于采集图像或视频。在一些实施例中，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。

电源408用于为终端400中的各个组件进行供电。电源408可以是交流电、直流电、一次性电池或可充电电池。当电源408包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端400还包括有一个或多个传感器409。该一个或多个传感器409包括但不限于：加速度传感器410、陀螺仪传感器411、压力传感器412、光学传感器413以及接近传感器414。

加速度传感器410可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器410可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器410采集的重力加速度信号，控制显示屏405以横向视图或纵向视图进行用户页面的显示。加速度传感器410还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器411可以检测终端400的机体方向及转动角度，陀螺仪传感器411可以与加速度传感器410协同采集用户对终端400的三维动作。处理器401根据陀螺仪传感器411采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器412可以设置在终端400的侧边框和/或显示屏405的下层。当压力传感器412设置在终端400的侧边框时，可以检测用户对终端400的握持信号，由处理器401根据压力传感器412采集的握持信号进行左右手识别或快捷操作。当压力传感器412设置在显示屏405的下层时，由处理器401根据用户对显示屏405的压力操作，实现对UI页面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器413用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器413采集的环境光强度，控制显示屏405的显示亮度。具体地，当环境光强度较高时，调高显示屏405的显示亮度；当环境光强度较低时，调低显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器413采集的环境光强度，动态调整摄像头组件406的拍摄参数。

接近传感器414，也称距离传感器，通常设置在终端400的前面板。接近传感器414用于采集用户与终端400的正面之间的距离。在一个实施例中，当接近传感器414检测到用户与终端400的正面之间的距离逐渐变小时，由处理器401控制显示屏405从亮屏状态切换为息屏状态；当接近传感器414检测到用户与终端400的正面之间的距离逐渐变大时，由处理器401控制显示屏405从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图4中示出的结构并不构成对终端400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

以计算机设备为服务器为例，图5是本申请实施例提供的一种服务器的结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)501和一个或多个的存储器502，其中，该一个或多个存储器502中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器501加载并执行以实现上述图像处理模型的生成方法。当然，该服务器500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器500还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请的实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如上的图像处理模型的生成方法。可选地，计算机可读存储介质可以是只读内存(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact-DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理模型的生成方法，其特征在于，包括：

获取初始ISP参数集，所述初始ISP参数集包括至少一个初始ISP参数，所述至少一个初始ISP参数中每个所述初始ISP参数设有初始值；所述初始ISP参数集指示初始图像对应的初始场景，所述初始ISP参数指示所述初始图像的图像效果；

对所述至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数；

基于样本场景，将所述初始ISP参数集中所述至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，所述第一样本ISP参数集指示样本图像对应的所述样本场景；

将所述第一样本ISP参数集输入至待训练图像处理模型，得到输出图像；

对所述输出图像进行计算，得到第一损失函数值，基于所述第一损失函数值，对所述待训练图像处理模型的模型参数进行更新。

2.根据权利要求1所述的方法，其特征在于，在获取初始ISP参数集之后，还包括：

对所述至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与所述至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数。

3.根据权利要求2所述的方法，其特征在于，所述对所述至少一个初始ISP参数中每个初始ISP参数进行至少一次调整，得到与所述至少一个初始ISP参数中每个初始ISP参数对应的调整ISP参数，包括：

针对一次调整，将所述至少一个初始ISP参数中一个初始ISP参数，作为待调整ISP参数；

将所述待调整ISP参数的初始值，调整至对应的调整值，得到调整ISP参数；

基于所述调整ISP参数以及所述至少一个初始ISP参数中剩余的初始ISP参数，获取调整图像的图像效果。

4.根据权利要求3所述的方法，其特征在于，所述对所述初始ISP参数中至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数，包括：

基于所述调整图像的图像效果对所述至少一个初始ISP参数进行筛选，得到所述至少一个目标ISP参数。

5.根据权利要求3所述的方法，其特征在于，所述基于样本场景，将所述初始ISP参数集中所述至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，包括：

将所述至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的第一候选值，得到对应的第一候选图像的图像效果；

基于所述样本场景，获取所述第一候选图像的图像效果与所述初始图像的图像效果的比对结果；

若所述比对结果符合预设条件，则将所述至少一个目标ISP参数中每个目标ISP参数的第一候选值，作为至少一个目标ISP参数中每个目标ISP参数的目标值；或若所述比对结果不符合预设条件，则对所述至少一个目标ISP参数中每个目标ISP参数的第一候选值继续调整，直至得到所述初始ISP参数集中所述至少一个目标ISP参数中每个目标ISP参数的目标值。

6.根据权利要求1所述的方法，其特征在于，在所述将所述第一样本ISP参数集输入至待训练图像处理模型，得到输出图像之前，还包括：

获取第一环境数据；所述第一环境数据指示所述第一样本ISP参数集对应的环境。

7.根据权利要求6所述的方法，其特征在于，所述将所述第一样本ISP参数集输入至待训练图像处理模型，得到输出图像，包括：

将所述第一环境数据以及所述第一样本ISP参数集输入至所述待训练图像处理模型，得到所述输出图像。

8.一种图像处理模型的生成装置，其特征在于，包括：

第一获取模块，用于获取初始ISP参数集，所述初始ISP参数集包括至少一个初始ISP参数，所述至少一个初始ISP参数中每个所述初始ISP参数设有初始值；所述初始ISP参数集指示初始图像对应的初始场景，所述初始ISP参数指示所述初始图像的图像效果；

筛选模块，用于对所述至少一个初始ISP参数进行筛选，得到至少一个目标ISP参数；

第一调整模块，用于基于样本场景，将所述初始ISP参数集中所述至少一个目标ISP参数中每个目标ISP参数的初始值调整至对应的目标值，得到第一样本ISP参数集，所述第一样本ISP参数集指示样本图像对应的所述样本场景；

训练模块，用于将所述第一样本ISP参数集输入至待训练图像处理模型，得到输出图像；

更新模块，用于对所述输出图像进行计算，得到第一损失函数值，基于所述第一损失函数值，对所述待训练图像处理模型的模型参数进行更新。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序，所述至少一段程序由所述处理器加载并执行如权利要求1至权利要求7中任一项所述的图像处理模型的生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至权利要求7中任一项所述的图像处理模型的生成方法。