CN115190226A - 参数调整的方法、训练神经网络模型的方法及相关装置 - Google Patents
参数调整的方法、训练神经网络模型的方法及相关装置 Download PDFInfo
- Publication number
- CN115190226A CN115190226A CN202210612501.XA CN202210612501A CN115190226A CN 115190226 A CN115190226 A CN 115190226A CN 202210612501 A CN202210612501 A CN 202210612501A CN 115190226 A CN115190226 A CN 115190226A
- Authority
- CN
- China
- Prior art keywords
- parameters
- network model
- signal processor
- neural network
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000012549 training Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 38
- 230000008447 perception Effects 0.000 claims description 49
- 230000016776 visual perception Effects 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种参数调整的方法、训练神经网络模型的方法及相关装置，用于提高神经网络模型拟合ISP的效果。该方法包括：通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；通过神经网络模型按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；通过神经网络模型根据多个类别的融合特征数据，得到第一RGB图像；根据参数调整策略和第一RGB图像对图像信号处理器参数进行调整。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种参数调整的方法、训练神经网络模型的方法及相关装置。
背景技术
在视觉感知系统中，通常需要使用图像信号处理器(Image signal processor，ISP)将相机镜头采集的RAW数据转换为标准三原色图像(Red Green Blue，RGB)图像输出，从而提供给下游的视觉感知任务。ISP中各模块的参数将直接影响RGB图像的质量，因此需要调整最佳的ISP中各模块的参数来提高图像质量，从而提高下游的视觉感知任务的性能。
ISP参数的传统的调整方式主要依赖于技术人员根据主观视觉评价进行的手工调节，通常需要耗费2-3个月的时间。因此，近几年内诞生了一些自动化调整ISP参数的方法，其可以大幅缩短调整参数的时间。
其中，一种自动化调整ISP参数的方法是基于可微代理(Proxy)模型实现的。该种方法引入了一个神经网络代理模型来模拟ISP在不同参数下的处理过程，其网络结构是完全可微的。由于Proxy和ISP可视为等价的，因此在调参过程中可将ISP替换为神经网络代理模型，然后根据神经网络代理模型的输出结果调整ISP参数。该方法可以大幅降低调整参数的时间。
然而，在已有的自动化调整ISP参数的方法中，神经网络代理模型拟合ISP性能的效果较差，导致经过参数调整后的ISP的性能较差。
发明内容
本申请实施例提供了一种参数调整的方法、训练神经网络模型的方法及相关装置，用于提高神经网络模型拟合ISP的效果。
第一方面，本申请提供了一种参数调整的方法，方法包括：通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据，原始图像数据可以理解为镜头采集到的未经处理的图像数据，一般情况下，特征数据采用向量或矩阵表示；通过神经网络模型按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；通常情况下，对于不同类别的ISP参数的特征数据，会按照不同的融合方法将其与原始图像数据的特征数据融合；通过神经网络模型根据多个类别的融合特征数据，得到第一RGB图像；根据参数调整策略和第一RGB图像对图像信号处理器参数进行调整，本申请实施例对参数调整策略的内容不做具体限定，例如，参数调整策略可以指示每次迭代过程中各个ISP参数的调整步长。
由于考虑到ISP中不同模块具有不同的参数，对ISP参数进行了分类，并且，神经网络模型按照不同的融合方法将不同类别的ISP参数的特征数据分别与原始图像数据的特征数据融合，然后根据融合后的特征数据输出第一RGB图像，提高了神经网络模型拟合ISP的效果，使得输出的第一RGB图像更接近于ISP输出的RGB图像；因此，根据第一RGB图像对图像信号处理器参数进行调整，能够较好地提高经过参数调整后的ISP的性能。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
根据图像信号处理器中的模块的种类对图像信号处理器参数的类别进行划分，能够将ISP内部各模块的实际处理方式融入到神经网络模型中，使得神经网络模型能够更好地拟合ISP，提高根据神经网络模型输出的第一RGB图像调整图像信号处理器参数的效果。
作为一种可实现的方式，多个类别的图像信号处理器参数包括全局参数和局部参数，全局参数可以理解为人工调整参数的过程中需要依据整体图像信息来调整的参数，人工调整参数的过程中仅需依据局部图像信息来调整的参数；其中，全局参数可以包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数可以包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
作为一种可实现的方式，参数调整策略指示在前X次迭代过程中调整全局参数，在第X+1次迭代过程中至第Y次迭代过程中调整局部参数，或调整局部参数和全局参数，其中，X为正整数，Y为大于X的正整数。
本申请采用了分类型分段的参数调整策略，即先调整全局参数，再调整局部参数，使得ISP参数在调整的过程中更加稳定，使得经过参数调整后的ISP的性能更优。
作为一种可实现的方式，根据参数调整策略和第一RGB图像对图像信号处理器参数进行调整包括：将第一RGB图像输入到视觉感知任务网络模型中，以得到感知结果，视觉感知任务网络模型是指根据RGB图像执行视觉感知任务的模型，视觉感知任务可以包括目标检测或全景分割；根据感知结果和感知任务标签计算损失值，其中，感知任务标签可以理解为对于原始图像数据，人工标注的感知任务的标签，例如，原始图像数据是车载摄像头拍摄的图像数据，感知任务为目标检测，感知任务标签则可以为其他车辆在车载摄像头拍摄的图像数据中的位置；根据参数调整策略和损失值对图像信号处理器参数进行调整。
相比于根据第一RGB图像调整ISP参数，将第一RGB图像输入到下游视觉感知任务网络模型中，根据视觉感知任务网络模型的感知结果和感知任务标签计算损失值，再根据损失值对图像信号处理器参数进行调整，有利于提高参数调整效果，使得经过参数调整后的ISP具有较好的性能。
第二方面，本申请提供了一种训练神经网络模型的方法，方法包括：通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据，原始图像数据可以理解为镜头采集到的未经处理的图像数据，一般情况下，特征数据采用向量或矩阵表示；通过神经网络模型按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；通常情况下，对于不同类别的ISP参数的特征数据，会按照不同的融合方法将其与原始图像数据的特征数据融合；通过神经网络模型根据多个类别的融合特征数据，得到第一RGB图像；根据第一RGB图像和第二RGB图像对神经网络模型的参数进行调整，第二RGB图像是图像信号处理器根据输入的原始图像数据的特征数据输出的。
在该训练方法中，由于考虑到ISP中不同模块具有不同的参数，对ISP参数进行了分类，并且，神经网络模型按照不同的融合方法将不同类别的ISP参数的特征数据分别与原始图像数据的特征数据融合，然后根据融合后的特征数据输出第一RGB图像，所以提高了神经网络模型拟合ISP的效果；这样，根据训练好的神经网路模型对图像信号处理器参数进行调整，能够使得经过参数调整后的ISP具有较好的性能。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
根据图像信号处理器中的模块的种类对图像信号处理器参数的类别进行划分，能够将ISP内部各模块的实际处理方式融入到神经网络模型中，使得神经网络模型能够更好地拟合ISP。
作为一种可实现的方式，多个类别的图像信号处理器参数包括全局参数和局部参数，全局参数可以理解为人工调整参数的过程中需要依据整体图像信息来调整的参数，人工调整参数的过程中仅需依据局部图像信息来调整的参数；其中，全局参数可以包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数可以包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
作为一种可实现的方式，根据第一RGB图像和第二RGB图像对神经网络模型的参数进行调整包括：将第一RGB图像输入到视觉感知任务网络模型中，以得到第一感知结果；将第二RGB图像输入到视觉感知任务网络模型中，以得到第二感知结果；根据第一感知结果和第二感知结果对神经网络模型的参数进行调整。
在参数调整的过程中，引入了下游的视觉感知任务网络模型，并通过第一RGB图像和第二RGB图像在视觉感知任务网络模型中的感知结果的一致性对神经网络模型的参数进行调整，使得神经网络模型能够更好地拟合ISP，即神经网络模型与ISP具有一致的视觉感知性能，从而进一步提高利用该神经网络模型进行参数调整后的ISP在视觉感知任务上的性能。
作为一种可实现的方式，根据第一感知结果和第二感知结果对神经网络模型的参数进行调整包括：计算第一感知结果和第二感知结果的第一一致性损失值；根据第一一致性损失值对神经网络模型的参数进行调整。具体地，可以交叉熵或损失函数计算第一一致性损失值，根据第一一致性损失值可以计算梯度并进行梯度回传，从而实现对神经网络模型的参数的调整。
作为一种可实现的方式，方法还包括：计算第一RGB图像和第二RGB图像的第二一致性损失值；根据第一一致性损失值对神经网络模型的参数进行调整包括：根据第一一致性损失值和第二一致性损失值，对神经网络模型的参数进行调整。
相比于根据第一一致性损失值和第二一致性损失值中的一者对神经网络模型的参数进行调整，根据第一一致性损失值和第二一致性损失值，对神经网络模型的参数进行调整，能够提高神经网络模型拟合ISP的性能。
作为一种可实现的方式，神经网络模型包括：特征提取模块、特征融合模块和输出模块；特征提取模块用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；特征融合模块用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合；图像输出模块用于根据多个类别的融合特征数据，得到第一RGB图像。
第三方面，本申请提供了一种参数调整的装置，装置包括：基于神经网络模型的处理单元，用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；基于神经网络模型的处理单元，用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；基于神经网络模型的处理单元，用于根据多个类别的融合特征数据，得到第一RGB图像；调整单元，用于根据参数调整策略和第一RGB图像对图像信号处理器参数进行调整。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
作为一种可实现的方式，多个类别的图像信号处理器参数包括全局参数和局部参数，其中，全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
作为一种可实现的方式，参数调整策略指示在前X次迭代过程中调整全局参数，在第X+1次迭代过程中至第Y次迭代过程中调整局部参数，或调整局部参数和全局参数，其中，X为正整数，Y为大于X的正整数。
作为一种可实现的方式，调整单元，用于将第一RGB图像输入到视觉感知任务网络模型中，以得到感知结果；根据感知结果和感知任务标签计算损失值；根据参数调整策略和损失值对图像信号处理器参数进行调整。
其中，以上各单元的具体实现、相关说明以及技术效果请参考第一方面的相关描述。
第四方面，本申请提供了一种训练神经网络模型的装置，包括：基于神经网络模型的处理单元，用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；基于神经网络模型的处理单元，用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；基于神经网络模型的处理单元，用于根据多个类别的融合特征数据，得到第一RGB图像；调整单元，用于根据第一RGB图像和第二RGB图像对神经网络模型的参数进行调整，第二RGB图像是图像信号处理器根据输入的原始图像数据的特征数据输出的。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
作为一种可实现的方式，多个类别的图像信号处理器参数包括全局参数和局部参数，其中，全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
作为一种可实现的方式，调整单元，用于将第一RGB图像输入到视觉感知任务网络模型中，以得到第一感知结果；将第二RGB图像输入到视觉感知任务网络模型中，以得到第二感知结果；根据第一感知结果和第二感知结果对神经网络模型的参数进行调整。
作为一种可实现的方式，调整单元，用于计算第一感知结果和第二感知结果的第一一致性损失值；根据第一一致性损失值对神经网络模型的参数进行调整。
作为一种可实现的方式，调整单元，还用于计算第一RGB图像和第二RGB图像的第二一致性损失值；根据第一一致性损失值和第二一致性损失值，对神经网络模型的参数进行调整。
作为一种可实现的方式，神经网络模型包括：特征提取模块、特征融合模块和输出模块；特征提取模块用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；特征融合模块用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合；图像输出模块用于根据多个类别的融合特征数据，得到第一RGB图像。
其中，以上各单元的具体实现、相关说明以及技术效果请参考第二方面的相关描述。
本申请实施例第五方面提供了一种计算机设备，包括：一个或多个处理器和存储器；其中，存储器中存储有计算机可读指令；一个或多个处理器读取计算机可读指令，以使计算机设备实现如第一方面或第二方面任一实现方式的方法。
本申请实施例第六方面提供了一种计算机可读存储介质，包括计算机可读指令，当计算机可读指令在计算机上运行时，使得计算机执行如第一方面任一实现方式的方法。
本申请实施例第七方面提供了一种芯片，包括一个或多个处理器。处理器中的部分或全部用于读取并执行存储器中存储的计算机程序，以执行上述第一方面或第二方面任意可能的实现方式中的方法。
可选地，该芯片该包括存储器，该存储器与该处理器通过电路或电线与存储器连接。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。
在一些实现方式中，一个或多个处理器中还可以有部分处理器是通过专用硬件的方式来实现以上方法中的部分步骤，例如涉及神经网络模型的处理可以由专用神经网络处理器或图形处理器来实现。
本申请实施例提供的方法可以由一个芯片实现，也可以由多个芯片协同实现。
本申请实施例第八方面提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述第一方面或第二方面中任意一种实现方式的方法。
附图说明
图1为视觉感知系统的架构示意图；
图2为本申请提供的训练神经网络模型的方法的实施例示意图；
图3为神经网络模型的整体框架示意图；
图4为图3中的特征融合模块的结构示意图；
图5为图4中的特征图的上采样和下采样所使用的方法的示意图；
图6为本申请实施例中根据第一RGB图像和第二RGB图像调整参数的示意图；
图7为本申请实施例中训练神经网络模型的过程示意图；
图8为本申请实施例提供了参数调整的方法实施例示意图；
图9为本申请实施例中调整参数的过程示意图；
图10为本申请实施例提供的参数调整方法和已有的参数调整方法的性能收益情况的示意图；
图11为本申请提供的参数调整的装置的实施例示意图；
图12为本申请提供的训练神经网络模型的装置的实施例示意图；
图13为本申请实施例提供的计算机设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”以及相应术语标号等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
在本申请的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请的描述中，“至少一项”是指一项或者多项，“多项”是指两项或两项以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
图1为视觉感知系统的架构示意图。如图1所示，视觉感知系统包括光学镜头、图像信号处理器(Image signal processor，ISP)、视觉感知模块和ISP参数调整模块。
光学镜头用于采集RAW数据，并将RAW数据输出至ISP，其中，RAW数据是指采集到的Bayer格式的原始图像数据。
图像信号处理器用于对RAW数据进行处理，并输出标准三原色图像(Red GreenBlue，RGB)图片。其中，ISP中包括黑电平矫正模块、白平衡模块、去马赛克模块、颜色校正模块、去噪模块以及锐化模块等。
需要说明的是，不同的ISP中包含的模块的种类和数量可以不同。
视觉感知模块用于根据RGB图片输出感知结果，以完成视觉感知任务，其中，视觉感知任务可以包括全景分割、目标检测等任务。
ISP参数调整模块用于自动调整ISP参数，并将调整后的ISP参数输出至图像信号处理器。
在ISP参数调整模块中，可以利用自动化调整ISP参数的方法自动调整ISP参数。已有的自动化调整ISP参数的方法在利用神经网络代理模型模拟ISP的过程中，并未考虑ISP内部模块的特性，导致神经网络代理模型拟合ISP性能的效果较差，进而导致经过参数调整后的ISP的性能较差。其中，下文将神经网络代理模型简称为神经网络模型。
为此，本申请实施例提供了一种训练神经网络模型的方法和参数调整的方法。对于训练神经网络模型的方法，在训练神经网络模型的过程中，考虑了ISP中模块的特性，从而可以训练得到拟合效果较好的神经网络模型，以提高经过神经网络模型调整参数后的ISP的性能。
参数调整的方法是指利用上述训练好的神经网络模型对ISP中的参数进行调整；由于神经网络模型在训练过程中，考虑了ISP中的模块的特性，所以可以较好地拟合ISP的性能，因此利用上述训练好的神经网络模型对ISP中的参数进行调整，可以将ISP的参数调整到较佳的数值，从而提高调整参数后的ISP的性能。
基于上述说明可知，本申请实施例包含两个阶段，一个阶段是神经网络模型的拟合阶段，即训练神经网络模型的阶段；另一个阶段是ISP参数的优化阶段，即调整ISP参数的阶段。
本申请实施例可以应用于图1所示的ISP参数调整模块中，用于自动调整ISP参数。
本申请实施例可以应用于多种场景中，下面介绍其中的两种场景。
第一种场景为智能摄像头应用场景。在智能摄像头应用场景中，图1所示的视觉感知系统通常需要能够自动检测出商场、仓库等区域内的活动人员、动物等。本申请实施例可以为视觉感知系统中的ISP配置参数，从而使得ISP输出的RGB图像能够在不同的光线环境(白天、黑夜等)下都能够达到较好的目标检测效果。
第二种场景为自动驾驶应用场景。在自动驾驶应用场景中，通过图1所示的视觉感知系统车辆能够同时完成多种视觉感知任务，例如目标检测、全景分割等任务。本申请实施例可以为视觉感知系统中的ISP配置参数，从而使得ISP输出的RGB图像能够在不同的感知任务中(目标检测、全景分割等)都能够达到较好的目标检测效果。
下面先对训练神经网络模型的方法进行介绍。
如图2所示，本申请提供了一种训练神经网络模型的方法的实施例，该实施例包括：
步骤101，将图像信号处理器参数划分为多个类别。
可以理解的是，在图像信号处理器ISP中，包含多个功能不同的模块，不同的模块具有不同的参数，因此在考虑ISP内部模块的特性的情况下，可以将ISP参数划分为多个类别。
可以采用多种方法将ISP参数划分为多个类别，本申请实施例对此不做具体限定。
作为一种可实现的方式，可以根据先对ISP中的模块进行分类，然后将同一种类的模块中的参数划分为同一类别。
相应地，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
例如，根据ISP中各模块的人工调参经验，将ISP参数划分为全局参数和局部参数两大类。
该人工调参经验为：将ISP中需要依据整体图像信息来调整的参数划分为全局参数，将ISP中仅需依据局部图像信息来调整的参数划分为局部参数。
示例性地，多个类别的图像信号处理器参数包括全局参数和局部参数，其中，全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
在执行步骤101，会将多个类别的图像信号处理器参数输入至神经网络模型内进行训练。
步骤102，通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据。
原始图像数据可以理解为镜头采集到的未经处理的图像数据。
一般情况下，特征数据采用向量或矩阵表示。
对于原始图像数据和ISP参数，提取特征数据的方法可以不同。
例如，对于原始图像数据(即RAW数据)，可以通过一系列卷积运算提取数据维度为W×H×C的特征数据FRAW，其中，W、H、C分别为卷积层的宽、高、通道数。
对于ISP参数，通过一系列全连接运算提取数据维度为1×L的特征数据FISP，L可以表示参数的数量。
步骤103，通过神经网络模型按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法。
其中，多种融合方法可以相同，也可以不同。
通常情况下，对于不同类别的ISP参数的特征数据，会按照不同的融合方法将其与原始图像数据的特征数据融合。
本申请实施例对融合方法的具体内容不做限定，具体可以根据实际需要进行调整。
下面以前文中的全局参数的特征数据和局部参数的特征数据为例，对融合过程进行说明。
具体地，全局参数的特征数据的融合过程包括：首先将每个通道的原始图像数据的特征数据做全局池化得到各通道权重值ω，通道权重值ω的维度为1×C；然后将全局参数的特征数据映射至1×C维度，并与通道权重值ω进行点乘运算，得到新的通道权重值ωnew；最后将新的通道权重值ωnew中每个通道的权重与原始图像数据的特征数据FRAW相乘，得到一路路融合特征数据。
局部参数的特征数据的融合过程包括：首先将局部参数的特征数据FISP复制扩充至维度为W×H×L，记为
将扩充后的ISP参数的特征数据
与原始图像数据的特征数据FRAW在通道维度上进行拼接，得到新的特征数FRAW&ISP据，新的特征数据FRAW&ISP的维度为W×H×(C+L)。然后采用一个1×1的卷积将新的特征数据FRAW&ISP降维至W×H×C。
步骤104，通过神经网络模型根据多个类别的融合特征数据，得到第一RGB图像。
需要说明的是，根据功能的不同可以将神经网络模型划分为不同的模块，例如，神经网络模型包括：特征提取模块、特征融合模块和输出模块，分别用于步骤102至步骤104的实现。
为了便于理解，下面提供了神经网络的一种具体的结构。
具体地，图3为神经网络模型的整体框架示意图。如图3所示，神经网络模型的主干部分由4个特征融合模块(P-SER)串联构成，除此之外，在图3中，Conv表示卷积模块，Set表示通道残差模块，ISP Params表示ISP参数。下面主要对特征融合模块进行介绍。
图4为图3中的特征融合模块的结构示意图。在图4中，图标
表示将局部参数(local params)先扩张再拼接至特征数据W×H×C的通道维度上，FC表示将全局参数的特征数据映射至1×C维度，图标
表示向量按元素点乘，Scale操作表示每个通道的特征图乘以其对应的权重系数，Relu表示激活函数，Global pooling表示全局池化，Conv表示卷积，BN表示正则化，feature map表示特征图。
图5为图4中的特征图的上采样和下采样所使用的方法的示意图。其中，Conv表示卷积，stride表示步长，Maxpool表示最大值池化，BN表示正则化，Relu表示激活函数，Bilinear interpolation表示双线性差值，Down Sampling表示上采样，Up Sampling表示下采样。
步骤105，根据第一RGB图像和第二RGB图像对神经网络模型的参数进行调整，第二RGB图像是图像信号处理器根据输入的原始图像数据的特征数据输出的。
步骤105的实现方式有多种，本申请实施例对此不做具体限定。
作为一种可实现的方式，步骤105包括：计算第一RGB图像和第二RGB图像的第二一致性损失值；根据第二一致性损失值对神经网络模型的参数进行调整。
具体地，可以采用损失函数计算第一RGB图像和第二RGB图像的第二一致性损失值，第二一致性损失值用于表示第一RGB图像和第二RGB图像中各个像素点的一致性。
然后根据第二一致性损失值可以计算神经网络模型的回传梯度值，然后根据该回传梯度值更新神经网络模型的参数。
例如，可以采用公式Limage＝a0×l1(RGBproxy，RGBISP)+a1×lSSIM(RGBproxy，RGBISP)计算第二一致性损失值，其中，a0，a1为超参数，l1为像素点之间的1范数损失，lSSIM为图像结构相似性(Structural Similarity，SSIM)损失，RGBproxy表示第一图像，RGBISP表示第二图像。
作为另一种可实现的方式，如图6所示，步骤105包括：
步骤201，将第一RGB图像输入到视觉感知任务网络模型中，以得到第一感知结果；
步骤202，将第二RGB图像输入到视觉感知任务网络模型中，以得到第二感知结果；
步骤203，根据第一感知结果和第二感知结果对神经网络模型的参数进行调整。
对应不同的视觉感知任务，感知结果不同。例如，当视觉感知任务为目标检测时，感知结果则可以为目标的位置，当视觉感知任务为全景分割时，感知结果则可以为全景分割的结果。
作为一种可实现的方式，步骤203包括：计算第一感知结果和第二感知结果的第一一致性损失值；根据第一一致性损失值对神经网络模型的参数进行调整。
具体地，可以交叉熵或损失函数计算第一一致性损失值，根据第一一致性损失值可以计算梯度并进行梯度回传，从而实现对神经网络模型的参数的调整。
例如，可以根据公式
计算第一一致性损失值，其中，下标i表示图像中第i个目标的检测结果，
神经网络模型输出的RGB图像对应的感知结果，
表示ISP输出的RGB图像对应的感知结果。
在该实施例中，引入了下游的视觉感知任务网络模型，并通过第一RGB图像和第二RGB图像在视觉感知任务网络模型中的感知结果的一致性对神经网络模型的参数进行调整，使得神经网络模型能够更好地拟合ISP，即神经网络模型与ISP具有一致的视觉感知性能，从而进一步提高利用该神经网络模型进行参数调整后的ISP在视觉感知任务上的性能。
基于前文说明可知，可以通过第一一致性损失值对神经网络模型的参数进行调整，也可以通过第二一致性损失值对神经网络模型的参数进行调整。除此之外，还可以将二者结合，以对神经网络模型的参数进行调整。
具体地，步骤203包括：根据第一一致性损失值和第二一致性损失值，对神经网络模型的参数进行调整。
例如，可以将第一一致性损失值和第二一致性损失值累加，然后根据累加结果对神经网络模型的参数进行调整。
在本申请实施例中，考虑到ISP中不同模块具有不同的参数，所以对ISP参数进行了分类，并通过神经网络模型按照不同的融合方法将不同的ISP参数的特征数据分别与原始图像数据的特征数据融合，然后根据融合后的特征数据输出第一RGB图像，从而提高了神经网络模型拟合ISP的效果。
基于上文说明可知，训练神经网络模型的过程可以概括为图3所示的流程。
具体地，如图7所示，先执行ISP参数分类的操作(即步骤101)，然后将分类后的ISP参数和RAW数据输入到神经网络模型，在图3中，神经网络模型采用Proxy网络表示。
在神经网络模型内部，先进行ISP参数特征提取和RAW特征提取(即步骤102)，然后进行特征融合(即步骤103)。例如，类别1的ISP参数的特征和RAW特征输入到ISP参数类别1对应的特征融合模块中，以实现特征融合；类别2的ISP参数的特征和RAW特征输入到ISP参数类别2对应的特征融合模块中，以实现特征融合。最后，将融合后的特征输入到输入层，由输入层输出RGB图像(即步骤104)。
另外，将ISP参数和RAW参数输入到ISP中，得到ISP输出的RGB图像，然后利用ISP输出的RGB图像和神经网路模型输出的RGB图像计算一致性。
此后，将ISP输出的RGB图像和神经网路模型输出的RGB图像都输入到下游视觉感知任务网络，得到与ISP输出的RGB图像对应的感知结果，以及与神经网路模型输出的RGB图像对应的感知结果，并根据这两个感知结果再次计算一致性。
最终，根据两次一致性的计算结果调整神经网络模型的参数。
需要说明的是，在实际训练过程中，可以设定迭代次数，然后从多组ISP参数中随机选取一组ISP参数，执行上述步骤101至步骤105；然后，再从多组ISP参数中随机选取另一组ISP参数，重复执行上述步骤101至步骤105；以此类推，直到达到设定的迭代次数，训练停止。
上面先对训练神经网络模型的方法进行介绍，下面基于训练后的神经网络模型，对本申请实施例提供的参数调整的方法进行介绍。
具体地，如图8所示，本申请实施例提供了一种参数调整的方法的一个实施例，方法包括：
步骤301，将图像信号处理器参数划分为多个类别。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
多个类别的图像信号处理器参数可以包括全局参数和局部参数，其中，全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
步骤302，通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据。
步骤303，通过神经网络模型按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法。
步骤304，通过神经网络模型根据多个类别的融合特征数据，得到第一RGB图像。
需要说明的是，步骤301至步骤304与步骤101至步骤104类似，具体可参照步骤101至步骤104的相关说明进行理解。
步骤305，根据参数调整策略和第一RGB图像对图像信号处理器参数进行调整。
需要说明的是，本申请实施例对参数调整策略的内容不做具体限定。
例如，参数调整策略可以指示每次迭代过程中各个ISP参数的调整步长。
再例如，参数调整策略可以是分类型分段调整的策略。具体地，以前文中的全局参数和局部参数为例，参数调整策略可以指示在前X次迭代过程中调整全局参数，保持局部参数不变；在第X+1次迭代过程中至第Y次迭代过程中调整局部参数，或调整局部参数和全局参数，其中，X为正整数，Y为大于X的正整数。
当在第X+1次迭代过程中至第Y次迭代过程中调整局部参数和全局参数时，可以主要对局部参数进行调整，采用较小的学习率对全局参数进行微调。
作为一种可实现的方式，步骤305包括：
将第一RGB图像输入到视觉感知任务网络模型中，以得到感知结果；
根据感知结果和感知任务标签计算损失值；
根据参数调整策略和损失值对图像信号处理器参数进行调整。
其中，感知任务标签可以理解为对于原始图像数据，人工标注的感知任务的标签，例如，原始图像数据是车载摄像头拍摄的图像数据，感知任务为目标检测，感知任务标签则可以为其他车辆在车载摄像头拍摄的图像数据中的位置。
具体地，根据损失值可以计算梯度，然后进行梯度回传，最终根据参数调整策略调整ISP参数。
基于上文说明可知，调整参数的过程可以概括为图9所示的流程。
具体地，如图9所示，先执行ISP参数分类的操作(即步骤301)，然后将分类后的ISP参数和RAW数据输入到神经网络模型，在图3中，神经网络模型采用Proxy网络表示。
在神经网络模型内部，先进行ISP参数特征提取和RAW特征提取(即步骤302)，然后进行特征融合(即步骤303)。例如，类别1的ISP参数的特征和RAW特征输入到ISP参数类别1对应的特征融合模块中，以实现特征融合；类别2的ISP参数的特征和RAW特征输入到ISP参数类别2对应的特征融合模块中，以实现特征融合。最后，将融合后的特征输入到输入层，由输入层输出RGB图像(即步骤304)。
然后，将神经网路模型输出的RGB图像输入到下游视觉感知任务网络，得到与神经网路模型输出的RGB图像对应的感知结果，并根据感知结果和感知任务标签计算损失值。
最终，根据计算损失值计算梯度，然后进行梯度回传，并结合ISP调参策略进行ISP参数的参数更新操作。
需要说明的是，在实际训练过程中，可以设定迭代次数，然后选取作为样本的原始图像数据，执行上述步骤101至步骤105；然后，再重新选取作为样本的原始图像数据，重复执行上述步骤101至步骤105；以此类推，直到达到设定的迭代次数，停止ISP参数的调整。
为了体现本申请实施例提供的方法的效果，下面通过一应用例将本申请实施例提供的方法的效果与已有的方法的效果进行对比。
具体地，如下表所示，对于随机的1000组ISP参数，下表1示出了采用本申请实施例提供的方法训练得到的神经网络模型拟合性能的平均结果，以及采用已有的方法(UNet-based方法)训练得到的神经网络模型拟合性能的平均结果。
表1
| 神经网络模型 | PSNR/dB | SSIM | 相关性 | 参数量/M | 计算量/G |
| UNet-based | 28.24 | 0.921 | 0.976 | 4.49 | 19.1 |
| 本申请实施例 | 29.63 | 0.950 | 0.996 | 0.29 | 17.9 |
其中，PSNR表示神经网络模型输出的RGB图像与ISP输出的RGB图像的峰值信噪比(Peak Signal to Noise Ratio)，SSIM表示神经网络模型输出的RGB图像与ISP输出的RGB图像的结构相似性(Structural Similarity)，相关性表示利用神经网络模型输出的RGB图像得到的感知结果与利用ISP输出的RGB图像得到的感知结果的相关性，参数量表示神经网络模型中的参数的数量，计算量表示神经网络模型在输出RGB图像的过程中所需的计算量。
由此可以看出，从峰值信噪比、结构相似性和相关性维度可以看出，相比于采用UNet-based方法训练得到的神经网络模型，采用本申请实施例提供的方法训练得到的神经网络模型的拟合性能更优，并且，采用本申请实施例提供的方法训练得到的神经网络模型的参数量和计算量更少。
此外，图10还示出了采用本申请实施例提供的参数调整方法和已有的参数调整方法的性能收益情况。具体地，如图10所示，可以看出，本申请实施例提供的参数调整方法的收敛曲线更加平滑稳定，且收敛后的感知性能误差更小。
如图11所示，本申请提供了一种参数调整的装置的一个实施例，该实施例包括：基于神经网络模型的处理单元401，用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；基于神经网络模型的处理单元401，用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；基于神经网络模型的处理单元401，用于根据多个类别的融合特征数据，得到第一RGB图像；调整单元402，用于根据参数调整策略和第一RGB图像对图像信号处理器参数进行调整。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
作为一种可实现的方式，多个类别的图像信号处理器参数包括全局参数和局部参数，其中，全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
作为一种可实现的方式，参数调整策略指示在前X次迭代过程中调整全局参数，在第X+1次迭代过程中至第Y次迭代过程中调整局部参数，或调整局部参数和全局参数，其中，X为正整数，Y为大于X的正整数。
作为一种可实现的方式，调整单元402，用于将第一RGB图像输入到视觉感知任务网络模型中，以得到感知结果；根据感知结果和感知任务标签计算损失值；根据参数调整策略和损失值对图像信号处理器参数进行调整。
其中，以上各单元的具体实现、相关说明以及技术效果请参考方法部分的相关描述。
如图12所示，本申请提供了一种训练神经网络模型的装置的一个实施例，该实施例包括：基于神经网络模型的处理单元501，用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；基于神经网络模型的处理单元501，用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；基于神经网络模型的处理单元501，用于根据多个类别的融合特征数据，得到第一RGB图像；调整单元502，用于根据第一RGB图像和第二RGB图像对神经网络模型的参数进行调整，第二RGB图像是图像信号处理器根据输入的原始图像数据的特征数据输出的。
作为一种可实现的方式，图像信号处理器参数的多个类别是根据图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
作为一种可实现的方式，多个类别的图像信号处理器参数包括全局参数和局部参数，其中，全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
作为一种可实现的方式，调整单元502，用于将第一RGB图像输入到视觉感知任务网络模型中，以得到第一感知结果；将第二RGB图像输入到视觉感知任务网络模型中，以得到第二感知结果；根据第一感知结果和第二感知结果对神经网络模型的参数进行调整。
作为一种可实现的方式，调整单元502，用于计算第一感知结果和第二感知结果的第一一致性损失值；根据第一一致性损失值对神经网络模型的参数进行调整。
作为一种可实现的方式，调整单元502，还用于计算第一RGB图像和第二RGB图像的第二一致性损失值；根据第一一致性损失值和第二一致性损失值，对神经网络模型的参数进行调整。
作为一种可实现的方式，神经网络模型包括：特征提取模块、特征融合模块和输出模块；特征提取模块用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；特征融合模块用于按照多种融合方法将多个类别的图像信号处理器参数的特征数据，分别与原始图像数据的特征数据融合；图像输出模块用于根据多个类别的融合特征数据，得到第一RGB图像。
请参阅图13，图13为本申请实施例提供的计算机设备的一种结构示意图，该计算机设备通常是服务器，具体用于实现图11对应实施例中参数调整的装置的功能或图12对应实施例中训练神经网络模型的装置的功能；计算机设备1800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1822(例如，一个或一个以上处理器)和存储器1832，一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中，存储器1832和存储介质1830可以是短暂存储或持久存储。存储在存储介质1830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器1822可以设置为与存储介质1830通信，在计算机设备1800上执行存储介质1830中的一系列指令操作。
计算机设备1800还可以包括一个或一个以上电源1826，一个或一个以上有线或无线网络接口1850，一个或一个以上输入输出接口1858，和/或，一个或一个以上操作系统1841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本申请实施例中，中央处理器1822，可以用于执行图11对应实施例中参数调整的装置执行的参数调整的方法或图12对应实施例中训练神经网络模型的装置执行的训练神经网络模型的方法。
本申请实施例还提供一种芯片，包括一个或多个处理器。所述处理器中的部分或全部用于读取并执行存储器中存储的计算机程序，以执行前述各实施例的方法。
可选地，该芯片该包括存储器，该存储器与该处理器通过电路或电线与存储器连接。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。
在一些实现方式中，所述一个或多个处理器中还可以有部分处理器是通过专用硬件的方式来实现以上方法中的部分步骤，例如涉及神经网络模型的处理可以由专用神经网络处理器或图形处理器来实现。
本申请实施例提供的方法可以由一个芯片实现，也可以由多个芯片协同实现。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质用于储存为上述计算机设备所用的计算机软件指令，其包括用于执行为计算机设备所设计的程序。
该计算机设备可以如前述图11对应实施例中参数调整的装置的功能或图12对应实施例中训练神经网络模型的装置的功能。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现前述各个实施例所示的方法中的流程。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (18)
1.一种参数调整的方法，其特征在于，所述方法包括：
通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；
通过所述神经网络模型按照多种融合方法将所述多个类别的图像信号处理器参数的特征数据，分别与所述原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；
通过所述神经网络模型根据所述多个类别的融合特征数据，得到第一RGB图像；
根据参数调整策略和所述第一RGB图像对所述图像信号处理器参数进行调整。
2.根据权利要求1所述的方法，其特征在于，所述图像信号处理器参数的多个类别是根据所述图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
3.根据权利要求2所述的方法，其特征在于，所述多个类别的图像信号处理器参数包括全局参数和局部参数，其中，所述全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，所述局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
4.根据权利要求3所述的方法，其特征在于，所述参数调整策略指示在前X次迭代过程中调整所述全局参数，在第X+1次迭代过程中至第Y次迭代过程中调整所述局部参数，或调整局部参数和所述全局参数，其中，X为正整数，Y为大于X的正整数。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据参数调整策略和所述第一RGB图像对所述图像信号处理器参数进行调整包括：
将所述第一RGB图像输入到视觉感知任务网络模型中，以得到感知结果；
根据所述感知结果和感知任务标签计算损失值；
根据参数调整策略和所述损失值对所述图像信号处理器参数进行调整。
6.一种训练神经网络模型的方法，其特征在于，包括：
通过神经网络模型提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；
通过所述神经网络模型按照多种融合方法将所述多个类别的图像信号处理器参数的特征数据，分别与所述原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；
通过神经网络模型根据所述多个类别的融合特征数据，得到第一RGB图像；
根据所述第一RGB图像和第二RGB图像对所述神经网络模型的参数进行调整，所述第二RGB图像是图像信号处理器根据输入的所述原始图像数据的特征数据输出的。
7.根据权利要求6所述的方法，其特征在于，所述图像信号处理器参数的多个类别是根据所述图像信号处理器参数对应的图像信号处理器中的模块的功能划分的。
8.根据权利要求7所述的方法，其特征在于，所述多个类别的图像信号处理器参数包括全局参数和局部参数，其中，所述全局参数包括图像信号处理器中颜色校正模块的参数、Gamma校正模块的参数和对比度增强模块的参数中的至少一个，所述局部参数包括图像信号处理器中去噪模块的参数和锐化模块的参数中的至少一个。
9.根据权利要求6至8中任意一项所述的方法，其特征在于，所述根据所述第一RGB图像和第二RGB图像对所述神经网络模型的参数进行调整包括：
将所述第一RGB图像输入到视觉感知任务网络模型中，以得到第一感知结果；
将所述第二RGB图像输入到视觉感知任务网络模型中，以得到第二感知结果；
根据所述第一感知结果和所述第二感知结果对所述神经网络模型的参数进行调整。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第一感知结果和所述第二感知结果对所述神经网络模型的参数进行调整包括：
计算所述第一感知结果和所述第二感知结果的第一一致性损失值；
根据所述第一一致性损失值对所述神经网络模型的参数进行调整。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
计算所述第一RGB图像和第二RGB图像的第二一致性损失值；
所述根据所述第一一致性损失值对所述神经网络模型的参数进行调整包括：
根据所述第一一致性损失值和第二一致性损失值，对所述神经网络模型的参数进行调整。
12.根据权利要求6至11中任意一项所述的方法，其特征在于，所述神经网络模型包括：特征提取模块、特征融合模块和输出模块；
所述特征提取模块用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；
所述特征融合模块用于按照多种融合方法将所述多个类别的图像信号处理器参数的特征数据，分别与所述原始图像数据的特征数据融合；
所述图像输出模块用于根据所述多个类别的融合特征数据，得到第一RGB图像。
13.一种参数调整的装置，其特征在于，所述装置包括：
基于神经网络模型的处理单元，用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；
所述基于神经网络模型的处理单元，用于按照多种融合方法将所述多个类别的图像信号处理器参数的特征数据，分别与所述原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；
所述基于神经网络模型的处理单元，用于根据所述多个类别的融合特征数据，得到第一RGB图像；
调整单元，用于根据参数调整策略和所述第一RGB图像对所述图像信号处理器参数进行调整。
14.一种训练神经网络模型的装置，其特征在于，包括：
基于神经网络模型的处理单元，用于提取原始图像数据的特征数据，以及多个类别的图像信号处理器参数的特征数据；
所述基于神经网络模型的处理单元，用于按照多种融合方法将所述多个类别的图像信号处理器参数的特征数据，分别与所述原始图像数据的特征数据融合，以得到多路融合特征数据，每个类别的图像信号处理器参数的特征数据对应一种融合方法；
所述基于神经网络模型的处理单元，用于根据所述多个类别的融合特征数据，得到第一RGB图像；
调整单元，用于根据所述第一RGB图像和第二RGB图像对所述神经网络模型的参数进行调整，所述第二RGB图像是图像信号处理器根据输入的所述原始图像数据的特征数据输出的。
15.一种计算机设备，其特征在于，所述计算机设备包括：存储器和处理器，其中，N为正整数；
所述处理器，用于执行存储器中存储的计算机程序或指令，以使所述计算机设备执行如权利要求1-12中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质具有程序指令，当所述程序指令被直接或者间接执行时，使得如权利要求1至12中任一所述的方法被实现。
17.一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，所述处理器用于执行存储器中存储的计算机程序或指令，当所述计算机程序或所述指令在所述至少一个处理器中执行时，使得如权利要求1至12中任一所述的方法被实现。
18.一种计算机程序产品，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行权利要求1至12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210612501.XA CN115190226B (zh) | 2022-05-31 | 2022-05-31 | 参数调整的方法、训练神经网络模型的方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210612501.XA CN115190226B (zh) | 2022-05-31 | 2022-05-31 | 参数调整的方法、训练神经网络模型的方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115190226A true CN115190226A (zh) | 2022-10-14 |
| CN115190226B CN115190226B (zh) | 2024-04-16 |
Family
ID=83513894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210612501.XA Active CN115190226B (zh) | 2022-05-31 | 2022-05-31 | 参数调整的方法、训练神经网络模型的方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115190226B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204180383U (zh) * | 2014-09-23 | 2015-02-25 | 广东美的制冷设备有限公司 | 电路板组件 |
| CN110414063A (zh) * | 2019-06-29 | 2019-11-05 | 万翼科技有限公司 | 模型修复方法及相关产品 |
| US20200097772A1 (en) * | 2018-09-25 | 2020-03-26 | Honda Motor Co., Ltd. | Model parameter learning device, control device, and model parameter learning method |
| CN111522944A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
| CN113168673A (zh) * | 2019-04-22 | 2021-07-23 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
| US20210297582A1 (en) * | 2020-03-23 | 2021-09-23 | Samsung Electronics Co., Ltd. | Method and System for Customizing Camera Parameters |
| CN114078195A (zh) * | 2020-08-07 | 2022-02-22 | 华为技术有限公司 | 分类模型的训练方法、超参数的搜索方法以及装置 |
| CN114332500A (zh) * | 2021-09-14 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 图像处理模型训练方法、装置、计算机设备和存储介质 |
| CN114492152A (zh) * | 2020-10-26 | 2022-05-13 | 阿里巴巴集团控股有限公司 | 更新网络模型的方法、图像分类的方法、语言建模的方法 |
-
2022
- 2022-05-31 CN CN202210612501.XA patent/CN115190226B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204180383U (zh) * | 2014-09-23 | 2015-02-25 | 广东美的制冷设备有限公司 | 电路板组件 |
| US20200097772A1 (en) * | 2018-09-25 | 2020-03-26 | Honda Motor Co., Ltd. | Model parameter learning device, control device, and model parameter learning method |
| CN113168673A (zh) * | 2019-04-22 | 2021-07-23 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
| CN110414063A (zh) * | 2019-06-29 | 2019-11-05 | 万翼科技有限公司 | 模型修复方法及相关产品 |
| US20210297582A1 (en) * | 2020-03-23 | 2021-09-23 | Samsung Electronics Co., Ltd. | Method and System for Customizing Camera Parameters |
| CN111522944A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
| CN114078195A (zh) * | 2020-08-07 | 2022-02-22 | 华为技术有限公司 | 分类模型的训练方法、超参数的搜索方法以及装置 |
| CN114492152A (zh) * | 2020-10-26 | 2022-05-13 | 阿里巴巴集团控股有限公司 | 更新网络模型的方法、图像分类的方法、语言建模的方法 |
| CN114332500A (zh) * | 2021-09-14 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 图像处理模型训练方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115190226B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| EP4109392A1 (en) | Image processing method and image processing device | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN109389667B (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
| CN112862681A (zh) | 一种超分辨率方法、装置、终端设备及存储介质 | |
| CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| CN115115522A (zh) | 一种货架商品图像拼接方法及系统 | |
| CN116757988A (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| Zheng et al. | Joint residual pyramid for joint image super-resolution | |
| CN115190226B (zh) | 参数调整的方法、训练神经网络模型的方法及相关装置 | |
| CN112734655B (zh) | 一种基于卷积神经网络图像对crm增强的低光图像增强方法 | |
| CN111815529B (zh) | 一种基于模型融合和数据增强的低质图像分类增强方法 | |
| CN114078096A (zh) | 图像去模糊方法、装置和设备 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN110647898B (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |