CN115512196A - 一种用于图像处理的方法、电子设备、装置及计算系统 - Google Patents

一种用于图像处理的方法、电子设备、装置及计算系统 Download PDF

Info

Publication number
CN115512196A
CN115512196A CN202110624005.1A CN202110624005A CN115512196A CN 115512196 A CN115512196 A CN 115512196A CN 202110624005 A CN202110624005 A CN 202110624005A CN 115512196 A CN115512196 A CN 115512196A
Authority
CN
China
Prior art keywords
network
sub
module
neural network
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110624005.1A
Other languages
English (en)
Inventor
赵娟萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110624005.1A priority Critical patent/CN115512196A/zh
Publication of CN115512196A publication Critical patent/CN115512196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种用于图像处理的方法、电子设备、装置及计算系统，该方法包括：利用第一子网络对原始RAW图像进行第一级图像特征提取，输出中间处理结果；利用第二子网络对中间处理结果进行第二级图像特征提取，输出sRGB图像；第一子网络和第二子网络为UNET网络，第一子网络和第二子网络是基于神经网络结构搜索自动搜索到的。这样，将神经网络结构搜索技术应用到两阶段ISP图像处理中，得到一种更轻量化的图像处理神经网络，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。而且能够充分利用人工智能技术的优势，降低图像处理过程中的人工干预，优化图像处理器性能，提高图像处理效果。

Description

一种用于图像处理的方法、电子设备、装置及计算系统
技术领域
本申请涉及图像处理技术，尤其涉及一种用于图像处理的方法、电子设备、装置及计算系统。
背景技术
当前，移动终端的拍照功能越来越完善，拍照性能越来越接近单反相机，这主要是由于在移动终端系统内内置的图像信号处理器(Image Signal Processor，ISP)发挥了重要作用。
传统的ISP成像处理流程由多个级联的图像处理模块分阶段逐步完成，它们分别是：图像去马赛克、图像降噪、白平衡与颜色空间变换、色彩增强、色调映射。这些级联的步骤能够将原始RAW图像映射到sRGB(standard Red Green Blue)通用色彩标准，帮助人们获得了更加符合人眼视觉特性的彩色图像。
近几年来，在人工智能(Artificial Intelligence，AI)技术快速发展的背景下，随着图像的大数据优势日益凸显，研究人员开始考虑采用卷积神经网络(ConvolutionalNeural Network，CNN)等AI技术代替传统的多阶段分级ISP成像处理构架。
然而，现有基于AI技术的ISP成像处理模型的性能较低且模型复杂度较高，训练出的模型很难满足实际应用需求，亟待优化。
发明内容
为解决上述技术问题，本申请实施例期望提供一种用于图像处理的方法、电子设备、装置及计算系统。
本申请的技术方案是这样实现的：
第一方面，提供了一种用于图像处理的方法，包括：
构建图像处理神经网络；其中，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
将原始RAW图像输入所述图像处理神经网络；
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
第二方面，提供了一种电子设备，包括：
图像处理神经网络，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
处理器，用于利用所述图像处理神经网络对原始RAW图像进行处理，所述处理包括：
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
第三方面，提供了一种用于图像处理的装置，包括：
构建模块，用于构建图像处理神经网络；其中，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
输入模块，用于将原始RAW图像输入所述图像处理神经网络；
处理模块，用于利用所述图像处理神经网络对所述原始RAW图像进行处理，所述处理包括：
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
第四方面，提供了一种计算系统，所述计算系统包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第五方面，还提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种用于图像处理的方法、电子设备、装置及计算系统，该方法包括：构建图像处理神经网络；其中，图像处理神经网络包括第一子网络和第二子网络，第一子网络和第二子网络为UNET网络，第一子网络和第二子网络是基于神经网络结构搜索自动搜索到的；利用第一子网络对原始RAW图像进行第一级图像特征提取，输出中间处理结果；利用第二子网络对中间处理结果进行第二级图像特征提取，输出sRGB图像。这样，将神经网络结构搜索技术应用到两阶段ISP图像处理中，得到一种更轻量化的图像处理神经网络，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。而且能够充分利用人工智能技术的优势，降低图像处理过程中的人工干预，优化图像处理器性能，提高图像处理效果。
附图说明
图1为本申请实施例中用于图像处理的方法的流程示意图；
图2为本申请实施例中图像处理神经网络的组成结构示意图；
图3为本申请实施例中UNET网络的组成结构示意图；
图4为本申请实施例中图像处理神经网络构建方法的流程示意图；
图5为本申请实施例中NAS搜索流程示意图；
图6为本申请实施例中第一搜索空间的组成结构示意图；
图7为本申请实施例中第二搜索空间的组成结构示意图；
图8为本申请实施例中第二子网络的组成结构示意图；
图9为本申请实施例中电子设备的组成结构示意图；
图10为本申请实施例中用于图像处理的装置的组成结构示意图；
图11为本申请实施例中一种计算系统的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例中用于图像处理的方法的流程示意图，如图1所示，该方法具体可以包括：
步骤101：构建图像处理神经网络；其中，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
图2为本申请实施例中图像处理神经网络的组成结构示意图，如图2所示，图像处理神经网络20包括：第一子网络201和第二子网络202；第一子网络201包括：输入模块、三个下采样模块、三个上采样模块和输出模块，第二子网络202包括：输入模块、三个下采样模块、三个上采样模块和输出模块。RAW图像输入到第一子网络201进行第一级特征提取，输出中间结果，中间结果再输入到第二子网络202进行第二级特征提取，输出最终的sRGB图像。
具体地，第一子网络和第二子网络为UNET网络。UNET是一种深度学习框架，通常包含编码过程和解码过程，输入和输出的尺寸保持不变。
图3为本申请实施例中UNET网络的组成结构示意图，如图3所示，UNET网络分为两部分：UNET子网络左边为编码器(Encoder)，右边为解码器(Decoder)，编码器包含下采样(Down Sampling)模块，解码器包含上采样(Up Sampling)模块，每层下采样模块和上采样模块之间跳跃连接，RAW图像经过编码器通过卷积层(比如Conv+BN+LReLU)和下采样层(比如Conv with stride＝2/BN/LreLU)来降低图像尺寸，提取一些浅显的特征。下采样得到的特征图经过卷积层(比如Conv+BN+LReLU)进行恒等映射(Identity mapping)，之后经过解码器通过反卷积层(比如Transpose_Conv+BN+LReLU)和上采样层(包含上采样算子)来获取一些深层次的特征，每层下采样模块和上采样模块中间通过跳跃连接的方式，将编码阶段获得的特征图同解码阶段获得的特征图结合在一起，结合深层次和浅层次的特征，细化图像。
需要说明的是，图3中UNET网络经过三次下采样和三次上采样，实际应用中下采样和上采样次数可以根据图像处理需求灵活设定，本申请实施例不做具体限定。
所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的。神经网络结构搜索(Neural Architecture Search，NAS)的核心思想是使用搜索算法来发现用于解决特定问题所需要的神经网络结构。
在一些实施例中，所述构建图像处理神经网络包括：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述第一子网络的编码器，利用至少一个所述第一上采样模块构建所述第一子网络的解码器，得到所述第一子网络；利用至少一个所述第一下采样模块构建所述第二子网络的编码器，利用至少一个所述第一上采样模块构建所述第二子网络的解码器，得到所述第二子网络；级联所述第一子网络和所述第二子网络，得到所述图像处理神经网络。
由于UNET网络中可能包含相同结构的多个下采样模块和上采样模块，且第一子网络和第二子网络共享下采样模块和上采样模块。因此只需要利用NAS搜索到最小化单元，利用NAS搜索到的第一下采样模块和第一上采样模块，替换图3中UNET网络中的下采样模块和上采样模块，得到第一子网络和第二子网络。如此，便可得到一种更轻量化的图像处理神经网络，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
这里，NAS在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本申请在损失函数中引入了一些硬件相关的约束，即约束了有限的网络参数、算子延时和/或浮点运算量，使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3；
其中，所述参数数量是指所述第一子网络或所述第二子网络的所有网络参数的数量，所述时延是指所述第一子网络或所述第二子网络在推理过程中所产生的网络时延，所述浮点运算量是所述第一子网络或所述第二子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
在一些实施例中，损失函数为：argmin(L1+Lcd)；其中，L1为范数损失项，Lcd为颜色色度差异损失项。
在一些实施例中，所述得到所述图像处理神经网络还包括：获取训练数据集；利用所述训练数据集对所述图像处理神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。也就是说，在基于神经网络结构搜索自动搜索到的图像处理神经网络的第一子网络和第二子网络之后，还需要对图像处理神经网络进行训练，得到最终可用于图像处理的网络模型。
步骤102：将原始RAW图像输入所述图像处理神经网络；
这里，原始RAW图像就是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器或者电荷耦合器件(Charge Coupled Device，CCD)图像传感器将捕捉到的光源信号转化为数字信号的原始数据。
需要说明的是，本申请提供的图像处理神经网络可以针对单帧RAW图像进行映射，也可以针对视频的多帧RAW图像进行映射。
步骤103：利用第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
步骤104：利用第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
本申请实施例提供的用于图像处理的方法应用于图像信号处理器(Image SignalProcessor，ISP)，ISP配置在具备拍摄功能的电子设备，ISP对CMOS或者CCD图像传感器采集的原始RAW图像映射为sRGB图像，降低了ISP图像处理过程中人工的干预。能够充分利用人工智能技术的优势，降低图像处理过程中的人工干预，优化图像处理器性能，提高图像处理效果。
在上述实施例的基础上，对图像处理神经网络构建进行进一步的举例说明。图4为本申请实施例中图像处理神经网络构建方法的流程示意图，如图4所示，该方法具体包括：
步骤401：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；
神经网络结构搜索(Neural Architecture Search，NAS)的核心思想是使用搜索算法来发现用于解决特定问题所需要的神经网络结构。基于NAS搜索第一下采样模块和第一上采样模块，由于UNET网络中可能包含相同结构的多个下采样模块和上采样模块，因此只需要利用NAS搜索到最小化单元，便可构建图像处理神经网络。
图5为本申请实施例中NAS搜索流程示意图，如图5所示，NAS主要由搜索空间、搜索策略、性能评估策略三部分组成。NAS的原理是给定一个搜索空间的候选神经网络结构集合，用某种搜索策略从中搜索出网络结构。对搜索到的网络结构进行性能评估，比如精度、速度等来度量性能，确定得到节点的参数以及节点之间最佳算子，得到性能最优的网络结构。实际应用中，搜索策略可以选择以下之一：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法。
在一些实施例中，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块包括：
预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
也就是说，在搜索下采样模块和上采样模块时，需要预先定义不同的搜索空间，包括网络节点数量和算子种类。示例性地，针对第一下采样模块，第一搜索空间包括可以选择3个或以上的网络节点、多个下采样算子和多个第一恒等映射算子。针对第一上采样模块，第一搜索空间包括可以选择3个或以上网络节点、多个上采样算子和多个第二恒等映射算子。
这里，下采样算子为卷积算子(比如Conv+BN+LReLU算子)，上采样算子为反卷积算子(比如Transpose_Conv+BN+LReLU算子)。第一恒等映射算子和第二恒等映射算子的选择可以完全相同或不同，恒等映射算子可以为比如conv+BN+LReLU算子，映射前后特征图尺寸不变。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3；
其中，所述参数数量是指所述第一子网络或所述第二子网络的所有网络参数的数量，所述时延是指所述第一子网络或所述第二子网络在推理过程中所产生的网络时延，所述浮点运算量是所述第一子网络或所述第二子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
这里，NAS在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本申请在损失函数中引入了一些硬件相关的约束，即约束了有限的网络参数、算子延时和浮点运算量，使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
在一些实施例中，损失函数为：argmin(L1+Lcd)；其中，L1为范数损失项，Lcd为颜色色度差异损失项。
需要说明的是，这里只是给出了一种搜索第一下采样模块和第一上采样模块时的损失函数，实际应用中还可以选择其他类型的损失函数，以及其他硬件约束条件。
图6为本申请实施例中第一搜索空间的组成结构示意图，如图6所示，NAS搜索的最小单位是一个网络节点(cell)，用圆圈表示，默认网络节点有两个输入和一个输出，具体的物理意义是特征图。箭头表示节点之间的算子(比如conv，pooling，zero等)，第一搜索空间包括三种下采样算子和三种第一恒等映射算子，相同线形不同灰度的箭头表示同种类型下的不同算子，NAS可以搜索到两个网络节点之间的最佳算子，当搜索完所有节点之间的最佳算子之后，得到下采样模型。
图7为本申请实施例中第二搜索空间的组成结构示意图，如图7所示，，NAS搜索的最小单位是一个网络节点(cell)，用圆圈表示，默认网络节点有两个输入和一个输出，具体的物理意义是特征图。箭头表示节点之间的算子(比如conv，pooling，zero等)，第二搜索空间包括三种上采样算子和三种第一恒等映射算子，相同线形不同灰度的箭头表示同种类型下的不同算子，NAS可以搜索到两个网络节点之间的最佳算子，当搜索完所有节点之间的最佳算子之后，得到上采样模型。
步骤402：利用至少一个所述第一下采样模块构建所述第一子网络的编码器，利用至少一个所述第一上采样模块构建所述第一子网络的解码器，得到所述第一子网络；
步骤403：利用至少一个所述第一下采样模块构建所述第二子网络的编码器，利用至少一个所述第一上采样模块构建所述第二子网络的解码器，得到所述第二子网络；
步骤404：级联第一子网络和第二子网络，得到所述图像处理神经网络；
需要说明的是，由于UNET网络中可能包含相同结构的多个下采样模块和上采样模块，因此只需要利用NAS搜索到最小化单元，便可构建图像处理神经网络。
图8为本申请实施例中第二子网络的组成结构示意图，如图8所示，利用NAS搜索到的第一下采样模块和第一上采样模块替换图3中的下采样模块和上采样模块，便得到本申请的第二子网络。第一子网络以同样方式构建。
而且，所述第一子网络还包括至少一个挤压和激励(Squeeze and Excitation，SE)模块；所述第一子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接；
所述第二子网络还包括至少一个挤压和激励SE模块；所述第二子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接。
SE模块对通道间的依赖关系进行建模，给不同通道赋不同的权重，学习每个通道的重要程度，增强有用的特征抑制无用的特征。使用SE模块代替跳跃连接模块，只会增加很小的计算消耗，但却可以极大地提升网络性能，能够使网络易于部署在手机等移动终端。
在一些实施例中，所述第一子网络和所述第二子网络还包括输入模块和输出模块，所述输入模块位于首个第一下采样模块之前，所述输出模块位于最后一个第一上采样模块之后，所述输入模块和所述输出模块用于调整所述图像处理神经网络输出的sRGB图像的分辨率。
由于sRGB域的图像分辨率通常是原始RAW域图像分辨的2倍，因此为了调整图像处理神经网络输出的sRGB图像的分辨率。示例性的，所述输入模块包括步长为2的卷积算子；所述输出模块包括Depth2Space算子。
步骤405：获取训练数据集；
步骤406：利用所述训练数据集对所述图像处理神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。
在一些实施例中，所述图像处理神经网络的损失函数为：argmin(L1+Lcd)；其中，L1为范数损失项，Lcd为颜色色度差异损失项。
上述图像处理神经网络，结合了NAS充分利用这些前沿人工智能方法的优势，提高ISP图像处理性能。在损失函数中引入了一些硬件相关的约束，即约束了有限的网络参数、算子延时和浮点运算量，使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
本申请实施例还提供了一种电子设备，如图9所示，所述电子设备90包括：
图像处理神经网络901，所述图像处理神经网络901包括第一子网络9011和第二子网络9012，所述第一子网络9011和所述第二子网络9012为UNET网络，所述第一子网络9011和所述第二子网络9012是基于神经网络结构搜索自动搜索到的；
处理器902，用于利用所述图像处理神经网络901对原始RAW图像进行处理，所述处理包括：
利用所述第一子网络9011对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络9012对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
在一些实施例中，所述第一子网络9011和所述第二子网络9012包括编码器和编码器，所述编码器包括至少一个第一下采样模块，所述解码器包括至少一个第一上采样模块；所述第一下采样模块和所述第一上采样模块是基于神经网络结构搜索自动搜索到的。
在一些实施例中，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块包括：
预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
也就是说，在搜索下采样模块和上采样模块时，需要预先定义不同的搜索空间，包括网络节点数量和算子种类。示例性地，针对第一下采样模块，第一搜索空间包括可以选择3个或以上的网络节点、下采样算子和第一恒等映射算子。针对第一上采样模块，第一搜索空间包括可以选择3个或以上的网络节点、上采样算子和第二恒等映射算子。
定义完成各自的搜索空间，再用某种搜索策略从中搜索出网络结构。对搜索到的网络结构进行性能评估，比如精度、速度等来度量性能，确定得到节点的参数以及节点之间最佳算子，得到性能最优的网络结构。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3；
其中，所述参数数量是指所述图像处理神经网络901的所有网络参数的数量，所述时延是指所述图像处理神经网络901在推理过程中所产生的时延，所述浮点运算量是所述图像处理神经网络901的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
在一些实施例中，损失函数为：argmin(L1+Lcd)；其中，L1为范数损失项，Lcd为颜色色度差异损失项。
在一些实施例中，所述第一子网络还包括至少一个挤压和激励SE模块；
所述第一子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接；
所述第二子网络还包括至少一个挤压和激励SE模块；
所述第二子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接。
SE模块对通道间的依赖关系进行建模，给不同通道赋不同的权重，学习每个通道的重要程度，增强有用的特征抑制无用的特征。使用SE模块代替跳跃连接模块，只会增加很小的计算消耗，但却可以极大地提升网络性能，能够使网络易于部署在手机等移动终端。
在一些实施例中，所述第一子网络和所述第二子网络还包括输入模块和输出模块，所述输入模块位于首个第一下采样模块之前，所述输出模块位于最后一个第一上采样模块之后，所述输入模块和所述输出模块用于调整所述图像处理神经网络输出的sRGB图像的分辨率。
在一些实施例中，所述输入模块包括步长为2的卷积算子；所述输出模块包括Depth2Space算子。
在一些实施例中，构建图像处理神经网络之后还包括：获取训练数据集；利用所述训练数据集对所述图像处理神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。也就是说，在基于神经网络结构搜索自动搜索到的图像处理神经网络的第一子网络和第二子网络之后，还需要对图像处理神经网络进行训练，得到最终可用于图像处理的网络模型。
在一些实施例中，所述处理器902包括以下的至少一者：中央处理器(CentralProcessing Unit，CPU)；图形处理器(Graphics Processing Unit，GPU)；数字信号处理器(Digital Signal Processor，DSP)；图像信号处理器(Image Signal Processor，ISP)；以及神经网络处理器(Neural-network Processing Unit，NPU)。
需要说明的是，本申请实施例上述图像处理神经网络还可以部署在其他任意一种硬件计算单元上来实现。
本申请实施例还提供了一种用于图像处理的装置，如图10所示，所述装置100包括：
构建模块1001，用于构建图像处理神经网络；其中，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
输入模块1002，用于将原始RAW图像输入所述图像处理神经网络；
处理模块1003，用于利用所述图像处理神经网络对所述原始RAW图像进行处理，所述处理包括：
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
在一些实施例中，构建模块1001进一步用于，基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述第一子网络的编码器，利用至少一个所述第一上采样模块构建所述第一子网络的解码器，得到所述第一子网络；利用至少一个所述第一下采样模块构建所述第二子网络的编码器，利用至少一个所述第一上采样模块构建所述第二子网络的解码器，得到所述第二子网络；级联所述第一子网络和所述第二子网络，得到所述图像处理神经网络。
在一些实施例中，构建模块1001进一步用于，预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3；
其中，所述参数数量是指所述图像处理神经网络的所有网络参数的数量，所述时延是指所述图像处理神经网络在推理过程中所产生的时延，所述浮点运算量是所述图像处理神经网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
在一些实施例中，损失函数为：argmin(L1+Lcd)；其中，L1为范数损失项，Lcd为颜色色度差异损失项。
在一些实施例中，所述第一子网络还包括至少一个挤压和激励SE模块；所述第一子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接；
所述第二子网络还包括至少一个挤压和激励SE模块；所述第二子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接。
在一些实施例中，所述第一子网络和所述第二子网络还包括输入模块和输出模块，所述输入模块位于首个第一下采样模块之前，所述输出模块位于最后一个第一上采样模块之后，所述输入模块和所述输出模块用于调整所述图像处理神经网络输出的sRGB图像的分辨率。
在一些实施例中，所述输入模块包括步长为2的卷积算子；所述输出模块包括Depth2Space算子。
在一些实施例中，构建模块1001进一步用于，获取训练数据集；利用所述训练数据集对所述图像处理神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。
示例性的，在一些实施例中，所述图像处理神经网络的损失函数为：argmin(L1+Lcd)；其中，L1为范数损失项，Lcd为颜色色度差异损失项。
上述用于图像处理的装置可以为ISP。ISP配置在具有图像处理需求的电子设备，ISP对CMOS或者CCD图像传感器采集的原始RAW图像映射为sRGB图像，降低了ISP图像处理过程中人工的干预。能够充分利用人工智能技术的优势，提高图像处理过程中的人工干预，进一步优化图像处理器性能，提高图像处理效果。
本申请实施例中还提供了一种计算系统，如图11所示，该计算系统110包括：处理器1101和配置为存储能够在处理器1101上运行的计算机程序的存储器1102，
其中，处理器1101配置为运行计算机程序时，执行前述实施例中的方法步骤。
所述处理器1101包括以下的至少一者：中央处理器CPU；图形处理器GPU；数字信号处理器DSP；图像信号处理器ISP；以及神经网络处理器NPU。
当然，实际应用时，如图11所示，该计算系统中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、可穿戴设备、智能手环、相机等。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的图像信号处理器执行，以完成前述方法的步骤。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种用于图像处理的方法，其特征在于，所述方法包括：
构建图像处理神经网络；其中，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
将原始RAW图像输入所述图像处理神经网络；
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
2.根据权利要求1所述的方法，其特征在于，
所述构建图像处理神经网络包括：
基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；
利用至少一个所述第一下采样模块构建所述第一子网络的编码器，利用至少一个所述第一上采样模块构建所述第一子网络的解码器，得到所述第一子网络；
利用至少一个所述第一下采样模块构建所述第二子网络的编码器，利用至少一个所述第一上采样模块构建所述第二子网络的解码器，得到所述第二子网络；
级联所述第一子网络和所述第二子网络，得到所述图像处理神经网络。
3.根据权利要求2所述的方法，其特征在于，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块包括：
预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
4.根据权利要求3所述的方法，其特征在于，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3；
其中，所述参数数量是指所述第一子网络或所述第二子网络的所有网络参数的数量，所述时延是指所述第一子网络或所述第二子网络在推理过程中所产生的网络时延，所述浮点运算量是所述第一子网络或所述第二子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
5.根据权利要求2所述的方法，其特征在于，所述第一子网络还包括至少一个挤压和激励SE模块；
所述第一子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接；
所述第二子网络还包括至少一个挤压和激励SE模块；
所述第二子网络中每层网络中的第一下采样模块和第一上采样模块之间通过挤压和激励SE模块连接。
6.根据权利要求2所述的方法，其特征在于，所述第一子网络和所述第二子网络还包括输入模块和输出模块，所述输入模块位于首个第一下采样模块之前，所述输出模块位于最后一个第一上采样模块之后，所述输入模块和所述输出模块用于调整所述图像处理神经网络输出的sRGB图像的分辨率。
7.根据权利要求6所述的方法，其特征在于，
所述输入模块包括步长为2的卷积算子；
所述输出模块包括Depth2Space算子。
8.根据权利要求2所述的方法，其特征在于，所述构建图像处理神经网络还包括：
获取训练数据集；
利用所述训练数据集对所述图像处理神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。
9.一种电子设备，其特征在于，所述电子设备包括：
图像处理神经网络，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
处理器，用于利用所述图像处理神经网络对原始RAW图像进行处理，所述处理包括：
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
10.根据权利要求9所述的电子设备，其特征在于，
所述第一子网络和所述第二子网络包括编码器和编码器，所述编码器包括至少一个第一下采样模块，所述解码器包括至少一个第一上采样模块；所述第一下采样模块和所述第一上采样模块是基于神经网络结构搜索自动搜索到的。
11.根据权利要求9所述的电子设备，其特征在于，所述处理器包括以下的至少一者：中央处理器CPU；图形处理器GPU；数字信号处理器DSP；图像信号处理器ISP；以及神经网络处理器NPU。
12.一种用于图像处理的装置，其特征在于，所述装置包括：
构建模块，用于构建图像处理神经网络；其中，所述图像处理神经网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络为UNET网络，所述第一子网络和所述第二子网络是基于神经网络结构搜索自动搜索到的；
输入模块，用于将原始RAW图像输入所述图像处理神经网络；
处理模块，用于利用所述图像处理神经网络对所述原始RAW图像进行处理，所述处理包括：
利用所述第一子网络对所述原始RAW图像进行第一级图像特征提取，输出中间处理结果；
利用所述第二子网络对所述中间处理结果进行第二级图像特征提取，输出sRGB图像。
13.一种计算系统，其特征在于，所述计算系统包括：处理器和配置为存储能够在所述处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至8任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的方法的步骤。
CN202110624005.1A 2021-06-04 2021-06-04 一种用于图像处理的方法、电子设备、装置及计算系统 Pending CN115512196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624005.1A CN115512196A (zh) 2021-06-04 2021-06-04 一种用于图像处理的方法、电子设备、装置及计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624005.1A CN115512196A (zh) 2021-06-04 2021-06-04 一种用于图像处理的方法、电子设备、装置及计算系统

Publications (1)

Publication Number Publication Date
CN115512196A true CN115512196A (zh) 2022-12-23

Family

ID=84500460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624005.1A Pending CN115512196A (zh) 2021-06-04 2021-06-04 一种用于图像处理的方法、电子设备、装置及计算系统

Country Status (1)

Country Link
CN (1) CN115512196A (zh)

Similar Documents

Publication Publication Date Title
WO2021018163A1 (zh) 神经网络的搜索方法及装置
WO2021057056A1 (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
JP2022518322A (ja) ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション
CN113284054A (zh) 图像增强方法以及图像增强装置
CN111582316A (zh) 一种rgb-d显著性目标检测方法
CN114049259A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
CN115439336A (zh) 一种用于图像去噪处理的方法、电子设备、装置及计算系统
CN111145097A (zh) 图像处理方法、装置和图像处理系统
CN111008924B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113674159A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN113011562A (zh) 一种模型训练方法及装置
CN111914997A (zh) 训练神经网络的方法、图像处理方法及装置
CN111797882A (zh) 图像分类方法及装置
WO2023174098A1 (zh) 一种实时手势检测方法及装置
CN111402145A (zh) 一种基于深度学习的自监督低照度图像增强方法
CN114049258A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
Tang et al. Very deep residual network for image matting
CN112399162B (zh) 一种白平衡校正方法、装置、设备和存储介质
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法
CN115512196A (zh) 一种用于图像处理的方法、电子设备、装置及计算系统
CN115512198A (zh) 一种用于图像处理的方法、电子设备、装置及计算系统
Huang et al. Edge device-based real-time implementation of CycleGAN for the colorization of infrared video
CN113962873A (zh) 一种图像去噪方法、存储介质及终端设备
CN115512197A (zh) 一种用于图像处理的方法、电子设备、装置及计算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination