CN115150576A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN115150576A
CN115150576A CN202110339713.0A CN202110339713A CN115150576A CN 115150576 A CN115150576 A CN 115150576A CN 202110339713 A CN202110339713 A CN 202110339713A CN 115150576 A CN115150576 A CN 115150576A
Authority
CN
China
Prior art keywords
image
sub
images
training
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110339713.0A
Other languages
English (en)
Inventor
李嘉源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zeku Technology Shanghai Corp Ltd
Original Assignee
Zeku Technology Shanghai Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zeku Technology Shanghai Corp Ltd filed Critical Zeku Technology Shanghai Corp Ltd
Priority to CN202110339713.0A priority Critical patent/CN115150576A/zh
Priority to PCT/CN2022/078029 priority patent/WO2022206240A1/zh
Publication of CN115150576A publication Critical patent/CN115150576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置及电子设备，该方法包括：获取待处理的第一图像，对第一图像进行分频，得到N张不同频率的第一子图像，并从N张第一子图像中获取一目标子图像；使用M个三维查找表对该目标子图像进行插值，得到M张第二子图像；根据M张第二子图像和N‑1张第一子图像，得到第一图像的增强图像，由于本申请使用M个三维查找表对目标子图像进行插值，而不是对所有第一子图像进行插值，提高了图传处理效果。

Description

图像处理方法、装置及电子设备
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及电子设备。
背景技术
图像增强的方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。图像增强一般包括对高频的细节纹理增强和低频的颜色增强。
传统的图像增强算法(例如Retinex)会先将图像分为高频和低频分量，然后利用预先手工设计(hand-crafted)好的算子分别对细节纹理和颜色进行增强。
但是，由于这种基于手工设计的算子表达能力有限，对图像的处理效果差。
发明内容
本申请实施例提供一种图像处理方法、装置及电子设备，以提高图像的处理效果。
第一方面，本申请实施例提供一种图像处理方法，包括：
获取待处理的第一图像，并对所述第一图像进行分频，得到N张不同频率的第一子图像，所述N为大于或等于2的正整数；
从所述N张第一子图像中获取一目标子图像；
使用M个三维查找表对所述目标子图像进行插值，得到M张第二子图像，所述M为大于或等于2的正整数；
根据所述M张第二子图像和N-1张第一子图像，得到所述第一图像的增强图像，其中所述N-1张第一子图像为所述N张第一子图像中除所述目标子图像外的其他第一子图像。
第二方面，本申请实施例提供一种图像处理装置，包括：
分频单元，用于获取待处理的第一图像，并对所述第一图像进行分频，得到N张不同频率的第一子图像，所述N为大于或等于2的正整数；
获取单元，用于从所述N张第一子图像中获取一目标子图像；
插值单元，用于使用M个三维查找表对所述目标子图像进行插值，得到M张第二子图像，所述M为大于或等于2的正整数；
增强单元，用于根据所述M张第二子图像和N-1张第一子图像，得到所述第一图像的增强图像，其中所述N-1张第一子图像为所述N张第一子图像中除所述目标子图像外的其他第一子图像。
在一些实施例中，上述增强单元，具体用于对所述M张第二子图像进行叠加，得到所述目标子图像的增强图像；根据所述目标子图像的增强图像和N-1张所述第一子图像，得到所述第一图像的增强图像。
在一些实施例中，上述增强单元，具体用于将所述目标子图像输入神经网络中，得到所述M张第二子图像中每个像素点的权重；根据所述M张第二子图像中的每个像素点的权重，对所述M张第二子图像中的每个像素点进行加权运算，得到所述目标子图像的增强图像。
在一些实施例中，上述增强单元，具体用于获取所述N-1张第一子图像中每张第一子图像的增加算子；针对所述N-1张第一子图像中的每张第一子图像，使用该第一子图像的增加算子对该第一子图像进行处理，得到该第一子图像的增强图像；根据所述目标子图像的增强图像和所述N-1张第一子图像中每张第一子图像的增强图像，得到所述第一图像的增强图像。
在一些实施例中，上述增强单元，具体用于将所述目标子图像输入神经网络中，得到所述N-1张第一子图像中每张第一子图像的预定义算子的相关参数；针对所述N-1张第一子图像中的每张第一子图像，根据该第一子图像的预定义算子的相关参数，对该第一子图像的预定义算子进行处理，得到该第一子图像的增加算子。
在一些实施例中，上述分频单元，具体用于对所述第一图像进行拉普拉斯金字塔LP分解。
在一些实施例中，上述分频单元，具体用于将所述第一图像输入LP分解网络，得到所述LP分解网络输出的N张不同频率的第一子图像。
在一些实施例中，上述增强单元，具体用于对所述目标子图像的增强图像和所述N-1张第一子图像的增强图像进行拉普拉斯金字塔LP重建，得到所述第一图像的增强图像。
在一些实施例中，上述增强单元，具体用于将所述目标子图像的增强图像和所述N-1张第一子图像的增强图像输入LP重建网络，得到所述LP重建网络输出的所述第一图像的增强图像。
在一些实施例中，上述装置还包括训练单元：
上述获取单元，还用于获取训练图像；
上述训练单元，用于使用所述训练图像对目标网络进行训练，所述目标网络包括LP分解网络、M个三维查找表、神经网络、LP重建网络中的至少一个网络，所述M为正整数。
在一些实施例中，上述训练单元，具体用于对所述训练图像进行分频，得到N张不同频率的第一子训练图像；从所述N张第一子训练图像中获取一目标子训练图像；使用M个三维查找表对所述目标子训练图像进行插值，得到M张第二子训练图像，所述M为大于或等于2的正整数；根据所述M张第二子训练图像和N-1张第一子训练图像，得到所述训练图像的增强图像，其中所述N-1张第一子训练图像为所述N张第一子训练图像中除所述目标子训练图像外的其他第一子训练图像；根据所述训练图像与所述训练图像的增强图像之间的差异，对所述目标网络进行训练。
在一些实施例中，若所述目标网络还包括所述LP分解网络，上述训练单元，具体用于将所述训练图像输入所述LP分解网络，得到所述LP分解网络输出的N张不同频率的第一子训练图像。
在一些实施例中，上述训练单元，具体用于对所述M张第二子训练图像进行叠加，得到所述目标子训练图像的增强图像；根据所述目标子训练图像的增强图像和N-1张所述第一子训练图像，得到所述训练图像的增强图像。
在一些实施例中，若所述目标网络还包括所述神经网络，且所述神经网络用于预测像素点的权重，上述训练单元，具体用于将所述目标子训练图像输入所述神经网络中，得到所述神经网络输出的所述M张第二子训练图像中每个像素点的权重；根据所述M张第二子训练图像中每个像素点的权重，对所述M张第二子训练图像中的每个像素点进行加权运算，得到所述目标子训练图像的增强图像。
在一些实施例中，上述训练单元，具体用于获取所述N-1张第一子训练图像中每张第一子训练图像的增加算子；针对所述N-1张第一子训练图像中的每张第一子训练图像，使用该第一子训练图像的增加算子对该第一子训练图像进行处理，得到该第一子训练图像的增强图像；根据所述目标子训练图像的增强图像和所述N-1张第一子训练图像中每张第一子训练图像的增强图像，得到所述训练图像的增强图像。
在一些实施例中，所述神经网络还用于预测图像的预定义算子的相关参数，上述训练单元，具体用于，将所述目标子训练图像输入神经网络中，得到所述神经网络输出的所述N-1张第一子训练图像中每张第一子训练图像的预定义算子的相关参数；针对所述N-1张第一子训练图像中的每张第一子训练图像，根据该第一子训练图像的预定义算子的相关参数，对该第一子训练图像的预定义算子进行处理，得到该第一子训练图像的增加算子。
在一些实施例中，所述目标网络还包括所述LP重建网络，上述训练单元，具体用于将所述目标子训练图像的增强图像和所述N-1张第一子训练图像中每张第一子训练图像的增强图像输入所述LP重建网络，得到所述LP重建网络输出的所述训练图像的增强图像。
在一些实施例中，上述训练单元，具体用于根据所述训练图像和所述训练图像的增强图像之间的差异，确定损失；根据所述损失，对所述目标网络中的参数进行调节。
在一些实施例中，上述训练单元，具体用于根据如下公式，确定所述损失：
loss(Ogt,O)＝‖Ogt-O‖2
其中，所述O为所述训练图像的增强图像，所述Ogt为所述训练图像，||||2为2范数。
在一些实施例中，上述训练单元，具体用于根据所述训练图像和所述训练图像的增强图像之间的差异，以及所述N张第一子训练图像中的一张第一目标子训练图像与所述第一目标子训练图像的增强图像之间的差异，确定所述损失。
在一些实施例中，上述训练单元，具体用于根据如下公式，确定所述损失：
Figure BDA0002999090140000051
其中，所述O为所述训练图像的增强图像，所述Ogt为所述训练图像，||||2为2范数，所述ON为所述第一目标子训练图像的增强图像，所述
Figure BDA0002999090140000052
为所述第一目标子训练图像，所述λ为平衡因子。
可选的，所述第一目标子训练图像为所述目标子训练图像。
可选的，所述目标子训练图像为所述N张第一子训练图像中频率最小的第一子训练图像。
可选的，所述目标子图像为所述N张第一子图像中频率最小的第一子图像。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序以实现上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质包括计算机指令，当所述指令被计算机执行时，使得所述计算机实现如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得计算机实施第一方面所述的方法。
基于以上技术方案，通过待处理的第一图像进行分频，得到N张不同频率的第一子图像，并从这N张第一子图像中获取一目标子图像，例如为频率最低的第一子图像；使用M个三维查找表对该目标子图像进行插值，得到M张第二子图像；根据M张第二子图像和N-1张第一子图像，得到第一图像的增强图像，由于本申请使用M个三维查找表对目标子图像进行插值，而不是对所有第一子图像进行插值，进而在不增加计算成本的前提下，提高了图传处理效果。
附图说明
图1为本申请实施例涉及的LP分解的示意图；
图2为本申请实施例涉及的LP重建的示意图；
图3为目标网络的一种结构示意图；
图4为本申请一实施例提供的图像处理方法的流程示意图；
图5为本申请另一实施例提供的图像处理方法的流程示意图；
图6为本申请实施例涉及的三维查找表示意图；
图7为目标网络的另一种结构示意图；
图8为神经网络的一种结构示意图；
图9为目标网络的另一种结构示意图；
图10为目标网络的另一种结构示意图；
图11为训练过程的示意图；
图12为本申请一具体实施例的网络训练流程示意图；
图13为本申请一实施例提供的图像处理方法的流程示意图；
图14为本申请一实施例提供的图像处理方法的流程示意图；
图15为本申请实施例涉及原理示意图；
图16为本申请实施例提供的图像处理装置的一种结构示意图；
图17为本申请实施例涉及的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应理解，在本发明实施例中，“与A对应的B”表示B与A相关联。在一种实现方式中，可以根据A确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。
另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
国际电信联盟(ITU)和电影和电视工程师协会(SMPTE)，为了避免图像在不同显示设备间表现出来的颜色有差别，所以制定了一系列标准，其中在HDTV使用得最广泛的标准就是ITU-Rec709，也称之为高清标准，这个标准对显示的色域、色温和gamma都有明确的规定。因此在广电行业如果要显示高清视频，显示设备必须满足这个标准规定的色域、色温和gamma这些参数，以达到同一个素材在不同显示设备表现出来的颜色都是一致的。
另外，生产屏芯的时候，不同屏芯表现出来的颜色千差万别。所以作为显示设备的生产商，需要考虑在不同屏之间显示出来的颜色要一致，要符合标准，需要颜色校准。
基于此，本申请实施例的方法可以用于显示设备，用于对待显示的图像进行处理，例如对视频数据中的每一帧图像进行处理，以提高图像的显示效果。
在一些实施例中，本申请实施例的方法还可以应用于图像采集设备，例如电子照相机，用于对图像采集设备采集的图像数据进行处理，得到满足用户需求的图像。
本申请实施例应用于图像处理，主要用于对图像颜色的校准。
下面对本申请实施例涉及的相关概念进行介绍。
1、三维查找表(Three-dimensional look-up table，简称3D LUT)
3DLUT的工作原理是，输入的R，G，B信号，经过3D查找表变换之后，变成R1，G1，B1。同样是RGB信号，但是R1，G1，B1的值跟输入信号已经有细微的不同了，经过变换之后的R1，G1，B1在屏芯上表现出来的效果较佳。也就是说，3D LUT的作用等同于把屏芯的偏差校准过来。
例如，要显示灰度级128的白色(输入RGB＝128)，在理想状态下，屏上显示出来的白色也应该是灰度级128，但是由于屏芯的不准，显示出来的灰度级只有120，会产生8个灰度级的偏差。3D LUT根据屏芯的8个灰度级的偏差，在输入的RGB信号加上或者减去这个偏差，以达到最终显示的效果跟输入效果一样。需要说明的是，上述仅为一种示例，3D LUT的作用不仅是单纯的加上或减去一个偏差，还会根据不同的输入RGB信号做不同的调整。
2、拉普拉斯金字塔(Laplacian pyramid，简称LP)
由于图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的，用于图像的分割。首先对图像进行高斯金字塔分解，假设原始图像为I，以I作为高斯金字塔的第一层I0，再对第一层I0进行低通滤波和向下采样，例如利用高斯核对第一层I0进行卷积，然后对卷积后的图像进行下采样，得到高斯金字塔的第二层I1，重复以上过程，最后得到第N+1层IN，其中IN包括的像素点数量最少。可选的，Ii+1的长与宽均为li的一半。拉普拉斯金字塔记录高斯金字塔每一级下采样后再上采样与下采样前的差异，目的是为了能够完整的恢复出每一层级的下采样前图像。
例如，LP分解如图1所示，输入图像I0∈RH×W×3经过预设步长的卷积核，例如步长为2的卷积后得到图像I0下采样后图像
Figure BDA0002999090140000081
在图像I1相邻像素点间插0对图像I1反卷积，得到I1上采样图像I′1∈RH×W×3，将I0与I′1作差即得到LP0。随后将I1作为下一层输入，同样操作可以得到I2及LP1，循环该操作至获取所有需要的金字塔层。最后一层即为IN。
LP重建如图2所示，LP重建即为上述LP分解的逆过程。从最顶层开始，将IN相邻像素点间插0对图像IN反卷积，得到上采样图像IN-1′。IN-1′与LPN-1相加后得到IN-1。循环该操作至获取最终重建图像。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
首先对本申请实施例涉及的网络训练过程进行介绍。
图3为目标网络的一种结构示意图，该目标网络包括LP分解网络、M个三维查找表、神经网络、LP重建网络中的至少一个网络。
图4为本申请一实施例提供的图像处理方法的流程示意图，如图4所示，包括：
S410、获取训练图像；
S420、使用训练图像对目标网络进行训练。
本申请实施例的训练图像集包括多张训练图像，使用每张训练图像对目标网络进行训练的过程相同，为了便于阐述，本申请以训练图像集中的一张训练图像为例进行说明。
在一些实施例中，在一次训练过程中，向目标网络中输入一张训练图像进行训练。
在一些实施例中，在一次训练过程中，可以向目标网络中输入多张训练图像进行训练。
如图3所示，本申请的目标网络包括LP分解网络、M个三维查找表、神经网络、LP重建网络中的至少一个网络，使用训练图像对LP分解网络、M个三维查找表、神经网络、LP重建网络中的至少一个网络进行训练。在图像预测阶段，使用训练好的LP分解网络、M个三维查找表、神经网络、LP重建网络中的至少一个网络，对第一图像进行处理，得到第一图像的增强图像。
下面对上述S420中使用训练图像对目标网络进行训练的具体过程进行介绍。
在一些实施例中，目标训练网络包括M个三维查找表，此时，上述S420包括如图5所示的S421至S425的步骤。
图5为本申请另一实施例提供的图像处理方法的流程示意图，如图5所示，上述S420包括：
S421、对训练图像进行分频，得到N张不同频率的第一子训练图像。
其中N为大于或等于2的正整数。
在一些实施例中，对图像进行分频也可以称为对图像进行分解。
将训练图像分解为N张不同频率的第一子训练图像，不同频率的第一子训练图像对应的分辨率不同。例如频率高的第一子训练图像的分辨率高，所包括的像素点数多，而频率低的第一子训练图像的分辨率低，所包括的像素点数少。
在一些实施例中，使用高斯金字塔算法对该训练图像进行分频，得到N张不同频率的第一子训练图像。
在一些实施例中，使用拉普拉斯金字塔算法对该训练图像进行分频，得到N张不同频率的第一子训练图像。
需要说明的是，本申请实施例还可以采用其他的分频方式，对训练图像进行分频，得到N张不同频率的第一子训练图像，本申请对此不作限制。
S422、从N张第一子训练图像中获取一目标子训练图像。
可选的，上述目标子训练图像可以为N张第一子训练图像中的任意一张图像。
可选的，上述目标子训练图像为N张第一子训练图像中频率最低的第一子训练图像。
S423、使用M个三维查找表对目标子训练图像进行插值，得到M张第二子训练图像，其中，M为大于或等于2的正整数。
本步骤对使用M个三维查找表对目标子训练图像进行插值的插值方式不做限制，例如可以为单线性插值、多线性插值等，其中多线性插值包括三线性插值。
其中，三维查找表用于表示三维输入与三维输出之间的映射关系。
在一些实施例中，上述M个三维查找表的大小可以相同。
在一些实施例中，上述M个三维查找表中的部分或全部的大小可以不同。
以3×17×17×17大小的三维查找表为例，其将输入三维空间平均划分为16×16×16个格，对应有17×17×17个格点，每个格点定义一个对应的输出三维向量P，该三维向量P可以理解为修正后的三维像素值。使用该三维查找表该图像进行修正时，对于未落在格点上的像素点以插值方式生成其三维向量，该三维向量可以理解为该像素点修正后的像素值。
以三线性插值方式为例(其他合适插值方式也可)。使用上述三维查找表对目标子训练图像进行插值，得到对应的第二子训练图像。具体是，目标子训练图像中每一个像素包含RGB三通道像素值，针对目标子训练图像中的每个像素点，以该像素点的三通道像素值为坐标，在三维空间中查询该像素点对应的位点Pin。在该三维查找表查找距离该位点Pin最近的八个格点，例如图6所示，距离该位点Pin最近的八个格点分别为{P000,P001,P010,P100,P011,P101,P110,P111}，其中P000可以记为基准格点，计算位点Pin在三个维度上距离基准格点P000的距离为(d001,d010,d100)，此时，可以根据如下公式(1)，确定出该三维查找表关于该像素点的输出：
Figure BDA0002999090140000101
该输出值Pout可以理解为使用该三维查找表对该像素点的像素值进行修正后的像素值。
参照上述方法，使用该三维查找表对目标子训练图像中的每个像素点进行插值，得到对应的第二子训练图像。
上述介绍了使用一张三维查找表对目标子训练图像进行插值，得到对应的第二子训练图像的过程。使用M张三维查找表中每一张三维查找表对目标子训练图像进行插值，得到对应的第二子训练图像的过程相同，参照上述描述即可。
S424、根据M张第二子训练图像和N-1张第一子训练图像，得到训练图像的增强图像，其中，N-1张第一子训练图像为N张第一子训练图像中除目标子训练图像外的其他第一子训练图像；
S425、根据训练图像与训练图像的增强图像之间的差异，对目标网络进行训练。
若本申请实施例的目标网络包括M个三维查找表，则上述S425可以理解为根据训练图像与训练图像的增强图像之间的差异，对M个三维查找表进行训练。
需要说明的是，上述三维查找表中每个格点对应的三维向量P的初始值为随机值或者为预设值。随着训练的进行，对每个格点对应的三维向量P进行更新，最终得到训练好的每个格点对应的三维向量P。在后期预测时，使用该训练好的三维查找表对第一图像进行插值，得到修正后的第一图像。
例如，对第一张训练图像进行分频，得到N张不同频率的第一子训练图像，从N张第一子训练图像中获取一目标子训练图像；使用M个三维查找表对该目标子训练图像进行插值，得到M张第二子训练图像；根据M张第二子训练图像和N-1张第一子训练图像，得到训练图像的增强图像；根据该训练图像与该训练图像的增强图像之间的差异，对M个三维查找表中的每个格点对应的三维向量P进行调节，得到调节后的M个三维查找表。使用第二张训练图像，继续执行上述步骤，得到第二张训练图像的增强图像，并根据该第二张训练图像与该训练图像的增强图像之间的差异，对M个三维查找表中的每个格点对应的三维向量P继续调节，得到调节后的M个三维查找表。继续执行上述步骤，得到训练好的M个三维查找表。
在一些实施例中，若目标网络还包括LP分解网络，此时，上述S421包括：将训练图像输入LP分解网络，得到LP分解网络输出的N张不同频率的第一子训练图像。
在一种示例中，上述LP分解网络为事先训练好的LP分解网络，这样在对目标网络进行训练时，对M个三维查找表进行训练，对该LP分解网络不再进行训练。
在一种示例中，如图7所示，目标网络包括LP分解网络和M个三维查找表，该LP分解网络未训练好，这样，可以将该LP分解网络和M个三维查找表作为一个整体进行端到端的训练。例如，根据训练图像与训练图像的增强图像之间的差异，对LP分解网络和M个三维查找表中的参数进行调整，实现对LP分解网络和M个三维查找表的训练。
在一些实施例中，上述S424包括S424-A1和S424-A2：
S424-A1、对M张第二子训练图像进行叠加，得到目标子训练图像的增强图像；
S424-A2、根据目标子训练图像的增强图像和N-1张第一子训练图像，得到训练图像的增强图像。
在一些实施例中，上述S424-A1的实现方式包括但不限于如下几种：
方式一，假设M张第二子训练图像的大小相同，此时，上述S424-A1包括将M张第二子训练图像中同一位置像素点的像素值进行相加，得到目标子训练图像的增强图像。
方式二，本申请的目标网络还包括神经网络，该神经网络可以为卷积神经网络或其他结构的神经网络，该神经网络可以预测像素点的权重。此时，此时，上述S424-A1包括将目标子训练图像输入神经网络中，得到神经网络输出的M张第二子训练图像中每个像素点的权重W，其中；根据M张第二子训练图像中每个像素点的权重W，对M张第二子训练图像中的每个像素点进行加权运算，得到目标子训练图像的增强图像。
根据上述方式一或方式二，得到目标子训练图像的增强图像后，执行上述S424-A2，根据目标子训练图像的增强图像和N-1张第一子训练图像，得到训练图像的增强图像。例如，将目标子训练图像的增强图像和N-1张第一子训练图像进行重建，得到训练图像的增强图像。
在一些实施例中，上述S424-A2包括如下步骤S424-A21至S424-A23：
S424-A21、获取N-1张第一子训练图像中每张第一子训练图像的增加算子；
S424-A22、针对N-1张第一子训练图像中的每张第一子训练图像，使用该第一子训练图像的增加算子对该第一子训练图像进行处理，得到该第一子训练图像的增强图像；
S424-A23、根据目标子训练图像的增强图像和N-1张第一子训练图像中每张第一子训练图像的增强图像，得到训练图像的增强图像。
可选的，上述S424-A21中N-1张第一子训练图像中每张第一子训练图像的增加算子为预设的，例如为人工设定的。
在一些实施例中，如图8所示，神经网络主要包括图像信息提取、低频增强信息整合和高频增强信息整合三个模块。输入的目标子训练图像经过图像信息提取模块提取图像增强的相关信息，这些信息一方面经过低频增强信息整合模块输出M个3DLUTs在目标子训练图像上每个像素点的权重值W，另一方面经过高频增强信息整合模块输出中、高频部分图像增强算子{Φ0,Φ1,Φ2,…,ΦN-1}的相关参数{p0,p1,p2,…,pN-1}，实现图像信息的复用，同时一定程度上保证图像不同频率上图像增强的一致性。
基于图8，若上述神经网络还用于预测图像的预定义算子的相关参数，此时，上述S424-A21包括：将目标子训练图像输入神经网络中，得到神经网络输出的N-1张第一子训练图像中每张第一子训练图像的预定义算子的相关参数；针对N-1张第一子训练图像中的每张第一子训练图像，根据该第一子训练图像的预定义算子的相关参数，对该第一子训练图像的预定义算子进行处理，得到该第一子训练图像的增加算子。
本申请中每个第一子训练图像对应至少一个预定义算子，各预定义算子的相关参数未知。在该实现方式中，通过神经网络来预测各预定义算子的相关参数，并根据神经网络预测的相关参数，对各预定义算子进行处理，得到对应的增加算子。例如，神经网络输出的N-1张第一子训练图像中每张第一子训练图像的预定义算子的相关参数为{p0,p1,p2,…,pN-1}，其中，p0为第一张第一子训练图像的预定义算子的相关参数，pi为第i张第一子训练图像的预定义算子的相关参数，0≤i≤N-1。以第i张第一子训练图像为例，根据神经网络输出的第i张第一子训练图像的预定义算子Φi的相关参数pi，将该相关参数pi添加至参数未知的预定义算子Φi中，得到参数已知的预定义算子Φi，将该参数已知的预定义算子Φi记为该第i张第一子训练图像的增强算子。
在该实现方式中，如图9所示，目标网络包括M个三维查找表和神经网络，此时上述S425中根据训练图像与训练图像的增强图像之间的差异，对目标网络进行训练，可以理解为根据训练图像与训练图像的增强图像之间的差异，对M个三维查找表和神经网络进行端到端的训练。
本申请实施例根据上述方式，确定出N-1张第一子训练图像中的每张第一子训练图像的增加算子后，执行S424-A22和S424-A23，即针对N-1张第一子训练图像中的每张第一子训练图像，使用该第一子训练图像的增加算子对该第一子训练图像进行处理，例如，使用该第一子训练图像的增加算子对该第一子训练图像中每个像素点的像素值进行修正，得到该第一子训练图像的增强图像，参照该方法，可以得到N-1张第一子训练图像中每张第一子训练图像的增强图像。接着，根据目标子训练图像的增强图像和N-1张第一子训练图像中每张第一子训练图像的增强图像，得到训练图像的增强图像，例如，对目标子训练图像的增强图像和N-1张第一子训练图像中每张第一子训练图像的增强图像进行LP重建，得到训练图像的增强图像。
在一些实施例中，本申请的目标网络还包括LP重建网络，此时，上述S424-A23包括：将目标子训练图像的增强图像和N-1张第一子训练图像中每张第一子训练图像的增强图像输入LP重建网络，得到LP重建网络输出的训练图像的增强图像。
上述LP重建网络为未训练好的网络，此时，本申请对目标网络的训练，包括对LP重建网络的训练。
在本申请的一具体的实施例中，如图10所示，目标网络包括：LP分解网络、M个三维查找表、神经网络和LP重建网络，本申请涉及的对目标网络的训练，可以理解为对LP分解网络、M个三维查找表、神经网络和LP重建网络进行端到端的训练。
图11为训练过程的示意图，图12为本申请一具体实施例的网络训练流程示意图。
如图11和图12所示，本申请实施例的训练过程包括：
S501、获取训练图像，将训练图像输入LP分解网络，得到LP分解网络输出的N张分解后的不同频率的第一子训练图像，记为{I0,I1,I2,…IN}，其中，
Figure BDA0002999090140000151
H、W、C分别为I的高、宽和色道数，
Figure BDA0002999090140000152
Hn、Wn分别为In的高、宽。
S502、从N张第一子训练图像{I0,I1,I2,…IN}中获取一目标子训练图像，例如为IN。
S503、使用M个三维查找表对目标子训练图像IN进行插值，得到M张第二子训练图像，记为{IN1,IN2,IN3,…,INM}，
Figure BDA0002999090140000153
S504、将目标子训练图像In输出神经网络，得到神经网络输出的每张第二子训练图像{IN1,IN2,IN3,…,INM}中的每个像素点的权重W，
Figure BDA0002999090140000154
以及N-1张第一子训练图像中每一张第一训练图像的预定义算子{Φ0,Φ1,Φ2,…,ΦN-1}的相关参数{p0,p1,p2,…,pN-1}，
Figure BDA0002999090140000155
L为中、高频层的预定义算子的参数数目。
S505、根据每张第二子训练图像中的每个像素点的权重W，对M张第二子训练图像{IN1,IN2,IN3,…,INM}中的每个像素点的值进行加权运算，得到目标子训练图像的增强图像ON。
S506、针对N-1张第一子训练图像中的每一张第一子训练图像，根据第一子训练图像Ii对应的相关参数pi，对第一子训练图像Ii的预定义算子Φi进行处理，得到该第一子训练图像Ii的增强算子，这样可以得到N-1张第一子训练图像中的每一张第一子训练图像的增强算子。
S507、针对所述N-1张第一子训练图像中的每张第一子训练图像，使用第一子训练图像的增加算子对第一子训练图像进行处理，得到N-1张第一子训练图像中每一张第一子训练图像的增强图像，记为{O0,O1,O2,…ON-1}。
S508、将目标子训练图像的增强图像ON和N-1张第一子训练图像的增强图像{O0,O1,O2,…ON-1}输入LP重建网络中，得到LP重建网络输出的训练图像的增强图像O。
S509、根据训练图像I和训练图像的增强图像O之间的差异，对LP分解网络、M个三维查找表、神经网络、LP重建网络进行反向训练。
在一些实施例中，可以根据训练图像和训练图像的增强图像之间的差异，确定损失；根据损失，对目标网络中的参数进行调节。
其中，根据训练图像和训练图像的增强图像之间的差异，确定损失的方式包括但不限于如下几种：
方式一，根据如下公式(2)，确定损失loss：
loss＝loss(Ogt,O)＝‖Ogt-O‖2 (2)
其中，上述O为训练图像的增强图像，Ogt为所述训练图像，||||2为2范数。
需要说明的是，上述公式(2)只是一种示例，还可以对上述公式(2)进行变形，或者乘以其他的系数。例如，将上述2范数替换为其他的范数。也就是说，本申请实施例对计算损失所使用的损失函数的具体类型不做限制。
方式二，根据训练图像和训练图像的增强图像之间的差异，以及N张第一子训练图像中的一张第一目标子训练图像与第一目标子训练图像的增强图像之间的差异，确定损失。
可选的，上述第一目标子训练图像可以为N张第一子训练图像中任意一张第一子训练图像。
可选的，上述第一目标子训练图像为N张第一子训练图像中频率最小的第一子训练图像。
在一种可能的实现方式中，上述根据如下公式(3)，确定损失loss：
Figure BDA0002999090140000161
其中，所述O为所述训练图像的增强图像，所述Ogt为所述训练图像，||||2为2范数，所述ON为所述第一目标子训练图像的增强图像，所述ON gt为所述第一目标子训练图像，λ为平衡因子。
需要说明的是，上述公式(3)只是一种示例，还可以对上述公式(3)进行变形，或者乘以其他的系数。例如，将上述2范数替换为其他的范数。上述ON gt还可以替换为N张第一子训练图像中其他的第一子训练图像。
上文对目标网络的训练过程进行介绍，在此基础上，下面对图像处理过程进行介绍。
图13为本申请一实施例提供的图像处理方法的流程示意图，如图13所示，包括：
S601、获取待处理的第一图像，并对第一图像进行分频，得到N张不同频率的第一子图像，N为大于或等于2的正整数。
将第一图像分解为N张不同频率的第一子图像，不同频率的第一子图像对应的分辨率不同。例如频率高的第一子图像的分辨率高，所包括的像素点数多，而频率低的第一子图像的分辨率低，所包括的像素点数少。
在一些实施例中，使用高斯金字塔算法对该第一图像进行分频，得到N张不同频率的第一子图像。
在一些实施例中，上述S601包括对第一图像进行LP分解，得到N张不同频率的第一子图像。
在一些实施例中，可以将第一图像输入上述训练好的LP分解网络中，该LP分解网络输出N张不同频率的第一子图像。
S602、从N张第一子图像中获取一目标子图像。
可选的，上述目标子图像为N张第一子图像中的任意一张第一子图像。
可选的，上述目标子图像为N张第一子图像中频率最小的第一子图像。
S603、使用M个三维查找表对目标子图像进行插值，得到M张第二子图像，M为大于或等于2的正整数。
本步骤对使用M个三维查找表对目标子图像进行插值的插值方式不做限制，例如可以为单线性插值、多线性插值等，其中多线性插值包括三线性插值。
在一些实施例中，上述M个三维查找表的大小可以相同。
在一些实施例中，上述M个三维查找表中的部分或全部的大小可以不同。
在一些实施例中，上述M个三维查找表为预设的三维查找表。
在一些实施例中，上述M个三维查找表为采用上述方法训练得到的三维查找表。
使用M个三维查找表对目标子图像进行插值，得到M张第二子图像的具体过程可以参照图6和上述S423的描述，在此不再赘述。
S604、根据M张第二子图像和N-1张第一子图像，得到第一图像的增强图像，其中N-1张第一子图像为N张第一子图像中除目标子图像外的其他第一子图像。
在一些实施例中，可以对M张第二子图像和N-1张第一子图像进行重建，得到第一图像的增强图像。
在一些实施例中，上述S604包括如下步骤：
S604-A1、对M张第二子图像进行叠加，得到目标子图像的增强图像；
S604-A2、根据目标子图像的增强图像和N-1张第一子图像，得到第一图像的增强图像。
在一些实施例中，上述S604-A1的实现方式包括但不限于如下几种：
方式一，假设M张第二子图像的大小相同，此时，上述S604-A1包括将M张第二子图像中同一位置像素点的像素值进行相加，得到目标子图像的增强图像。
方式二，上述S604-A1包括：将目标子图像输入上述训练好的神经网络中，得到该神经网络输出的M张第二子图像中每个像素点的权重；根据M张第二子图像中的每个像素点的权重，对M张第二子图像中的每个像素点进行加权运算，得到目标子图像的增强图像。
由上述网络训练过程可知，神经网络可以用于预测像素点权重，这样，本申请在对M张第二子图像进行叠加，得到目标子图像的增强图像的过程中，将目标子图像输入上述训练好的神经网络中，得到M张第二子图像中每张第二子图像中每个像素点的权重，将同一位置的像素点进行加权运算，得到目标子图像中每个位置处的像素点的叠加值，进而得到目标子图像的增强图像。本申请通过神经网络预测目标子图像不同位置处的权重，可自适应地转换针对图像上不同位置的增强曲线。
另外，若上述目标子图像为N张第一子图像中频率最小的第一子图像，神经网络预测该低频的目标子图像中不同位置处的权重，极大地减少神经网络的计算量，减轻处理负担，提升图像处理速度。
在得到该神经网络输出的M张第二子图像中每个像素点的权重后，根据M张第二子图像中的每个像素点的权重，对M张第二子图像中的每个像素点进行加权运算，得到目标子图像的增强图像。
根据上述方式一或方式二，得到目标子图像的增强图像后，执行上述S604-A2，根据目标子图像的增强图像和N-1张第一子图像，得到第一图像的增强图像。例如，将目标子图像的增强图像和N-1张第一子图像进行重建，得到第一图像的增强图像。
在一些实施例中，上述S604-A2包括如下步骤S604-A21至S604-A23：
S604-A21、获取N-1张第一子图像中每张第一子图像的增加算子；
S604-A22、针对N-1张第一子图像中的每张第一子图像，使用该第一子图像的增加算子对该第一子图像进行处理，得到该第一子图像的增强图像；
S604-A23、根据目标子图像的增强图像和N-1张第一子图像中每张第一子图像的增强图像，得到第一图像的增强图像。
可选的，上述S424-A21中N-1张第一子训练图像中每张第一子训练图像的增加算子为预设的，例如为人工设定的。
在一些实施例中，如图8所示，神经网络还用于预测预测图像的预定义算子的相关参数，此时，上述S604-A21包括：将目标子图像输入神经网络中，得到N-1张第一子图像中每张第一子图像的预定义算子的相关参数；针对N-1张第一子图像中的每张第一子图像，根据该第一子图像的预定义算子的相关参数，对该第一子图像的预定义算子进行处理，得到该第一子图像的增加算子。
本申请中每个第一子图像对应至少一个预定义算子，各预定义算子的相关参数未知。在该实现方式中，通过神经网络来预测各预定义算子的相关参数，并根据神经网络预测的相关参数，对各预定义算子进行处理，得到对应的增加算子。例如，神经网络输出的N-1张第一子图像中每张第一子图像的预定义算子的相关参数为{p0,p1,p2,…,pN-1}，其中，p0为第一张第一子图像的预定义算子的相关参数，pi为第i张第一子图像的预定义算子的相关参数，0≤i≤N-1。以第i张第一子图像为例，根据神经网络输出的第i张第一子图像的预定义算子Φi的相关参数pi，将该相关参数pi添加至参数未知的预定义算子Φi中，得到参数已知的预定义算子Φi，将该参数已知的预定义算子Φi记为该第i张第一子图像的增强算子。
本申请实施例根据上述方式，确定出N-1张第一子图像中的每张第一子图像的增加算子后，针对N-1张第一子图像中的每张第一子图像，使用该第一子图像的增加算子对该第一子图像进行处理，例如，使用该第一子图像的增加算子对该第一子图像中每个像素点的像素值进行修正，得到该第一子图像的增强图像，参照该方法，可以得到N-1张第一子图像中每张第一子图像的增强图像。接着，根据目标子图像的增强图像和N-1张第一子图像中每张第一子图像的增强图像，得到第一图像的增强图像。
本申请中，不同频率分量的第一子图像的预定义算子的相关参数均来自目标子图像的特征信息，实现目标子图像的特征信息的复用，减少计算开销。同时在一定程度上保证不同频率的第一子图像增强一致性。
另外，本申请确定出不同频率的第一子图像的增强算子，进而实现对第一图像的不同频率分量针对性地采用不同的增强算子，实现不同的局部处理，在相同的计算开销下可以达到更好的处理效果。
在一些实施例中，根据目标子图像的增强图像和N-1张第一子图像中每张第一子图像的增强图像，得到第一图像的增强图像，包括：对目标子图像的增强图像和N-1张第一子图像的增强图像进行拉普拉斯金字塔LP重建，得到第一图像的增强图像。
例如，将目标子图像的增强图像和N-1张第一子图像的增强图像输入训练好的LP重建网络，得到该LP重建网络输出的第一图像的增强图像。
图14为本申请一实施例提供的图像处理方法的流程示意图，图15为本申请实施例涉及原理示意图，如图14和图15所示，包括：
S701、将第一图像输入上述训练好的LP分解网络，得到LP分解网络输出的N张分解后的不同频率的第一子图像，记为{I0,I1,I2,…IN}，其中，I∈
Figure BDA0002999090140000201
H、W、C分别为I的高、宽和色道数，
Figure BDA0002999090140000202
Hn、Wn分别为In的高、宽。
S702、从N张第一子图像{I0,I1,I2,…IN}中获取一目标第一子图像，例如为IN。
S703、使用训练好的M个三维查找表对目标第一子图像IN进行插值，得到M张第二子图像，记为{IN1,IN2,IN3,…,INM}，
Figure BDA0002999090140000203
S704、将目标第一子图像In输出训练好的神经网络中，得到神经网络输出的每张第二子图像{IN1,IN2,IN3,…,INM}中的每个像素点的权重W，W∈
Figure BDA0002999090140000204
以及N-1张第一子图像中每一张第一图像的预定义算子{Φ0,Φ1,Φ2,…,ΦN-1}的相关参数{p0,p1,p2,…,pN-1}，
Figure BDA0002999090140000205
L为中、高频层的预定义算子的参数数目。
S705、根据每张第二子图像中的每个像素点的权重W，对M张第二子图像{IN1，IN2，IN3，…，INM}中的每个像素点的值进行加权运算，得到目标子图像的增强图像ON。
S706、针对N-1张第一子图像中的每一张第一子图像，根据第一子图像Ii对应的相关参数pi，对第一子图像Ii的预定义算子Φi进行处理，得到该第一子图像Ii的增强算子，这样可以得到N-1张第一子图像中的每一张第一子图像的增强算子。
S707、针对N-1张第一子图像中的每张第一子图像，使用第一子图像的增加算子对第一子图像进行处理，得到N-1张第一子图像中每一张第一子图像的增强图像，记为{O0,O1,O2,…ON-1}。
S708、将目标子图像的增强图像ON和N-1张第一子图像的增强图像{O0,O1,O2,…ON-1}输入LP重建网络中，得到LP重建网络输出的第一图像的增强图像O。
应理解，图4至图15仅为本申请的示例，不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
上文结合图4至图15，详细描述了本申请的方法实施例，下文结合图16和图17，详细描述本申请的装置实施例。
图16为本申请实施例提供的图像处理装置的一种结构示意图。该图像处理装置100应用于电子设备，该图像处理装置100可以为电子设备，或者为电子设备的部件，如图16所示，图像处理装置100可以包括：
分频单元11，用于获取待处理的第一图像，并对所述第一图像进行分频，得到N张不同频率的第一子图像，所述N为大于或等于2的正整数；
获取单元12，用于从所述N张第一子图像中获取一目标子图像；
插值单元13，用于使用M个三维查找表对所述目标子图像进行插值，得到M张第二子图像，所述M为大于或等于2的正整数；
增强单元14，用于根据所述M张第二子图像和N-1张第一子图像，得到所述第一图像的增强图像，其中所述N-1张第一子图像为所述N张第一子图像中除所述目标子图像外的其他第一子图像。
在一些实施例中，上述增强单元14，具体用于对所述M张第二子图像进行叠加，得到所述目标子图像的增强图像；根据所述目标子图像的增强图像和N-1张所述第一子图像，得到所述第一图像的增强图像。
在一些实施例中，上述增强单元14，具体用于将所述目标子图像输入神经网络中，得到所述M张第二子图像中每个像素点的权重；根据所述M张第二子图像中的每个像素点的权重，对所述M张第二子图像中的每个像素点进行加权运算，得到所述目标子图像的增强图像。
在一些实施例中，上述增强单元14，具体用于获取所述N-1张第一子图像中每张第一子图像的增加算子；针对所述N-1张第一子图像中的每张第一子图像，使用该第一子图像的增加算子对该第一子图像进行处理，得到该第一子图像的增强图像；根据所述目标子图像的增强图像和所述N-1张第一子图像中每张第一子图像的增强图像，得到所述第一图像的增强图像。
在一些实施例中，上述增强单元14，具体用于将所述目标子图像输入神经网络中，得到所述N-1张第一子图像中每张第一子图像的预定义算子的相关参数；针对所述N-1张第一子图像中的每张第一子图像，根据该第一子图像的预定义算子的相关参数，对该第一子图像的预定义算子进行处理，得到该第一子图像的增加算子。
在一些实施例中，上述分频单元11，具体用于对所述第一图像进行拉普拉斯金字塔LP分解。
在一些实施例中，上述分频单元11，具体用于将所述第一图像输入LP分解网络，得到所述LP分解网络输出的N张不同频率的第一子图像。
在一些实施例中，上述增强单元14，具体用于对所述目标子图像的增强图像和所述N-1张第一子图像的增强图像进行拉普拉斯金字塔LP重建，得到所述第一图像的增强图像。
在一些实施例中，上述增强单元14，具体用于将所述目标子图像的增强图像和所述N-1张第一子图像的增强图像输入LP重建网络，得到所述LP重建网络输出的所述第一图像的增强图像。
在一些实施例中，上述装置还包括训练单元15：
上述获取单元12，还用于获取训练图像；
上述训练单元15，用于使用所述训练图像对目标网络进行训练，所述目标网络包括LP分解网络、M个三维查找表、神经网络、LP重建网络中的至少一个网络，所述M为正整数。
在一些实施例中，上述训练单元15，具体用于对所述训练图像进行分频，得到N张不同频率的第一子训练图像；从所述N张第一子训练图像中获取一目标子训练图像；使用M个三维查找表对所述目标子训练图像进行插值，得到M张第二子训练图像，所述M为大于或等于2的正整数；根据所述M张第二子训练图像和N-1张第一子训练图像，得到所述训练图像的增强图像，其中所述N-1张第一子训练图像为所述N张第一子训练图像中除所述目标子训练图像外的其他第一子训练图像；根据所述训练图像与所述训练图像的增强图像之间的差异，对所述目标网络进行训练。
在一些实施例中，若所述目标网络还包括所述LP分解网络，上述训练单元15，具体用于将所述训练图像输入所述LP分解网络，得到所述LP分解网络输出的N张不同频率的第一子训练图像。
在一些实施例中，上述训练单元15，具体用于对所述M张第二子训练图像进行叠加，得到所述目标子训练图像的增强图像；根据所述目标子训练图像的增强图像和N-1张所述第一子训练图像，得到所述训练图像的增强图像。
在一些实施例中，若所述目标网络还包括所述神经网络，且所述神经网络用于预测像素点的权重，上述训练单元15，具体用于将所述目标子训练图像输入所述神经网络中，得到所述神经网络输出的所述M张第二子训练图像中每个像素点的权重；根据所述M张第二子训练图像中每个像素点的权重，对所述M张第二子训练图像中的每个像素点进行加权运算，得到所述目标子训练图像的增强图像。
在一些实施例中，上述训练单元15，具体用于获取所述N-1张第一子训练图像中每张第一子训练图像的增加算子；针对所述N-1张第一子训练图像中的每张第一子训练图像，使用该第一子训练图像的增加算子对该第一子训练图像进行处理，得到该第一子训练图像的增强图像；根据所述目标子训练图像的增强图像和所述N-1张第一子训练图像中每张第一子训练图像的增强图像，得到所述训练图像的增强图像。
在一些实施例中，所述神经网络还用于预测图像的预定义算子的相关参数，上述训练单元15，具体用于，将所述目标子训练图像输入神经网络中，得到所述神经网络输出的所述N-1张第一子训练图像中每张第一子训练图像的预定义算子的相关参数；针对所述N-1张第一子训练图像中的每张第一子训练图像，根据该第一子训练图像的预定义算子的相关参数，对该第一子训练图像的预定义算子进行处理，得到该第一子训练图像的增加算子。
在一些实施例中，所述目标网络还包括所述LP重建网络，上述训练单元15，具体用于将所述目标子训练图像的增强图像和所述N-1张第一子训练图像中每张第一子训练图像的增强图像输入所述LP重建网络，得到所述LP重建网络输出的所述训练图像的增强图像。
在一些实施例中，上述训练单元15，具体用于根据所述训练图像和所述训练图像的增强图像之间的差异，确定损失；根据所述损失，对所述目标网络中的参数进行调节。
在一些实施例中，上述训练单元15，具体用于根据如下公式，确定所述损失：
loss(Ogt，O)＝‖Ogt-O‖2
其中，所述O为所述训练图像的增强图像，所述Ogt为所述训练图像，|| ||2为2范数。
在一些实施例中，上述训练单元15，具体用于根据所述训练图像和所述训练图像的增强图像之间的差异，以及所述N张第一子训练图像中的一张第一目标子训练图像与所述第一目标子训练图像的增强图像之间的差异，确定所述损失。
在一些实施例中，上述训练单元15，具体用于根据如下公式，确定所述损失：
Figure BDA0002999090140000241
其中，所述O为所述训练图像的增强图像，所述Ogt为所述训练图像，‖‖2为2范数，所述ON为所述第一目标子训练图像的增强图像，所述ON gt为所述第一目标子训练图像，所述λ为平衡因子。
可选的，所述第一目标子训练图像为所述目标子训练图像。
可选的，所述目标子训练图像为所述N张第一子训练图像中频率最小的第一子训练图像。
可选的，所述目标子图像为所述N张第一子图像中频率最小的第一子图像。
应理解，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图16所示的图像处理装置100可以执行本申请实施例的方法，并且装置100中的各个单元的前述和其它操作和/或功能分别为了实现各个方法中的相应流程，为了简洁，在此不再赘述。
图17为本申请实施例涉及的电子设备的框图，该电子设备用于执行上述实施例所述的方法，具体参见上述方法实施例中的说明。
图17所示的电子设备20包括存储器21、处理器22、通信接口23。存储器21、处理器22、通信接口23之间彼此通信连接。例如，存储器21、处理器22、通信接口23之间可以采用网络连接的方式，实现通信连接。或者，上述电子设备20还可以包括总线24。存储器21、处理器22、通信接口23通过总线24实现彼此之间的通信连接。图17是以存储器21、处理器22、通信接口23通过总线24实现彼此之间的通信连接的电子设备20。
存储器21可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器21可以存储程序，当存储器21中存储的程序被处理器22执行时，处理器22和通信接口23用于执行上述方法。
处理器22可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路。
处理器22还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的方法可以通过处理器22中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器22还可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器21，处理器22读取存储器21中的信息，结合其硬件完成本申请实施例的方法。
通信接口23使用例如但不限于收发器一类的收发模块，来实现电子设备20与其他设备或通信网络之间的通信。例如，可以通过通信接口23获取数据集。
当上述电子设备20包括总线24时，总线24可包括在电子设备20各个部件(例如，存储器21、处理器22、通信接口23)之间传送信息的通路。
根据本申请的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
根据本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
综上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理的第一图像，并对所述第一图像进行分频，得到N张不同频率的第一子图像，所述N为大于或等于2的正整数；
从所述N张第一子图像中获取一目标子图像；
使用M个三维查找表对所述目标子图像进行插值，得到M张第二子图像，所述M为大于或等于2的正整数；
根据所述M张第二子图像和N-1张第一子图像，得到所述第一图像的增强图像，其中所述N-1张第一子图像为所述N张第一子图像中除所述目标子图像外的其他第一子图像。
2.根据权利要求1所述的方法，其特征在于，根据所述M张第二子图像和N-1张所述第一子图像，得到所述第一图像的增强图像，包括：
对所述M张第二子图像进行叠加，得到所述目标子图像的增强图像；
根据所述目标子图像的增强图像和N-1张所述第一子图像，得到所述第一图像的增强图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述M张第二子图像进行叠加，得到所述目标子图像的增强图像，包括：
将所述目标子图像输入神经网络中，得到所述M张第二子图像中每个像素点的权重；
根据所述M张第二子图像中的每个像素点的权重，对所述M张第二子图像中的每个像素点进行加权运算，得到所述目标子图像的增强图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标子图像的增强图像和N-1张所述第一子图像，得到所述第一图像的增强图像，包括：
获取所述N-1张第一子图像中每张第一子图像的增加算子；
针对所述N-1张第一子图像中的每张第一子图像，使用该第一子图像的增加算子对该第一子图像进行处理，得到该第一子图像的增强图像；
根据所述目标子图像的增强图像和所述N-1张第一子图像中每张第一子图像的增强图像，得到所述第一图像的增强图像。
5.根据权利要求4所述的方法，其特征在于，所述获取所述N-1张所述第一子图像中每张第一子图像的增加算子，包括：
将所述目标子图像输入神经网络中，得到所述N-1张第一子图像中每张第一子图像的预定义算子的相关参数；
针对所述N-1张第一子图像中的每张第一子图像，根据该第一子图像的预定义算子的相关参数，对该第一子图像的预定义算子进行处理，得到该第一子图像的增加算子。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述第一图像进行分解，包括：
对所述第一图像进行拉普拉斯金字塔LP分解。
7.根据权利要求6所述的方法，其特征在于，所述对所述第一图像进行拉普拉斯金字塔LP分解，包括：
将所述第一图像输入LP分解网络，得到所述LP分解网络输出的N张不同频率的第一子图像。
8.根据权利要求4所述的方法，其特征在于，所述根据所述目标子图像的增强图像和所述N-1张第一子图像中每张第一子图像的增强图像，得到所述第一图像的增强图像，包括：
对所述目标子图像的增强图像和所述N-1张第一子图像的增强图像进行拉普拉斯金字塔LP重建，得到所述第一图像的增强图像。
9.一种图像处理装置，其特征在于，包括：
分频单元，用于获取待处理的第一图像，并对所述第一图像进行分频，得到N张不同频率的第一子图像，所述N为大于或等于2的正整数；
获取单元，用于从所述N张第一子图像中获取一目标子图像；
插值单元，用于使用M个三维查找表对所述目标子图像进行插值，得到M张第二子图像，所述M为大于或等于2的正整数；
增强单元，用于根据所述M张第二子图像和N-1张第一子图像，得到所述第一图像的增强图像，其中所述N-1张第一子图像为所述N张第一子图像中除所述目标子图像外的其他第一子图像。
10.一种电子设备，其特征在于，包括：存储器，处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序以实现如上述权利要求1至8任一项所述的方法。
CN202110339713.0A 2021-03-30 2021-03-30 图像处理方法、装置及电子设备 Pending CN115150576A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110339713.0A CN115150576A (zh) 2021-03-30 2021-03-30 图像处理方法、装置及电子设备
PCT/CN2022/078029 WO2022206240A1 (zh) 2021-03-30 2022-02-25 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110339713.0A CN115150576A (zh) 2021-03-30 2021-03-30 图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115150576A true CN115150576A (zh) 2022-10-04

Family

ID=83404478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339713.0A Pending CN115150576A (zh) 2021-03-30 2021-03-30 图像处理方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN115150576A (zh)
WO (1) WO2022206240A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020127A (ja) * 2003-06-24 2005-01-20 Canon Inc 画像処理装置
JP4837365B2 (ja) * 2005-11-16 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
WO2007059602A1 (en) * 2005-11-23 2007-05-31 Cedara Software Corp. Method and system for enhancing digital images
JP2010503056A (ja) * 2006-08-28 2010-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の強調の方法及び装置
US9530186B2 (en) * 2012-10-05 2016-12-27 Koninklijke Philips N.V. Real-time image processing for optimizing sub-images views
CN110598717B (zh) * 2019-09-12 2022-06-21 北京迈格威科技有限公司 图像特征的提取方法、装置及电子设备
CN112308775A (zh) * 2020-09-23 2021-02-02 中国石油大学(华东) 水下图像拼接方法及装置

Also Published As

Publication number Publication date
WO2022206240A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
US7082218B2 (en) Color correction of images
Battiato et al. A locally adaptive zooming algorithm for digital images
US9076218B2 (en) Method and image processing device for image dynamic range compression with local contrast enhancement
US8106972B2 (en) Apparatus and method for noise reduction with 3D LUT
US20070247532A1 (en) Image processing apparatus
JP2019067078A (ja) 画像処理方法、及び画像処理プログラム
US8077205B2 (en) Adaptive prediction of calibration parameters for color imaging devices
JP5235759B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022130642A (ja) コンピュータビジョンのための適応バイラテラル（ｂｌ）フィルタリング
KR100543278B1 (ko) 색 변환 장치 및 색 변환 방법
KR20170115503A (ko) 화상을 역-톤 매핑하기 위한 장치 및 방법
CN113112424A (zh) 图像处理方法、装置、计算机设备和存储介质
US8396291B2 (en) Component extraction/correction device, component extraction/correction method, storage medium and electronic equipment
US20230050498A1 (en) Methods for converting an image and corresponding devices
CN111226256A (zh) 用于图像动态范围调整的系统和方法
JPH0795429A (ja) デジタル画像データを処理するための画像処理システムおよびその方法、ならびに出力デジタル色分解信号を作るための装置
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
CN107220934B (zh) 图像重建方法及装置
JP6376767B2 (ja) 画像処理装置及び画像処理方法
JPH07288768A (ja) 映像信号処理方法および映像信号処理装置
JP2008072604A (ja) 画像処理方式、装置、メディア、プログラム
JP2021043874A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2001014454A (ja) 画像処理装置
CN106296614B (zh) 图像处理装置及图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination