CN115375909A - 一种图像处理方法及装置 - Google Patents

Abstract

本申请涉及一种图像处理方法及装置，其中，该方法可以包括：获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。通过本申请，综合利用多张先验图的优势，生成颜色、亮度、对比度等优化后的高质量的目标图像。

Description

一种图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

深度学习方法，尤其是基于卷积神经网络方法，是近年来人工智能领域发展的一个关键推动力，在计算机视觉的多种任务取得了令人瞩目的效果；例如，在图像复原(Imagerestoration)和图像质量增强(Image Quality Enhancement)领域，基于深度学习的方法在去噪、超分等任务都已经超过了传统方法。

高动态范围电视(High dynamic range television，HDRTV)相比于标准动态范围电视(Standard dynamic range television，SDRTV)在色彩分辨率、量化位深、动态范围(高低亮处的细节)等方面具有显著优势，呈现更加逼真的色彩和更丰富的细节。当前市场上支持HDRTV的显示器有很多，但是HDR的视频或图像源很少，大部分素材内容均是SDR的格式，因此，从SDRTV重建到HDRTV有很大的需求，然而，现有基于深度学习从SDRTV重建到HDRTV的方式，对图像质量增强效果不佳。

发明内容

有鉴于此，提出了一种图像处理方法、装置、存储介质及计算机程序产品。

第一方面，本申请的实施例提供了一种图像处理方法，包括：获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

基于上述技术方案，考虑到不同方式所生成的先验图各有优劣，综合利用并结合多种高显示标准的先验(互补)的优势，对低质量的待处理图像进行处理，生成颜色、亮度、对比度等优化后的高质量的目标图像；从而实现基于多种高显示标准的先验从不同的角度为高质量的目标图像重建提供高效的先验指导，克服平衡色偏、高亮细节丢失等问题，从而提升了重建的目标图像的效果，重建后的目标图像在高亮区域、低亮区域有更多细节，表达色域颜色更宽。

根据第一方面，在第一方面的第一种可能的实现方式中，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；所述将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征，包括：将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。

基于上述技术方案，由于不同的子网络用于提取不同的特征，采用多个子网络，从而解耦图像所对应不同的特征之间的耦合关系；此外，各子网络为并行结构，即各子网络均可接收到待处理图像及第一特征，并可以各自单独进行特征提取，这样，通过并行处理使得图像的增强效果很好地兼顾不同的特征；同时，第一特征可以调制各子网络的各级输出特征，从而融合已有重建先验的优势，降低各子网络特征提取难度与计算复杂度，使得网络更加高效。

根据第一方面的第一种可能的实现方式中，在第一方面的第二种可能的实现方式中，所述子网络包括全局变换神经网络和局部变换神经网络；所述将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征，包括：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。

基于上述技术方案，将第二神经网络的处理分为并行的全局变换与局部变换两个分支，采用全局变换神经网络和局部变换神经网络，解耦全局增强和局部增强之间的耦合关系，并行处理使得增强效果很好地兼顾全局视觉效果和局部视觉效果；同时，第一特征可以调制全局变换神经网络和局部变换神经网络的各级输出特征，从而融合已有重建先验的优势，降低全局变换神经网络和局部变换神经网络特征提取难度与计算复杂度，使得网络更加高效。

根据第一方面或第一方面的上述各种可能的实现方式中，在第一方面的第三种可能的实现方式中，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；所述通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像，包括：对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。

基于上述技术方案，对待处理图像进行处理，生成目标掩码图像，并通过亮度感知特征提取网络对待处理图像、目标掩码图像进行亮度感知特征提取，利用所提取的亮度感知特征生成亮度调制图，对亮度增强网络的输出特征进行调制，从而达到使用目标掩码图像来控制目标图像在高低亮区域生成细节的目的；重建后的高显示标准的目标图像在高亮区域、低亮区域均有更多细节。

根据第一方面的第三种可能的实现方式中，在第一方面的第四种可能的实现方式中，所述对所述待处理图像进行处理，生成目标掩码图像，包括：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。

基于上述技术方案，采用直方图均衡化及直方图百分位截取的方式生成高-低亮度掩码图像，以使得后续相对亮度调整更加鲁棒、自适应能力更强，从而提升图像亮度增强效果。

根据第一方面的第三种或第四种可能的实现方式中，在第一方面的第五种可能的实现方式中，所述亮度增强网络为多级神经网络；所述将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像，包括：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。

基于上述技术方案，采用基于亮度调制图的渐进式增强的方式，可以根据算力水平、精度要求等需求灵活设置亮度增强网络的级数，从而实现合理地分阶段多级增强。

根据第一方面或第一方面的上述各种可能的实现方式中，在第一方面的第六种可能的实现方式中，所述方法还包括：获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图；根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。

基于上述技术方案，利用多种高显示标准的先验，各种高显示标准的先验互相补充构成一个充分完善的先验知识集合，使得预设模型有潜力分别完成各个维度的增强，从而实现自适应融合已有先验的优势，降低学习难度与计算复杂度。因此，利用训练得到的第一神经网络、第二神经网络及第三神经网络，重构得到的目标图像在颜色宽保真度、高低亮处细节等视觉质量上有明显的优化和提升。

根据第一方面的上述第六种可能的实现方式中，在第一方面的第七种可能的实现方式中，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；所述根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络，包括：将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。

基于上述技术方案，利用第一训练特征即条件特征，对第二预设网络的输出特征进行调制，自适应融合已有先验的优势，降低学习难度与计算复杂度。

第二方面，本申请的实施例提供了一种图像处理装置，包括：获取模块，用于获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；第一特征生成模块，用于将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；第二特征生成模块，用于将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；目标图像生成模块，通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

基于上述技术方案，考虑到不同方式所生成的先验图各有优劣，综合利用并结合多种高显示标准的先验(互补)的优势，对低质量的待处理图像进行处理，生成颜色、亮度、对比度等优化后的高质量的目标图像；从而实现基于多种高显示标准的先验从不同的角度为高质量的目标图像重建提供高效的先验指导，克服平衡色偏、高亮细节丢失等问题，从而提升了重建的目标图像的效果，重建后的目标图像在高亮区域、低亮区域有更多细节，表达色域颜色更宽。

根据第二方面，在第二方面的第一种可能的实现方式中，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；所述第二特征生成模块，还用于：将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。

基于上述技术方案，由于不同的子网络用于提取不同的特征，采用多个子网络，从而解耦图像所对应不同的特征之间的耦合关系；此外，各子网络为并行结构，即各子网络均可接收到待处理图像及第一特征，并可以各自单独进行特征提取，这样，通过并行处理使得图像的增强效果很好地兼顾不同的特征；同时，第一特征可以调制各子网络的各级输出特征，从而融合已有重建先验的优势，降低各子网络特征提取难度与计算复杂度，使得网络更加高效。

根据第二方面的第一种可能的实现方式中，在第二方面的第二种可能的实现方式中，所述子网络包括全局变换神经网络和局部变换神经网络；所述第二特征生成模块，还用于：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。

基于上述技术方案，将第二神经网络的处理分为并行的全局变换与局部变换两个分支，采用全局变换神经网络和局部变换神经网络，解耦全局增强和局部增强之间的耦合关系，并行处理使得增强效果很好地兼顾全局视觉效果和局部视觉效果；同时，第一特征可以调制全局变换神经网络和局部变换神经网络的各级输出特征，从而融合已有重建先验的优势，降低全局变换神经网络和局部变换神经网络特征提取难度与计算复杂度，使得网络更加高效。

根据第二方面或第二方面的上述各种可能的实现方式中，在第二方面的第三种可能的实现方式中，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；所述目标图像生成模块，还用于：对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。

基于上述技术方案，，对待处理图像进行处理，生成目标掩码图像，并通过亮度感知特征提取网络对待处理图像、目标掩码图像进行亮度感知特征提取，利用所提取的亮度感知特征生成亮度调制图，对亮度增强网络的输出向量进行调制，从而达到使用目标掩码图像来控制目标图像在高低亮区域生成细节的目的；重建后的高显示标准的目标图像在高亮区域、低亮区域均有更多细节。

根据第二方面的第三种可能的实现方式中，在第二方面的第四种可能的实现方式中，所述目标图像生成模块，还用于：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。

基于上述技术方案，采用直方图均衡化及直方图百分位截取的方式生成高-低亮度掩码图像，以使得后续相对亮度调整更加鲁棒、自适应能力更强，从而提升图像亮度增强效果。

根据第二方面的第三种或第四种可能的实现方式中，在第二方面的第五种可能的实现方式中，所述亮度增强网络为多级神经网络；所述目标图像生成模块，还用于：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。

基于上述技术方案，采用基于亮度调制图的渐进式增强的方式，可以根据算力水平、精度要求等需求灵活设置亮度增强网络的级数，从而实现合理地分阶段多级增强。

根据第二方面或第二方面的上述各种可能的实现方式中，在第二方面的第六种可能的实现方式中，所述装置还包括训练模块，用于：获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图；根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。

基于上述技术方案，利用多种高显示标准的先验，各种高显示标准的先验互相补充构成一个充分完善的先验知识集合，使得预设模型有潜力分别完成各个维度的增强，从而实现自适应融合已有先验的优势，降低学习难度与计算复杂度。因此，利用训练得到的第一神经网络、第二神经网络及第三神经网络，重构得到的目标图像在颜色宽保真度、高低亮处细节等视觉质量上有明显的优化和提升。

根据第二方面的上述第六种可能的实现方式中，在第二方面的第七种可能的实现方式中，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；所述训练模型，还用于：将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。

基于上述技术方案，利用第一训练特征即条件特征，对第二预设网络的输出特征进行调制，自适应融合已有先验的优势，降低学习难度与计算复杂度。

第三方面，本申请的实施例提供了一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现第一方面或第一方面的一种或几种的图像处理方法。

第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面或第一方面的一种或几种的图像处理方法。

第五方面，本申请的实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面或第一方面的一种或几种的图像处理方法。

上述第三方面至第五方面的技术效果，参见上述第一方面或第二方面。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出根据本申请一实施例的一种图像处理方法的场景示意图。

图2示出根据本申请一实施例的一种图像处理方法的流程图。

图3示出根据本申请一实施例的一种图像处理方法的流程示意图。

图4示出根据本申请一实施例的一种图像处理方法的流程示意图。

图5示出根据本申请一实施例的一种图像处理方法的流程图。

图6示出根据本申请一实施例的一种图像处理方法的流程示意图。

图7示出根据本申请一实施例的一种图像处理方法的流程示意图。

图8示出根据本申请一实施例的一种图像处理方法的流程图。

图9示出根据本申请一实施例的一种图像处理方法的流程示意图。

图10示出根据本申请一实施例的一种图像处理方法的流程示意图。

图11示出根据本申请一实施例的一种图像处理方法的流程示意图。

图12示出了根据本申请一实施例的图像处理方法的流程图。

图13示出根据本申请一实施例的图像处理方法的流程图。

图14示出根据本申请一实施例的图像处理方法与现有方法的效果对比图。

图15示出根据本申请一实施例的图像处理方法与现有方法的效果对比图。

图16示出根据本申请一实施例的一种图像处理装置的结构图。

图17示出根据本申请一实施例的一种图像处理装置的结构示意图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。

为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。

1、峰值信噪比(Peak signal-to-noise ratio，PSNR)

一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。峰值信噪比经常用作图像处理等领域中信号重建质量的测量方法，通常简单地通过均方误差进行定义。一般而言，PSNR越高，表征与真值的差距越小。

2、感受野(Receptive Field)

在计算机视觉领域的深度神经网络领域的一个术语，用来表示神经网络内部的不同位置的神经元对原图像的感受范围的大小。神经元感受野的值越大，表示其能接触到的原始图像范围就越大，也意味着该神经元可能蕴含更为全局、语义层次更高的特征；而值越小，则表示其包含的特征越趋向于局部和细节。感受野的值可以大致用来判断每一层的抽象层次。

3、曝光：指在摄影过程中进入镜头照射在感光元件上的光量，由光圈、快门、感光度的组合来控制。一般而言，高曝光时感光元件上获取的光量多，图像像素值偏大；低曝光时感光元件上获取的光量少，图像像素值偏小。如无特殊说明，本申请实施例中所述曝光并不控制光圈、快门、感光度，而是指通过一种数学方法(如伽马Gamma变换)直接修改像素值来达到增加、减少像素值目的：增加图像像素值方法称为高爆光，减少图像像素值方法称为低曝光。

4、卷积神经网络(Convolutional Neural Networks，CNN)

卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使同一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

5、HDRTV

一个表示支持高动态范围(High dynamic range，HDR)格式(HDR10,HDR10+,杜比和HLG格式)显示的显示设备的工程术语。HDRTV显示相比于SDRTV显示有更大的亮度范围，更广的色域，更大的位深。

6、图像增强

也可称为图像质量增强，指对图像的亮度、颜色、对比度、饱和度、动态范围等进行处理，满足某种特定指标的技术。

相关技术中，采用多种基于深度学习从SDRTV重建到HDRTV的方式，以实现图像增强。

作为一个示例，基于卷积神经网络和掩码特征的HDR重建方式，利用了一些HDR重建的知识，如高亮掩码和感知损失函数来建立网络。该方式以原尺寸SDR图像和一张由SDR图像初始生成的一张掩码图像为输入，构建了一个多级的深度卷积神经网络。该方式中没有考虑到SDRTV到HDRTV的色域变换问题(如BT.709到BT.2020)，从而产生了不准确的颜色。

作为另一个示例，基于逆相机成像管道pipeline的单图像HDR重建方式，该方式模拟一般的逆向图像信号成像处理(Reverse Image Signal Processing，ISP)流程来构建多级神经网络。例如，可以将8bit位宽的LDR图像转化到32bit位宽，弥补成像过程中造成的量化误差，之后再经过一个线性化网络将32bit的LDR从非线性空间转到线性空间，模拟相机相应函数(Camera Response Function,CRF)的逆函数得到线性的LDR图像。线性LDR图像将会经过一个由高亮过曝光的掩码指导的细节做最后的效果调优，输出最终的HDR图像。该方式中，没有考虑SDRTV到HDRTV的色域转化问题，且只关注高亮细节生成，网络时延高。

作为另一个示例，级联增强网络，该方式中，将多个网络来串联求解，每个网络都单独训练。该方式中网络整体的参数量过大，需要单独训练、串联测试，步骤繁琐；同时，多级网络串联容易导致误差累计，影响最终网络的效果；此外，映射的效率不够高效。

为了解决上述相关技术中对图像质量增强效果不佳的技术问题，本申请实施例提供了一种图像处理方法，本申请实施例的图像处理方法能够实现将SDRTV显示标准的图像重建出HDRTV显示标准的图像，且重建后的HDRTV显示标准的图像在高亮区域、低亮区域有更多细节，表达色域颜色更宽；此外，具有高保真、低开销、低存储等优点。

下面首先对本申请实施例的适用场景进行示例性说明。

图1示出根据本申请一实施例的一种图像处理方法的场景示意图，如图1所示，用户在显示器查看SDRTV显示标准的图像或视频时，通过执行本申请实施例提供的图像处理方法，可以将SDRTV显示标准的图像或视频重建为HDRTV显示标准的图像，用户通过显示器查看重建后HDRTV显示标准的图像或视频，高亮区域、低亮区域有更多细节、表达色域颜色更宽，从而提高用户的视觉体验。

本申请实施例提供的图像处理方法可以由图像处理装置执行；本申请实施例不限定该图像处理装置的类型。

示例性地，该图像处理装置可以是独立设置，也可以集成在其他装置中，还可以是通过软件或者软件与硬件结合实现。

示例性地，该图像处理装置可以为具有显示功能设备，例如，电子屏幕、配置有显示屏的智能终端等等设备，或设置在这些设备中的部件或者芯片；

示例性地，该图像处理装置还可以为除了具有显示功能之外的其他具有数据处理能力的设备或系统，或设置在这些设备或系统中的部件或者芯片。例如，该图像处理装置可以是云端服务器、台式机、便携式电脑、网络服务器、掌上电脑(personal digitalassistant，PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或其他具有数据处理功能的设备，或者为这些设备内的部件或者芯片。

示例性地，该图像处理装置还可以是具有处理功能的芯片或处理器，该图像处理装置可以包括多个处理器。处理器可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。

需要说明的是，本申请实施例描述的上述应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，针对其他相似的或新的场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用，例如，在手机终端显示、视频网站显示或电子屏幕显示等场景，均可以将本申请实施例中方法部署在相关设备的计算节点上，从而提高图像/视频HDR显示效果。还可以应用于在手机HDR显示、电子屏幕HDR显示等多种应用场景中的图像/视频质量提升任务中，例如：图像超分辨率重构、图像去噪、图像去雾、图像去模糊、图像对比度增强、图像去马赛克、图像去雨、图像颜色增强、图像亮度增强、图像细节增强以及图像动态范围增强等图像增强任务。

下面对本申请实施例提供的图像处理方法进行详细说明。

图2示出根据本申请一实施例的一种图像处理方法的流程图，该方法可以由上述图像处理装置执行，如图2所示，可以包括以下步骤：

步骤201、获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图。

示例性地，所述待处理图像可以为低质量的图像，即显示标准较低的图像，例如，待处理图像可以为8bit的BT.709色域的SDRTV图像。

其中，先验图，又称先验特征图，可以为灰度图、暗通道图、亮通道图或梯度图等等；先验图可以作为基本的高显示标准的先验，例如HDRTV先验；示例性地，可以通过逆μ律(mu-law)函数、色域变换、矩阵变换等传统方式生成多张先验图，其中，不同先验图所对应的生成方式不同，例如，多张先验图可以包括通过mu-law函数所生成的先验图、通过色域变换所生成的先验图、通过矩阵变换所生成的先验图。这样，通过不同的方式，从而获取充分多的高显示标准的先验。

需要说明的是，本申请实施例中，对获取多张先验图的途径不作限定。例如，可以通过高显示标准先验图生成器，如HDRTV先验图生成器(HDRTV prior map generator)对输入的待处理图像进行处理，采用上述先验图生成方式生成对应的多张先验图；也可以通过Photoshop或者极光Aurora等现有软件计算得到多张先验图。

步骤202、将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征。

其中，第一特征可以表征高显示标准的先验信息，从而可以用于调制后续的第二神经网络，使第二神经网络的提取特征更加高效。

示例性地，第一神经网络可以为条件特征提取器(condition featureextractor)，用于对输入的多张先验图进行特征提取，生成条件特征(又称条件向量condition vector)，即第一特征。

示例性地，第一神经网络可以具有较大感受野的神经网络，如包含大卷积核的全卷积神经网络，从上述多张先验图中提取特征并变换为条件特征；从而实现基于多种重建先验进行条件特征提取。

作为一个示例，第一神经网络可以包括颜色条件模块(color condition block，CCB)、开端模块(Inception Block，In)、丢弃层(Dropout)、卷积层(Conv)、平均池化层(Average Pooling，Avgpool)等等中的一项或多项；示例性地，第一神经网络可以包括多个CCB及In，以及一个Dropout、Conv、Avgpool，其中，多个CCB及In可以与Dropout、Conv、Avgpool依次连接。

步骤203、将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征。

其中，第二神经网络的输出特征可以包括第二神经网络对待处理图像进行特征提取的过程中，各级(如各卷积层)所提取的特征。这样，通过上述第一特征控制第二神经网络的特征提取，从而生成第二特征。

示例性地，可以通过第一特征生成仿射变换参数对第二神经网络各级提取的特征进行变换，从而根据变换后的特征，生成第二特征。

示例性地，可以对第一特征进行处理，生成相应的调制信号，例如，可以通过线性变换，如全连接层(Full Connection，FC)、卷积核大小为1×1的卷积层等产生调制信号，进而通过该调制信号调制第二神经网络的输出特征。

需要说明的是，本申请实施例中，对第二神经网络的数量不作限制，即第二神经网络可以包含一个或多个子网络。

作为一个示例，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；从而针对输入的一个待处理图像，可以得生成多个第二特征。示例性地，子网络可以包括全局变换神经网络和局部变换神经网络，相应的可以生成全局特征及局部特征这两个第二特征。

作为另一个示例，第二神经网络可以为一个网络，例如，可以为卷积神经网络、图卷积网络循环神经网络等具有提取图像特征功能的网络，对此不作限定。

步骤204、通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

其中，目标图像可以为高质量图像，即显示标准较高的图像，例如，目标图像可以为10bit的BT.2020色域的HDRTV图像。

这样，利用多种高显示标准的先验，各种高显示标准的先验互相补充构成一个充分完善的先验知识集合，可以分别完成针对各个先验图对应优势的增强，因此，重构得到的目标图像在颜色宽保真度、高低亮处细节等视觉质量上有明显的优化和提升。

需要说明的是，本申请实施例中，对第三神经网络的数量不作限制。示例性地，第三神经网络可以包括：亮度感知特征提取网络及亮度增强网络，用于提取亮度感知特征，并根据所提取亮度感知特征进行亮度增强，从而得到亮度增强后的目标图像。

图3示出根据本申请一实施例的一种图像处理方法的流程示意图，如图3所示，通过执行上述步骤201-204，首先，对待处理图像进行处理，生成多张先验图；然后通过第一神经网络对该多张先验图进行处理，生成第一特征；进而，将第一特征及待处理图像输入到第二神经网络，并生成第二特征；最后，将待处理图像及第二特征输入到第三神经网络，从而得到目标图像。

本申请实施例中，考虑到不同方式所生成的先验图各有优劣，例如逆mu-law能较好地扩充高低亮细节，但是存在偏色问题；色域变换具有较好的颜色特性，但是难以兼顾高低亮细节；因此，综合利用并结合多种高显示标准的先验(互补)的优势，对低质量的待处理图像，进行处理，生成颜色、亮度、对比度等优化后的高质量的目标图像；从而实现基于多种高显示标准的先验(即多张先验图)从不同的角度为高质量的目标图像重建提供高效的先验指导，克服平衡色偏、高亮细节丢失等问题，从而提升了重建的目标图像的效果，重建后的目标图像在高亮区域、低亮区域有更多细节，表达色域颜色更宽。

举例来说，图4示出根据本申请一实施例的一种图像处理方法的流程示意图，如图4所示，首先，将8bit的SDRTV图像输入到先验图生成器进行处理，生成多张先验图(priorHDRTVs)，从而提取HDRTV多种重建先验；然后，将所生成的多张先验图输入到条件特征提取器，从而基于HDRTV多种重建先验提取条件特征；进而，将SDRTV图像输入到第二神经网络，并利用条件特征控制第二神经网络提取SDRTV图像的特征，生成第二特征；最后，利用第三神经网络对该第二特征及SDRTV图像进行处理，生成10bit的HDRTV图像。这样，除输入的SDRTV图像外，引入多种HDRTV重建的先验，作为额外输入，HDRTV的多种重建先验图旨在利用HDRTV重建先验知识，例如逆mu-law函数，色域变换矩阵等方法获取充分多的HDRTV先验，这些先验从不同的角度为后续第二神经网络及第三神经网络的HDRTV重建提供高效的先验指导，结合各种HDRTV先验的优势逐个解决对应的子问题，如色偏、高亮细节丢失等；从而可以将8bit SDRTV图像重建出10bit甚至更高的HDRTV图像；例如，可以将BT.709色域的SDRTV图像还原到BT.2020色域的HDRTV，使得恢复后的HDRTV在高亮、低亮区域有更多细节，表达色域颜色更宽。

下面以上述第二神经网络包括多个子网络为例，对本申请实施例中图像处理方法进行进一步说明。

图5示出根据本申请一实施例的一种图像处理方法的流程图，该方法可以由上述图像处理装置执行，如图5所示，可以包括以下步骤：

步骤501、获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图。

该步骤与上述图2中步骤201相同，此处不再赘述。

步骤502、将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征。

该步骤与上述图2中步骤202相同，此处不再赘述。

示例性地，第一神经网络可以对输入的多张先验图进行特征提取，从而从多种高显示标准的重建先验中提取特征并变换为输出的多流条件特征，即用于调制后续多个子网络的条件特征；例如，可以为双流条件特征，即用于调制后续两个子网络的条件特征。

步骤503、将所述待处理图像分别输入到多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。

示例性地，可以根据上述多流条件特征，用于调制各子网络的输出特征。

由于不同的子网络用于提取不同的特征，该步骤中，采用多个子网络，从而解耦图像所对应不同的特征之间的耦合关系；此外，各子网络为并行结构，即各子网络均可接收到待处理图像及第一特征，并可以各自单独进行特征提取，这样，通过并行处理使得图像的增强效果很好地兼顾不同的特征；同时，第一特征可以调制各子网络的各级输出特征，从而融合已有重建先验的优势，降低各子网络特征提取难度与计算复杂度，使得网络更加高效。

作为一个示例，所述子网络可以包括全局变换神经网络和局部变换神经网络；该步骤可以包括：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。

该示例中，全局变换神经网络与局部变换神经网络为并行结构。即全局变换神经网络与局部变换神经网络可以同时接收到待处理图像及第一特征，并可以单独进行特征提取。示例性地，可以对第一特征进行全局变换调制(global modulation)，生成全局变换调制信号，并利用该全局变换调制信号调制全局变换神经网络中各级的输出特征；同时，对第一特征进行局部变换调制(local modulation)，生成局部变换调制信号，并利用该局部变换调制信号调制局部变换神经网络中各级的输出特征。

示例性地，全局变换神经网络，可以包括卷积核大小为1×1的卷积层和/或全连接层等全局变换算子(global feature mapping，GFM)，通过全局变换算子进行简单的线性全局变换，同时，根据第一特征来调制全局变换神经网络的各级输出特征，完成全局变换，生成颜色、色度等全局特征。作为一个示例，全局变换神经网络可以包括fc、Conv、GFM、线性整流函数/修正线性单元(Rectified Linear Unit，Relu)激活函数等等中的一项或多项；例如，全局变换神经网络可以包括多个fc、Conv、GFM、Relu激活函数，且fc、Conv、GFM、Relu激活函数的数目相同，其中，一个fc、一个Conv、一个GFM及一个Relu作为全局变换神经网络的一级，且Conv、GFM、Relu依次连接，fc与GFM连接。

示例性地，局部变换神经网络(也可称为局部调整神经网络)，可以包括卷积层、注意力机制等局部变换算子(local feature mapping，LFM)，通过局部变换算子进行局部变换，同时，根据第一特征调制局部变换神经网络的各级输出特征，完成局部调整，生成纹理等局部特征。作为一个示例，局部变换神经网络可以包括fc、Conv、LFM、Relu激活函数等等中的一项或多项；例如，局部变换神经网络可以包括多个fc、Conv、LFM、Relu激活函数，且fc、Conv、LFM、Relu激活函数的数目相同，其中，一个fc、一个Conv、一个LFM及一个Relu作为局部变换神经网络的一级，且Conv、LFM、Relu依次连接，fc与LFM连接。

示例性地，可以通过通道注意力机制(channel attention，CA)、加权融合机制等特征融合算子，将全局特征与局部特征进行自适应的融合处理(adaptive fusionmodule)，从而生成第二特征，例如，融合后的特征图。作为一个示例，第二神经网络还可以包括自适应融合模型，该自适应融合模型可以包括CA、Conv、Relu激活函数；其中，CA、Conv、Relu激活函数依次连接。

步骤504、通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

该步骤与上述图2中步骤204相同，此处不再赘述。

图6示出根据本申请一实施例的一种图像处理方法的流程示意图，如图6所示，通过执行上述步骤501-504，首先，对待处理图像进行处理，生成多张先验图；然后通过第一神经网络对该多张先验图进行处理，生成第一特征；进而，将第一特征及待处理图像输入到全局变换神经网络及局部变换神经网络，并将全局变换神经网络所生成的全局特征及局部变换神经网络所生产的局部特征进行特征融合，生成第二特征；最后，将待处理图像及第二特征输入到第三神经网络，从而得到目标图像。

本申请实施例中，将第二神经网络的处理分为并行的全局变换与局部变换两个分支，采用全局变换神经网络和局部变换神经网络，解耦全局增强和局部增强之间的耦合关系，并行处理使得增强效果很好地兼顾全局视觉效果和局部视觉效果；同时，第一特征可以调制全局变换神经网络和局部变换神经网络的各级输出特征，从而融合已有重建先验的优势，降低全局变换神经网络和局部变换神经网络特征提取难度与计算复杂度，使得网络更加高效。

举例来说，图7示出根据本申请一实施例的一种图像处理方法的流程示意图，如图7所示，首先，将SDRTV图像输入到先验图生成器进行处理，生成多张先验图，从而提取HDRTV多种重建先验；然后，将所生成的多张先验图输入到条件特征提取器，从而基于HDRTV多种重建先验提取条件特征；进而，通过进行全局变换调制，将调制后的条件特征输入到条件控制的全局变换网络(conditioned global mapping network)，条件控制的全局变换网络在条件特征的控制下提取SDRTV图像的全局特征；与此同时，通过进行局部变换调制，将调制后的条件特征输入到条件控制的局部变换网络(conditioned local adjustmentnetwork)，条件控制的局部变换网络在条件特征的控制下提取SDRTV图像的局部特征；将并行提取出的局部特征及全局特征通过自适应融合模型进行融合处理，生成第二特征；最后，利用第三神经网络对该第二特征及SDRTV图像进行处理，生成HDRTV图像。这样，通过将HDRTV重构分为并行的全局变换与局部变换两个分支，解耦全局增强和局部增强之间的耦合关系，使得HDRTV图像的增强效果很好地兼顾全局视觉效果和局部视觉效果，同时，通过双流条件控制全局变换网络和局部变换神经网络的特征提取，从而融合已有重建先验的优势，使得HDRTV重构更加高效。

下面以上述第三神经网络包括亮度感知特征提取网络及亮度增强网络为例对本申请实施例中图像处理方法进行进一步说明。

图8示出根据本申请一实施例的一种图像处理方法的流程图，该方式可以由上述图像处理装置执行，如图8所示，该方法可以包括以下步骤：

步骤801、获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图。

该步骤与上述图2中步骤201相同，此处不再赘述。

步骤802、将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征。

该步骤与上述图2中步骤202相同，此处不再赘述。

步骤803、将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征。

该步骤与上述图2中步骤203相同，此处不再赘述。

步骤804、对所述待处理图像进行处理，生成目标掩码(mask)图像。

其中，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度。其中，第一区域又可称为高亮度区域，第二区域又可称为低亮度区域；相应的，包含高亮度区域及低亮度区域的目标掩码图像可以称为高-低亮度掩码图像。

示例性地，可以将待处理图像输入到高-低亮度掩码图像生成器(High-lowBrightness Mask Generator)，从而生成高-低亮度掩码图像。

该步骤中，通过对待处理图像进行处理，生成高-低亮度掩码图像，以便后续对图像进行相对亮度调整。该高-低亮度掩码图像的作用类似于一个像素级的注意力机制，使得后续对图像的增强可以关注于高亮区域及低亮区域的增强。

在一种可能的实现方式中，该步骤可以包括：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成目标掩码图像。

该实现方式中，通过对待处理图像进行直方图均衡化，并采用直方图百分位进行截取出高-低亮度掩码图像，可以理解的是，相对于采用亮度硬阈值的方式，直方图百分位比亮度阈值调整更鲁棒；这样，采用直方图均衡化及直方图百分位截取的方式生成高-低亮度掩码图像，以使得后续相对亮度调整更加鲁棒、自适应能力更强，从而提升图像亮度增强效果。

步骤805、通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制。

示例性地，亮度感知特征提取网络可以包括具有较大感受野的神经网络，如包含膨胀卷积、Inception模块等结构的神经网络，从而提取非局部的亮度感知特征。

该步骤中，亮度感知特征提取网络可以为亮度感知特征提取器(brightness-aware feature extractor)，从而提取出亮度感知特征，并利用提取的亮度感知特征生成亮度调制图，例如，高-低亮度特征图。

作为一个示例，亮度感知特征提取网络可以包括Conv、残差空洞空间卷积金字塔模块(residual atrous spatial pyramid block，ResASPP)、残差模块(Resblcok)、Relu激活函数等等中的一项或多项；示例性地，亮度感知特征提取网络可以包括两个Conv、两个ResASPP、两个Resblcok及一个Relu激活函数，其中，一个Conv、一个ResASPP、一个Resblcok、另一个ResASPP、另一个Resblcok、另一个Conv、一个Relu激活函数依次连接。

步骤806、将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像。

其中，所述亮度增强网络针对亮度对所述第二特征进行增强。利用亮度调制图调制亮度增强网络的输出特征，从而控制目标图像在高低亮度区域生成细节，提高图像增强效果。

在一种可能的实现方式中，所述亮度增强网络为多级神经网络；该步骤可以包括：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。

作为一个示例，亮度增强网络可以包括Conv、Relu激活函数、点乘模块(element-wise product)等等中的一项或多项；示例性地，亮度感知特征提取网络可以包括多个Conv、Relu激活函数，且Conv与Relu激活函数的数目相同；其中，一个Conv与一个Relu激活函数组成网络的一级，第二特征经过每一级的输出特征与亮度调制图经过该级特征提取后的结果通过点乘模块进行点乘处理，点乘处理后的结果输入到下一级。

该实现方式中，亮度增强网络可以为渐进式亮度增强网络(progressivebrightness enhancement network)；针对每级输出特征进行调制前，对亮度调制图进行特征提取，从而得到亮度调制图对应的最新特征图，并利用该最新特征图对亮度增强网络中的该级输出特征进行调制；示例性地，可以在每一级将亮度调制图对应的最新特征图以点乘的方式作用到亮度增强网络中的该级输出特征，从而完成该级的调制，同理，对亮度增强网络的每级的输出特征进行处理，从而实现渐进式亮度增强。这样，采用基于亮度调制图的渐进式增强的方式，可以根据算力水平、精度要求等需求灵活设置亮度增强网络的级数，从而实现合理地分阶段多级增强。例如，在算力水平较低时，亮度增强网络中可以包括三级卷积层及激活层，从而可以利用亮度调制图对每一卷积层及激活层的输出特征进行调制，从而在满足算力水平的情况下，实现较好的图像增强效果；而在算力水平较高时，亮度增强网络中可以包括十级卷积层及激活层，从而可以利用亮度调制图对每一卷积层及激活层的输出特征进行调制，从而进一步提升图像增强效果。

图9示出根据本申请一实施例的一种图像处理方法的流程示意图，如图9所示，通过执行上述步骤801-806，首先，对待处理图像进行处理，生成多张先验图；然后通过第一神经网络对该多张先验图进行处理，生成第一特征；进而，将第一特征及待处理图像输入到第二神经网络，并生成第二特征；进一步地，对待处理图像进行处理，生成目标掩码图像，并将目标掩码图像输入到亮度感知特征提取网络，生成亮度调制图；最后，将第二特征及亮度调制图输入到亮度增强网络，亮度增强网络对第二特征及亮度调制图进行处理，从而得到目标图像。

本申请实施例中，对待处理图像进行处理，生成目标掩码图像，并通过亮度感知特征提取网络对待处理图像、目标掩码图像进行亮度感知特征提取，利用所提取的亮度感知特征生成亮度调制图，对亮度增强网络的输出向量进行调制，从而达到使用高-低亮度掩码图像(即目标掩码图像)来控制目标图像在高低亮区域生成细节的目的；重建后的高显示标准的目标图像在高亮区域、低亮区域均有更多细节。

作为一个示例，图10示出根据本申请一实施例的一种图像处理方法的流程示意图，如图10所示，首先，对待处理图像进行处理，生成多张先验图；然后通过第一神经网络对该多张先验图进行处理，生成第一特征；进而，将第一特征及待处理图像输入到全局变换神经网络及局部变换神经网络，并将全局变换神经网络所生成的全局特征及局部变换神经网络所生产的局部特征进行特征融合，生成第二特征；进一步地，对待处理图像进行处理，生成目标掩码图像，并将目标掩码图像及待处理图像输入到亮度感知特征提取网络，生成亮度调制图；最后，将第二特征及亮度调制图输入到渐进式亮度增强网络，渐进式亮度增强网络对第二特征及亮度调制图进行处理，从而得到目标图像。这样，将第二神经网络的处理分为并行的全局变换与局部变换两个分支，采用全局变换神经网络和局部变换神经网络，解耦全局增强和局部增强之间的耦合关系，并行处理使得增强效果很好地兼顾全局视觉效果和局部视觉效果；同时，第一特征可以调制全局变换神经网络和局部变换神经网络的各级输出特征，从而融合已有重建先验的优势，降低全局变换神经网络和局部变换神经网络特征提取难度与计算复杂度，使得网络更加高效；此外，对待处理图像进行处理，生成目标掩码图像，并通过亮度感知特征提取网络对待处理图像、目标掩码图像进行亮度感知特征提取，利用所提取的亮度感知特征生成亮度调制图，对渐进式亮度增强网络的输出特征进行调制，从而可以在满足算力水平等需求的情况下，达到使用目标掩码图像来控制目标图像在高低亮区域生成细节的目的；重建后的高显示标准的目标图像在高亮区域、低亮区域均有更多细节。

作为另一个示例，以将SDRTV图像重建为HDRTV图像为例，图11示出根据本申请一实施例的一种图像处理方法的流程示意图，如图11所示，首先，将SDRTV图像输入到先验图生成器进行处理，生成多张先验图，从而提取HDRTV多种重建先验；然后，将所生成的多张先验图输入到条件特征提取器，从而基于HDRTV多种重建先验提取条件特征；进而，通过进行全局变换调制，将调制后的条件特征输入到条件控制的全局变换网络，条件控制的全局变换网络在条件特征的控制下提取SDRTV图像的全局特征；与此同时，通过进行局部变换调制，将调制后的条件特征输入到条件控制的局部变换网络，条件控制的局部变换网络在条件特征的控制下提取SDRTV图像的局部特征；将并行提取出的局部特征及全局特征通过自适应融合模型进行融合处理，生成第二特征；最后，将SDRTV图像输入到高-低亮度掩码生成器，生成高-低亮度掩码图像，并将高-低亮度掩码图像及SDRTV图像输入到亮度感知特征提取器，生成亮度调制图；最后，将第二特征及亮度调制图输入到渐进式亮度增强网络，渐进式亮度增强网络对第二特征及亮度调制图进行处理，从而得到HDRTV图像。这样，通过将HDRTV重构分为并行的全局变换与局部变换两个分支，解耦全局增强和局部增强之间的耦合关系，使得HDRTV图像的增强效果很好地兼顾全局视觉效果和局部视觉效果，同时，通过双流条件控制全局变换网络和局部变换神经网络的特征提取，从而融合已有重建先验的优势，使得HDRTV重构更加高效；此外，对SDRTV图像进行处理，生成高-低亮度掩码图像，并通过亮度感知特征提取网络对SDRTV图像、高-低亮度掩码图像进行亮度感知特征提取，利用所提取的亮度感知特征生成亮度调制图，对渐进式亮度增强网络的输出特征进行调制，从而可以在满足算力水平等需求的情况下，达到使用高-低亮度掩码图像来控制重构的HDRTV在高低亮区域生成细节的目的；重建后的HDRTV图像在高亮区域、低亮区域均有更多细节。

下面对上述神经网络模型的训练过程进行示例性说明。

图12示出了根据本申请一实施例的图像处理方法的流程图。该方法可以由上述图像处理装置执行，如图12所示，可以包括以下步骤：

步骤1201、获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图。

示例性地，训练样本图像还可以是从现有数据库所获取的低质量的图像及对应的高质量的图像，还可以是可以接收其他设备发送的低质量的图像及对应的高质量的图像，对此不作限定。

示例性地，可参照上述生成先验图的方式生成多张先验样本图；其中，多张先验样本图中包括通过不同方式所生成的先验样本图。

步骤1202、根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。

示例性地，预设模型可以对任一低质量的图像及该低质量的图像对应的多张先验样本图进行处理，得到处理结果，即增强后的图像，将该增强后的图像与该低质量的图像对应的高质量的图像进而对比，计算损失函数值，并根据损失函数值采用反向传播的方式调整所述预设模型的参数，直到达到预设训练结束条件。

示例性地，损失函数可以为重建损失函数(reconstruction loss)或对抗损失函数(adversarial loss)等。

示例性地，预设训练结束条件可以为损失函数达到收敛、达到预设迭代次数等等。

在一种可能的实现方式中，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；该步骤可以包括：将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。这样，利用第一训练特征，即条件特征对第二预设网络的输出特征进行调制，自适应融合已有先验的优势，降低学习难度与计算复杂度。

示例性地，第二预设网络可以包括多个预设子网络。所述将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征，包括：将所述训练样本图像分别输入到所述多个预设子网络中的各子网络，利用所述第一训练特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二训练特征。作为一个示例，所述子网络包括全局变换预设神经网络和局部变换预设神经网络；可以将训练样本图像输入到全局变换预设神经网络，并利用第一训练特征调制全局变换预设神经网络的输出特征，生成训练样本图像的全局训练特征；将训练样本图像输入到局部变换预设神经网络，并利用第一训练特征调制局部变换预设神经网络的输出特征，生成训练样本图像的局部训练特征；对全局训练特征和局部训练特征进行融合处理，生成第二训练特征。

示例性地，第三预设网络包括：亮度感知特征提取预设网络及亮度增强预设网络；所述通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像，可以包括：对训练样本图像进行处理，生成目标掩码图像；通过亮度感知特征提取预设网络，对训练样本图像、目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图；将第二训练特征输入到亮度增强预设网络，并利用亮度调制图调制亮度增强预设网络的输出特征，得到处理后的图像。示例性地，可以通过对训练样本图像进行直方图均衡化及直方图百分位截取，生成目标掩码图像。示例性地，所述将第二训练特征输入到亮度增强预设网络，并利用亮度调制图调制亮度增强预设网络的输出特征，得到处理后的图像可以包括：将所述第二训练特征输入到亮度增强预设网络，并利用亮度调制图对亮度增强预设网络中的各级输出特征进行调制，得到处理后的图像，其中，针对每级输出特征进行调制前，对亮度调制图进行特征提取。

该步骤中的具体实现细节可参照前文对待处理图像及多张先验图进行处理的相关表述，此处不再赘述。

这样，通过上述步骤1201及步骤1202，从而针对低质量的图像及对应的高质量的图像，使用预设损失函数进行训练，从而得到第一神经网络、第二神经网络、第三预设网络的网络参数。

步骤1203、获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图。

该步骤与上述图2中步骤201相同，此处不再赘述。

步骤1204、将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征。

该步骤与上述图2中步骤202相同，此处不再赘述。

步骤1205、将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征。

该步骤与上述图2中步骤203相同，此处不再赘述。

步骤1206、通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

该步骤与上述图2中步骤204相同，此处不再赘述。

本申请实施例中，利用多种高显示标准的先验，各种高显示标准的先验互相补充构成一个充分完善的先验知识集合，使得预设模型有潜力分别完成各个维度的增强，从而实现自适应融合已有先验的优势，降低学习难度与计算复杂度。因此，利用训练得到的第一神经网络、第二神经网络及第三神经网络，重构得到的目标图像在颜色宽保真度、高低亮处细节等视觉质量上有明显的优化和提升。

举例来说，获取SDRTV图像I及对应的多张先验图P，经过训练好的第一神经网络、第二神经网络及第三神经网络，最终生成重构增强的HDRTV图像O。图13示出了根据本申请一实施例的图像处理方法的流程图；如图13所示，对于SDRTV图像I，利用先验图生成器生成多张先验图P；训练好的第一神经网络接收多张先验图P，经过训练好的第一神经网络(包括多个CCB及In，以及一个Dropout、Conv、Average Pooling)，这样依次经过CCB、In,最后经过Dropout、Conv、Avgpool输出条件特征C。训练好的第二神经网络接收第一神经网络的输出，即条件特征C，以及SDRTV图像I。经过训练好的第二神经网络的两个分支，即全局变换神经网络(包括fc、Conv、GFM、Relu激活函数)和局部变换神经网络(包括fc、Conv、LFM、Relu激活函数)，其中，条件特征C经过全局变换神经网络中的fc产生全局调制信号G，SDRTV图像I经过多个卷积+GFM+Relu激活函数输出增强后的全局特征GF，其中，全局调制信号G用于调制GFM的输出特征，实现条件特征C控制的全局变换；条件特征C经过局部变换神经网络中的fc产生局部调制信号L，SDRTV图像I经过多个卷积+LFM+Relu激活函数输出增强后的局部特征LF，其中，局部调制信号L用于调制LFM的输出特征，实现条件特征C控制的局部变换。然后，第二神经网络中自适应的融合模块(包括CA、Conv、Relu激活函数)接收全局特征GF和局部特征LF，依次经过CA、Conv、Relu激活函数输出特征图S。训练好的第三神经网络接收SDRTV图像I及特征图S，其中，训练好的第三神经网络中高-低亮度掩码生成器接收SDRTV图像I，并根据直方图均衡化及直方图百分位截取等方式生成高-低亮度掩码图像。训练好的第三神经网络中亮度感知特征提取器(包括Conv、ResASPP、Resblcok、Relu激活函数)接收高-低亮度掩码图像及SDRTV图像I作为输入，依次经过Conv、ResASPP、Resblcok、Relu激活函数等算子，输出高-低亮度特征图HL。训练好的第三神经网络中亮度增强网络(包括Conv、Relu激活函数、点乘模块)接收第二神经网络输出的特征图S和高-低亮度特征图HL，经过3级渐进式增强处理，其中，每一级包括一个Conv+Relu激活函数+点乘模块，输出最终的增强后的HDRTV图像O。

下面对本申请实施例所提供的图像处理方法的性能进行示例性说明。

作为一个示例，利用开源的训练集、测试集，采用上述实施例中所述的方法得到训练后的模型BAMBNet及其测试结果，并在同一训练集、测试集上采用现有的CSRNet方法、SA3DLUT方法、AGCM方法、HG方法，分别得到对应的模型CSRNet、SA3DLUT、AGCM、HG及各模型对应的测试结果。表1为测试结果对比表；其中，对比指标包括：PSNR、平均峰值信噪比(meanPeak signal-to-noise ratio，mPSNR)、结构相似性(Structural similarity，SSIM)、多尺度结构相似性(multi scale Structural similarity，MS-SSIM)、超分辨率结构相似性(Super resolution Structural similarity，SR-SIM)、目标评估指标ΔE_ITP、高动态范围成像视觉差预测器(High Dynamic Range Imaging-Visual Difference Predictor，HDR-VDP3)；其中，PSNR、SSIM、HDR-VDP3、SR-SIM指标的数值越大表示性能越好，ΔE_ITP的数值越小表示性能越好。

表1-测试结果对比表

模型	参数量	PSNR	mPSNR	SSIM	MS-SSIM	ΔE<sub>ITP</sub>	SR-SIM	HDR-VDP3
									CSRNet	36.5K	40.31	32.47	0.9940	0.9971	7.3877	0.9926	9.4091
SA3DLUT	4.5M	39.89	31.88	0.9933	0.9970	7.5075	0.9930	9.3996
									AGCM	35.3K	40.45	32.22	0.9937	0.9973	7.0690	0.9935	9.4646
HG	38.2M	41.87	33.69	0.9957	0.9978	6.1242	0.9939	9.5441
									BAMBNet	0.6M	43.50	35.13	0.9963	0.9981	5.1598	0.9945	9.5889

由上述表1可知，基于本申请实施例中上述方法的BAMBNet模型，相比于CSRNet、SA3DLUT、AGCM、HG等，在PSNR、SSIM、HDR-VDP3、SR-SIM以及ΔE_ITP指标上均具有更好的表现。相比于现有最先进的(State-Of-The-Art，SOTA)方法HG，在PSNR指标上提升了1.63分贝(Decibel，dB)、色差降低了15.7％。

此外，基于本申请实施例中上述方法的BAMBNet模型，相比于CSRNet、SA3DLUT、AGCM、HG等，具有更好的视觉效果。例如，在亮度、颜色、动态范围、局部对比度等与真值(Ground Truth，GT)更加接近。图14示出了根据本申请一实施例的图像处理方法与现有方法的效果对比图。如图14所示，基于本申请实施例中上述方法的BAMBNet模型相比于其他模型能够更加准确地恢复出HDRTV的色域，在颜色保真度上效果很好。图15示出了根据本申请一实施例的图像处理方法与现有方法的效果对比图；如图15所示，基于本申请实施例中上述方法的BAMBNet模型相比于其他模型能够更加准确地恢复出高亮与低亮的细节和颜色，而其他模型要么颜色没有恢复正确，要么细节恢复太少，BAMBNet模型在这些方面表现更加优异。

此外，基于本申请实施例中上述方法的BAMBNet模型，相比于CSRNet、SA3DLUT、AGCM、HG等，具有更少的参数量，例如，相比于HG，参数量缩减为原来的1/64。因此，BAMBNet模型在运行过程中将会消耗更少的内存，也更加高效；从而使得模型的计算开销小、低存储、速度快、能实时处理4K/8K等超高分辨率图像。

基于上述方法实施例的同一发明构思，本申请的实施例还提供了一种图像处理装置，该图像处理装置可以用于执行上述方法实施例所描述的技术方案。例如，可以执行上述图2、图5、图8或图12中所示图像处理方法的各步骤。

图16示出了根据本申请一实施例的一种图像处理装置的结构图，如图16所示，包括：获取模块1601，用于获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；第一特征生成模块1602，用于将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；第二特征生成模块1603，用于将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；目标图像生成模块1604，通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

本申请实施例中，考虑到不同方式所生成的先验图各有优劣，因此，综合利用并结合多种高显示标准的先验(互补)的优势，对低质量的待处理图像进行处理，生成颜色、亮度、对比度等优化后的高质量的目标图像；从而实现基于多种高显示标准的先验从不同的角度为高质量的目标图像重建提供高效的先验指导，克服平衡色偏、高亮细节丢失等问题，从而提升了重建的目标图像的效果，重建后的目标图像在高亮区域、低亮区域有更多细节，表达色域颜色更宽。

在一种可能的实现方式中，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；所述第二特征生成模块1603，还用于：将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。

在一种可能的实现方式中，所述子网络包括全局变换神经网络和局部变换神经网络；所述第二特征生成模块1603，还用于：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。

在一种可能的实现方式中，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；所述目标图像生成模块1604，还用于：对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。

在一种可能的实现方式中，所述目标图像生成模块1604，还用于：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。

在一种可能的实现方式中，所述亮度增强网络为多级神经网络；所述目标图像生成模块1604，还用于：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。

在一种可能的实现方式中，所述装置还包括训练模块，用于：获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图；根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。

在一种可能的实现方式中，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；所述训练模型，还用于：将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。

上述图16所示的图像处理装置及其各种可能的实现方式的技术效果及具体描述可参见上述图像处理方法，此处不再赘述。

应理解以上装置中各模块的划分仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。此外，装置中的模块可以以处理器调用软件的形式实现；例如装置包括处理器，处理器与存储器连接，存储器中存储有指令，处理器调用存储器中存储的指令，以实现以上任一种方法或实现该装置各模块的功能，其中处理器例如为通用处理器，例如中央处理单元(Central Processing Unit，CPU)或微处理器，存储器为装置内的存储器或装置外的存储器。或者，装置中的模块可以以硬件电路的形式实现，可以通过对硬件电路的设计实现部分或全部模块的功能，该硬件电路可以理解为一个或多个处理器；例如，在一种实现中，该硬件电路为专用集成电路(application-specific integrated circuit，ASIC)，通过对电路内元件逻辑关系的设计，实现以上部分或全部模块的功能；再如，在另一种实现中，该硬件电路为可以通过可编程逻辑器件(programmable logic device，PLD)实现，以现场可编程门阵列(Field ProgrammableGate Array，FPGA)为例，其可以包括大量逻辑门电路，通过配置文件来配置逻辑门电路之间的连接关系，从而实现以上部分或全部模块的功能。以上装置的所有模块可以全部通过处理器调用软件的形式实现，或全部通过硬件电路的形式实现，或部分通过处理器调用软件的形式实现，剩余部分通过硬件电路的形式实现。

在本申请实施例中，处理器是一种具有信号的处理能力的电路，在一种实现中，处理器可以是具有指令读取与运行能力的电路，例如CPU、微处理器、图形处理器(graphicsprocessing unit，GPU)、数字信号处理器(digital signal processor，DSP)、神经网络处理器(neural-network processing unit，NPU)、张量处理器(tensor processing unit，TPU)等；在另一种实现中，处理器可以通过硬件电路的逻辑关系实现一定功能，该硬件电路的逻辑关系是固定的或可以重构的，例如处理器为ASIC或PLD实现的硬件电路，例如FPGA。在可重构的硬件电路中，处理器加载配置文档，实现硬件电路配置的过程，可以理解为处理器加载指令，以实现以上部分或全部模块的功能的过程。

可见，以上装置中的各模块可以是被配置成实施以上实施例方法的一个或多个处理器(或处理电路)，例如：CPU、GPU、NPU、TPU、微处理器、DSP、ASIC、FPGA，或这些处理器形式中至少两种的组合。此外，以上装置中的各模块可以全部或部分可以集成在一起，或者可以独立实现，对此不作限定。

本申请的实施例还提供了一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述实施例的方法。示例性地，可以执行上述图2、图5、图8或图12中所示图像处理方法的各步骤。

图17示出根据本申请一实施例的一种图像处理装置的结构示意图，如图17所示，该图像处理装置可以包括：至少一个处理器1701，通信线路1702，存储1703以及至少一个通信接口1704。

处理器1701可以是一个通用中央处理器，微处理器，特定应用集成电路，或一个或多个用于控制本申请方案程序执行的集成电路；处理器1701也可以包括多个通用处理器的异构运算架构，例如，可以是CPU、GPU、微处理器、DSP、ASIC、FPGA中至少两种的组合；作为一个示例，处理器1701可以是CPU+GPU或者CPU+ASIC或者CPU+FPGA。

通信线路1702可包括一通路，在上述组件之间传送信息。

通信接口1704，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，RAN，无线局域网(wireless local area networks，WLAN)等。

存储器1703可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1702与处理器相连接。存储器也可以和处理器集成在一起。本申请实施例提供的存储器通常可以具有非易失性。其中，存储器1703用于存储执行本申请方案的计算机执行指令，并由处理器1701来控制执行。处理器1701用于执行存储器1703中存储的计算机执行指令，从而实现本申请上述实施例中提供的方法；示例性地，可以执行上述图2、图5、图8或图12中所示图像处理方法的各步骤。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

示例性地，处理器1701可以包括一个或多个CPU，例如，图17中的CPU0；处理器1701也可以包括一个CPU，及GPU、ASIC、FPGA中任一个，例如，图17中的CPU0+GPU0或者CPU 0+ASIC0或者CPU0+FPGA0。

示例性地，图像处理装置可以包括多个处理器，例如图17中的处理器1701和处理器1707。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器，或者是包括多个通用处理器的异构运算架构。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，图像处理装置还可以包括输出设备1705和输入设备1706。输出设备1705和处理器1701通信，可以以多种方式来显示信息。例如，输出设备1705可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emittingdiode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等，例如，可以为车载HUD、AR-HUD、显示器等显示设备。输入设备1706和处理器1701通信，可以以多种方式接收用户的输入。例如，输入设备1706可以是鼠标、键盘、触摸屏设备或传感设备等。

本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述实施例中的方法。示例性地，可以执行上述图2、图5、图8或图12中所示图像处理方法的各步骤。

本申请的实施例提供了一种计算机程序产品，例如，可以包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质；当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述实施例中的方法。示例性地，可以执行上述图2、图5、图8或图12中所示图像处理方法的各步骤。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。

这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (19)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；

将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；

将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；

通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；

所述将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征，包括：

将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。

3.根据权利要求2所述的方法，其特征在于，所述子网络包括全局变换神经网络和局部变换神经网络；

所述将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征，包括：

将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；

将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；

对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；

所述通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像，包括：

对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；

通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；

将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。

5.根据权利要求4所述的方法，其特征在于，所述对所述待处理图像进行处理，生成目标掩码图像，包括：

通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。

6.根据权利要求4或5所述的方法，其特征在于，所述亮度增强网络为多级神经网络；

所述将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像，包括：

将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：

获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图；

根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。

8.根据权利要求7所述的方法，其特征在于，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；

所述根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络，包括：

将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；

将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；

通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；

根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；

第一特征生成模块，用于将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；

第二特征生成模块，用于将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；

目标图像生成模块，通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。

10.根据权利要求9所述的装置，其特征在于，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；

所述第二特征生成模块，还用于：将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。

11.根据权利要求10所述的装置，其特征在于，所述子网络包括全局变换神经网络和局部变换神经网络；

所述第二特征生成模块，还用于：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。

12.根据权利要求9-11中任一项所述的装置，其特征在于，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；

所述目标图像生成模块，还用于：对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。

13.根据权利要求12所述的装置，其特征在于，所述目标图像生成模块，还用于：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。

14.根据权利要求12或13所述的装置，其特征在于，所述亮度增强网络为多级神经网络；

所述目标图像生成模块，还用于：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。

15.根据权利要求9-14中任一项所述的装置，其特征在于，所述装置还包括训练模块，用于：获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图；根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。

16.根据权利要求15所述的装置，其特征在于，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；

所述训练模型，还用于：将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。

17.一种图像处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令时实现权利要求1-8中任意一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-8中任意一项所述的方法。

19.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行权利要求1-8中任意一项所述的方法。

Images