CN116152233A - 图像处理方法、智能终端及存储介质 - Google Patents

图像处理方法、智能终端及存储介质 Download PDF

Info

Publication number
CN116152233A
CN116152233A CN202310405325.7A CN202310405325A CN116152233A CN 116152233 A CN116152233 A CN 116152233A CN 202310405325 A CN202310405325 A CN 202310405325A CN 116152233 A CN116152233 A CN 116152233A
Authority
CN
China
Prior art keywords
image
exposure
processed
evaluation model
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310405325.7A
Other languages
English (en)
Other versions
CN116152233B (zh
Inventor
明安龙
张志宇
何帅
康学净
马华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310405325.7A priority Critical patent/CN116152233B/zh
Publication of CN116152233A publication Critical patent/CN116152233A/zh
Application granted granted Critical
Publication of CN116152233B publication Critical patent/CN116152233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像处理方法、智能终端及存储介质，该方法获取待处理图像；将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的像素级曝光程度信息，其中，预设像素级评估模型通过第一图像样本和第一图像样本对应的标注像素级曝光程度信息训练得到；将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息，其中，预设整体曝光评估模型通过第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息训练得到。

Description

图像处理方法、智能终端及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种图像处理方法、智能终端及存储介质。
背景技术
随着计算摄影技术的发展，通过算法将拍摄的图像进行美化已被广泛应用在各类具有拍摄功能的终端设备中。曝光作为摄影三大关键因素之一，对拍摄最终产生的图像效果有着至关重要的影响，准确的评估图像的曝光将有助于多个应用场景算法效果的提升，如相机自动曝光控制、自动曝光补偿、后期图像曝光修复、多图像曝光融合、智能相册等。
目前，图像曝光评估技术可分为三类：基于亮度特征统计，基于信息特征比较和基于学习的方法。基于亮度特征的方法是最简单、最基本的图像曝光评价方法。它的核心思想是基于图像像素的亮度概率分布特征，通过在亮度直方图上设立阈值，判断图像的曝光问题。代表算法有基于直方图阈值整体判断，将图像分块后再对直方图特征判断等。这类方法计算简单、执行速度快，常用于对实时性要求比较高的场合。然而，由于没有引入额外的先验信息，在判断时往往只是对图像的整体曝光的情况粗糙的划分，因此应用场合十分有限。基于信息特征比较的方法认为曝光的目的是为了准确记录图像中的关键信息，所以会计算同一场景下的多曝光参数图片，将曝光变化过程中信息损失最小的那一张图作为曝光最佳的图像，这种方法比基于亮度特征统计的方法在结果精度上有了进一步提升。然而，很多非实时场景下不能提供多曝光图像的采集条件，限制了这类方法的实际应用。
然而，现有技术针对图像曝光评估方式单一且评估粒度粗糙，无法全面、准确确定图像的曝光程度及曝光效果。
发明内容
本申请提供一种图像处理方法、智能终端及存储介质，从而解决现有技术针对图像曝光评估方式单一且评估粒度粗糙，无法全面、准确确定图像的曝光程度及曝光效果的技术问题。
第一方面，本申请提供了一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的像素级曝光程度信息，其中，所述预设像素级评估模型通过第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息训练得到；
将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息，其中，所述预设整体曝光评估模型通过第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息训练得到。
这里，本申请提供了一种可全面、准确地评估图像曝光信息的方法，通过预先设置好的像素级评估模型和预设整体曝光评估模型，以像素级为粒度，确定图像中每个像素的曝光程度，还能够基于图像整体进行分析，确定图像整体的曝光效果，既能做出细粒度的曝光程度评价，又能通过整体曝光效果信息对图像的整体曝光效果进行分析，考虑到了图像整体给人带来的观感效果，实现了对图像曝光的多维度评价，能全面、准确确定图像的曝光程度及曝光效果，提高了图像处理的准确性及全面性。
可选地，所述预设像素级评估模型包括编码器模块和解码器模块；相应地，所述将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的曝光程度信息，包括：将所述待处理图像输入至预设像素级评估模型，通过所述编码器模块对所述待处理图像进行特征提取处理，得到第一特征图和第二特征图；通过所述解码器模块对所述第一特征图和所述第二特征图进行信息解密处理，得到所述待处理图像的像素级曝光程度信息。
可选地，在所述将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的曝光程度信息之前，还包括：获取第一训练数据集，所述第一训练数据集包括第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息；将所述第一图像样本输入至第一评估模型，得到训练像素级曝光程度信息；根据所述标注像素级曝光程度信息和所述训练像素级曝光程度信息，确定第一监督损失；根据所述第一监督损失，通过梯度下降法和反向传播算法，对所述第一评估模型进行参数优化处理，得到预设像素级评估模型；将所述第一训练数据集输入至评估模型进行模型训练，得到预设像素级评估模型。
可选地，所述预设整体曝光评估模型包括特征拼接模块、特征提取模块和得分计算模块；相应地，所述将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息，包括：将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型；通过所述特征拼接模块将所述待处理图像的曝光程度信息和所述待处理图像进行拼接处理，得到待评估特征信息；通过所述特征提取模块对所述待评估特征信息进行特征提取处理，得到特征提取图；通过所述得分计算模块对所述特征提取图进行得分计算处理，得到所述待处理图像的整体曝光效果信息。
可选地，在所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息之前，还包括：获取第二训练数据集，所述第二训练数据集包括第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息；将所述第二图像样本和所述标注像素级曝光程度信息输入至第二评估模型，得到训练整体曝光效果信息；根据所述标注整体曝光效果信息和所述训练整体曝光效果信息，确定第二监督损失；根据所述第二监督损失，通过梯度下降法和反向传播算法，对所述第二评估模型进行参数优化处理，得到预设整体曝光评估模型。
可选地，在所述将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息之后，还包括：根据所述待处理图像的像素级曝光程度信息和\或整体曝光效果信息，生成优化方案；根据所述优化方案，调整所述待处理图像的曝光数据。
可选地，所述根据所述待处理图像的像素级曝光程度信息和\或整体曝光效果信息，生成优化方案，包括：根据所述待处理图像的像素级曝光程度信息，生成针对每个像素区域的第一优化方案；和\或，根据所述待处理图像的像素级曝光程度信息，生成针对整个所述待处理图像的第二优化方案。
第二方面，本申请提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像；
第一确定模块，用于将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的像素级曝光程度信息，其中，所述预设像素级评估模型通过第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息训练得到；
第二确定模块，用于将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息，其中，所述预设整体曝光评估模型通过第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息训练得到。
可选地，所述预设像素级评估模型包括编码器模块和解码器模块；相应地，所述第一确定模块具体用于：将所述待处理图像输入至预设像素级评估模型，通过所述编码器模块对所述待处理图像进行特征提取处理，得到第一特征图和第二特征图；通过所述解码器模块对所述第一特征图和所述第二特征图进行信息解密处理，得到所述待处理图像的像素级曝光程度信息。
可选地，在所述第一确定模块将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的曝光程度信息之前，上述装置还包括第一训练模块，用于：获取第一训练数据集，所述第一训练数据集包括第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息；将所述第一图像样本输入至第一评估模型，得到训练像素级曝光程度信息；根据所述标注像素级曝光程度信息和所述训练像素级曝光程度信息，确定第一监督损失；根据所述第一监督损失，通过梯度下降法和反向传播算法，对所述第一评估模型进行参数优化处理，得到预设像素级评估模型；将所述第一训练数据集输入至评估模型进行模型训练，得到预设像素级评估模型。
可选地，所述预设整体曝光评估模型包括特征拼接模块、特征提取模块和得分计算模块；相应地，所述第二确定模块具体用于：将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型；通过所述特征拼接模块将所述待处理图像的曝光程度信息和所述待处理图像进行拼接处理，得到待评估特征信息；通过所述特征提取模块对所述待评估特征信息进行特征提取处理，得到特征提取图；通过所述得分计算模块对所述特征提取图进行得分计算处理，得到所述待处理图像的整体曝光效果信息。
可选地，在所述第二确定模块将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息之前，上述装置还包括第二训练模块，用于：获取第二训练数据集，所述第二训练数据集包括第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息；将所述第二图像样本和所述标注像素级曝光程度信息输入至第二评估模型，得到训练整体曝光效果信息；根据所述标注整体曝光效果信息和所述训练整体曝光效果信息，确定第二监督损失；根据所述第二监督损失，通过梯度下降法和反向传播算法，对所述第二评估模型进行参数优化处理，得到预设整体曝光评估模型。
可选地，在所述第二确定模块将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息之后，上述装置还包括优化调整模块，用于：根据所述待处理图像的像素级曝光程度信息和\或整体曝光效果信息，生成优化方案；根据所述优化方案，调整所述待处理图像的曝光数据。
可选地，所述优化调整模块具体用于：根据所述待处理图像的像素级曝光程度信息，生成针对每个像素区域的第一优化方案；和\或，根据所述待处理图像的像素级曝光程度信息，生成针对整个所述待处理图像的第二优化方案。
第三方面，本申请提供一种图像处理设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像处理方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。
第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。
本申请提供的图像处理方法、智能终端及存储介质，其中该方法通过预先设置好的像素级评估模型和预设整体曝光评估模型，以像素级为粒度，确定图像中每个像素的曝光程度，还能够基于图像整体进行分析，确定图像整体的曝光效果，既能做出细粒度的曝光程度评价，又能通过整体曝光效果信息对图像的整体曝光效果进行分析，考虑到了图像整体给人带来的观感效果，实现了对图像曝光的多维度评价，能全面、准确确定图像的曝光程度及曝光效果，提高了图像处理的准确性及全面性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理系统架构示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种像素级曝光评估信息示意图；
图4为本申请实施例提供的一种可视化图片效果示意图；
图5为本申请实施例提供的另一种图像处理方法的流程示意图；
图6为本申请实施例提供的又一种图像处理方法的流程示意图；
图7为本申请实施例提供的一种图像处理装置的结构示意图；
图8为本申请实施例提供的一种图像处理设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，对本申请实施例中的名词进行解释：
批规范化：（Batch-Normalization，BatchNorm）使得结果（输出信号各个维度）的均值为0，方差为1，是一种让神经网络训练更快、更稳定的方法。
VGG19：是一种卷积神经网络模型结构。
MobileNetV2：是新一代移动端轻量级的卷积神经网络结构。
Resnet-18：是一个18层深的卷积神经网络，是一种由残差块（Residual BuildingBlock）构建的残差网络。
Imagenet：是一个用于视觉对象识别软件研究的大型可视化数据库。
现有技术中的图像曝光评估方法存在一些问题。基于图像和曝光相关的统计特征计算的方法虽然计算快捷方便，但是因统计图像特征较为单一，存在不考虑具体图像语义，评价对象不细致，只针对图像整体或者局部块区域的缺陷，所以存在评价范围粗糙，评价过程不考虑具体内容语义信息的缺点。基于机器学习的曝光评估方法，虽然由于神经网络的特征提取功能，具备了考虑图像语义特征信息的功能，但是大多数对曝光评估的工作，只停留于对图像整体的曝光程度进行评估，即只对于图像整体的欠曝，过曝程度进行评估，缺少了对于图像整体曝光主观效果的评估。经过分析，发现目前的曝光评估方法主要存在两个问题：一、评估粒度粗糙，只关注对图像整体或某些块状区域进行评估，不能反映具体像素的曝光问题；二、评估维度单一，不能同时兼顾对图像曝光程度（如欠曝、过曝等）和曝光效果（如视觉观感好、视觉观感差等）的评估。
近年来，由于机器学习理论的研究和发展，基于学习的算法成了图像质量评价领域的研究热点。这类算法一般事先收集大量图像数据集，通过学习数据集曝光退化图像和主观意见得分之间的映射关系建立数学模型，然后利用学习的模型进行图像曝光主观评价打分。基于学习的方法在训练模型时一般可分为以下几个步骤：对原始图像数据集中的图像曝光退化操作，建立低曝光质量图像库，并得到主观意见打分；利用特征提取模型，提取图像块特征；根据图像特征对图像的曝光感知质量进行打分；对每一训练图像学习图像曝光表现到曝光主观打分之间的映射关系。
显然，基于学习的算法的评价效果受特征提取、主观打分标注的影响较大，需要准确的监督信息来帮助模型训练学习。然而目前已有的基于学习的图像评价方法受限于数据集监督信息的限制，只能实现对图像整体曝光程度的判断或者对图像整体质量效果的打分评价。
然而，图像的曝光问题在图像中可能会复杂分布，在某些极端光线条件下，图像中会同时出现过曝欠曝区域，目前已有的曝光评价方法评价粒度粗糙，不能很好的对图像局部的曝光问题进行评价。因此，有必要研究一个像素级曝光评价模型，能够对图像的曝光问题进行像素级细粒度的评价，以更实际贴切的反映图像的曝光问题，同时考虑到实际应用场景中对图像曝光问题的调整更多的是为了图像整体曝光效果的优化，所以在对图像进行像素级曝光问题评价的同时，也有必要对图像整体的曝光效果进行评价。
为了解决上述问题，本申请实施例提供一种图像处理方法、智能终端及存储介质，其中该方法通过预先设置好的像素级评估模型和预设整体曝光评估模型，以像素级为粒度，确定图像中每个像素的曝光程度，还能够基于图像整体进行分析，确定图像整体的曝光效果，既能做出细粒度的曝光程度评价，又能通过整体曝光效果信息对图像的整体曝光效果进行分析，将对图像整体的曝光效果的评估作为一部分加入到评估结果中，实现了更加多维而准确的图像曝光评估。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
可选的，图1为本申请实施例提供的一种图像处理系统架构示意图。在图1中，上述架构包括数据采集设备101、处理设备102和显示设备103中至少一种。
可以理解的是，本申请实施例示意的结构并不构成对图像处理系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。
在具体实现过程中，数据采集设备101可以包括输入/输出接口，也可以包括通信接口，数据采集设备101可以通过输入/输出接口或者是通信接口与处理设备连接。
处理设备102可以通过数据采集设备101获取图像，通过预先设置好的像素级评估模型和预设整体曝光评估模型，以像素级为粒度，确定图像中每个像素的曝光程度，还能够基于图像整体进行分析，确定图像整体的曝光效果。
显示设备103还可以是触摸显示屏或者终端设备的屏幕，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。
应理解，上述处理设备可以通过处理器读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。
另外，本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面结合具体的实施例对本申请的技术方案进行详细的说明：
可选地，图2为本申请实施例提供的一种图像处理方法的流程示意图。本申请实施例的执行主体可以为图1中的处理设备102，具体执行主体可以根据实际应用场景确定。如图2所示，该方法包括如下步骤：
S201：获取待处理图像。
可选地，本申请实施例可以接收来自其它设备的待处理图像，或者是通过输入\输出装置接收用户输入的待处理图像，或者是调取存储在设备内部的待处理图像。
可选地，可以在获取原始图片或者原始视频之后，从中获取该待处理图像。可选地，当获取到至少一张原始图片时，可以从该至少一张原始图片中选择一张原始图片作为待处理图像。可选地，当获取到原始视频时，智能终端可以根据预设采样频率，将该原始视频转换为至少一张原始图片，并从该至少一张原始图片中选择一张作为待处理图像。
可选地，还可以在从至少一张原始图片中选择一张原始图片后，对该被选择的原始图片进行预处理，得到待处理图像。该预处理可以包括对原始图片进行缩放、裁剪、翻转等。从而实现更加准确地曝光检测。
S202：将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的像素级曝光程度信息。
其中，预设像素级评估模型通过第一图像样本和第一图像样本对应的标注像素级曝光程度信息训练得到。
可选地，预设像素级评估模型包括编码器模块和解码器模块。
相应地，将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的曝光程度信息，包括：
将待处理图像输入至预设像素级评估模型，通过编码器模块对待处理图像进行特征提取处理，得到第一特征图和第二特征图；通过解码器模块对第一特征图和第二特征图进行信息解密处理，得到待处理图像的像素级曝光程度信息。
其中，本申请实施例提供的预设像素级评估模型采用了编码器-解码器的神经网络架构，实现了像素级的评估预测功能，提高了图片曝光程度的评估精度，克服了基于特征统计方法在统计时必须基于区域进行统计评估的缺点，实现了对图像各个像素进行曝光水平的预测，使对图像的曝光评估可以做到更加精细，准确的评估图像中的每一个像素的曝光程度。
可选地，本申请实施例将待处理图像输入像素级评估模型中。该评估模型将根据其预设的参数和算法步骤，对该待处理图像进行处理，从而得到像素级曝光评估信息。该像素级曝光评估信息可以如图3所示。需要说明的是，3仅为示意性的效果图，不影响本申请实施例的保护范围。
可选地，该像素级评估模型采用了编码器-解码器的神经网络架构，实现了像素级的评估预测功能。该像素级评估模型包含编码器模块和解码器模块。
可选地，通过编码器模块对待评估图片进行至少一次特征提取处理，得到第一特征图和第二特征图。可选地，编码器模块包括，M（M为大于2的正整数，可以根据实际情况确定，本申请实施例对此不作具体限制）个池化层和M+1个双卷积模块。
可选地，双卷积模块包含了两个卷积层和两个线性整流函数层，双卷积模块也可以由若干个卷积层和线性整流函数层组合实现，在本实施例中采用了卷积-线性整流函数-卷积-线性整流函数的设计作为实现方案。可选地，池化层可以通过Avg-Pooling、Max-Pooling等通用池化方式实现，在本实施例中采用Avg-Pooling作为实现方式。
可选地，通过1个双卷积模块对待评估图像进行特征提取处理，得到所诉第一特征图；通过M个池化层和双卷积模块对第一特征图处理后得到M个第二特征图。
可选地，通过解码器模块对第一特征图和第二特征图进行处理，得到像素级曝光评估信息。
可选地，解码器模块包括M个上采样模块和M个特征拼接模块和M个双卷积模块和1个卷积输出模块。可选地，上采样模块可以通过转置卷积或者尺寸缩放实现。
可选地，解码器模块具体用于：通过上采样模块第M个获得的第二特征图进行上处理得到第1个获得的上采样曝光特征图；将第1个获得的上采样曝光特征图和第M-1个获得的第二特征图经过特征拼接层处理后，经过双卷积模块处理，得到第1个曝光评估特征图；依次对第1个至第M-2个获得的曝光评估特征图和对应的第M-2至第1个获得的第二特征图进行重复上述处理操作之后得到第M-1个获得的曝光特征评估图；将第M-1个获得的曝光特征评估图与第一特征图经过特征拼接层处理后得到第M个获得的曝光特征评估图；将第M个获得的曝光特征评估图经过卷积输出模块处理后得到像素级曝光评估信息。
可选地，在像素级曝光评估信息中，每个像素上的数字表示该对像素的曝光程度的评估结果，数值分布范围为（-1，1），数值越靠近-1表示过曝程度越严重，数值越靠近1表示欠曝程度越严重，数值越靠近0则表示曝光程度越正常。
可选地，为了直观的高效的展现像素级曝光评估信息，可以借助热力图对像素级曝光评估信息进行可视化。示范性地，图4为本申请实施例提供的一种可视化图片效果示意图，如图4所示，本申请实施例可将图4左边的训练样图（待处理图像）经过可视化处理后，得到监督信息可视化图，需要说明的是，图4仅为效果图，不影响本申请实施例的保护范围。
S203：将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息。
其中，预设整体曝光评估模型通过第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息训练得到。
可选地，第二图像样本可以与第一图像样本相同。
可选地，预设整体曝光评估模型包括特征拼接模块、特征提取模块和得分计算模块。
相应地，将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息，包括：
将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型；通过特征拼接模块将待处理图像的曝光程度信息和待处理图像进行拼接处理，得到待评估特征信息；通过特征提取模块对待评估特征信息进行特征提取处理，得到特征提取图；通过得分计算模块对特征提取图进行得分计算处理，得到待处理图像的整体曝光效果信息。
其中，预设整体曝光评估模型包括特征拼接模块，特征提取模块和得分计算模块，特征拼接模块被设计处于特征提取模块之前，将像素级曝光评估信息和图片经过特征拼接层处理之后，得到待评估特征信息；将待评估信息送入特征提取模块进行特征提取，得到特征提取图；将最后一个获得的特征提取图送入得分计算模块得到整体曝光评估信息，能够全面地分析图像的曝光效果，基于用户观感为图像曝光效果打分，实现了图像曝光的多维度评估，提高了图像处理的全面性和灵活性。
可选地，整体曝光评估模型采用金字塔结构的卷积神经网络设计，整体曝光评估模型可以包括三个模块：特征拼接模块，特征提取模块和得分计算模块。
可选地，特征拼接模块与特征提取模块的位置关系可以有多种实现，例如，特征拼接模块被设计为处于特征提取模块中间，将像素级曝光评估信息与第N（N为任意正整数，可以根据实际情况确定，本申请实施例对此不作具体限制）个提取特征图拼接，再送入特征提取模块中的第N+1个卷积层进行特征提取处理，在本实施例中，特征拼接模块被设计为处于特征提取模块之前，即将像素级曝光评估信息和待评估图片经过特征拼接层处理之后，得到待评估特征信息；将待评估信息送入特征提取模块进行特征提取，得到特征提取图；将最后一个获得的特征提取图送入得分计算模块得到整体曝光评估信息。可选地、整体曝光评估信息为（0，1）之间分布的单个数值，数值越高则代表图像整体曝光观感越好，数值越低则代表图像整体曝光观感越差。
本申请提供了一种可全面、准确地评估图像曝光信息的方法，通过预先设置好的像素级评估模型和预设整体曝光评估模型，以像素级为粒度，确定图像中每个像素的曝光程度，还能够基于图像整体进行分析，确定图像整体的曝光效果，既能做出细粒度的曝光程度评价，又能通过整体曝光效果信息对图像的整体曝光效果进行分析，考虑到了图像整体给人带来的观感效果，实现了对图像曝光的多维度评价，能全面、准确确定图像的曝光程度及曝光效果，提高了图像处理的准确性及全面性。
可选地，本申请实施例预先训练预设像素级评估模型和预设整体曝光评估模型，进而实现多维度且准确的图像曝光检测，相应的，图5为本申请实施例提供的另一种图像处理方法的流程示意图，如图5所示，还方法包括：
S401：获取待处理图像。
S402：获取第一训练数据集，第一训练数据集包括第一图像样本和第一图像样本对应的标注像素级曝光程度信息；将第一图像样本输入至第一评估模型，得到训练像素级曝光程度信息；根据标注像素级曝光程度信息和训练像素级曝光程度信息，确定第一监督损失；根据第一监督损失，通过梯度下降法和反向传播算法，对第一评估模型进行参数优化处理，得到预设像素级评估模型；将第一训练数据集输入至评估模型进行模型训练，得到预设像素级评估模型。
获取第一训练数据集的具体方式如下：
可选地，在网络的训练阶段，本申请实施例可以通过对原始训练图片进行随机翻转、缩放、裁剪等处理得到训练图片，训练图片的集合为图像样本，这样的做法增加了训练样本数量，有助于模型得到更好的训练效果。
可选地，该训练数据集中的训练图片被划分为至少一个数据块。一个数据块为一个batch。训练图片可以以batch的形式送入到网络中进行训练。可选地，一个batch中包括的训练图片的数量可以根据需要设定。例如，batch_size＝8时，一个batch中包括8张训练图片。
例如，本申请实施例可以通过对该原始图像进行随机水平翻转、缩放、裁剪等处理，获得一个batch的训练图片input。例如，一个batch的训练图片的维度可以为（8，3，256，256）。
可选地，现有的图像评估数据集中虽然包含了对图像曝光的主观评价打分，但是缺少了用于支撑像素级曝光评价的监督信息。为了支撑智能终端评估模型中的像素级评估模型的训练，本申请实施例收集了大量的摄影图片，并对其进行像素级的曝光程度信息标注组成了像素级曝光评估数据集，同时，为了兼顾对像素级曝光程度和对图像整体曝光效果的评估，我们也为数据集中的图像提供了主观曝光得分标注信息。
模型训练的具体方式如下：
可选地、在将训练图片（图像样本中的图片）输入到评估模型后，对该训练图片进行处理。评估模型可以包括像素级曝光评估模型(编码器、解码器)和整体曝光评估模型（特征拼接模块、特征提取模块和得分计算模块）共2个模型。该训练图片在该评估模型的具体处理过程可以包括如下步骤：
步骤1、将训练图片输入像素级曝光评估模型，得到模型所预测的像素级曝光评估信息。
可选地，该像素级评估模型采用了编码器-解码器的神经网络架构，实现了像素级的评估预测功能。该像素级评估模型包含编码器模块和解码器模块。编码器模块的功能是对训练图片进行特征提取，得到第一特征图和第二特征图。解码器模块的功能是对第一特征图和第二特征图的进行信息解码处理，得到模型所预测的像素级曝光评估信息。
可选地、步骤1可以被分为如下步骤：
步骤11、将训练图片输入到编码器模块，得到第一特征图和第二特征图。
可选地，智能终端在获取待训练图片后，可以将待训练图片输入到编码器模块进行特征提取。
可选地，编码器模块可以包括，4个池化层5个双卷积模块。
可选地，双卷积模块包含了两个卷积层和两个线性整流函数层，双卷积模块也可以由若干个卷积层和线性整流函数层组合实现,在本实施例中采用了卷积层-线性整流函数（LeakyReLu）-卷积层-线性整流函数（LeakyReLu）的堆叠设计作为实现方案。该LeakyReLu函数的公式如下所示：
Figure SMS_1
其中
Figure SMS_2
为人为设定的超参数，在本实施例中，/>
Figure SMS_3
取-0.1。
可选地、步骤11具体可以被分为如下步骤：
步骤111、通过1个双卷积模块对待评估图像进行特征提取处理，得到第一特征图；
可选地、第一特征图可以表示为
Figure SMS_4
，其对应的维度可以为（8，32，256，256）。可选地，双卷积模块中可以加入BatchNorm层以避免在训练时出现梯度消失或者梯度爆炸，提升训练效率。
步骤112、可以通过4个池化层和4个双卷积模块对第一特征图处理后得到4个第二特征图。
可选地，池化层可以通过Avg-Pooling或者Max-Pooling实现。可选地、第二特征图可以分别表示为
Figure SMS_5
，/>
Figure SMS_6
，/>
Figure SMS_7
，/>
Figure SMS_8
，其对应的维度可以分别为（8，64，128，128），（8，128，64，64），（8，256，32，32），（8，512，16，16）。
步骤12、将第一特征图和第二特征图送入解码器模块进行解码，得到像素级曝光评估信息。
可选地、通过解码器模块对第一特征图和第二特征图进行处理，得到像素级曝光评估信息。
可选地，解码器模块包括4个上采样模块和4个特征拼接模块和4个双卷积模块和1个卷积输出模块。可选地，上采样模块可以通过转置卷积或者尺寸缩放实现。
可选地、解码器模块对第一特征图和第二特征图的处理过程（步骤12）可以具体包括以下步骤：
步骤121、通过上采样模块第4个获得的第二特征图
Figure SMS_9
进行上处理得到第1个获得的曝光特征图。可选地、第1个获得的曝光特征图对应的维度为（8，512，32，32）。
步骤122、将第1个获得的曝光特征图和第3个获得的第二特征图
Figure SMS_10
通过特征拼接层进行拼接，并送入双卷积模块和上采样模块进行处理，得到第2个曝光特征图。可选地、第2个曝光特征图对应的维度为（8，256，64，64）。
步骤123、将第2个获得的曝光特征图和第2个获得的第二特征图
Figure SMS_11
通过特征拼接层进行拼接，并送入双卷积模块和上采样模块进行处理，得到第3个曝光特征图。可选地、第3个曝光特征图对应的维度为（8，128，128，128）。
步骤124、将第3个获得的曝光特征图和第1个获得的第二特征图
Figure SMS_12
通过特征拼接层进行拼接，并送入双卷积模块和上采样模块进行处理，得到第4个曝光特征图。可选地、第4个曝光特征图对应的维度为（8，64，256，256）。
步骤125、将第4个获得的曝光特征图和第一特征图
Figure SMS_13
通过特征拼接层进行拼接，并送入双卷积模块进行处理，得到第5个曝光特征图。可选地、第5个曝光特征图对应的维度为（8，32，256，256）。
步骤126、将第5个获得的曝光特征评估图经过卷积输出模块处理后得到像素级曝光评估信息。可选地、卷积输出模块包含了1个卷积层和1个Tanh函数约束层。可选地、Tanh函数约束层的功能是为了限制输出评估图的范围固定在（-1，1）之间。可选地、像素级曝光评估信息的维度为（8，1，256，256），每个像素的值的分布范围为（-1，1），数值越靠近-1表示过曝程度越严重，数值越靠近1表示欠曝程度越严重，数值越靠近0则表示曝光程度越正常。
之后，根据监督损失，通过梯度下降法和反向传播算法，优化评估模型的参数。
本申请实施例预先获取图像样本，并为图像样本标注像素级曝光程度信息，根据多个图像样本及其对应的标注像素级曝光程度信息，通过梯度下降法和反向传播算法，能够训练得到精准的预设像素级评估模型，从而实现像素级图像曝光程度评估，提高了曝光程度评估的准确性。
S403：获取第二训练数据集，第二训练数据集包括第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息；将第二图像样本和标注像素级曝光程度信息输入至第二评估模型，得到训练整体曝光效果信息；根据标注整体曝光效果信息和训练整体曝光效果信息，确定第二监督损失；根据第二监督损失，通过梯度下降法和反向传播算法，对第二评估模型进行参数优化处理，得到预设整体曝光评估模型。
模型训练的具体方式如下：
可选地、整体曝光评估模型采用金字塔结构的卷积神经网络设计，整体曝光评估模型可以包括三个模块：特征拼接模块，特征提取模块和得分计算模块。具体过程包括如下步骤：
步骤21、将训练图片和与之对应的像素级曝光评估信息输入特征拼接模块，得到组合特征图。
可选地，训练图片input的维度为（8，3，256，256）,像素级曝光评估信息的维度为（8，1，256，256），经过特征拼接模块按通道进行拼接之后得到的组合特征图，组合特征图对应的维度为（8，4，256，256）。
步骤22、智能终端将组合特征图输入到特征提取模块中，得到特征提取图。
可选地、特征提取模块可以有多种实现方式，如VGG19、MobileNetV2、ResNet-18等通用的神经网络骨干模型，在本实施例中，特征提取模块采用VGG19的设计，特征提取模块经过ImageNet预训练,可以提升模型的训练效果。
步骤23、将特征提取图输入到得分计算模块处理，得到整体曝光评估信息。
可选地、得分计算模块包含了2个全连接层，和一个sigmoid函数层，sigmoid函数公式如下：
Figure SMS_14
。
可选地、整体曝光评估信息为（0，1）之间分布的单个数值，数值越高则代表图像整体曝光观感越好，数值越低则代表图像整体曝光观感越差。
可选地，根据监督损失，通过梯度下降法和反向传播算法，优化评估模型的参数。
在上述过程训练之后，本申请实施例根据预测结果计算监督损失，优化评估模型的参数：
可选地、优化评估模型的参数包含如下步骤：
步骤31、可以从图像样本即训练数据集中获取输入图片input的真实监督信息，包含像素级曝光评估监督信息（即训练整体曝光效果信息）和图像整体曝光评估监督信息（即训练整体曝光效果信息）。
步骤32、将真实标签信息（即标注像素级曝光程度信息和标注整体曝光效果信息）与像素级曝光评估信息和整体曝光评估信息分别输入到计算损失函数中进行计算，得到监督损失。
可选地、监督损失包含像素级评估模型的监督损失
Figure SMS_15
和整体曝光评估模型的监督损失/>
Figure SMS_16
。可选地、像素级曝光评估信息所用的损失函数为/>
Figure SMS_17
，其公式可以表示为：
Figure SMS_18
其中
Figure SMS_22
表示训练图像的宽度，/>
Figure SMS_25
表示训练图像的高度，/>
Figure SMS_29
表示像素级曝光评估模型预测得到的在训练图像上第/>
Figure SMS_20
行，第/>
Figure SMS_23
列的像素的曝光问题程度值，/>
Figure SMS_27
表示训练图像的像素级曝光评估监督信息上第/>
Figure SMS_30
行，第/>
Figure SMS_19
列的像素的曝光问题程度值，一般也被称为ground truth。可选地、图像整体曝光评估信息所用的损失函数是Mseloss，其公式可以表示为：损失函数/>
Figure SMS_24
，其中/>
Figure SMS_28
表示整体曝光评估模型预测得到的整体曝光评估信息，/>
Figure SMS_31
表示图像整体曝光评估监督信息。可选地、将所有训练图像经过损失函数计算得到的监督损失统计平均值，得到一次训练中的像素级评估模型监督损失/>
Figure SMS_21
和整体曝光评估模型监督损失/>
Figure SMS_26
。
这里，本申请实施例预先确定预先获取图像样本，并结合标注像素级曝光程度信息和标注整体曝光效果信息，通过梯度下降法和反向传播算法，能够训练得到精准的预设整体曝光评估模型，从而实现图像整体曝光效果的准确评估，提高了曝光效果评估的准确性。
S404：将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的像素级曝光程度信息。
其中，预设像素级评估模型通过第一图像样本和第一图像样本对应的标注像素级曝光程度信息训练得到。
S405：将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息。
其中，预设整体曝光评估模型通过第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息训练得到。
其中。步骤S404、S405的实现方式与步骤S202、S203的实现方式类似，本申请实施例在此不做赘述。
其中，步骤S402-S405之间的前后关系本申请实施例不做具体限定，仅需步骤S402在步骤S404之前，步骤S403在步骤S405之前。
可选地，本申请实施例还可以自动生成优化信息，以优化图像曝光，相应地，图6为本申请实施例提供的另一种图像处理方法的流程示意图，如图6所示，该方法包括：
S501：获取待处理图像。
S502：将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的像素级曝光程度信息。
其中，预设像素级评估模型通过第一图像样本和第一图像样本对应的标注像素级曝光程度信息训练得到。
S503：将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息。
其中，预设整体曝光评估模型通过第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息训练得到。
其中，步骤S501-S503的实现方式与步骤S201-S203的实现方式类似，本申请实施例在此不作具体限制。
S504：根据待处理图像的像素级曝光程度信息和\或整体曝光效果信息，生成优化方案。
S505：根据优化方案，调整待处理图像的曝光数据。
可选地，根据待处理图像的像素级曝光程度信息和\或整体曝光效果信息，生成优化方案，包括：
根据待处理图像的像素级曝光程度信息，生成针对每个像素区域的第一优化方案；和\或，根据待处理图像的像素级曝光程度信息，生成针对整个待处理图像的第二优化方案。
这里，本申请实施例可以自动基于像素级曝光程度信息和\或整体曝光效果信息生成优化方案，便于自动、精准地调节图片曝光，为用户提供优化方案，提高了用户体验。
本申请提出了首个可对图像进行像素级曝光评估的方法，这个方法克服了基于特征统计方法在统计时必须基于区域进行统计评估的缺点，实现了对图像各个像素进行曝光水平的预测，使对图像的曝光评估可以做到更加精细，准确的评估图像中的每一个像素的曝光程度。
同时，本申请考虑到图像的曝光可以从曝光问题以及曝光效果两个角度进行评估，实现了对图像的整体曝光效果的评估，兼顾了这两种评估指标，构建了一个立体化的曝光评估方案，使得曝光评估结果更加多维。
本申请所提出的技术对于图像曝光相关的下游处理任务应用价值，如图像曝光纠正任务可以依照本申请所预测得到的像素级曝光评估信息，对每一个像素做出对应的调整，得到一个各个区域都曝光更佳的高动态范围的图片；图像曝光融合任务可以根据多张图像所对应的曝光评估结果，逐像素地决定融合时的取舍；图像曝光美化以及图像推荐系统可以更多的考虑图像整体的曝光观感效果，挑选出最能提高人类主观观看体验的处理结果图。
可选地，图像像素级曝光评估模型中：编码器-解码器的设计方案也可以用全卷积神经网络替代；双卷积模块的实现方案可以用单卷积，多层卷积，或者其他卷积层的变形替代。
可选地，图像整体曝光评估模型中：特征提取模块可以由其他神经网络特征提取骨干网络替代。
可选地，在训练模型时，损失函数可以由
Figure SMS_32
、/>
Figure SMS_33
及其变种替代。
图7为本申请实施例提供的一种图像处理装置的结构示意图，如图7所示，本申请实施例的装置包括：获取模块601、第一确定模块602和第二确定模块603。这里的图像处理装置可以是上述处理装置、处理器本身，或者是实现处理器的功能的芯片或者集成电路。这里需要说明的是，获取模块601、第一确定模块602和第二确定模块603的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，获取模块，用于获取待处理图像；
第一确定模块，用于将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的像素级曝光程度信息，其中，预设像素级评估模型通过第一图像样本和第一图像样本对应的标注像素级曝光程度信息训练得到；
第二确定模块，用于将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息，其中，预设整体曝光评估模型通过第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息训练得到。
可选地，预设像素级评估模型包括编码器模块和解码器模块；相应地，第一确定模块具体用于：将待处理图像输入至预设像素级评估模型，通过编码器模块对待处理图像进行特征提取处理，得到第一特征图和第二特征图；通过解码器模块对第一特征图和第二特征图进行信息解密处理，得到待处理图像的像素级曝光程度信息。
可选地，在第一确定模块将待处理图像输入至预设像素级评估模型，通过预设像素级评估模型的输出结果确定待处理图像的曝光程度信息之前，上述装置还包括第一训练模块，用于：获取第一训练数据集，第一训练数据集包括第一图像样本和第一图像样本对应的标注像素级曝光程度信息；将第一图像样本输入至第一评估模型，得到训练像素级曝光程度信息；根据标注像素级曝光程度信息和训练像素级曝光程度信息，确定第一监督损失；根据第一监督损失，通过梯度下降法和反向传播算法，对第一评估模型进行参数优化处理，得到预设像素级评估模型；将第一训练数据集输入至评估模型进行模型训练，得到预设像素级评估模型。
可选地，预设整体曝光评估模型包括特征拼接模块、特征提取模块和得分计算模块；相应地，第二确定模块具体用于：将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型；通过特征拼接模块将待处理图像的曝光程度信息和待处理图像进行拼接处理，得到待评估特征信息；通过特征提取模块对待评估特征信息进行特征提取处理，得到特征提取图；通过得分计算模块对特征提取图进行得分计算处理，得到待处理图像的整体曝光效果信息。
可选地，在第二确定模块将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息之前，上述装置还包括第二训练模块，用于：获取第二训练数据集，第二训练数据集包括第二图像样本、第二图像样本对应的标注像素级曝光程度信息和第二图像样本对应的标注整体曝光效果信息；将第二图像样本和标注像素级曝光程度信息输入至第二评估模型，得到训练整体曝光效果信息；根据标注整体曝光效果信息和训练整体曝光效果信息，确定第二监督损失；根据第二监督损失，通过梯度下降法和反向传播算法，对第二评估模型进行参数优化处理，得到预设整体曝光评估模型。
可选地，在第二确定模块将待处理图像和待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过整体曝光评估模型的输出结果确定待处理图像的整体曝光效果信息之后，上述装置还包括优化调整模块，用于：根据待处理图像的像素级曝光程度信息和\或整体曝光效果信息，生成优化方案；根据优化方案，调整待处理图像的曝光数据。
可选地，优化调整模块具体用于：
根据待处理图像的像素级曝光程度信息，生成针对每个像素区域的第一优化方案；和\或，根据待处理图像的像素级曝光程度信息，生成针对整个待处理图像的第二优化方案。
参考图8，其示出了适于用来实现本公开实施例的图像处理设备700（智能终端）的结构示意图，该图像处理设备700可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理（Personal DigitalAssistant，简称PDA）、平板电脑（Portable AndroidDevice，简称PAD）、便携式多媒体播放器（Portable Media Player，简称PMP）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的图像处理设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，图像处理设备700可以包括处理装置（例如中央处理器、图形处理器等）701，其可以根据存储在只读存储器（Read Only Memory ，简称ROM）702中的程序或者从存储装置708加载到随机访问存储器（Random Access Memory ，简称RAM）703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有图像处理设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器（Liquid CrystalDisplay ，简称LCD）、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许图像处理设备700与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的图像处理设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述图像处理设备中所包含的；也可以是单独存在，而未装配入该图像处理设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该图像处理设备执行时，使得该图像处理设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LocalArea Network ，简称LAN）或广域网（Wide Area Network ，简称WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
本申请实施例的图像处理设备，可以用于执行本申请上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一项的图像处理方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，用于实现上述任一项的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的像素级曝光程度信息，其中，所述预设像素级评估模型通过第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息训练得到；
将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息，其中，所述预设整体曝光评估模型通过第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息训练得到。
2.根据权利要求1所述的方法，其特征在于，所述预设像素级评估模型包括编码器模块和解码器模块；
相应地，所述将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的曝光程度信息，包括：
将所述待处理图像输入至预设像素级评估模型，通过所述编码器模块对所述待处理图像进行特征提取处理，得到第一特征图和第二特征图；
通过所述解码器模块对所述第一特征图和所述第二特征图进行信息解密处理，得到所述待处理图像的像素级曝光程度信息。
3.根据权利要求2所述的方法，其特征在于，在所述将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的曝光程度信息之前，还包括：
获取第一训练数据集，所述第一训练数据集包括第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息；
将所述第一图像样本输入至第一评估模型，得到训练像素级曝光程度信息；
根据所述标注像素级曝光程度信息和所述训练像素级曝光程度信息，确定第一监督损失；
根据所述第一监督损失，通过梯度下降法和反向传播算法，对所述第一评估模型进行参数优化处理，得到预设像素级评估模型；
将所述第一训练数据集输入至评估模型进行模型训练，得到预设像素级评估模型。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述预设整体曝光评估模型包括特征拼接模块、特征提取模块和得分计算模块；
相应地，所述将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息，包括：
将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型；
通过所述特征拼接模块将所述待处理图像的曝光程度信息和所述待处理图像进行拼接处理，得到待评估特征信息；
通过所述特征提取模块对所述待评估特征信息进行特征提取处理，得到特征提取图；
通过所述得分计算模块对所述特征提取图进行得分计算处理，得到所述待处理图像的整体曝光效果信息。
5.根据权利要求4所述的方法，其特征在于，在所述将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息之前，还包括：
获取第二训练数据集，所述第二训练数据集包括第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息；
将所述第二图像样本和所述标注像素级曝光程度信息输入至第二评估模型，得到训练整体曝光效果信息；
根据所述标注整体曝光效果信息和所述训练整体曝光效果信息，确定第二监督损失；
根据所述第二监督损失，通过梯度下降法和反向传播算法，对所述第二评估模型进行参数优化处理，得到预设整体曝光评估模型。
6.根据权利要求1至3任一项所述的方法，其特征在于，在所述将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息之后，还包括：
根据所述待处理图像的像素级曝光程度信息和或整体曝光效果信息，生成优化方案；
根据所述优化方案，调整所述待处理图像的曝光数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待处理图像的像素级曝光程度信息和或整体曝光效果信息，生成优化方案，包括：
根据所述待处理图像的像素级曝光程度信息，生成针对每个像素区域的第一优化方案；
和或，
根据所述待处理图像的像素级曝光程度信息，生成针对整个所述待处理图像的第二优化方案。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
第一确定模块，用于将所述待处理图像输入至预设像素级评估模型，通过所述预设像素级评估模型的输出结果确定所述待处理图像的像素级曝光程度信息，其中，所述预设像素级评估模型通过第一图像样本和所述第一图像样本对应的标注像素级曝光程度信息训练得到；
第二确定模块，用于将所述待处理图像和所述待处理图像的曝光程度信息输入至预设整体曝光评估模型，通过所述整体曝光评估模型的输出结果确定所述待处理图像的整体曝光效果信息，其中，所述预设整体曝光评估模型通过第二图像样本、所述第二图像样本对应的标注像素级曝光程度信息和所述第二图像样本对应的标注整体曝光效果信息训练得到。
9.一种图像处理设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的图像处理方法。
CN202310405325.7A 2023-04-17 2023-04-17 图像处理方法、智能终端及存储介质 Active CN116152233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310405325.7A CN116152233B (zh) 2023-04-17 2023-04-17 图像处理方法、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310405325.7A CN116152233B (zh) 2023-04-17 2023-04-17 图像处理方法、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN116152233A true CN116152233A (zh) 2023-05-23
CN116152233B CN116152233B (zh) 2023-09-26

Family

ID=86352699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310405325.7A Active CN116152233B (zh) 2023-04-17 2023-04-17 图像处理方法、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN116152233B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154415A1 (en) * 2015-11-30 2017-06-01 Disney Enterprises, Inc. Saliency-weighted video quality assessment
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质
CN111754492A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像质量评估方法、装置、电子设备及存储介质
CN114742753A (zh) * 2022-03-02 2022-07-12 清华大学 基于神经网络的图像评估方法和装置
CN115631399A (zh) * 2022-10-25 2023-01-20 深圳须弥云图空间科技有限公司 图像质量评估模型的训练方法、图像质量评估方法及装置
CN115829915A (zh) * 2022-08-19 2023-03-21 北京旷视科技有限公司 图像质量检测方法、电子设备、存储介质及程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154415A1 (en) * 2015-11-30 2017-06-01 Disney Enterprises, Inc. Saliency-weighted video quality assessment
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质
CN111754492A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像质量评估方法、装置、电子设备及存储介质
CN114742753A (zh) * 2022-03-02 2022-07-12 清华大学 基于神经网络的图像评估方法和装置
CN115829915A (zh) * 2022-08-19 2023-03-21 北京旷视科技有限公司 图像质量检测方法、电子设备、存储介质及程序产品
CN115631399A (zh) * 2022-10-25 2023-01-20 深圳须弥云图空间科技有限公司 图像质量评估模型的训练方法、图像质量评估方法及装置

Also Published As

Publication number Publication date
CN116152233B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US20210158533A1 (en) Image processing method and apparatus, and storage medium
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
US20210110522A1 (en) Image processing method and apparatus, and storage medium
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
US20200117906A1 (en) Space-time memory network for locating target object in video content
CN112101305B (zh) 多路图像处理方法、装置及电子设备
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
US20200294249A1 (en) Network module and distribution method and apparatus, electronic device, and storage medium
CN113689372B (zh) 图像处理方法、设备、存储介质及程序产品
CN111182367A (zh) 一种视频的生成方法、装置及计算机系统
CN112232311B (zh) 人脸跟踪方法、装置及电子设备
CN111951192A (zh) 一种拍摄图像的处理方法及拍摄设备
CN112529931A (zh) 一种前景分割的方法及系统
CN114419400A (zh) 图像识别模型的训练方法、识别方法、装置、介质和设备
CN112036517B (zh) 图像缺陷分类方法、装置及电子设备
WO2024041235A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN112287790A (zh) 影像处理方法、装置、存储介质及电子设备
CN116152233B (zh) 图像处理方法、智能终端及存储介质
CN115546487A (zh) 图像模型训练方法、装置、介质及电子设备
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN112070888B (zh) 图像生成方法、装置、设备和计算机可读介质
CN114040129A (zh) 视频生成方法、装置、设备及存储介质
CN114155545A (zh) 表格识别方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant