CN114723643A - 一种基于强化学习和美学评估的低光图像增强方法 - Google Patents

一种基于强化学习和美学评估的低光图像增强方法 Download PDF

Info

Publication number
CN114723643A
CN114723643A CN202210650946.7A CN202210650946A CN114723643A CN 114723643 A CN114723643 A CN 114723643A CN 202210650946 A CN202210650946 A CN 202210650946A CN 114723643 A CN114723643 A CN 114723643A
Authority
CN
China
Prior art keywords
image
value
network
loss
aesthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210650946.7A
Other languages
English (en)
Other versions
CN114723643B (zh
Inventor
梁栋
李铃
黄圣君
陈松灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210650946.7A priority Critical patent/CN114723643B/zh
Publication of CN114723643A publication Critical patent/CN114723643A/zh
Application granted granted Critical
Publication of CN114723643B publication Critical patent/CN114723643B/zh
Priority to PCT/CN2023/074843 priority patent/WO2023236565A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于强化学习和美学评估的低光图像增强方法，首先生成不同光照场景下的非正常亮度图像，并基于所述非正常亮度图像构建强化学习系统的训练数据集；接着初始化强化学习系统中的训练数据集、策略网络和价值网络，基于无参考奖励值和美学评估奖励值更新策略网络和价值网络；完成训练后输出增强后的图像结果；本发明通过对强化学习中定义的动作空间范围扩大，输入的低光图像得到的增强操作就有了更大的动态范围，对于现实场景具有更高的灵活性，能更好的满足真实场景下的低光图像增强需求；此外通过引入美学质量评估的分数作为损失函数的一部分，可以使增强后的图像具有更好的视觉效果及用户主观评价得分。

Description

一种基于强化学习和美学评估的低光图像增强方法
技术领域
本发明涉及图像增强技术领域，主要涉及一种基于强化学习和美学评估的低光图像增强方法。
背景技术
在恶劣照明条件下拍摄的图片，由于数码相机传感器的入射光亮不足，会导致图像的动态范围低，同时还会受到噪声的严重干扰，难以获得高质量的图像，而低光图像增强在计算机视觉领域扮演着十分重要的角色。低光照拍摄的图片往往会有很多不良影响，例如拍出来的图像模糊导致图像主体不确定，人脸模糊导致识别不准确，细节模糊导致图像表达意思错误。这样的话不仅会影响人使用摄像设备的体验，降低了照片质量；有时候更是会导致传达错误的信息。低光图像增强使拍摄的图像亮度更亮、对比度更高、结构信息更明显，从而有利于后续的高层次工作，比如目标检测、人脸识别、图像分类等，具有很强的现实意义。
近年来，基于深度学习的方法通常以高质量的正常光图像作为指导，来学习如何改进和增强低光图像。LL-Net（ Kin Gwn Lore, Adedotun Akintayo, and SoumikSarkar. 2017. LLNet: A deep autoencoder approach to natural low-light imageenhancement. Pattern Recognition 61 (2017), 650–662.）提出了一种堆叠自动编码器，利用合成的低光/正常光图像对同时进行去噪和增强。然而，由于其与真实图像的差异，合成数据的分布不可避免地偏离真实世界的图像，因此在转移到真实情况时导致性能严重下降。随后，Wei等人（ Chen Wei, Wenjing Wang, Wenhan Yang, and Jiaying Liu.2018. Deep retinex decomposition for low-light enhancement. arXiv preprintarXiv:1808.04560 (2018).）收集了一个具有低光/正常光图像对的真实数据集，在此基础上，提出了视网膜网络以数据驱动的方式将图像分解为照明和反射率。在此之后，还有很多其他有监督的低光图像增强神经网络被提出（ Wenhan Yang, Shiqi Wang, Yuming Fang,Yue Wang, and Jiaying Liu. 2020. From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement. In IEEE/CVF Conferenceon Computer Vision and Pattern Recognition (CVPR).； Yonghua Zhang, JiawanZhang, and Xiaojie Guo. 2019. Kindling the darkness: A practical low-lightimage enhancer. In Proceedings of the 27th ACM International Conference onMultimedia. 1632–1640.）。最近的方法侧重于无监督的低光图像增强，它可以直接使用没有任何配对训练数据的低光图像来对模型进行训练。最近的Zero-DCE（ Chunle Guo,Chongyi Li, Jichang Guo, Chen Change Loy, Junhui Hou, Sam Kwong, and RunminCong. 2020. Zero-Reference Deep Curve Estimation for Low-Light ImageEnhancement. In Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition. 1780–1789.)使用非参考损失来训练深度低光图像增强模型。然而，现有的深度学习方法往往只关注对亮度不足的低光图像的增强，但是在背光条件和光照不均匀场景下的低光图像中还会存在正常亮度或者过度曝光的现象。
另一方面，对于图像增强任务而言，最重要的评价标准就是用户的主观评价。但是在现有的方法中在模型的训练阶段往往都采用有参考/无参考的客观评价指标（损失函数）来指导模型的训练。其中有参考的损失函数主要包括L1损失、L2损失和SSIM损失，无参考的损失函数主要使用的是空间一致性损失（Spatial Consistency Loss）、曝光控制损失（Exposure Control Loss）、颜色恒常损失（Color Constancy Loss）和亮度平滑损失（Illumination Smoothness Loss）。以上所述的有参考/无参考损失函数关注的更多是低光图像和正常亮度图像之间的差距以及图像自身的特征，忽略了用户主观评价。
发明内容
发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于强化学习和美学评估的低光图像增强方法，首先考虑到低光图像成像方式和场景的复杂性，将动作空间范围定义的更广，不仅包括将图像像素亮度提高的操作，还有将图像像素亮度降低的操作。增强操作可以多次进行，通过学习一个随机增强策略，对于现实场景具有更高的灵活性，其次在计算损失函数时，在使用更灵活的无参考损失的同时，引入了新的可以近似看作用户主观评价指标的美学质量评分作为损失函数的一部分。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于强化学习和美学评估的低光图像增强方法，包括以下步骤：
步骤S1、生成不同光照场景下的非正常亮度图像，并基于所述图像构建强化学习系统的训练数据集；
步骤S2、初始化强化学习系统中的训练数据集、策略网络和价值网络；
步骤S3、基于无参考奖励值和美学评估奖励值更新策略网络和价值网络；
步骤S4、当所有样本训练完成，且完成所有训练迭代次数时，模型训练完毕；
步骤S5、输出对低光图像增强后的图像结果。
进一步地，所述步骤S2中初始化策略网络和价值网络具体方法包括：
使用当前状态
Figure 804486DEST_PATH_IMAGE001
作为策略网络和价值网络的输入，
Figure 876348DEST_PATH_IMAGE002
代表时间步长t时的状态；策略网络的输出是采取动作
Figure 785398DEST_PATH_IMAGE003
的策略
Figure 182881DEST_PATH_IMAGE004
；价值网络输出值为
Figure 177382DEST_PATH_IMAGE005
，代表来自当前状态
Figure 288820DEST_PATH_IMAGE006
的预期总奖励。
进一步地，所述步骤S3中更新策略网络和价值网络的具体步骤包括：
步骤S3.1、基于历史阶段图像对训练数据集进行训练，获得环境奖励值如下：
Figure 52376DEST_PATH_IMAGE007
其中
Figure 355182DEST_PATH_IMAGE008
是折扣因子
Figure 102558DEST_PATH_IMAGE009
的第i次幂，
Figure 250642DEST_PATH_IMAGE010
代表t时刻的环境奖励值；
步骤S3.2、基于历史阶段图像对训练数据集进行训练，获得价值网络输出值；
步骤S3.3、基于环境奖励值和价值网络输出值对价值网络进行更新：
Figure 134285DEST_PATH_IMAGE011
其中
Figure 607991DEST_PATH_IMAGE012
代表价值网络参数；
Figure 311505DEST_PATH_IMAGE014
表示对
Figure 528860DEST_PATH_IMAGE016
的梯度计算，
Figure 780192DEST_PATH_IMAGE018
代表了
Figure 424800DEST_PATH_IMAGE016
更新的方向；
步骤S3.4、基于环境奖励值和预测价值对策略网络进行更新：
所述策略网络的输出采用动作
Figure 146769DEST_PATH_IMAGE019
的策略
Figure 902235DEST_PATH_IMAGE020
，其中
Figure 760470DEST_PATH_IMAGE021
为通过softmax计算得到的概率；A代表动作空间；具体更新如下：
Figure 310400DEST_PATH_IMAGE022
Figure 254085DEST_PATH_IMAGE023
其中
Figure 314707DEST_PATH_IMAGE024
代表策略网络参数；
Figure 27448DEST_PATH_IMAGE026
表示对
Figure 13859DEST_PATH_IMAGE028
的梯度计算，
Figure 179261DEST_PATH_IMAGE030
代表了
Figure 276530DEST_PATH_IMAGE028
更新的方向。
进一步地，所述步骤S3.4中将动作空间A范围设置为
Figure 109357DEST_PATH_IMAGE031
，步距为0.05，用于预先定义的输出表示，具体如下：
Figure 266668DEST_PATH_IMAGE032
其中
Figure 919367DEST_PATH_IMAGE033
代表在t-1步迭代时图像像素点x处的像素值，
Figure 321791DEST_PATH_IMAGE034
代表在t步迭代时图像像素点x处选择的动作，
Figure 9125DEST_PATH_IMAGE035
代表在t步迭代时图像像素点x处增强后的像素值。
进一步地，所述步骤S3.1中环境奖励值考虑以下影响因子：
（1）空间一致性损失
Figure 337338DEST_PATH_IMAGE036
其中K代表局部区域大小；
Figure 477332DEST_PATH_IMAGE037
代表以区域i为中心的四个相邻区域；Y代表增强后的图像中局部区域的像素平均灰度值；I代表输入图像中局部区域的像素平均灰度值；
（2）曝光控制损失
Figure 916404DEST_PATH_IMAGE038
其中E代表图像像素在RGB颜色空间中的灰度水平；M代表非重叠的若干局部区域；Y代表增强后的图像中一个局部区域的像素平均灰度值，局部区域的大小为
Figure 458244DEST_PATH_IMAGE039
；
（3）颜色恒常损失
Figure 957358DEST_PATH_IMAGE040
其中
Figure 584648DEST_PATH_IMAGE041
代表增强后的图像中p个通道的像素平均灰度值，
Figure 328876DEST_PATH_IMAGE042
代表
Figure 725222DEST_PATH_IMAGE043
中的任一通道；
Figure 660817DEST_PATH_IMAGE044
表示（R,G),(R,B),(G,B)的集合；
（4）亮度平滑损失
Figure 775404DEST_PATH_IMAGE045
其中
Figure 821857DEST_PATH_IMAGE046
代表每个状态下的参数曲线映射，N代表强化学习中图像增强的迭代次数，
Figure 72710DEST_PATH_IMAGE047
和
Figure 179206DEST_PATH_IMAGE048
依次代表水平和垂直梯度运算；
Figure 282553DEST_PATH_IMAGE049
表示图像中R，G，B三个通道的集合；
（5）美学质量损失
为了对增强后图像的美学质量进行评分，额外引入图像美学评分深度学习网络模型来对图像进行美学评分，进而计算美学质量损失；分别利用图像的颜色和亮度属性以及质量属性训练两个独立的美学评分模型，记为
Figure 867119DEST_PATH_IMAGE050
和
Figure 503636DEST_PATH_IMAGE051
；通过一个额外引入的美学评估模型进行评分；
美学质量损失表示如下：
Figure 515455DEST_PATH_IMAGE052
其中
Figure 604633DEST_PATH_IMAGE053
表示增强后的图像中颜色和亮度属性的评分，即将增强后的图像输入到
Figure 992889DEST_PATH_IMAGE054
后输出的分数；
Figure 47695DEST_PATH_IMAGE055
表示增强后的图像质量属性的评分，即将增强后的图像输入到
Figure 761573DEST_PATH_IMAGE056
后输出的分数，评分越高表示图像的质量越好；
Figure 400365DEST_PATH_IMAGE057
和
Figure 624935DEST_PATH_IMAGE058
均为权重系数；
图像增强的目标是使奖励值r尽可能大；空间一致性损失、曝光控制损失、颜色恒常损失和亮度平滑损失越小表示图像质量越好，美学质量损失越大表示图像质量越好；因此，在t时刻的奖励值
Figure 236045DEST_PATH_IMAGE059
表示如下：
Figure 855245DEST_PATH_IMAGE060
t时刻的环境奖励值在引入影响因子的条件下表示如下：
Figure 919016DEST_PATH_IMAGE061
。
进一步地，空间一致性损失中将局部区域大小K设置为4×4。
进一步地，曝光控制损失中将E设置为0.6，M代表大小为16×16的非重叠局部区域。
有益效果：
（1）本发明通过对强化学习中定义的动作空间范围扩大，输入的低光图像得到的增强操作就有了更大的动态范围，对于现实场景具有更高的灵活性。考虑到低光场景中的光照不均匀和背光等情况，不仅设置了将图像亮度增强的动作，而且动作空间中还包括将图像亮度变暗的行为，这样的定义方式能更好的满足真实场景下的低光图像增强需求。
（2）本发明通过引入美学质量评估的分数作为损失函数的一部分，可以使增强后的图像具有更好的视觉效果及用户主观评价得分。在现有的基于深度学习的低光增强方法中，大多数方法依赖于成对的训练数据集并采用有参考的损失函数，也有部分方法利用图像自身的信息设计了无参考的损失函数来指导增强网络的训练。但是上述损失均为客观评价指标，本发明引入美学评估分数作为模拟用户主观评价的指标，能够更好的指导低光图像增强网络生成用户满意的高质量图像。
附图说明
图1是本发明提供的基于强化学习和美学评估的低光图像增强方法流程图；
图2是本发明提供的基于强化学习和美学评估的低光图像增强方法的算法框架图。
具体实施方式
下面结合附图对本发明作更进一步的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于强化学习和美学评估的低光图像增强方法，具体原理如图1所示，包括以下步骤：
步骤S1、生成不同光照场景下的非正常亮度图像，并基于图像构建强化学习系统的训练数据集。
步骤S2、初始化强化学习系统中的训练数据集、策略网络和价值网络。
具体地，参考图2，使用当前状态
Figure 914654DEST_PATH_IMAGE062
作为策略网络和价值网络的输入，
Figure 881736DEST_PATH_IMAGE063
代表时间步长t时的状态。策略网络的输出是采取动作
Figure 671837DEST_PATH_IMAGE064
的策略
Figure 222904DEST_PATH_IMAGE065
。价值网络输出值为
Figure 491074DEST_PATH_IMAGE066
，代表来自当前状态
Figure 811197DEST_PATH_IMAGE067
的预期总奖励，这显示了当前网络状态有多好。
步骤S3、基于无参考奖励值和美学评估奖励值更新策略网络和价值网络。具体地，
步骤S3.1、基于历史阶段图像对训练数据集进行训练，获得环境奖励值如下：
Figure 37779DEST_PATH_IMAGE068
其中
Figure 300309DEST_PATH_IMAGE069
是折扣因子
Figure 372170DEST_PATH_IMAGE070
的第i次幂。
Figure 812379DEST_PATH_IMAGE071
代表t时刻的环境奖励值。计算环境奖励值时考虑以下影响因子：
（1）空间一致性损失
Figure 678704DEST_PATH_IMAGE072
其中K代表局部区域大小。
Figure 204363DEST_PATH_IMAGE073
代表以区域i为中心的四个相邻区域。Y代表增强后的图像中局部区域的像素平均灰度值。I代表输入图像中局部区域的像素平均灰度值。本实施例中根据经验将局部区域大小K设置为4×4。
（2）曝光控制损失
Figure 814336DEST_PATH_IMAGE074
其中E代表图像像素在RGB颜色空间中的灰度水平。M代表非重叠的若干局部区域。Y代表增强后的图像中一个局部区域的像素平均灰度值，局部区域的大小为
Figure 610516DEST_PATH_IMAGE039
；本实施例中将E设置为0.6，M代表大小为16×16的非重叠局部区域。
（3）颜色恒常损失
Figure 178901DEST_PATH_IMAGE075
其中
Figure 660698DEST_PATH_IMAGE041
代表增强后的图像中p个通道的像素平均灰度值，
Figure 339941DEST_PATH_IMAGE076
代表
Figure 223583DEST_PATH_IMAGE077
中的任一通道，
Figure 962869DEST_PATH_IMAGE078
表示（R,G),(R,B),(G,B)的集合；
（4）亮度平滑损失
Figure 433427DEST_PATH_IMAGE079
其中
Figure 385202DEST_PATH_IMAGE080
代表每个状态下的参数曲线映射，N代表强化学习中图像增强的迭代次数，
Figure 388930DEST_PATH_IMAGE081
和
Figure 299117DEST_PATH_IMAGE082
依次代表水平和垂直梯度运算，
Figure 489927DEST_PATH_IMAGE083
表示图像中R，G，B三个通道的集合；。
（5）美学质量损失
目前美学图像分析在计算机视觉领域中引起了越来越多的关注。它与对视觉美学的高级感知有关。用于图像美学质量评估的机器学习模型具备广泛应用前景，如图像检索、照片管理、图像编辑和摄影等。对于人类来说，审美质量评价总是与图像的颜色和亮度、图像的质量、构图和深度以及语义内容相关联。很难将审美质量评价视为一项孤立的任务。为了对增强后图像的美学质量进行评分，本发明额外引入图像美学评分深度学习网络模型来对图像进行美学评分，进而计算美学质量损失。分别利用图像的颜色和亮度属性以及质量属性训练两个独立的美学评分模型，记为
Figure 510973DEST_PATH_IMAGE084
和
Figure 103628DEST_PATH_IMAGE085
。美学质量损失的表示如下：
Figure 919138DEST_PATH_IMAGE086
其中
Figure 364288DEST_PATH_IMAGE087
表示增强后的图像中颜色和亮度属性的评分，即将增强后的图像输入到
Figure 189024DEST_PATH_IMAGE088
后输出的分数。
Figure 901765DEST_PATH_IMAGE089
表示增强后的图像质量属性的评分，即将增强后的图像输入到
Figure 622597DEST_PATH_IMAGE085
后输出的分数，评分越高表示图像的质量越好。
Figure 53578DEST_PATH_IMAGE090
和
Figure 150847DEST_PATH_IMAGE091
均为权重系数。
图像增强的目标是使奖励值r尽可能大。空间一致性损失、曝光控制损失、颜色恒常损失和亮度平滑损失越小表示图像质量越好，美学质量损失越大表示图像质量越好。因此，在t时刻的奖励值
Figure 983674DEST_PATH_IMAGE071
表示如下：
Figure 376871DEST_PATH_IMAGE092
t时刻的环境奖励值在引入影响因子的条件下表示如下：
Figure 560728DEST_PATH_IMAGE093
。
步骤S3.2、基于历史阶段图像对训练数据集进行训练，获得价值网络输出值。
步骤S3.3、基于环境奖励值和价值网络输出值对价值网络进行更新：
Figure 461688DEST_PATH_IMAGE011
其中
Figure 883442DEST_PATH_IMAGE094
代表价值网络参数。
Figure 211655DEST_PATH_IMAGE014
表示对
Figure 617229DEST_PATH_IMAGE095
的梯度计算，
Figure 321879DEST_PATH_IMAGE018
代表了
Figure 896342DEST_PATH_IMAGE095
更新的方向。
步骤S3.4、基于环境奖励值和价值网络输出值对策略网络进行更新：
策略网络的输出采用动作
Figure 192195DEST_PATH_IMAGE096
的策略
Figure 632534DEST_PATH_IMAGE097
，其中
Figure 501395DEST_PATH_IMAGE097
为通过softmax计算得到的概率。A代表动作空间。具体更新如下：
Figure 428900DEST_PATH_IMAGE098
Figure 364495DEST_PATH_IMAGE099
其中
Figure 523424DEST_PATH_IMAGE100
代表策略网络参数。
Figure 569877DEST_PATH_IMAGE026
表示对
Figure 351888DEST_PATH_IMAGE028
的梯度计算，
Figure 458385DEST_PATH_IMAGE030
代表了
Figure 325846DEST_PATH_IMAGE028
更新的方向。
在增强操作的每一步中，首先将该状态下的低光图像输入策略网络。策略网格根据当前输入的图像对图像中每个像素制定一个增强策略并输出。输入的图像根据策略网络制定的策略执行增强操作。该增强操作在预先制定的方案需要迭代多次。
动作空间A对于网络的性能而言至关重要，因为太小的范围会导致对低光图像的增强有限，而太大的范围会导致非常大的搜索空间，网络训练会变得非常困难。本实施例中，根据经验设置范围A∈[−0.5,0.5]，步距为0.05。这一设置作用在预先定义的输出表示，具体如下：
Figure 677456DEST_PATH_IMAGE101
其中
Figure 579553DEST_PATH_IMAGE102
代表在t-1步迭代时图像像素点x处的像素值，
Figure 122529DEST_PATH_IMAGE103
代表在t步迭代时图像像素点x处选择的动作，
Figure 211708DEST_PATH_IMAGE104
代表在t步迭代时图像像素点x处增强后的像素值。
类似照片编辑软件中使用的图像亮度曲线调整，这里预先定义的输出表示是一个二次曲线，表示为：
Figure 632587DEST_PATH_IMAGE105
其中x表示像素坐标，
Figure 123612DEST_PATH_IMAGE106
是调整参数。
Figure 571911DEST_PATH_IMAGE107
表示输入图像x坐标处的像素值，像素值被归一化在[0,1]范围内，
Figure 679544DEST_PATH_IMAGE108
表示经过调整参数调整后输出的像素值。
上述设置可以确保：
a、每个像素都在[0,1]的归一化范围内。
b、降低了寻找合适增强策略的成本。对于不同的增强迭代次数选择，我们的增强曲线可以有效地覆盖该动作空间设置下的像素值空间。
步骤S4、当满足对所有样本训练完成，且完成所有训练迭代次数时，模型训练完成。
步骤S5、输出对低光图像增强后的图像结果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于强化学习和美学评估的低光图像增强方法，其特征在于，包括以下步骤：
步骤S1、生成不同光照场景下的非正常亮度图像，并基于所述图像构建强化学习系统的训练数据集；
步骤S2、初始化强化学习系统中的训练数据集、策略网络和价值网络；
步骤S3、基于无参考奖励值和美学评估奖励值更新策略网络和价值网络；
步骤S4、当所有样本训练完成，且完成所有训练迭代次数时，模型训练完毕；
步骤S5、输出对低光图像增强后的图像结果。
2.根据权利要求1所述的一种基于强化学习和美学评估的低光图像增强方法，其特征在于，所述步骤S2中初始化策略网络和价值网络具体方法包括：
使用当前状态
Figure 821577DEST_PATH_IMAGE001
作为策略网络和价值网络的输入，
Figure 642902DEST_PATH_IMAGE003
代表时间步长t时的状态；策略网络的输出是采取动作
Figure 991975DEST_PATH_IMAGE005
的策略
Figure 898751DEST_PATH_IMAGE007
；价值网络输出值为
Figure 53789DEST_PATH_IMAGE009
，代表来自当前状态
Figure 729621DEST_PATH_IMAGE011
的预期总奖励。
3.根据权利要求2所述的一种基于强化学习和美学评估的低光图像增强方法，其特征在于，所述步骤S3中更新策略网络和价值网络的具体步骤包括：
步骤S3.1、基于历史阶段图像对训练数据集进行训练，获得环境奖励值如下：
Figure 577491DEST_PATH_IMAGE012
其中
Figure 673361DEST_PATH_IMAGE013
是折扣因子
Figure 366510DEST_PATH_IMAGE015
的第i次幂，
Figure 162428DEST_PATH_IMAGE017
代表t时刻的环境奖励值；
步骤S3.2、基于历史阶段图像对训练数据集进行训练，获得价值网络输出值；
步骤S3.3、基于环境奖励值和价值网络输出值对价值网络进行更新：
Figure 915620DEST_PATH_IMAGE018
其中
Figure 251DEST_PATH_IMAGE020
代表价值网络参数；
Figure 497092DEST_PATH_IMAGE022
表示对
Figure 648981DEST_PATH_IMAGE024
的梯度计算，
Figure 573074DEST_PATH_IMAGE026
代表了
Figure 207318DEST_PATH_IMAGE024
更新的方向；
步骤S3.4、基于环境奖励值和预测价值对策略网络进行更新：
所述策略网络的输出采用动作
Figure 242270DEST_PATH_IMAGE027
的策略
Figure 747201DEST_PATH_IMAGE028
，其中
Figure 45458DEST_PATH_IMAGE029
为通过softmax计算得到的概率；A代表动作空间；具体更新如下：
Figure 635839DEST_PATH_IMAGE031
Figure 973017DEST_PATH_IMAGE032
其中
Figure 598034DEST_PATH_IMAGE034
代表策略网络参数；
Figure 129509DEST_PATH_IMAGE036
表示对
Figure 207187DEST_PATH_IMAGE038
的梯度计算，
Figure 52783DEST_PATH_IMAGE040
代表了
Figure 532306DEST_PATH_IMAGE038
更新的方向。
4.根据权利要求3所述的一种基于强化学习和美学评估的低光图像增强方法，其特征在于，所述步骤S3.4中将动作空间A范围设置为
Figure 673831DEST_PATH_IMAGE042
，步距为0.05，用于预先定义的输出表示，具体如下：
Figure 238804DEST_PATH_IMAGE043
其中
Figure 419250DEST_PATH_IMAGE045
代表在t-1步迭代时图像像素点x处的像素值，
Figure 284438DEST_PATH_IMAGE047
代表在t步迭代时图像像素点x处选择的动作，
Figure 892136DEST_PATH_IMAGE048
代表在t步迭代时图像像素点x处增强后的像素值。
5.根据权利要求3所述的一种基于强化学习和美学评估的低光图像增强方法，其特征在于，所述步骤S3.1中环境奖励值考虑以下影响因子：
（1）空间一致性损失
Figure 678827DEST_PATH_IMAGE049
其中K代表局部区域大小；
Figure 662963DEST_PATH_IMAGE050
代表以区域i为中心的四个相邻区域；Y代表增强后的图像中局部区域的像素平均灰度值；I代表输入图像中局部区域的像素平均灰度值；
（2）曝光控制损失
Figure 818876DEST_PATH_IMAGE051
其中E代表图像像素在RGB颜色空间中的灰度水平；M代表非重叠的若干局部区域；Y代表增强后的图像中一个局部区域的像素平均灰度值，局部区域的大小为
Figure 597476DEST_PATH_IMAGE052
；
（3）颜色恒常损失
Figure 871463DEST_PATH_IMAGE054
其中
Figure DEST_PATH_IMAGE055
代表增强后的图像中p个通道的像素平均灰度值，
Figure 862552DEST_PATH_IMAGE057
代表增强后的图像中q个通道的像素平均灰度值；
Figure 171174DEST_PATH_IMAGE058
代表
Figure 120675DEST_PATH_IMAGE059
中的任一通道，
Figure DEST_PATH_IMAGE061
表示（R,G),(R,B),(G,B)的集合；
（4）亮度平滑损失
Figure 395142DEST_PATH_IMAGE062
其中
Figure 455502DEST_PATH_IMAGE064
代表每个状态下的参数曲线映射，N代表强化学习中图像增强的迭代次数，
Figure 884209DEST_PATH_IMAGE066
和
Figure 4612DEST_PATH_IMAGE068
依次代表水平和垂直梯度运算；
Figure 253190DEST_PATH_IMAGE070
表示图像中R，G，B三个通道的集合；
（5）美学质量损失
为了对增强后图像的美学质量进行评分，额外引入图像美学评分深度学习网络模型来对图像进行美学评分，进而计算美学质量损失；分别利用图像的颜色和亮度属性以及质量属性训练两个独立的美学评分模型，记为
Figure 851662DEST_PATH_IMAGE072
和
Figure 400455DEST_PATH_IMAGE073
；通过一个额外引入的美学评估模型进行评分；
美学质量损失表示如下：
Figure 426180DEST_PATH_IMAGE075
其中
Figure 660590DEST_PATH_IMAGE077
表示增强后的图像中颜色和亮度属性的评分，即将增强后的图像输入到
Figure 328331DEST_PATH_IMAGE079
后输出的分数；
Figure 466052DEST_PATH_IMAGE081
表示增强后的图像质量属性的评分，即将增强后的图像输入到
Figure 928257DEST_PATH_IMAGE083
后输出的分数，评分越高表示图像的质量越好；
Figure 151428DEST_PATH_IMAGE085
和
Figure 622861DEST_PATH_IMAGE087
均为权重系数；
图像增强的目标是使奖励值r尽可能大；空间一致性损失、曝光控制损失、颜色恒常损失和亮度平滑损失越小表示图像质量越好，美学质量损失越大表示图像质量越好；因此，在t时刻的奖励值
Figure 615087DEST_PATH_IMAGE089
表示如下：
Figure DEST_PATH_IMAGE091
t时刻的环境奖励值在引入影响因子的条件下表示如下：
Figure 218500DEST_PATH_IMAGE092
。
6.根据权利要求5所述的一种基于强化学习和美学评估的低光图像增强方法，其特征在于，空间一致性损失中将局部区域大小K设置为4×4。
7.根据权利要求5所述的一种基于强化学习和美学评估的低光图像增强方法，其特征在于，曝光控制损失中将E设置为0.6，M代表大小为16×16的非重叠局部区域。
CN202210650946.7A 2022-06-10 2022-06-10 一种基于强化学习和美学评估的低光图像增强方法 Active CN114723643B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210650946.7A CN114723643B (zh) 2022-06-10 2022-06-10 一种基于强化学习和美学评估的低光图像增强方法
PCT/CN2023/074843 WO2023236565A1 (zh) 2022-06-10 2023-02-07 一种基于强化学习和美学评估的低光图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210650946.7A CN114723643B (zh) 2022-06-10 2022-06-10 一种基于强化学习和美学评估的低光图像增强方法

Publications (2)

Publication Number Publication Date
CN114723643A true CN114723643A (zh) 2022-07-08
CN114723643B CN114723643B (zh) 2022-10-25

Family

ID=82232404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210650946.7A Active CN114723643B (zh) 2022-06-10 2022-06-10 一种基于强化学习和美学评估的低光图像增强方法

Country Status (2)

Country Link
CN (1) CN114723643B (zh)
WO (1) WO2023236565A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511754A (zh) * 2022-11-22 2022-12-23 北京理工大学 基于改进的Zero-DCE网络的低照度图像增强方法
WO2023236565A1 (zh) * 2022-06-10 2023-12-14 南京航空航天大学 一种基于强化学习和美学评估的低光图像增强方法
CN117455795A (zh) * 2023-10-27 2024-01-26 南京航空航天大学 一种基于强化学习的多模态图像去噪方法
CN117893449A (zh) * 2024-03-15 2024-04-16 荣耀终端有限公司 图像处理方法及电子设备
CN117455795B (zh) * 2023-10-27 2024-06-11 南京航空航天大学 一种基于强化学习的多模态图像去噪方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690062B (zh) * 2024-02-02 2024-04-19 武汉工程大学 一种矿内矿工异常行为检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295223A1 (en) * 2018-03-22 2019-09-26 Adobe Inc. Aesthetics-guided image enhancement
CN112258420A (zh) * 2020-11-02 2021-01-22 北京航空航天大学杭州创新研究院 基于dqn的图像增强处理方法及装置
CN114037622A (zh) * 2021-10-25 2022-02-11 浙江工业大学 一种基于成像模型和强化学习的水下图像增强方法
CN114283083A (zh) * 2021-12-22 2022-04-05 杭州电子科技大学 一种基于解耦表示的场景生成模型的美学增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033693A (zh) * 2021-04-09 2021-06-25 中国矿业大学 一种融合用户主观属性的个性化图像美学评价方法及装置
CN114219182A (zh) * 2022-01-20 2022-03-22 天津大学 一种基于强化学习的异常天气场景风电预测方法
CN114723643B (zh) * 2022-06-10 2022-10-25 南京航空航天大学 一种基于强化学习和美学评估的低光图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295223A1 (en) * 2018-03-22 2019-09-26 Adobe Inc. Aesthetics-guided image enhancement
CN112258420A (zh) * 2020-11-02 2021-01-22 北京航空航天大学杭州创新研究院 基于dqn的图像增强处理方法及装置
CN114037622A (zh) * 2021-10-25 2022-02-11 浙江工业大学 一种基于成像模型和强化学习的水下图像增强方法
CN114283083A (zh) * 2021-12-22 2022-04-05 杭州电子科技大学 一种基于解耦表示的场景生成模型的美学增强方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023236565A1 (zh) * 2022-06-10 2023-12-14 南京航空航天大学 一种基于强化学习和美学评估的低光图像增强方法
CN115511754A (zh) * 2022-11-22 2022-12-23 北京理工大学 基于改进的Zero-DCE网络的低照度图像增强方法
CN115511754B (zh) * 2022-11-22 2023-09-12 北京理工大学 基于改进的Zero-DCE网络的低照度图像增强方法
CN117455795A (zh) * 2023-10-27 2024-01-26 南京航空航天大学 一种基于强化学习的多模态图像去噪方法
CN117455795B (zh) * 2023-10-27 2024-06-11 南京航空航天大学 一种基于强化学习的多模态图像去噪方法
CN117893449A (zh) * 2024-03-15 2024-04-16 荣耀终端有限公司 图像处理方法及电子设备

Also Published As

Publication number Publication date
CN114723643B (zh) 2022-10-25
WO2023236565A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
CN114723643B (zh) 一种基于强化学习和美学评估的低光图像增强方法
Zhuang et al. Underwater image enhancement with hyper-laplacian reflectance priors
Zhuang et al. Bayesian retinex underwater image enhancement
Li et al. An underwater image enhancement benchmark dataset and beyond
US8280165B2 (en) System and method for segmenting foreground and background in a video
Liu et al. HoLoCo: Holistic and local contrastive learning network for multi-exposure image fusion
Niu et al. 2D and 3D image quality assessment: A survey of metrics and challenges
Emberton et al. Hierarchical rank-based veiling light estimation for underwater dehazing.
Ma et al. Low-light image enhancement via self-reinforced retinex projection model
CN108765423B (zh) 一种卷积神经网络训练方法及装置
Pierre et al. Luminance-chrominance model for image colorization
Fezza et al. Perceptual evaluation of adversarial attacks for CNN-based image classification
CN111047543A (zh) 图像增强方法、装置和存储介质
CN116583878A (zh) 用于个性化3d头部模型变形的方法和系统
US20230074060A1 (en) Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
Li et al. An adaptive enhancement method for low illumination color images
CN112200736A (zh) 基于强化学习的图像处理方法及模型训练方法、装置
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Liu et al. Progressive complex illumination image appearance transfer based on CNN
Luo et al. Under-display camera image enhancement via cascaded curve estimation
Xie et al. Color transfer using adaptive second-order total generalized variation regularizer
Li et al. All-e: aesthetics-guided low-light image enhancement
Yan et al. A natural-based fusion strategy for underwater image enhancement
Chen et al. Low‐light image enhancement based on exponential Retinex variational model
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant