CN110838090A - 一种基于残差网络的用于图像处理的背光扩散方法 - Google Patents

一种基于残差网络的用于图像处理的背光扩散方法 Download PDF

Info

Publication number
CN110838090A
CN110838090A CN201910895954.6A CN201910895954A CN110838090A CN 110838090 A CN110838090 A CN 110838090A CN 201910895954 A CN201910895954 A CN 201910895954A CN 110838090 A CN110838090 A CN 110838090A
Authority
CN
China
Prior art keywords
image
backlight
backlight diffusion
sample
convolution module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910895954.6A
Other languages
English (en)
Other versions
CN110838090B (zh
Inventor
张涛
王伊飞
曾琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910895954.6A priority Critical patent/CN110838090B/zh
Publication of CN110838090A publication Critical patent/CN110838090A/zh
Application granted granted Critical
Publication of CN110838090B publication Critical patent/CN110838090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

一种基于残差网络的用于图像处理的背光扩散方法，包括读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于残差网络的背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。本发明提高了背光扩散的合理性；提高了显像图像的峰值信噪比、结构相似性和颜色差异，使区域调光后的图像获得更高的显示质量。

Description

一种基于残差网络的用于图像处理的背光扩散方法
技术领域
本发明涉及一种背光扩散方法。特别是涉及一种基于残差网络的用于图像处理的背光扩散方法。
背景技术
目前主流的LCD显示设备由两部分构成：LED背光模组和液晶面板模块。背光模组属于低分辨率面板，它控制图像各区域的背光亮度，液晶面板是高分辨率单元，保持图像的细节。一幅图像输入到动态调光系统中时，要根据图像内容确定背光亮度，将背光输入给LED背光模块，并基于背光亮度对图像进行液晶补偿，然后将液晶补偿后的图像输入给液晶模块，最后在背光和LC面板图像共同作用下，设备将图像显示出来。根据光学理论，LCD显示设备所能呈现总的动态范围是这两部分光学系统动态范围的乘积。目前国际上一般采用动态调光技术，利用输入图像各分区内容独立控制各区域背光单元的发光亮度，以此达到提高液晶显示动态范围、降低能耗、改善显示画质等目的。
区域背光动态调光方法主要包含两部分：分区背光亮度提取和液晶像素补偿。先对输入图像根据背光模组分区情况进行相应分区，通过分析各分区图像内容动态提取能表征图像亮度信息的特征值，根据所得亮度特征值动态调节分区背光源LED的亮暗。由于背光亮度值的下降会降低显示图像的亮度，为保证显示图像的亮度与背光全亮时基本保持不变，还需要对液晶像素进行相应的补偿。理想情况下，液晶显像为线性关系，即显示图像为背光图像与补偿图像的线性乘积。
为消除由于光源的区域控制导致背光亮度不统一而引入的“块效应”，需要对背光信号做平滑处理。现在主流的两种背光平滑方法有：LSF法和BMA法，其中，LSF法涉及到卷积计算，其运算量大且计算复杂，需要非常高的硬件载体来存储和计算；而BMA法没有考虑背光板中分区的实际分布情况，它对所有分区都采用统一的低通滤波模板进行平滑滤波，这在实际应用中是不合理的，因为在背光模组中，各分区与之相邻的分区个数不同。由此需要根据实际背光模组的分布情况进行背光扩散。
发明内容
本发明所要解决的技术问题是，提供一种能够生成显示效果更加的图片的基于残差网络的用于图像处理的背光扩散方法。
本发明所采用的技术方案是：一种基于残差网络的用于图像处理的背光扩散方法，包括读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于残差网络的背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。具体包括如下步骤：
1)确定样本集，所述样本集包括各种亮度等级、对比度和各种场景的图像；
2)对样本集中样本图像进行预处理；
3)对预处理后的样本集进行数据增强，所述数据增强包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动；
4)采用像素补偿方法分别处理样本集的所有样本图像，得到与样本图像对应的补偿图像；
5)采用区域背光提取算法对样本集的样本图像提取背光亮度，得到背光亮度图像；
6)基于残差网络结构，建立背光扩散模型；
7)训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
8)将数据增强后的样本集和与样本集中的样本图像对应的背光亮度图像共同输入到背光扩散模型中；
9)将背光扩散模型输出的背光扩散图像与样本图像对应的补偿图像乘积，得到显像图像；
10)确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述背光扩散模型的整体损失函数；
11)根据整体损失函数确定所述背光扩散模型的误差；
12)将所述背光扩散模型的误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化；
13)返回步骤7)，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。
本发明的一种基于残差网络的用于图像处理的背光扩散方法，为消除光源的区域控制所导致背光亮度不统一而引入的“块效应”，基于残差网络结构建立背光扩散模型对背光信号做平滑处理，根据实际背光模组的分布情况进行背光扩散，提高了背光扩散的合理性；充分考虑到其他区域的背光扩散影响，提高了显像图像的峰值信噪比、结构相似性和颜色差异，使区域调光后的图像获得更高的显示质量。
附图说明
图1是本发明一种基于残差网络的用于图像处理的背光扩散方法的构成框图；
图2是本发明中背光扩散模型示意图；
图3是本发明中第一残差块或第二残差块的示意图；
图4是本发明中上采样模块的示意图。
具体实施方式
下面结合实施例和附图对本发明的一种基于残差网络的用于图像处理的背光扩散方法做出详细说明。
如图1所示，本发明的一种基于残差网络的用于图像处理的背光扩散方法，包括读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。
本发明的一种基于残差网络的用于图像处理的背光扩散方法，具体包括如下步骤：
1)确定样本集，所述样本集包括各种亮度等级、对比度和各种场景的图像；
2)对样本集中样本图像进行预处理；所述的预处理是将样本图像的大小调整为设定的分辨率。
3)对预处理后的样本集进行数据增强，所述数据增强包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动；
4)采用像素补偿方法分别处理样本集的所有样本图像，得到与样本图像对应的补偿图像；所述的像素补偿方法是线性补偿方法或非线性补偿方法。
5)采用区域背光提取算法对样本集的样本图像提取背光亮度，得到背光亮度图像；所述的区域背光提取算法是误差修正法(LUT)、平均值法、均方根法和最大值法中的一种。
6)基于残差网络结构，建立背光扩散模型；
如图2所示，所建立的背光扩散模型，包括依次串联设置的第一卷积模块1、第一残差块2、第二残差块3、第二卷积模块4、加法器5、上采样模块6和第三卷积模块7，其中，所述第一卷积模块1的输出还连接加法器5的输入，所述第一卷积模块1的输入为背光亮度图像，第三卷积模块7的输出为背光扩散图像。其中，
如图3所示，所述的第一残差块2和第二残差块3结构相同，均包括：第四卷积模块8、线性整流函数(ReLU函数)9、第五卷积模块10和第二加法器11，其中，所述第一残差块2中的第四卷积模块8的输入和第二加法器11的另一输入均为第一卷积模块1的输出，所述第一残差块2中的第二加法器11的输出分别构成第二残差块3中的第四卷积模块8的输入和第二加法器11的另一输入，所述第二残差块3中的第二加法器11的输出构成第二卷积模块4的输入。
如图4所示，所述的上采样模块6包括：依次串联的用于将输入信号的分辨率提高2倍的2倍模块、提高3倍的3倍模块、提高4倍的4倍模块和提高5倍的5倍模块，其中，所述2倍模块是由第六卷积模块12和用于将第六卷积模块12的输出信号的分辨率提高2倍的第一shuffle函数13构成；所述3倍模块是由第七卷积模块14和用于将第七卷积模块14的输出信号的分辨率提高3倍的第二shuffle函数15构成；所述4倍模块是由第八卷积模块16、用于将第八卷积模块16的输出信号的分辨率提高2倍的第三shuffle函数17、第九卷积模块18和用于将第九卷积模块18的输出信号的分辨率提高2倍的第四shuffle函数19依次串联构成；所述5倍模块是由第十卷积模块20和用于将第十卷积模块20的输出信号的分辨率提高5倍的第五shuffle函数21构成。
7)训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
8)将数据增强后的样本集和与样本集中的样本图像对应的背光亮度图像共同输入到背光扩散模型中；
9)将背光扩散模型输出的背光扩散图像与样本图像对应的补偿图像乘积，得到显像图像；
10)确定损失函数，现有的研究大多只使用均方误差损失，认为每个像素之间是独立的，而忽略了图像的局部相关性。因此，本发明提出一种新的训练损失函数，结合均方误差损失和局部模式一致性损失，提高了算法的性能。用SSIM指数计算的局部模式一致性损失来衡量参考图像和目标图像间的结构相似性。该方法可以有效地提高系统的性能。具体是将均方误差损失函数(MSE)与结构相似性损失函数(SSIM)的和确定为所述背光扩散模型的整体损失函数；其中，
所述的均方误差损失函数为：
LMSE＝MSE (2)
其中，M和N为图像的高度和宽度，Y′i,j为输出图像的亮度，Yi,j为原图像的亮度
所述的结构相似性损失函数是从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差；结构相似性损失函数值的取值范围为[-1,1]，当两幅图像相同时等于1，使用标准偏差为1.5的11×11归一化高斯核估计局部统计量；定义均值，方差和协方差的权值为W＝{W(p)|p∈P,P＝{(-5,-5),…,(5,5)}}，其中p为权值的中心偏移，P为内核的所有位置；使用卷积层实现，权值W不变，对于显像图像F和对应的样本图像Y的每个位置x，结构相似性损失函数LSSIM的计算公式如下：
Figure BDA0002210267280000042
其中，μF和
Figure BDA0002210267280000044
是显像图像F的局部均值和方差估计，σFY是区域的协方差估计，μY和
Figure BDA0002210267280000045
是样本图像Y的局部均值和方差估计，C1和C2是为防止分母出现0的常量，N是显像图像的像素数；
将均方误差损失函数与结构相似性损失函数求和，得到整体损失函数Loss：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
11)根据整体损失函数确定所述背光扩散模型的误差；是将显像图像与所述显像图像对应的样本图像输入到所述整体损失函数中，得到背光扩散模型的误差。
12)将所述背光扩散模型的误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化；
13)返回步骤7)，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。
为了测试本发明一种基于残差网络的用于图像处理的背光扩散方法的性能，选取了亮度覆盖范围较广的DIV2K样本集，包括100张2K分辨率的样本。本发明的方法与传统的动态调光算法(LUT-BMA-Unlinear算法)进行性能对比仿真测试，仿真实验是在Ubuntu18.04Python3.7环境中进行的。其性能结果由峰值信噪比(PSNR)、结构相似性(SSIM)、颜色差异(CD)参数表示。对其性能结果取平均值，其中PSNR越高、SSIM越接近1.0，色彩差异越接近0.0则说明显像图像质量越好，对比结果如表1所示。实验结果表明，本发明的方法可以使区域调光后的图像获得更高的显示质量。
表1背光扩散网络较其他算法性能对比
评价指标 传统算法 本发明
PSNR 29.13 34.67
SSIM 0.96 0.96
CD 0.56 0.29
本发明的最佳实例如下：
(1)确定样本集。所选用的样本集来自DIV2K，其训练和测试图像是2K分辨率的图像。数据集包含800张训练图像，100个验证图像和100个测试图像。将验证图像作为测试图像进行网络评估。
(2)对数据集中的各图像进行预处理。将所有图像大小调整为1920×1080分辨率。
(3)对数据集进行数据增强。数据增强可以包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。增加训练图像的数量，通过水平和垂直翻转达到2400次。
(4)采用传统的区域背光提取算法提取背光。本发明采用的背光提取算法是基于参数的一个，即误差修正法(LUT)。图像分区为9×16。计算公式如下。
BL＝BLaverage+correction
correction＝(diff+diff2/255)/2
diff＝Lmax-Laverage
其中，BL为背光亮度，BLaverage为输入图像平均亮度，Lmax为亮度最大值，Laverage为亮度平均值。
(5)将增强后的样本输入至补偿模型中，输出对应的补偿图像。
(6)建立初始神经网络模型。所述初始神经网络模型采用残差块作为主干网络，后面添加四个上采样模块，具体如图2所示。
(7)训练初始化。网络模型参数初始化、优化器初始化、学习率初始化等。本实例的网络参数初始化使用Xavier方法；ADAM优化器设置为β1＝0.9，β2＝0.999，∈＝10-8；初始化训练速率为10-4，每10次降低20％；学习率可以设置为0.000001，迭代次数可以设置为1000。
(8)将处理后的数据增强样本集与其对应的背光亮度共同输入到背光扩散模型中。
(9)将背光扩散模型输出的背光扩散图像与对应的补偿图像乘积，得到显像图像。
(10)将均方误差损失函数(MSE)和结构相似性损失函数(SSIM)的和确定为所述初始神经网络模型的整体损失函数。对以上两部分损失求和，得到整体损失函数Loss。
(11)根据整体损失函数确定所述背光扩散模型的误差。
(12)将所述误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化。
(13)重复以上优化步骤，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。

Claims (10)

1.一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，包括读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于残差网络的背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。
2.根据权利要求1所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，具体包括如下步骤：
1)确定样本集，所述样本集包括各种亮度等级、对比度和各种场景的图像；
2)对样本集中样本图像进行预处理；
3)对预处理后的样本集进行数据增强，所述数据增强包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动；
4)采用像素补偿方法分别处理样本集的所有样本图像，得到与样本图像对应的补偿图像；
5)采用区域背光提取算法对样本集的样本图像提取背光亮度，得到背光亮度图像；
6)基于残差网络结构，建立背光扩散模型；
7)训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
8)将数据增强后的样本集和与样本集中的样本图像对应的背光亮度图像共同输入到背光扩散模型中；
9)将背光扩散模型输出的背光扩散图像与样本图像对应的补偿图像乘积，得到显像图像；
10)确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述背光扩散模型的整体损失函数；
11)根据整体损失函数确定所述背光扩散模型的误差；
12)将所述背光扩散模型的误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化；
13)返回步骤7)，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。
3.根据权利要求2所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，步骤2)所述的预处理是将样本图像的大小调整为设定的分辨率。
4.根据权利要求2所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，步骤4)所述的像素补偿方法是线性补偿方法或非线性补偿方法。
5.根据权利要求2所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，步骤5)所述的区域背光提取算法是误差修正法、平均值法、均方根法和最大值法中的一种。
6.根据权利要求2所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，步骤6)所建立的背光扩散模型，包括依次串联设置的第一卷积模块(1)、第一残差块(2)、第二残差块(3)、第二卷积模块(4)、加法器(5)、上采样模块(6)和第三卷积模块(7)，其中，所述第一卷积模块(1)的输出还连接加法器(5)的输入，所述第一卷积模块(1)的输入为背光亮度图像，第三卷积模块(7)的输出为背光扩散图像。
7.根据权利要求6所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，所述的第一残差块(2)和第二残差块(3)结构相同，均包括：第四卷积模块(8)、线性整流函数(9)、第五卷积模块(10)和第二加法器(11)，其中，所述第一残差块(2)中的第四卷积模块(8)的输入和第二加法器(11)的另一输入均为第一卷积模块(1)的输出，所述第一残差块(2)中的第二加法器(11)的输出分别构成第二残差块(3)中的第四卷积模块(8)的输入和第二加法器(11)的另一输入，所述第二残差块(3)中的第二加法器(11)的输出构成第二卷积模块(4)的输入。
8.根据权利要求6所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，所述的上采样模块(6)包括：依次串联的用于将输入信号的分辨率提高2倍的2倍模块、提高3倍的3倍模块、提高4倍的4倍模块和提高5倍的5倍模块，其中，所述2倍模块是由第六卷积模块(12)和用于将第六卷积模块(12)的输出信号的分辨率提高2倍的第一shuffle函数(13)构成；所述3倍模块是由第七卷积模块(14)和用于将第七卷积模块(14)的输出信号的分辨率提高3倍的第二shuffle函数(15)构成；所述4倍模块是由第八卷积模块(16)、用于将第八卷积模块(16)的输出信号的分辨率提高2倍的第三shuffle函数(17)、第九卷积模块(18)和用于将第九卷积模块(18)的输出信号的分辨率提高2倍的第四shuffle函数(19)依次串联构成；所述5倍模块是由第十卷积模块(20)和用于将第十卷积模块(20)的输出信号的分辨率提高5倍的第五shuffle函数(21)构成。
9.根据权利要求1所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，步骤10)中所述的均方误差损失函数为：
Figure RE-FDA0002357229360000021
LMSE＝MSE (2)
其中，M和N为图像的高度和宽度，Y′i,j为输出图像的亮度，Yi,j为原图像的亮度
所述的结构相似性损失函数是从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差；结构相似性损失函数值的取值范围为[-1,1]，当两幅图像相同时等于1，使用标准偏差为1.5的11×11归一化高斯核估计局部统计量；定义均值，方差和协方差的权值为W＝{W(p)|p∈P,P＝{(-5,-5),…,(5,5)}}，其中p为权值的中心偏移，P为内核的所有位置；使用卷积层实现，权值W不变，对于显像图像F和对应的样本图像Y的每个位置x，结构相似性损失函数LSSIM的计算公式如下：
Figure RE-FDA0002357229360000031
其中，μF和
Figure RE-FDA0002357229360000032
是显像图像F的局部均值和方差估计，σFY是区域的协方差估计，μY和
Figure RE-FDA0002357229360000033
是样本图像Y的局部均值和方差估计，C1和C2是为防止分母出现0的常量，N是显像图像的像素数；
将均方误差损失函数与结构相似性损失函数求和，得到整体损失函数Loss：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
10.根据权利要求1所述的一种基于残差网络的用于图像处理的背光扩散方法，其特征在于，步骤11)是将显像图像与所述显像图像对应的样本图像输入到所述整体损失函数中，得到背光扩散模型的误差。
CN201910895954.6A 2019-09-21 2019-09-21 一种基于残差网络的用于图像处理的背光扩散方法 Active CN110838090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910895954.6A CN110838090B (zh) 2019-09-21 2019-09-21 一种基于残差网络的用于图像处理的背光扩散方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910895954.6A CN110838090B (zh) 2019-09-21 2019-09-21 一种基于残差网络的用于图像处理的背光扩散方法

Publications (2)

Publication Number Publication Date
CN110838090A true CN110838090A (zh) 2020-02-25
CN110838090B CN110838090B (zh) 2023-04-21

Family

ID=69574707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910895954.6A Active CN110838090B (zh) 2019-09-21 2019-09-21 一种基于残差网络的用于图像处理的背光扩散方法

Country Status (1)

Country Link
CN (1) CN110838090B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461300A (zh) * 2020-03-30 2020-07-28 北京航空航天大学 光学残差深度网络构建方法
CN113674705A (zh) * 2021-08-27 2021-11-19 天津大学 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法
WO2021232323A1 (zh) * 2020-05-20 2021-11-25 华为技术有限公司 基于神经网络的区域背光调光方法及装置
CN113744165A (zh) * 2021-11-08 2021-12-03 天津大学 一种基于代理模型辅助进化算法的视频区域调光方法
CN113823235A (zh) * 2021-11-22 2021-12-21 南京熊猫电子制造有限公司 一种Mini-LED背光分区控制系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016141A1 (en) * 2011-07-12 2013-01-17 Orise Technology Co., Ltd. Method and apparatus of compensating image in a backlight local dimming system
US20130155125A1 (en) * 2011-12-19 2013-06-20 Canon Kabushiki Kaisha Display apparatus and control method thereof
CN103295553A (zh) * 2013-06-26 2013-09-11 青岛海信信芯科技有限公司 直下式背光的亮度补偿方法及显示装置
CN107342056A (zh) * 2017-07-31 2017-11-10 天津大学 一种基于改进混洗蛙跳算法的区域背光动态调光方法
CN107895566A (zh) * 2017-12-11 2018-04-10 天津大学 一种基于s曲线和对数曲线的液晶像素补偿两步法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016141A1 (en) * 2011-07-12 2013-01-17 Orise Technology Co., Ltd. Method and apparatus of compensating image in a backlight local dimming system
US20130155125A1 (en) * 2011-12-19 2013-06-20 Canon Kabushiki Kaisha Display apparatus and control method thereof
CN103295553A (zh) * 2013-06-26 2013-09-11 青岛海信信芯科技有限公司 直下式背光的亮度补偿方法及显示装置
CN107342056A (zh) * 2017-07-31 2017-11-10 天津大学 一种基于改进混洗蛙跳算法的区域背光动态调光方法
CN107895566A (zh) * 2017-12-11 2018-04-10 天津大学 一种基于s曲线和对数曲线的液晶像素补偿两步法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张涛等: "一种提高图像对比度和视觉质量的新型区域背光算法" *
李洪伟等: "改进等高线法在气液两相流图像中的应用" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461300A (zh) * 2020-03-30 2020-07-28 北京航空航天大学 光学残差深度网络构建方法
CN111461300B (zh) * 2020-03-30 2022-10-14 北京航空航天大学 光学残差深度网络构建方法
WO2021232323A1 (zh) * 2020-05-20 2021-11-25 华为技术有限公司 基于神经网络的区域背光调光方法及装置
CN113674705A (zh) * 2021-08-27 2021-11-19 天津大学 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法
CN113674705B (zh) * 2021-08-27 2023-11-07 天津大学 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法
CN113744165A (zh) * 2021-11-08 2021-12-03 天津大学 一种基于代理模型辅助进化算法的视频区域调光方法
CN113823235A (zh) * 2021-11-22 2021-12-21 南京熊猫电子制造有限公司 一种Mini-LED背光分区控制系统及方法
CN113823235B (zh) * 2021-11-22 2022-03-08 南京熊猫电子制造有限公司 一种Mini-LED背光分区控制系统及方法

Also Published As

Publication number Publication date
CN110838090B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110728637B (zh) 基于深度学习的用于图像处理的动态调光背光扩散方法
CN110838090A (zh) 一种基于残差网络的用于图像处理的背光扩散方法
Wang et al. Low-light image enhancement via the absorption light scattering model
Wang et al. Simple low-light image enhancement based on Weber–Fechner law in logarithmic space
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
Wang et al. Dehazing for images with large sky region
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN112017130B (zh) 基于自适应各向异性全变分正则化的图像复原方法
CN108873401B (zh) 基于大数据的液晶显示器响应时间预测方法
CN116168011A (zh) 基于多粒度网络的无参考图像质量评价方法
CN117132774A (zh) 一种基于pvt的多尺度息肉分割方法及系统
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Chi et al. Blind tone mapped image quality assessment with image segmentation and visual perception
Song et al. Feature spatial pyramid network for low-light image enhancement
An et al. Patch loss: A generic multi-scale perceptual loss for single image super-resolution
Wang et al. Low-light-level image enhancement algorithm based on integrated networks
Wu et al. Non-uniform low-light image enhancement via non-local similarity decomposition model
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
Zhu et al. MRI enhancement based on visual-attention by adaptive contrast adjustment and image fusion
CN115660992A (zh) 一种局部背光调光方法、系统及设备和介质
CN116797468A (zh) 基于软边重建的自校准深度曲线估计的低光照图像增强方法
CN112634278B (zh) 基于超像素的恰可察觉失真方法
CN114119369A (zh) 自动整体约束的超分辨率图像梯度重构方法
Jia et al. Weighted guided image filtering with entropy evaluation weighting
Wu et al. A no-reference quality assessment for contrast-distorted image based on improved learning method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant