CN110728637A - 基于深度学习的用于图像处理的动态调光背光扩散方法 - Google Patents
基于深度学习的用于图像处理的动态调光背光扩散方法 Download PDFInfo
- Publication number
- CN110728637A CN110728637A CN201910895951.2A CN201910895951A CN110728637A CN 110728637 A CN110728637 A CN 110728637A CN 201910895951 A CN201910895951 A CN 201910895951A CN 110728637 A CN110728637 A CN 110728637A
- Authority
- CN
- China
- Prior art keywords
- image
- backlight
- residual block
- sample
- diffusion model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009792 diffusion process Methods 0.000 title claims abstract description 98
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000011161 development Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000004880 explosion Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 69
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 38
- 230000009466 transformation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 230000008033 biological extinction Effects 0.000 claims 1
- 238000005192 partition Methods 0.000 abstract description 13
- 238000011160 research Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习的用于图像处理的动态调光背光扩散方法，包括：读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于深度学习背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。本发明解决了背光分区之间的光线串扰问题、深度神经网络训练中的梯度消失和爆炸问题，为动态调光算法的理论研究提供了无需实际测量的可靠的扩散模型。
Description
技术领域
本发明涉及一种动态调光背光扩散方法。特别是涉及一种基于深度学习的用于图像处理的动态调光背光扩散方法。
背景技术
由于生产技术不断成熟、产业链不断完善，新技术不断融合，使液晶显示器在低功耗、高分辨率，良好的色彩表现和性价比等方面优势明显，已经成为平板显示市场最畅销的设备。随着国民经济的不断发展，人们对于显示设备的要求也不断提高。高色域，高对比度，低功耗的显示设备逐渐受到越来越多人的青睐。此外，移动设备的发展也对于显示设备提出了更多的需求。由于区域背光动态调光技术具有高对比度、低功耗的特点，因此成为液晶显示的一大研究热点。
区域背光动态调光技术主要分为三大部分：背光亮度提取、液晶像素补偿、液晶显像模块。首先对输入图像分区处理，分区大小和背光板分区对应，然后对各个分区进行亮度信息提取，根据提取结果计算各个分区的背光；然后将输入图像输入到像素补偿模型中输出补偿图像；理想情况下，液晶显像为线性关系，即显示图像为背光图像与补偿图像的线性乘积。该技术可以提高液晶显示器的显示对比度、改善画质及降低能耗。
理论上，背光模组可以做到每一个像素点对应于一个背光分区，即每个像素都对应于一个背光源LED灯，到考虑到成本、散热性能等多方面的因素，实际应用中都是一个背光分区包含成百上千个像素点，这种情况下就存在背光分区之间的光线串扰问题，即像素点的实际背光亮度来自于当前分区的背光亮度以及其他分区背光亮度的叠加。因此在各分区背光亮度确定后，为保证背光降低后显示图像的亮度和效果，需要考虑光线在背光模组中传播时的扩散作用，然后对液晶像素进行精确补偿。
发明内容
本发明所要解决的技术问题是，提供一种能够解决背光分区之间的光线串扰问题的基于深度学习的用于图像处理的动态调光背光扩散方法。
本发明所采用的技术方案是：一种基于深度学习的用于图像处理的动态调光背光扩散方法，包括：读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于深度学习背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。具体包括如下步骤：
1)确定样本集，所述样本集包括各种亮度等级、对比度和各种场景的图像；
2)对样本集中样本图像进行预处理；
3)对预处理后的样本集进行数据增强，所述数据增强包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动；
4)采用像素补偿方法分别处理样本集的所有样本图像，得到与样本图像对应的补偿图像；
5)采用区域背光提取算法对样本集的样本图像提取背光亮度，得到背光亮度图像；
6)基于全卷积神经网络结构，建立背光扩散模型；
7)训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
8)将数据增强后的样本集和与样本集中的样本图像对应的背光亮度图像共同输入到背光扩散模型中；
9)将背光扩散模型输出的背光扩散图像与样本图像对应的补偿图像乘积，得到显像图像；
10)确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述背光扩散模型的整体损失函数；
11)根据整体损失函数确定所述背光扩散模型的误差；
12)将所述背光扩散模型的误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化；
13)返回步骤7)，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。
本发明的基于深度学习的用于图像处理的动态调光背光扩散方法，利用神经网络建立背光扩散模型，采用四层上采样模型对背光图像进行上采样，解决背光分区之间的光线串扰问题，即像素点的实际对应的背光亮度；引入残差网络并在相应的卷积层后面添加批量归一化层，解决了深度神经网络训练中的梯度消失和爆炸问题；损失函数综合考虑像素点间的独立性和局部相关性，为动态调光算法的理论研究提供了无需实际测量的可靠的扩散模型。
附图说明
图1是本发明的基于深度学习的用于图像处理的动态调光背光扩散方法的流程图；
图2是本发明中背光扩散模型的结构示意图；
图3是本发明中第一残差块或第二残差块或第三残差块或第四残差块的结构示意图。
具体实施方式
下面结合实施例和附图对本发明的基于深度学习的用于图像处理的动态调光背光扩散方法做出详细说明。
如图1所示，本发明的基于深度学习的用于图像处理的动态调光背光扩散方法，包括：读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于深度学习背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。具体包括如下步骤：
1)确定样本集，所述样本集包括各种亮度等级、对比度和各种场景的图像；
2)对样本集中样本图像进行预处理；所述的预处理是将样本图像的大小调整为设定的分辨率。
3)对预处理后的样本集进行数据增强，所述数据增强包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动；
4)采用像素补偿方法分别处理样本集的所有样本图像，得到与样本图像对应的补偿图像；其中，所述的像素补偿方法是线性补偿方法或非线性补偿方法。
5)采用区域背光提取算法对样本集的样本图像提取背光亮度，得到背光亮度图像；
所述的区域背光提取算法是误差修正法(LUT)、平均值法、均方根法、最大值法、累积分布函数法(CDF)、映射函数反转法(IMF)、PSNR法和基于动态阈值的最大类间方差法(Otsu)中的一种。
6)基于全卷积神经网络结构，建立背光扩散模型；所述的背光扩散模型，是采用四层上采样模型对背光亮度进行上采样，针对深度神经网络训练中的梯度消失和爆炸问题，引入残差网络并在相应的卷积层后面添加批量归一化层。
如图2所示，所述的背光扩散模型，具体包括依次串联设置的第一卷积模块1、第二卷积模块2、第一双线性插值模块3、第一残差块4、第二双线性插值模块5、第二残差块6、第三双线性插值模块7、第三残差块8、第四双线性插值模块9、第四残差块10和第三卷积模块11；其中，所述第一卷积模块1的输入为背光亮度图像，第三卷积模块11的输出为背光扩散图像。
如图3所示，所述的所述的第一残差块4、第二残差块6、第三残差块8和第四残差块10结构相同，均包括：第四卷积模块12、第一批量归一化模块13、第一线性整流函数(ReLU函数)14、第五卷积模块15、第二批量归一化模块16、加法器17和第二线性整流函数(ReLU函数)18；其中，所述第一残差块4中的第四卷积模块12的输入和加法器17的另一输入均为第一双线性插值模块3为的输出，所述第一残差块4中的第二线性整流函数(ReLU函数)18的输出为第二双线性插值模块5的输入；所述第二残差块6中的第四卷积模块12的输入和第二残差块6中的加法器17的另一输入均为第二双线性插值模块5的输出，所述第二残差块6中的第二线性整流函数(ReLU函数)18的输出为第三双线性插值模块7的输入；所述第三残差块8中的第四卷积模块12的输入和第三残差块8中的加法器17的另一输入均为第三双线性插值模块7的输出，所述第三残差块8中的第二线性整流函数(ReLU函数)18的输出为第四双线性插值模块9的输入；所述第四残差块10中的第四卷积模块12的输入和第四残差块10中的加法器17的另一输入均为第四双线性插值模块9的输出，所述第四残差块10中的第二线性整流函数(ReLU函数)18的输出为第三卷积模块11的输入。
7)训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
8)将数据增强后的样本集和与样本集中的样本图像对应的背光亮度图像共同输入到背光扩散模型中；
9)将背光扩散模型输出的背光扩散图像与样本图像对应的补偿图像乘积，得到显像图像；
10)确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述背光扩散模型的整体损失函数；其中，
所述的均方误差损失函数为：
LMSE＝MSE (5)
其中，M和N为图像的高度和宽度，Y′i,j为输出图像的亮度，Yi,j为原图像的亮度
所述的结构相似性损失函数，是从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差；结构相似性损失函数值的取值范围为[-1,1]，当两幅图像相同时等于1，使用标准偏差为1.5的11×11归一化高斯核估计局部统计量；定义均值，方差和协方差的权值为W＝{W(p)|p∈P,P＝{(-5,-5),…,(5,5)}}，其中p为权值的中心偏移，P为内核的所有位置；使用卷积层实现，权值W不变，对于显像图像F和对应的样本图像Y的每个位置x，结构相似性损失函数LSSIM的计算公式如下：
其中，μF和
是显像图像F的局部均值和方差估计，σFY是区域的协方差估计，μY和
是样本图像Y的局部均值和方差估计，C1和C2是为防止分母出现0的常量，N是显像图像的像素数；
将均方误差损失函数与结构相似性损失函数求和，得到整体损失函数Loss：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
11)根据整体损失函数确定所述背光扩散模型的误差；是将显像图像与所述显像图像对应的样本图像输入到所述整体损失函数中，得到背光扩散模型的误差。
12)将所述背光扩散模型的误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化；
13)返回步骤7)，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。
为了测试本发明的基于深度学习的用于图像处理的动态调光背光扩散方法的性能，选取了亮度覆盖范围较广的DIV2K数据集，包括100张了2K分辨率的样本。本发明与传统的动态调光算法(LUT-BMA-Unlinear算法)进行性能对比仿真测试，仿真实验是在Ubuntu18.04Python3.7环境中进行的。其性能结果由峰值信噪比(PSNR)、结构相似性(SSIM)、颜色差异(CD)参数表示。对其性能结果取平均值，其中PSNR越高、SSIM越接近1.0，色彩差异越接近0.0说明显像图像质量越好，对比结果如表1所示。实验结果表明，与传统算法相比，本发明算法可以使区域调光后的图像获得更高的显示质量。
表1背光扩散网络较其他算法性能对比(DIV2K Valid)
下面给出具体实例：
(1)确定样本集。所选用的样本集来自DIV2K，其训练和测试图像是2K分辨率的图像。数据集包含800张训练图像，100个验证图像和100个测试图像。将验证图像作为测试图像进行网络评估。
(2)对数据集中的各图像进行预处理。将所有图像大小调整为1920×1080分辨率。
(3)对数据集进行数据增强。数据增强可以包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。增加训练图像的数量，通过水平和垂直翻转达到2400次。
(4)采用传统的区域背光提取算法提取背光。本实例是采用的背光提取算法是基于参数的一个，即误差修正法(LUT)。图像分区为9×16。计算公式如下。
BL＝BLaverage+correction (1)
correction＝(diff+diff2/255)/2 (2)
diff＝Lmax-Laverage (3)
其中，BL为背光亮度，BLaverage为输入图像平均亮度，Lmax为亮度最大值，Laverage为亮度平均值。
(5)将增强后的样本输入至补偿模型中，输出对应的补偿图像。
(6)建立初始神经网络模型。所述初始神经网络模型采用基于全卷积神经网络框架的LDNN网络结构。具体的，采用四层up-sampling对背光图像进行上采样，针对深度神经网络训练中的梯度消失和爆炸问题，引入残差网络并在相应的卷积层后面添加批量归一化层。
(7)训练初始化。网络模型参数初始化、优化器初始化、学习率初始化等。本发明的网络参数初始化使用Xavier方法；ADAM优化器设置为β1＝0.9，β2＝0.999，∈＝10-8；初始化训练速率为10-4，每10次降低20％；学习率可以设置为0.000001，迭代次数可以设置为1000。
(8)将3)处理后的样本集与其对应的背光亮度共同输入到卷积神经网络(背光扩散模型)中。
(9)将背光扩散模型输出的背光扩散图像与对应的补偿图像乘积，得到显像图像。
(10)将均方误差损失函数(MSE)和结构相似性损失函数(SSIM)的和确定为所述初始神经网络模型的整体损失函数。具体的，上述整体损失函数用来调整模型的准确性及输出图像的质量，该整体损失函数由以下两部分组成：
第一部分：损失MSE：
其中，M和N为图像的高度和宽度，Y′i,j为输出图像的亮度，Yi,j为原图像的亮度。
第二部分：损失SSIM，本实例利用SSIM指数来测量目标图像和参考图像的局部模式一致性。SSIM指数通常用于图像质量评价。它从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差。SSIM值的取值范围为[-1,1]，当两幅图像相同时等于1。我们使用标准偏差为1.5的11×11归一化高斯核估计局部统计量。定义的权值是W＝{W(p)|p∈P,P＝{(-5,-5),…,(5,5)}}，其中p为中心偏移，P包含内核的所有位置。使用卷积层实现，权值为W不变。对于目标图像F和对应的参考图像Y的每个位置x，计算公式如下:
其中，μF和
是F的局部均值和方差估计，σFY是区域的协方差估计，μY和
的计算类似。C1和C2是为防止分母出现0的常量。
对以上两部分损失求和，得到整体损失：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
(11)根据整体损失函数确定所述初始卷积神经网络模型的误差。具体的，将网络预测的背光信号与补偿图像相乘得到目标图像，与其对应的原图即参考图像输入到上述整体损失函数中，计算误差。
(12)将所述误差反向传播，调整所述初始卷积神经网络模型的参数，对所述初始卷积神经网络模型进行优化。
(13)重复以上优化步骤，对所述初始卷积神经网络模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到所述卷积神经网络模型。
Claims (10)
1.一种基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，包括：读取样本图像以及获取与所述样本图像对应的补偿图像，采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于深度学习背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，所述的背光扩散模型是以不同图像为样本集，经过深度学习训练建立；将背光亮度扩散图像与的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。
2.根据权利要求1所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，具体包括如下步骤：
1)确定样本集，所述样本集包括各种亮度等级、对比度和各种场景的图像；
2)对样本集中样本图像进行预处理；
3)对预处理后的样本集进行数据增强，所述数据增强包括旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动；
4)采用像素补偿方法分别处理样本集的所有样本图像，得到与样本图像对应的补偿图像；
5)采用区域背光提取算法对样本集的样本图像提取背光亮度，得到背光亮度图像；
6)基于全卷积神经网络结构，建立背光扩散模型；
7)训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
8)将数据增强后的样本集和与样本集中的样本图像对应的背光亮度图像共同输入到背光扩散模型中；
9)将背光扩散模型输出的背光扩散图像与样本图像对应的补偿图像乘积，得到显像图像；
10)确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述背光扩散模型的整体损失函数；
11)根据整体损失函数确定所述背光扩散模型的误差；
12)将所述背光扩散模型的误差反向传播，调整所述背光扩散模型的参数，对所述背光扩散模型进行优化；
13)返回步骤7)，对所述背光扩散模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到最终的背光扩散模型。
3.根据权利要求2所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，步骤2)所述的预处理是将样本图像的大小调整为设定的分辨率。
4.根据权利要求2所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，步骤4)所述的像素补偿方法是线性补偿方法或非线性补偿方法。
5.根据权利要求2所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，步骤5)所述的区域背光提取算法是误差修正法、平均值法、均方根法、最大值法、累积分布函数法、映射函数反转法、PSNR法和基于动态阈值的最大类间方差法中的一种。
6.根据权利要求2所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，步骤6)所述的背光扩散模型，是采用四层上采样模型对背光亮度进行上采样，针对深度神经网络训练中的梯度消失和爆炸问题，引入残差网络并在相应的卷积层后面添加批量归一化层。
7.根据权利要求2或6所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，所述的背光扩散模型，包括依次串联设置的第一卷积模块(1)、第二卷积模块(2)、第一双线性插值模块(3)、第一残差块(4)、第二双线性插值模块(5)、第二残差块(6)、第三双线性插值模块(7)、第三残差块(8)、第四双线性插值模块(9)、第四残差块(10)和第三卷积模块(11)；其中，所述第一卷积模块(1)的输入为背光亮度图像，第三卷积模块(11)的输出为背光扩散图像。
8.根据权利要求7所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，所述的所述的第一残差块(4)、第二残差块(6)、第三残差块(8)和第四残差块(10)结构相同，均包括：第四卷积模块(12)、第一批量归一化模块(13)、第一线性整流函数(14)、第五卷积模块(15)、第二批量归一化模块(16)、加法器(17)和第二线性整流函数(18)；其中，所述第一残差块(4)中的第四卷积模块(12)的输入和加法器17的另一输入均为第一双线性插值模块(3)为的输出，所述第一残差块(4)中的第二线性整流函数(18)的输出为第二双线性插值模块(5)的输入；所述第二残差块(6)中的第四卷积模块(12)的输入和第二残差块(6)中的加法器(17)的另一输入均为第二双线性插值模块(5)的输出，所述第二残差块(6)中的第二线性整流函数(18)的输出为第三双线性插值模块(7)的输入；所述第三残差块(8)中的第四卷积模块(12)的输入和第三残差块(8)中的加法器17的另一输入均为第三双线性插值模块(7)的输出，所述第三残差块(8)中的第二线性整流函数(18)的输出为第四双线性插值模块(9)的输入；所述第四残差块(10)中的第四卷积模块(12)的输入和第四残差块(10)中的加法器17的另一输入均为第四双线性插值模块(9)的输出，所述第四残差块(10)中的第二线性整流函数(18)的输出为第三卷积模块(11)的输入。
9.根据权利要求1所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，步骤10)中所述的均方误差损失函数为：
LMSE＝MSE (5)
其中，M和N为图像的高度和宽度，Y′i,j为输出图像的亮度，Yi,j为原图像的亮度
所述的结构相似性损失函数是从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差；结构相似性损失函数值的取值范围为[-1,1]，当两幅图像相同时等于1，使用标准偏差为1.5的11×11归一化高斯核估计局部统计量；定义均值，方差和协方差的权值为W＝{W(p)|p∈P,P＝{(-5,-5),…,(5,5)}}，其中p为权值的中心偏移，P为内核的所有位置；使用卷积层实现，权值W不变，对于显像图像F和对应的样本图像Y的每个位置x，结构相似性损失函数LSSIM的计算公式如下：
其中，μF和
是显像图像F的局部均值和方差估计，σFY是区域的协方差估计，μY和
是样本图像Y的局部均值和方差估计，C1和C2是为防止分母出现0的常量，N是显像图像的像素数；
将均方误差损失函数与结构相似性损失函数求和，得到整体损失函数Loss：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
10.根据权利要求1所述的基于深度学习的用于图像处理的动态调光背光扩散方法，其特征在于，步骤11)是将显像图像与所述显像图像对应的样本图像输入到所述整体损失函数中，得到背光扩散模型的误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910895951.2A CN110728637B (zh) | 2019-09-21 | 2019-09-21 | 基于深度学习的用于图像处理的动态调光背光扩散方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910895951.2A CN110728637B (zh) | 2019-09-21 | 2019-09-21 | 基于深度学习的用于图像处理的动态调光背光扩散方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728637A true CN110728637A (zh) | 2020-01-24 |
| CN110728637B CN110728637B (zh) | 2023-04-18 |
Family
ID=69218213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910895951.2A Active CN110728637B (zh) | 2019-09-21 | 2019-09-21 | 基于深度学习的用于图像处理的动态调光背光扩散方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728637B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN113257195A (zh) * | 2020-02-10 | 2021-08-13 | 北京小米移动软件有限公司 | 环境光检测方法和装置、电子设备、存储介质 |
| CN113408655A (zh) * | 2021-07-13 | 2021-09-17 | 中山大学 | 一种基于深度学习的色序型显示器控制方法及装置 |
| CN113674705A (zh) * | 2021-08-27 | 2021-11-19 | 天津大学 | 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法 |
| WO2021232323A1 (zh) * | 2020-05-20 | 2021-11-25 | 华为技术有限公司 | 基于神经网络的区域背光调光方法及装置 |
| CN113744165A (zh) * | 2021-11-08 | 2021-12-03 | 天津大学 | 一种基于代理模型辅助进化算法的视频区域调光方法 |
| CN114463196A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大学嘉兴研究院 | 一种基于深度学习的图像校正方法 |
| CN115705829A (zh) * | 2021-08-05 | 2023-02-17 | 广州视源电子科技股份有限公司 | 分区调光控制方法、装置、终端设备和存储介质 |
| CN116092434A (zh) * | 2022-08-02 | 2023-05-09 | 武汉Tcl集团工业研究院有限公司 | 调光方法、装置、电子设备及计算机可读存储介质 |
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130016036A1 (en) * | 2011-07-12 | 2013-01-17 | Orise Technology Co., Ltd. | Method and apparatus of approximating backlight spread in a local dimming system |
| CN107342056A (zh) * | 2017-07-31 | 2017-11-10 | 天津大学 | 一种基于改进混洗蛙跳算法的区域背光动态调光方法 |
| US20180182356A1 (en) * | 2016-12-23 | 2018-06-28 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling the same |
| CN108428436A (zh) * | 2018-05-08 | 2018-08-21 | 京东方科技集团股份有限公司 | 亮度补偿方法、亮度补偿装置、显示装置及存储介质 |
| CN108648700A (zh) * | 2018-05-18 | 2018-10-12 | 京东方科技集团股份有限公司 | 一种背光源的动态调光显示控制方法和装置 |
-
2019
- 2019-09-21 CN CN201910895951.2A patent/CN110728637B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130016036A1 (en) * | 2011-07-12 | 2013-01-17 | Orise Technology Co., Ltd. | Method and apparatus of approximating backlight spread in a local dimming system |
| US20180182356A1 (en) * | 2016-12-23 | 2018-06-28 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling the same |
| CN107342056A (zh) * | 2017-07-31 | 2017-11-10 | 天津大学 | 一种基于改进混洗蛙跳算法的区域背光动态调光方法 |
| CN108428436A (zh) * | 2018-05-08 | 2018-08-21 | 京东方科技集团股份有限公司 | 亮度补偿方法、亮度补偿装置、显示装置及存储介质 |
| CN108648700A (zh) * | 2018-05-18 | 2018-10-12 | 京东方科技集团股份有限公司 | 一种背光源的动态调光显示控制方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 张喜条等: "LED分区背光光扩散性能研究" * |
| 张涛等: "一种提高图像对比度和视觉质量的新型区域背光算法" * |
| 章小兵等: "基于PSNR的LCD区域动态背光调节方法" * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113257195A (zh) * | 2020-02-10 | 2021-08-13 | 北京小米移动软件有限公司 | 环境光检测方法和装置、电子设备、存储介质 |
| CN113257195B (zh) * | 2020-02-10 | 2022-07-08 | 北京小米移动软件有限公司 | 环境光检测方法和装置、电子设备、存储介质 |
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111325692B (zh) * | 2020-02-21 | 2023-06-13 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| WO2021232323A1 (zh) * | 2020-05-20 | 2021-11-25 | 华为技术有限公司 | 基于神经网络的区域背光调光方法及装置 |
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
| CN113408655A (zh) * | 2021-07-13 | 2021-09-17 | 中山大学 | 一种基于深度学习的色序型显示器控制方法及装置 |
| CN113408655B (zh) * | 2021-07-13 | 2023-09-15 | 中山大学 | 一种基于深度学习的色序型显示器控制方法及装置 |
| CN115705829A (zh) * | 2021-08-05 | 2023-02-17 | 广州视源电子科技股份有限公司 | 分区调光控制方法、装置、终端设备和存储介质 |
| CN113674705B (zh) * | 2021-08-27 | 2023-11-07 | 天津大学 | 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法 |
| CN113674705A (zh) * | 2021-08-27 | 2021-11-19 | 天津大学 | 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法 |
| CN113744165A (zh) * | 2021-11-08 | 2021-12-03 | 天津大学 | 一种基于代理模型辅助进化算法的视频区域调光方法 |
| CN114463196A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大学嘉兴研究院 | 一种基于深度学习的图像校正方法 |
| CN116092434B (zh) * | 2022-08-02 | 2023-12-26 | Tcl科技集团股份有限公司 | 调光方法、装置、电子设备及计算机可读存储介质 |
| CN116092434A (zh) * | 2022-08-02 | 2023-05-09 | 武汉Tcl集团工业研究院有限公司 | 调光方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110728637B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728637B (zh) | 基于深度学习的用于图像处理的动态调光背光扩散方法 | |
| CN110838090B (zh) | 一种基于残差网络的用于图像处理的背光扩散方法 | |
| Wang et al. | Simple low-light image enhancement based on Weber–Fechner law in logarithmic space | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| CN105957111B (zh) | 序列遥感影像的色调一致性校正方法及系统 | |
| CN109343692B (zh) | 基于图像分割的移动设备显示器省电方法 | |
| WO2023207275A1 (zh) | 显示控制方法及装置、显示设备、电子设备以及介质 | |
| CN114187880B (zh) | 图像显示方法、图像显示装置和显示系统 | |
| CN113674705B (zh) | 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法 | |
| CN112954304A (zh) | 显示面板Mura缺陷评估方法、系统以及可读存储介质 | |
| Hua et al. | Colour balance and contrast stretching for sand‐dust image enhancement | |
| Chi et al. | Blind tone mapped image quality assessment with image segmentation and visual perception | |
| CN113436081A (zh) | 数据处理方法、图像增强方法及其模型训练方法 | |
| Li et al. | A novel detail weighted histogram equalization method for brightness preserving image enhancement based on partial statistic and global mapping model | |
| Wang et al. | Low-light-level image enhancement algorithm based on integrated networks | |
| CN117689617A (zh) | 基于去雾约束网络和串联多尺度注意力的绝缘子检测方法 | |
| CN115660992A (zh) | 一种局部背光调光方法、系统及设备和介质 | |
| Liu et al. | Local Dimming Algorithm of Automotive LCD Instrument Based on Otsu and Maximum Entropy | |
| CN113362777A (zh) | 一种调光方法及显示装置 | |
| CN115240606B (zh) | 基于最大值法的两次背光修正区域动态调光方法 | |
| CN117831470B (zh) | 一种超多背光分区的液晶显示器局域调光方法 | |
| Wang et al. | CD-iNet: Deep Invertible Network for Perceptual Image Color Difference Measurement | |
| Lu et al. | Bézier curve-based saturation-aided optimal brightness adjustment for dark image clearness enhancement with image fusion | |
| Zhong et al. | Improved EAST scene text detection based on ResNet-50 | |
| Liu et al. | A Local Dimming Algorithm Based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |