CN113744165B - 一种基于代理模型辅助进化算法的视频区域调光方法 - Google Patents
一种基于代理模型辅助进化算法的视频区域调光方法 Download PDFInfo
- Publication number
- CN113744165B CN113744165B CN202111310341.5A CN202111310341A CN113744165B CN 113744165 B CN113744165 B CN 113744165B CN 202111310341 A CN202111310341 A CN 202111310341A CN 113744165 B CN113744165 B CN 113744165B
- Authority
- CN
- China
- Prior art keywords
- backlight
- frame
- matrix
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 46
- 210000000349 chromosome Anatomy 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000002068 genetic effect Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000009118 appropriate response Effects 0.000 claims description 2
- 230000002759 chromosomal effect Effects 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000035772 mutation Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000005012 migration Effects 0.000 abstract description 3
- 238000013508 migration Methods 0.000 abstract description 3
- 230000009977 dual effect Effects 0.000 abstract description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal Display Device Control (AREA)
Abstract
本发明提供了一种基于代理模型辅助进化算法的视频区域调光方法,将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考背光帧;使用样本数据组成的数据集对卷积神经网络CNN模型进行训练,训练后卷积神经网络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值。本发明一种基于代理模型辅助进化算法的视频区域调光方法,通过代理模型来提升进化算法的计算效率,引入背光更新策略和模型迁移策略进一步提升区域调光算法的运算效率与调节质量,更好地满足LCD‑LED双调制系统中视频序列区域调光任务对算法实时性与调节质量的需求。
Description
技术领域
本发明属于视频显示技术领域,尤其是涉及一种基于代理模型辅助进化算法的视频区域调光方法。
背景技术
在现有技术中,传统视频显示系统一般包括两个部分,背光模块及液晶模块。其中背光模块为显示系统提供背光,液晶模块决定每个像素点的透光率,背光模块和液晶模块共同作用将图像呈现在显示屏上。传统的LCD显示系统的背光模块是一块背光板,不同的图像区域共用同一个光源,因此不同图像区域的背光亮度相同,然而图像区域本身有亮暗之分,对图像的暗区和亮区采用相同亮度的背光,会造成显示图像整体对比度较低,影响图像的视觉效果。
针对传统显示系统的不足,LCD-LED双调制系统被提出,不同于传统的显示系统,LCD-LED双调制系统的背光模块是一个包含多个LED背光块的阵列,每个背光块照亮图像中的一个区域,不同背光块的亮度可以独立调节,因此在LCD-LED双调制系统中,可以为不同的图像区域设置不同的背光,因此图像的暗区和亮区可以分别采用不同的背光亮度,有效提升了显示图像的对比度,改善了显示图像的视觉效果,同时也有效降低了能耗,在现有技术中,常用的背光块显示亮度调节方式,普遍存在着调节响应时间慢,调节质量需要进一步提高的问题。
发明内容
有鉴于此,本发明旨在提出一种基于代理模型辅助进化算法的视频区域调光方法,通过代理模型来提升进化算法的计算效率,引入背光更新策略和模型迁移策略进一步提升区域调光算法的运算效率与调节质量,更好地满足LCD-LED双调制系统中视频序列区域调光任务对算法实时性与调节质量的需求。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于代理模型辅助进化算法的视频区域调光方法,包括:
步骤一:将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考
背光帧;使用样本数据组成的数据集对卷积神经网络CNN模型进行训练,训练后卷积神经网
络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值,样本数
据包括随机产生的多组背光值,每组背光值的标签是对应的适应度值,适应度值由图像质
量计算函数计算得出, 是一组背光值矩阵,是被调光图像的灰度图矩阵;
步骤二:使用基于代理模型的进化算法搜索当前帧的最优背光值并输出;
步骤三:判断是否存在下一帧图像,如不存在,则完成调光;如存在下一帧图像,则进入步骤四;
步骤四:计算新的当前帧与距离最近的参考背光帧之间的相关度,如果大于等于设定的阈值,则当前帧判定是一般背光帧,以距离最近的参考背光帧的最优背光值作为当前帧的最优背光值并输出后,继续返回步骤三;如果小于设定的阈值,则当前帧判定是参考背光帧并继续返回步骤二计算最优背光值, 是当前帧灰度图,是距离最近的参考背光帧灰度图。
进一步的,在步骤二中,在使用基于代理模型的进化算法搜索当前帧的最优背光值时,对代理模型进行多次更新,每次更新以当前的代理模型作为预训练模型,然后基于搜索过程中新获得的样本数据构成数据集对预训练模型进行微调,获得更新后的代理模型。
进一步的,在步骤四中,当前帧是参考背光帧,继续返回步骤二时,以前一参考背光帧的代理模型作为当前帧代理模型的预训练模型,然后使用样本数据构成的训练集对预训练模型进行微调,获得当前帧的代理模型,将获得的代理模型应用到进化算法中得到当前帧的最优背光值并输出。
其中,是一组背光值矩阵,是被调光图像的灰度图矩阵,是调光后的显示图
像灰度图矩阵, 是被调光图像的灰度图矩阵和调光后的显示图像灰度图矩阵之间的峰值信噪比,是一个光扩散函数,把背光值矩阵扩散成被调光图像的灰度
图矩阵相同的尺寸。
进一步的,进化算法是遗传算法。
相对于现有技术,本发明所述的一种基于代理模型辅助进化算法的视频区域调光方法,具有以下优势:
第一,本发明使用代理模型替换进化算法的评估函数,可以有效降低计算复杂程度,提升区域调光方法的计算速度,提高调光效果,降低能耗。
第二,本发明使用背光更新策略:利用视频序列相邻帧在图像内容上具有较强的相关性,因此相邻帧的背光值之间也具有一定相关性的原理,可以直接选择相应的背光值作为当前帧的最优背光值,进一步减低了计算量,提升了区域调光算法的效率。
第三,本发明使用模型迁移策略:在使用基于代理模型的进化算法进行当前帧的背光值搜索时,代理模型可作为预训练模型进行迁移并再次训练,从而获得更新后的代理模型,提高区域调光算法的效率以及计算质量。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
在附图中:
图1为本发明实施例所述的一种基于代理模型辅助进化算法的视频区域调光方法流程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示,一种基于代理模型辅助进化算法的视频区域调光方法,包括:
步骤一:将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考
背光帧;使用样本数据组成的数据集对卷积神经网络CNN模型进行训练,训练后卷积神经网
络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值,样本数
据包括随机产生的多组背光值,每组背光值的标签是对应的适应度值,适应度值由图像质
量计算函数计算得出, 是一组背光值矩阵,是被调光图像的灰度图矩阵;
步骤二:使用基于代理模型的进化算法搜索当前帧的最优背光值并输出;
步骤三:判断是否存在下一帧图像,如不存在,则完成调光;如存在下一帧图像,则进入步骤四;
步骤四:计算新的当前帧与距离最近的参考背光帧之间的相关度,如果大于等于设定的阈值,则当前帧判定是一般背光帧,以距离最近的参考背光帧的最优背光值作为当前帧的最优背光值并输出后,继续返回步骤三;如果小于设定的阈值,则当前帧判定是参考背光帧并继续返回步骤二计算最优背光值, 是当前帧灰度图,是距离最近的参考背光帧灰度图。
在步骤二中,在使用基于代理模型的进化算法搜索当前帧的最优背光值时,对代理模型进行多次更新,每次更新以当前的代理模型作为预训练模型,然后基于搜索过程中新获得的样本数据构成数据集对预训练模型进行微调,获得更新后的代理模型。
在步骤四中,当前帧是参考背光帧,继续返回步骤二时,以前一参考背光帧的代理模型作为当前帧代理模型的预训练模型,然后使用样本数据构成的训练集对预训练模型进行微调,获得当前帧的代理模型,将获得的代理模型应用到进化算法中得到当前帧的最优背光值并输出。
其中,是一组背光值矩阵,是被调光图像的灰度图矩阵,是调光后的显示图
像灰度图矩阵, 是被调光图像的灰度图矩阵和调光后的显示图像灰度图矩阵之间的峰值信噪比,是一个光扩散函数,把背光值矩阵扩散成被调光图像的灰度
图矩阵相同的尺寸。
在本实施例中,进化算法是遗传算法。
在本实施例中,使用遗传算法得到当前帧的最优背光值过程如下:
步骤:随机从种群中选择两个染色体序列,两个染色体序列进行交叉产生新个体,即从两个向量各取出一部分元素拼接成一个新的维度为H*W的向量,然后对新染色体进行变异操作,即从新生成的向量中随机选择部分元素替换为随机生成的新元素;重复随机选择两个染色体交叉、变异这一过程,直到生成m个新染色体,然后将m个新染色体变形回m个矩阵,用代理模型评估m个矩阵的适应度值。
步骤:m个新矩阵和m个原始矩阵混合,根据矩阵对应的适应度值选择其中适应度值最优的前m个矩阵组成新的种群,将适应度值排序在第m位之后的矩阵淘汰。判断是否达到算法终止条件(在本实施例中,终止条件是矩阵淘汰迭代1000次),若是,则进入步骤,否则更新代理模型后返回进入步骤。
在步骤中,更新代理模型的过程如下:用当前种群中的m个矩阵构成新的数据集,基于显示图像质量计算函数计算数据集中m个矩阵对应的适应度值,以适应度值作为样本标签,基于m个矩阵构成新的数据集对代理模型进行微调训练。
本发明公开的基于代理模型辅助进化算法的视频区域调光方法相比与传区域调光方法,在算法耗时上平均减少96.7%,算法效率有了大幅度的提升,效果对比如下表所示:
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于代理模型辅助进化算法的视频区域调光方法,其特征在于:包括:
步骤一:将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考背光帧;使用样本数据组成的数据集对卷积神经网络CNN模型进行训练,训练后卷积神经网络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值,样本数据包括随机产生的多组背光值,每组背光值的标签是对应的适应度值,适应度值由图像质量计算函数计算得出,是一组背光值矩阵,是被调光图像的灰度图矩阵;
步骤二:使用基于代理模型的进化算法搜索当前帧的最优背光值并输出;
步骤三:判断是否存在下一帧图像,如不存在,则完成调光;如存在下一帧图像,则进入步骤四;
步骤四:计算新的当前帧与距离最近的参考背光帧之间的相关度,如果大于等于设定的阈值,则当前帧判定是一般背光帧,以距离最近的参考背光帧的最优背光值作为当前帧的最优背光值并输出后,继续返回步骤三;如果小于设定的阈值,则当前帧判定是参考背光帧并继续返回步骤二计算最优背光值, 是当前帧灰度图,是距离最近的参考背光帧灰度图;
在步骤二中,进化算法是遗传算法,使用遗传算法得到当前帧的最优背光值过程如下:
步骤(1):在解空间中随机生成m个H*W的矩阵,H和W分别表示每帧图像的高和宽,每个矩阵对应一组背光值,m个矩阵构成了初始种群,将这些矩阵输到代理模型中,基于代理模型评估各矩阵对应的适度应值;
步骤(2):将所有m个矩阵变型为m个向量,则每个向量的维度是H*W,在遗传算法中,每个向量可以理解为一个染色体序列;
步骤(3):随机从种群中选择两个染色体序列,两个染色体序列进行交叉产生新个体,即从两个向量各取出一部分元素拼接成一个新的维度为H*W的向量,然后对新染色体进行变异操作,即从新生成的向量中随机选择部分元素替换为随机生成的新元素;重复随机选择两个染色体交叉、变异这一过程,直到生成m个新染色体,然后将m个新染色体变形回m个矩阵,用代理模型评估m个矩阵的适应度值;
步骤(4):m个新矩阵和m个原始矩阵混合,根据矩阵对应的适应度值选择其中适应度值最优的前m个矩阵组成新的种群,将适应度值排序在第m位之后的矩阵淘汰;判断是否达到算法终止条件,若是,则进入步骤(5),否则更新代理模型后返回进入步骤(3);
更新代理模型的过程如下:用当前种群中的m个矩阵构成新的数据集,基于显示图像质量计算函数计算数据集中m个矩阵对应的适应度值,以适应度值作为样本标签,基于m个矩阵构成新的数据集对代理模型进行微调训练;
步骤(5):算法终止,输出当前种群中适应度最优的矩阵,该矩阵即为搜索到的图像帧最优背光值;
2.根据权利要求1所述的一种基于代理模型辅助进化算法的视频区域调光方法,其特征在于:在步骤四中,当前帧是参考背光帧,继续返回步骤二时,以前一参考背光帧的代理模型作为当前帧代理模型的预训练模型,然后使用样本数据构成的训练集对预训练模型进行微调,获得当前帧的代理模型,将获得的代理模型应用到进化算法中得到当前帧的最优背光值并输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111310341.5A CN113744165B (zh) | 2021-11-08 | 2021-11-08 | 一种基于代理模型辅助进化算法的视频区域调光方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111310341.5A CN113744165B (zh) | 2021-11-08 | 2021-11-08 | 一种基于代理模型辅助进化算法的视频区域调光方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744165A CN113744165A (zh) | 2021-12-03 |
CN113744165B true CN113744165B (zh) | 2022-01-21 |
Family
ID=78727648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111310341.5A Active CN113744165B (zh) | 2021-11-08 | 2021-11-08 | 一种基于代理模型辅助进化算法的视频区域调光方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744165B (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10387824B2 (en) * | 2012-12-21 | 2019-08-20 | United Parcel Service Of America, Inc. | Systems and methods for delivery of an item |
DE102017106984B4 (de) * | 2017-03-31 | 2022-02-10 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie |
CN107342056B (zh) * | 2017-07-31 | 2019-05-31 | 天津大学 | 一种基于改进混洗蛙跳算法的区域背光动态调光方法 |
CN109299142B (zh) * | 2018-11-14 | 2020-10-27 | 中山大学 | 一种基于进化算法的卷积神经网络结构搜索方法及系统 |
CN113326936A (zh) * | 2019-05-26 | 2021-08-31 | 中国计量大学上虞高等研究院有限公司 | 入睡环境调光优化方法 |
CN110427965A (zh) * | 2019-06-25 | 2019-11-08 | 重庆邮电大学 | 基于进化策略的卷积神经网络结构简约及图像分类方法 |
CN110838090B (zh) * | 2019-09-21 | 2023-04-21 | 天津大学 | 一种基于残差网络的用于图像处理的背光扩散方法 |
CN110728637B (zh) * | 2019-09-21 | 2023-04-18 | 天津大学 | 基于深度学习的用于图像处理的动态调光背光扩散方法 |
CN110675830A (zh) * | 2019-09-21 | 2020-01-10 | 天津大学 | 图像处理用的基于改进烟花算法的区域背光动态调光方法 |
CN112951168A (zh) * | 2021-02-09 | 2021-06-11 | 海信视像科技股份有限公司 | 显示设备和背光控制方法 |
CN113408655B (zh) * | 2021-07-13 | 2023-09-15 | 中山大学 | 一种基于深度学习的色序型显示器控制方法及装置 |
-
2021
- 2021-11-08 CN CN202111310341.5A patent/CN113744165B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113744165A (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108877694B (zh) | 一种双层液晶屏、背光亮度控制方法、装置及电子设备 | |
CN113823235B (zh) | 一种Mini-LED背光分区控制系统及方法 | |
CN108447449B (zh) | 信号处理方法及显示装置 | |
US11270657B2 (en) | Driving method, driving apparatus, display device and computer readable medium | |
CN1222159C (zh) | 改善图像灰度的方法,和实行该方法的图像显示装置 | |
KR101677182B1 (ko) | 백라이트 장치의 디밍 방법 | |
CN105957111B (zh) | 序列遥感影像的色调一致性校正方法及系统 | |
CN102947877A (zh) | 图像显示装置和图像显示方法 | |
CN110728637A (zh) | 基于深度学习的用于图像处理的动态调光背光扩散方法 | |
CN108766372A (zh) | 一种改善显示面板的mura现象的方法 | |
US11114046B2 (en) | Display device and method for driving the same, driving apparatus, and computer-readable medium | |
CN106910487A (zh) | 一种显示器的驱动方法和驱动装置 | |
CN101681611B (zh) | 显示控制装置和方法 | |
CN107204174A (zh) | 液晶显示面板及其驱动方法、液晶显示器 | |
CN113823234B (zh) | 一种RGB Mini-LED场序背光控制系统及方法 | |
CN113674705B (zh) | 一种基于径向基函数神经网络代理模型辅助粒子群算法的背光提取方法 | |
CN115985238A (zh) | 一种数据处理方法、电路及驱动芯片 | |
CN113744165B (zh) | 一种基于代理模型辅助进化算法的视频区域调光方法 | |
Zhang et al. | A local dimming method based on improved multi-objective evolutionary algorithm | |
CN110675830A (zh) | 图像处理用的基于改进烟花算法的区域背光动态调光方法 | |
CN101098394A (zh) | 图像调整方法与装置 | |
KR20130073780A (ko) | 액정 표시장치의 구동장치와 그 구동방법 | |
CN116091403B (zh) | 一种彩色夜视融合图像质量主客观评价方法 | |
CN115660992A (zh) | 一种局部背光调光方法、系统及设备和介质 | |
Qibin et al. | Image-classification-based global dimming algorithm for LED backlights in LCDs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |