CN113408655B - 一种基于深度学习的色序型显示器控制方法及装置 - Google Patents

一种基于深度学习的色序型显示器控制方法及装置 Download PDF

Info

Publication number
CN113408655B
CN113408655B CN202110793074.5A CN202110793074A CN113408655B CN 113408655 B CN113408655 B CN 113408655B CN 202110793074 A CN202110793074 A CN 202110793074A CN 113408655 B CN113408655 B CN 113408655B
Authority
CN
China
Prior art keywords
image
color
driving algorithm
frame image
backlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110793074.5A
Other languages
English (en)
Other versions
CN113408655A (zh
Inventor
秦宗
邹国伟
罗青云
杨文超
邱志光
吴梓毅
杨柏儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110793074.5A priority Critical patent/CN113408655B/zh
Publication of CN113408655A publication Critical patent/CN113408655A/zh
Application granted granted Critical
Publication of CN113408655B publication Critical patent/CN113408655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本申请公开了一种基于深度学习的色序型显示器控制方法及装置，包括：对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，确定与其匹配的驱动算法；采用所述驱动算法计算得到所述单帧图像在各个场中的理想背光分布；根据所述理想背光分布，结合所述色序型显示器的光扩散特性，计算出所述单帧图像在各个场中的模拟背光分布和透射率；根据所述模拟背光分布和透射率，计算出各个场的图像。本申请针对每一帧图像，根据图像内容中所包含的具体图像特征，一一为其确定相匹配的驱动算法，以抑制图像在色序型显示器中所产生的色分离现象，降低了图像的色分离程度，使得每一帧图像在色序型显示器中均能获得较好的色分离抑制效果。

Description

一种基于深度学习的色序型显示器控制方法及装置
技术领域
本申请涉及液晶显示技术领域，更具体的说，是涉及一种基于深度学习的色序型显示器控制方法及装置。
背景技术
传统的液晶显示器(LCD)由背光板、液晶和彩色滤光片等组成，由于彩色滤光片的存在，该显示器会有约2/3的光效损失。为了提升液晶显示器的光效，最大限度的节约显示器的功耗，同时增大液晶显示器的分辨率，色序型(field sequential color)液晶显示器应运而生。
请参阅图1，色序型(Field Sequential Color，FSC)显示器弃用彩色滤光片，通过时序混色的方法，在同一帧(frame)内依次快速闪过红、绿、蓝这三基色的子像素，从而构成彩色图像。在相同的面板大小下，色序型显示器的分辨率是传统液晶显示器的3倍。由于色序型显示器具有高分辨率，低功耗，绿色环保等优势，使得色序型显示器在智能手机、平板电脑、桌面显示器、电视、视频投影仪、VR、AR等设备中有着广泛的应用。
然而，由于显示器所显示的视频实质由时间序列上的一帧帧图像构成，而在色序型显示器中，同一帧图像还由依次快速闪过的红、绿、蓝三基色的子帧图像构成。请参阅图2，在眼睛扫视、平滑追踪图像过程中，当观看者的眼球和被观看图像存在相对速度时，由于人眼的视觉暂留效应，不同时序上的图像在人眼的视网膜上不能够很好的重叠，从而在边缘出现红、绿、蓝的彩色条纹，降低了图像质量，这一现象被称为色序型显示器的色分离(Color Breakup，CBU)现象。
为了解决色分离现象，最直接的办法是提高显示器的刷新率到540Hz以上，但是高刷新率的显示器常常需要与之相对应的高的液晶响应速度，这一技术实现起来较为困难。因此，研究人员提出了一系列改变色场呈现方式而非单纯提高刷新率的方法，比如台湾交大团队提出的240Hz-Stencil法、180Hz-Stencil法、240Hz Edge Stencil法等，以及飞利浦公司提出的Local Primary Desaturation(LPD法)、四场LPD优化算法等。
这些优化驱动算法一定程度上有效抑制了色分离现象，由于算法具体的优化方式不一样，对不同图像内容的驱动应用中，存在各自的优势与劣势。然而，目前的色序型显示器在显示图像时，针对视频中的任意帧图像普遍采用单一的驱动算法，而单一的驱动算法难以适应所有内容类型的图像，难以有效地降低各帧图像的色分离程度。
发明内容
有鉴于此，本申请提供了一种基于深度学习的色序型显示器控制方法及装置，以使得将图像的色分离程度降到最低。
为实现上述目的，本申请提供如下技术方案：
一种基于深度学习的色序型显示器控制方法，包括：
对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法；
采用所述驱动算法计算得到所述单帧图像在各个场中的理想背光分布；
根据所述理想背光分布，结合所述色序型显示器的光扩散特性，计算出所述单帧图像在各个场中的模拟背光分布和透射率；
根据所述模拟背光分布和透射率，计算出各个场的图像。
优选地，所述对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，确定与所述单帧图像匹配的驱动算法，包括：
将所述单帧图像输入至预训练的图像分类模型，得到图像分类模型输出的与所述单帧图像匹配的驱动算法；
所述图像分类模型以训练图像作为训练样本，以训练图像所匹配的驱动算法作为样本标签训练得到；
在所述图像分类模型输出的驱动算法中，选取与所述色序型显示器的刷新率一致的驱动算法，作为与所述图像匹配的驱动算法。
优选地，所述图像分类模型的训练方法包括：
获取训练图像集；
将预设的驱动算法应用于训练图像，并对所述训练图像在每一种类型的驱动算法下的色分离程度进行计算，以及将色分离程度最低的驱动算法标记为所述图像的匹配驱动算法；
将训练图像输入到图像分类模型中，得到图像分类模型输出的所述训练图像对应的驱动算法；
以所述输出的所述训练图像对应的驱动算法趋近于所述训练图像标记的匹配驱动算法为训练目标，更新所述图像分类模型的参数。
优选地，所述训练图像在驱动算法下的色分离程度的计算方法，包括：
获取所述训练图像在驱动算法下的各个场的图像，并将所述各个场的图像合并成所述训练图像的模拟显示图像；
计算模拟显示图像中各个区域的视觉显著性VS，将模拟显示图像中VS值大于预设阈值的区域确定为显性视觉显著性DVS区域；
逐个像素地计算所述模拟显示图像的DVS区域，与所述训练图像的相应区域之间的色差；
对DVS区域内所有像素的色差进行求和，得到总色差值，并将总色差值除以DVS区域的像素数目，得到色分离程度的值。
优选地，所述对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，确定与所述单帧图像匹配的驱动算法，包括：
对输入的单帧图像，基于所述单帧图像所包含的整体区域的图像特征，结合色序型显示器的刷新率，确定与所述单帧图像匹配的驱动算法；
或者，对输入的单帧图像，将所述单帧图像划分成至少两个区域；
对于每一个区域，基于所述区域的图像特征，结合色序型显示器的刷新率，确定与所述区域匹配的驱动算法。
优选地，所述驱动算法包括Stencil法、Edge-Stencil法、Stencil-FSC法、LPD法、Stencil-LPD法、RGB法和/或GPDK法。
优选地，所述图像分类模型为深度残差网络模型。
优选地，所述预设阈值为0.5。
基于上述的基于深度学习的色序型显示器控制方法，本申请还提供一种基于深度学习的色序型显示器控制装置，包括：
驱动算法匹配模块，用于：对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法；
理想背光计算模块，用于：采用所述驱动算法计算得到所述单帧图像在各个场中的理想背光分布；
模拟背光及补偿模块，用于：根据所述理想背光分布，结合所述色序型显示器的光扩散特性，计算出所述单帧图像在各个场中的模拟背光分布和透射率；
场图像计算模块，用于：根据所述模拟背光分布和透射率，计算出各个场的图像。
经由上述的技术方案可知，本申请对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，确定与所述单帧图像匹配的驱动算法；采用所述驱动算法，结合所述单帧图像的具体图像特征，计算出所述单帧图像在色序型显示器中各个场的图像。
本申请对于视频中的每一帧图像，根据图像中所包含的具体图像特征，一一为其确定相匹配的驱动算法，以抑制图像在色序型显示器中所产生的色分离现象，降低了图像的色分离程度，使得每一帧图像在色序型显示器中均能获得较好的色分离抑制效果，提高了图像质量，为用户提供了较好的视觉效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示例了色序型显示器的时间混色原理图；
图2示例了色序型显示器的色分离现象示意图；
图3示例了采用LPD法对图像进行驱动显示时的色分离模拟图；
图4示例了图像去饱和后的新的三基色范围示意图；
图5示例了色彩丰富且饱和度较高的图像采用LPD法及RGB渲染法下的色分离模拟图；
图6示例了局部去饱和后的新的三基色范围示意图；
图7示例了240Hz Stencil算法在高局部对比度图像中的色分离模拟图；
图8示例了240Hz Edge-Stencil算法在边缘颜色均匀的图像中的色分离模拟图；
图9为本申请实施例提供的基于深度学习的色序型显示器控制方法的示意图；
图10为本申请实施例提供的基于深度学习的色序型显示器控制方法的另一示意图；
图11示例了地球原始图像；
图12示例了对地球原始图像分块后的各场下的理想调光状态图；
图13示例了各场下的真实背光模拟图；
图14示例了各场下的透射率示意图；
图15示例了最终输出的各场的图像；
图16示例了地球原始图像的色分离模拟图；
图17示例了深度残差网络模型示意图；
图18示例了残差结构示意图；
图19示例了6张原始图片；
图20示例了240Hz色序型显示器对不同帧图像内容采用不同驱动算法下的模拟图；
图21示例了对各帧图像内容都采用同一驱动算法的色分离模拟图；
图22为本申请实施例提供的基于深度学习的色序型显示器控制方法的另一示意图；
图23示例了对地球原始图像进行分区的示意图；
图24示例了本申请实施例为每个区域选择相匹配的驱动算法的示意图；
图25示例了对地球原始各区域采用不同驱动算法下各场的理想调光状态图；
图26示例了对地球原始各区域采用不同驱动算法下各场的真实背光模拟图；
图27示例了对地球原始各区域采用不同驱动算法下各场的透射率示意图；
图28示例了对地球原始各区域采用不同驱动算法下最终输出的各场的图像；
图29示例了对地球原始各区域采用不同驱动算法的色分离模拟图；
图30示例了对地球原始整体区域采用Stencil法的色分离模拟图；
图31为本申请实施例提供的基于深度学习的色序型显示器控制装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由背景技术可知，目前的色序型显示器在显示图像时，针对视频中的任意帧图像普遍采用单一的驱动算法。
本案申请人发现，针对不同内容的图像，对于抑制色分离效果上，现有的色序型显示器的驱动算法各有优缺点。
示例如，LPD法为一种基于局域基色去饱和算法的彩色显示控制方法，其基本原理是控制背光驱动信号，对基色进行去饱和化，在确保原始图像或视频色彩完全复现或者接近完全复现的前提下，最大限度地减少一帧内相邻三个场之间的颜色差，避免传统红绿蓝三基色在色序型显示器中的色分离现象。
在LPD法的图像处理中，通过对色域的缩小，新的三基色颜色之间色差较小，使得人眼难以感受到色分离现象。通常地，对于低饱和度的图像，或缺失红绿蓝三基色中的任意两种颜色的图像，如图3，去饱和前色分离(CBU，Color Breakup)是23.05，去饱和之后CBU是7.60，图4是颜色去饱和前后色域的范围。然而，对色彩丰富饱和度较高的图像，如图5、图6所示，去饱和处理前后三个基色的变化不大，新的三基色之间色差仍然很大，三个场的图像内容和去饱和前相比基本没有区别，基本无法起到抑制色分离的目的，如图5，去饱和前CBU是15.48，去饱和之后CBU是11.23，图6是颜色去饱和前后色域的范围。
又例如，240Hz Stencil-FSC法为四色场的色序型驱动算法，其基本原理是在第一个彩色色场显示画面的平均值(即模板Stencil)基础上，再使用红、绿、蓝三色场显示图像的细节。Stencil-FSC法可以降低红、绿、蓝三色场的色彩及亮度，因此色分离现象可以被显著的抑制。
然而，Stencil-FSC法通过平均每个调光块来确定背光，请参阅图7，对于具有高的局部对比度的图像，即某些既有暗部也有亮部的图像，在把背光区域取平均值后，会导致暗部的背光强度大大降低，使得大量的边缘信息保留在R、G、B三个场中，因此仍存在明显的色分离现象，其CBU值为10.39。
对于图7所示的图片，由于其边缘颜色分布均匀，边缘均为蓝色，更适合于240HzEdge-Stencil算法。Edge-Stencil算法考虑到图像中容易发生色分离的部分主要集中在图像的边缘区域，其在第一个彩色色场显示图像的边缘，在另外三个场补全RGB信息。如图8所示，可以看到，与传统的全局Stencil算法相比，Edge-Stencil法处理的图像中，其色分离现象得到明显抑制，其CBU值为7.63。
基于以上分析，本申请实施例公开了一种基于深度学习的色序型显示器控制方法，其对不同的图像采用不同的驱动算法，以达到将色分离程度降到最低的目的。如图9所示，本申请实施例公开的基于深度学习的色序型显示器控制方法可以包括以下步骤：
步骤S101，对于输入的单帧图像，确定其驱动算法。
具体地，对输入的单帧图像，基于该单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与该单帧图像匹配的驱动算法。
其中，现有的色序型显示器的刷新率主要包括240Hz、180Hz和120Hz，不同的刷新率对应着不同的色序型驱动算法。因此，在对图像进行驱动显示时，需要首先确定色序型显示器的刷新率。
根据色序型显示器的刷新率，可以确定几种候选的色序型驱动算法，然后再根据所输入的单帧图像的具体图像特征，从这几种候选的色序型驱动算法中选取匹配的驱动算法对该单帧图像进行驱动，以使得图像的色分离程度降到最低。
步骤S102，计算得到理想背光分布。
具体地，根据步骤S101中所确定的驱动算法，分别计算出该单帧图像在各个场中的理想背光分布。其中，理想背光分布描述了色序型显示器中背光调光模块的亮度水平。
步骤S103，计算得到模拟背光分布和透射率。
具体地，首先根据步骤S102中计算得到的理想背光分布，结合该色序型显示器的光扩散特性，分别计算出该单帧图像在各个场中的模拟背光分布。
由于动态背光技术降低了图像某些区域的亮度，导致图像失真，因此需要对图像进行灰阶补偿。因此，在计算出模拟背光分布后，还需要进一步对透射率进行计算，具体地，根据该模拟背光分布，计算出液晶显示中各个场的透射率。
步骤S104，计算得到各个场的图像。
具体地，根据步骤S103中计算得到的模拟背光分布和透射率，计算出各个场的图像。
在色序型显示器中以预设频率依次闪过该各个场，则形成了该帧图像的原始彩色图像。
本申请上述实施例提供的基于深度学习的色序型显示器控制方法，对于视频中的每一帧图像，根据图像内容中所包含的具体图像特征，一一为其确定相匹配的驱动算法，以抑制图像在色序型显示器中显示时所产生的色分离现象，降低了图像的色分离程度，使得每一帧图像在色序型显示器中均能获得较好的色分离抑制效果，提高了图像质量，为用户提供了较好的视觉效果。为更清楚起见，下面通过以下实施例进行详细说明。
在上述实施例中，对于输入的单帧图像，确定其驱动算法，并根据驱动算法计算得到理想背光分布的过程，可以有多种实现方式。例如，对于输入的单帧图像，以其整体区域作为单一对象，确定相匹配的驱动算法，再根据该驱动算法计算得到该单帧图像整体区域的理想背光分布；又或者，对于输入的单帧图像，对其进行分区，然后针对每一个区域，分别确定相匹配的驱动算法，再通过每一区域的驱动算法计算得到该区域的理想背光分布，最后合并成该单帧图像的整体理想背光分布。下面分别对这两种实现方式作详细介绍。
在上述本申请实施例公开的技术方案的基础上，请参阅图10，在一个可选的实施例中，本申请公开的基于深度学习的色序型显示器控制方法，可以包括以下步骤：
步骤S201，对于输入的单帧图像，基于该单帧图像的整体区域，确定相匹配的驱动算法。
具体地，首先根据色序型显示器的刷新率，确定几种候选的色序型驱动算法；然后再根据所输入的单帧图像所包含的整体区域的具体图像特征，采用深度学习的方法，从这几种候选的色序型驱动算法中确定与该单帧图像相匹配的驱动算法，对该单帧图像进行驱动，以使得该单帧图像的色分离程度降到最低。
步骤S202，计算得到单帧图像整体区域的理想背光分布。
具体地，根据步骤S201中所确定的驱动算法，分别计算出该单帧图像整体区域在各个场中的理想背光分布。其中，理想背光分布描述了色序型显示器中背光调光模块的亮度水平。
步骤S203，计算得到单帧图像的整体区域的模拟背光分布和透射率。
为了降低计算复杂度，在一个可选的实施方式中，可以采用离散傅里叶变换(DFT：Discrete Fourier Transform)和高斯低通滤波器(GLPF：Gauss Low-Pass Filter)模拟真实背光强度分布，从而计算出模拟背光分布。
具体地，首先根据步骤S202中计算得到单帧图像整体区域的理想背光分布，结合该色序型显示器的光扩散特性，分别计算出该单帧图像整体区域在各个场中的模拟背光分布。
可选的，上述计算模拟背光分布的过程，可以包括：计算在理想背光分布下，所有LED在液晶面板上共同产生的光扩散函数；或者，测量出在理想背光分布下，所有LED在液晶面板上的光扩散强度。其中，简化计算后的光扩散函数的公式可以是：
其中，D(u,v)是到傅立叶变换原点的距离，D0是截止频率，(u,v)表示频域中的位置。D0与背光扩散直接相关，较小的D0值允许较低的频率内容，并导致更模糊的背光图像。因此，可以通过控制D0来模拟任意点扩散函数下的背光强度分布。
由于动态背光技术降低了图像某些区域的亮度，导致图像失真，因此需要对图像进行灰阶补偿。因此，在计算出模拟背光分布后，还需要进一步对透射率进行计算。
具体地，根据该模拟背光分布，计算出液晶显示中各个场的透射率。其中，透射率的计算公式可以是：
其中，和Ii表示图像亮度；/>和BLi表示使用局部彩色背光调光技术时，传统全开启背光和模糊背光图像的强度。然后，通过对每个液晶像素取TR、TG和TB的最小透射率值来计算Tmin，以生成第一场的液晶信号。R、G和B场的新液晶信号T′R、T′G和T′B通过公式(3)来确定。
步骤S204，计算得到单帧图像各个场的图像。
具体地，根据步骤S203中计算得到的模拟背光分布和透射率，计算出各个场的图像。
在色序型显示器中以预设频率依次闪过该各个场，则形成了该帧图像的原始彩色图像。
下面以一幅具体的图像为例，对上述的步骤S201至步骤S204进行详细的说明。
假设色序型显示器的刷新率为240Hz，输入如图11所示的单帧图像，根据步骤S201，结合该单帧图像的图像特征，确定与该帧图像相匹配的驱动算法为240Hz Stencil法。在确定该图像适用的算法之后，接着按照240Hz Stencil驱动算法确定该单帧图像所对应四个场的图像。
根据240Hz Stencil驱动算法，首先对输入的原始图像进行分块，获得理想背光分布，也称理想调光状态图。可选的，将图11所示的图像进行分块，分块大小为9×16。接着采用传统的调光方法，如最大值法、平均法或平方根法，计算背光信号，最后得到对图像分块后的理想调光状态图。
图12为图11在240Hz Stencil驱动算法下的理想调光状态图，依次为第一场背光分布、第二场背光分布、第三场背光分布和第四场背光分布。图12中的每一个色场中的小方格表示图像分区后每一区域的背光。可以看到，根据图像内各区域内容的不同，每一个方形小区域内的亮度也不一致，从而达到调光的目的。
接着，需要模拟依照该理想调光状态图而在色序型显示器LED阵列中出光的真实背光分布，即计算模拟背光分布，以便于后续对其进行灰阶补偿。
例如，通过计算所有LED在整个液晶面板上共同产生的光扩散函数来获取真实背光分布。具体地，采用DFT和GLPF来模拟真实背光强度分布，如图13所示。图13中的四张图片分别为第一场、第二场、第三场、第四场真实背光模拟之后的图片，由图中可以看到，在图12具有清晰网格的背光，经过公式(1)对其进行点扩散函数模拟之后，图13中的模拟背光分布图变成了模糊的背光，可见，本方法较好的模拟了背光部分的LED光线扩散到液晶面板上的状态。
由于动态背光技术降低了图像某些区域的亮度，从而导致图像失真，因此需要对图像进行灰阶补偿，即，对图像的透射率计算。对透射率计算后的结果如图14所示，图14中的四张图片分别代表第一场、第二场、第三场、第四场的透射率，可以发现，不同背光场对应的透射率也不一致。
在通过DFT和GLPF获得背光强度分布之后，使用公式(2)、(3)来补偿R、G和B子帧的液晶透射率值。
通过上述方法计算完模拟背光分布以及透射率后，接下来计算单帧图像的最终输出。具体地，将3个原色模拟背光信号(BLR、BLG、BLB)和最小透射率信号Tmin组合在一起，在第一帧图像中显示具有粗糙颜色信息的高亮度图像。同样地，将BLR与T′R、BLG与T′G、BLB与T′B相结合，生成了另外三幅原色图像。
如图15所示，以240Hz的频率依次显示这四幅原色图像，生成了生动的彩色图像。图15中四张图片分别表示第一场、第二场、第三场、第四场的模拟背光分布和透射率结合后的图像，在240Hz色序型显示器上依次闪过这四场图像,就能够形成原始彩色图像。从图15中可以看出，图像能量主要集中在第一个场，从而降低红、绿、蓝三个场的强度，最终达到抑制色分离的目的。如图16所示，最后对四个场合成的图像进行色分离程度的模拟验证。
对图11运用不同驱动算法进行驱动显示时，其CBU值如表1所示。从表1中可以看出，Stencil法具有比较好的色分离抑制效果。
表1.色分离数值对比
本申请上述实施例提供的基于深度学习的色序型显示器控制方法，以输入的单帧图像的整体区域作为对象，针对其具体的图像特征，结合色序型显示器的刷新率确定相匹配的驱动算法；进一步依据色序型显示器的显示方法，计算出液晶显示中各个场的图像，最后生成该帧图像的原始彩色图像。该方法将驱动算法匹配到每一帧图像中，相对于将单一驱动算法不区分地应用于每一帧图像的方式，取得较好的色分离抑制效果。
上述实施例步骤S201中针对输入的单帧图像，可以有多种实施方法来确定与其相匹配的驱动算法。基于此，在一个可选的实施例中，步骤S201中，对输入的单帧图像，基于该单帧图像的图像特征以及色序型显示器的刷新率，确定与该单帧图像匹配的驱动算法的过程，可以包括：
将该单帧图像输入至预训练的图像分类模型，得到图像分类模型输出的与该单帧图像匹配的驱动算法。
其中，该图像分类模型以训练图像作为训练样本，以训练图像所匹配的驱动算法作为样本标签训练得到；在该图像分类模型输出的驱动算法中，选取与该色序型显示器的刷新率一致的驱动算法，作为与该单帧图像匹配的驱动算法。
上述图像分类模型可以采用任何一种卷积神经网络算法(Convolutional NeuralNetworks,CNN)，其仿造生物的视知觉(visual perception)机制而构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征进行学习，并具有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。
可选的，该卷积神经网络可以为深度残差网络(ResNet)。ResNet是由多个残差块(Residual block)构建的深层网络，很好的解决了深度网络退化的问题(Degradationproblem)，可以训练出更深的网络；同时使用批归一化(Batch Normalization)代替dropout函数，以解决梯度消失或者梯度爆炸的问题。
下面以ResNet_50模型为例，对深度残差网络模型的结构进行具体的介绍与分析。
深度残差网络模型可划分成8个构建层(Building Layer)，其中，1个构建层可以包含1个或多个网络层以及1个或多个构建块(如ResNet构建块)。具体地，如图17所示，第一构建层11包括1个普通的卷积层和最大池化层；第二构建层12包括3个残差模块；第三构建层13包括降采样残差模块和3个残差模块；第四构建层14包括降采样残差模块和5个残差模块；第五构建层15包括降采样残差模块和2个残差模块；第六构建层16包括平均池化层；第七构建层17包括全连接层；第八构建层18包括Softmax层。
请参阅图18，ResNet_50的残差结构(包括残差模块以及将采样残差模块)的主分支有三个卷积层：第一卷积层为1*1的卷积层，用来降低channel的维度；第二卷积层为3*3的卷积层，其步长stride为2，用来将特征矩阵的高和宽缩减为原来的一半；第三卷积层为1*1的卷积层，用来还原channel的维度。其中，降采样残差模块还包括是在捷径分支上的1*1的卷积层，该卷积层的卷积核个数与主分支上上第三层卷积核个数相同，使得该卷积层与主分支的输出能够进行相加。
上述图像分类模型在应用前需要先对其进行训练，以使该图像分类模型能够依据输入的单帧图像，输出的与该单帧图像匹配的驱动算法。基于此，在一个可选的实施例中，对该图像分类模型进行训练的方法，可以包括：
1)获取训练图像集。
具体地，选取一定数目的图像作为训练图像，例如，随机选取10000张图片，并以所选取的图片构建一训练集。
2)将预设的驱动算法应用于训练图像，并对该训练图像在每一种类型的驱动算法下的色分离程度进行计算，以及将色分离程度最低的驱动算法标记为该图像的匹配驱动算法。
其中，对于240Hz刷新率的色序型显示器，采用四个色场的驱动方案，其驱动算法主要包括240Hz Stencil法，240Hz Edge-Stencil法，240Hz四场LPD法、传统RGBK法等；对于180Hz色序型显示器，采用三个色场的驱动方案，其驱动算法主要包括传统RGB三场渲染法，180Hz Stencil法，180Hz三场LPD法；对于120Hz色序型显示器，采用两个色场的驱动方案，其驱动算法主要包括120Hz Stencil法，120Hz Stencil-LPD法等。
对于以上色序型显示器的驱动算法，本申请的发明人经过调研发现：Stencil法适用于低对比度的图像；LPD法适用于低饱和度的图像；Edge-Stencil法适用于边缘颜色均匀的图像；而对于图像内容本身只有红绿蓝三基色其中的一种颜色、并且也不需要调光的图像，适用传统的RGB渲染法。
本步骤中可选的驱动算法不限于以上已公开的算法，可为给定刷新率下可用的任意色序显示驱动算法。
在一个可选的实施方式中，以240Hz刷新率的色序型显示器为例，可以将以下6种驱动算法应用于训练图像中：
a)240Hz Edge法(Global Dimming)
b)240Hz GPDK法(Global Dimming)
c)240Hz Global Stencil-FSC法(Global Dimming)
d)240Hz LPDK法(Local Dimming)
e)240Hz RGBK法(Global Dimming)
f)240Hz Stencil-FSC法(Local Dimming)
对训练集中的每一张训练图像，分别应用上述6种不同的驱动算法，并对训练图像在每一种驱动算法下的色分离程度进行计算，将色分离程度最低的驱动算法标记为该训练图像的匹配驱动算法。
3)将训练图像输入到图像分类模型中，得到图像分类模型输出的该训练图像对应的驱动算法。
例如，将训练集中的训练图像输入到图像分类模型，如ResNet_50模型，并对其进行训练。
训练图像在图像分类模型中经过卷积层(Conv)、批归一化层(Batch_Norm)、池化层(Pool)、全连接层(Fully Connected layers，FC)等构成的深层网络，然后经过Softmax分类器输出图像对应的驱动算法。
4)以输出的该训练图像对应的驱动算法趋近于该训练图像标记的匹配驱动算法为训练目标，更新该图像分类模型的参数。
例如，可以通过Adam损失函数计算图像分类模型输出的该训练图像对应的驱动算法与该训练图像标记的匹配驱动算法之间的差别，以输出的该训练图像对应的驱动算法趋近于该训练图像标记的匹配驱动算法为训练目标，对该图像分类模型的参数进行更新。
通过上述训练过程，最终使得图像分类模型可以针对输入的图像，输出与该图像相匹配的驱动算法，而该匹配过程依赖于在具体驱动算法下，评估图像的色分离程度。对于图像的色分离程度，可以通过主观色分离评估进行，也可以通过视觉显著性模型进行色分离评估。
基于此，在一个可选的实施例中，对于训练图像在驱动算法下的色分离程度的计算方法，可以包括：
1)获取该训练图像在驱动算法下的各个场的图像，并将该各个场的图像合并成该训练图像的模拟显示图像。
具体地，根据所采用的驱动算法，通过前述步骤S202至S204，获取训练图像在该驱动算法下的各场的图像，然后将各个场的图像合并成该训练图像的模拟现实图像。
2)计算模拟显示图像中各个区域的视觉显著性VS，将模拟显示图像中VS值大于预设阈值的区域确定为显性视觉显著性(Dominant Visual Saliency，DVS)区域。
其中，视觉显著性理论是利用图像中的亮度、颜色、方向等信息来确定图像内容的吸引程度，其在FR-IQA领域取得了巨大的成功。在一个可选的实施方式中，可以采用基于图的视觉显著性方法(Graph-based Visual Saliency，GBVS)来计算模拟显示图像的VS值。当计算出模拟显示图像的VS值后，将模拟显示图像中VS值大于预设阈值的区域确定为DVS区域。在一个可选的实施方式中，可以选取0.5作为该阈值的具体数值。一般地，DVS区域几乎包含了所有严重的颜色分裂条纹。
3)逐个像素地计算模拟显示图像的DVS区域，与该训练图像的相应区域之间的色差。
具体地，基于步骤2)中计算出的DVS区域，对于训练图像及其模拟显示图像，逐个像素地计算相应区域的色差。其中，色差是指在颜色空间中，两个像素点之间的欧氏距离。
4)对DVS区域内所有像素的色差进行求和，得到总色差值，并将总色差值除以DVS区域的像素数目，得到色分离程度的值，即CBU值。
具体地，将步骤3)中计算所得的色差进行求和，得到色差总值；然后采用DVS区域的像素数目对该色差总值进行归一化处理，最后得到表征色分离程度的值。
通过上述对于训练图像在驱动算法下的色分离程度的计算方法，可以以一个客观的数值来表征图像的色分离程度，以便图像分类模型据此对其参数进行调整。
下面针对一个具体的例子，运用上述的色分离程度的计算方法，对不同驱动算法下图像的色分离程度进行评估。
一方面，采用本申请实施例所提供的基于深度学习的色序型显示器控制方法，对图19中的6幅图像，分别确定6种与其相匹配的驱动算法对其进行驱动显示，最后合成的彩色图像如图20所示。
另一方面，采用现有技术，对图19中的6幅图像，均采用同一驱动算法(如Edge法)对其进行驱动显示，最后合成的彩色图像如图21所示。
从图中可以看出，对于采用同一驱动算法对图19中6幅图像进行驱动显示时，虚线框内区域的色分离现象比较明显。此外，结合上述色分离程度的计算方法，可以计算出图20与图21的色分离程度值如表2所示，其中，数值越小，色分离程度越低。
本申请实施例提供的基于深度学习的色序型显示器控制方法，对于视频中的每一帧图像，根据该帧图像所包含的整体区域的具体图像特征，一一为每一帧图像确定相匹配的驱动算法，以抑制图像在色序型显示器中所产生的色分离现象，降低了图像的色分离程度，使得每一帧图像在色序型显示器中均能获得较好的色分离抑制效果，提高了图像质量，为用户提供了较好的视觉效果。
表2.色分离数值对比
上述实施例详细介绍了对于输入的单帧图像，基于该单帧图像的整体区域，确定相匹配的驱动算法，并根据该驱动算法在色序型显示器中的具体应用方法，计算得到各个场的图像。然而，对于某些图像，其不同区域中的图像特征相差较大，如果对图像的驱动算法细分到图像所包含的各个区域中，将有利于抑制各个区域的色分离。
接下来，对以输入的单帧图像中的每一个区域作为独立对象的色序型显示器控制方法进行说明。
基于此，请参阅图22，本申请实施例提供的基于深度学习的色序型显示器控制方法，可以包括以下步骤：
步骤S301，对输入的单帧图像进行分区，对于每一个子区域，确定与其匹配的驱动算法。
具体地，对输入的单帧图像，将该单帧图像划分成至少两个区域；对于每一个区域，基于该区域的图像特征，结合色序型显示器的刷新率，通过深度学习的方法，确定与该区域匹配的驱动算法。
步骤S302，计算得到每一个子区域的理想背光分布，并合并成单帧图像整体区域的理想背光分布。
具体地，根据步骤S301中针对单帧图像中每一个区域所确定的驱动算法，分别计算出该单帧图像各个区域在各个场中的理想背光分布，最后合并成该单帧图像整体区域在各个场中的理想背光分布。
步骤S303，计算得到单帧图像整体区域的模拟背光分布和透射率。
具体地，首先根据步骤S302中计算得到单帧图像整体区域的理想背光分布，结合该色序型显示器的光扩散特性，分别计算出该单帧图像整体区域在各个场中的模拟背光分布。
步骤S304，计算得到单帧图像各个场的图像。
具体地，根据步骤S303中计算得到的模拟背光分布和透射率，计算出各个场的图像。
在色序型显示器中以预设频率依次闪过该各个场，则形成了该帧图像的原始彩色图像。
本申请上述实施例提供的基于深度学习的色序型显示器控制方法，自适应地对同一幅图像中的不同区域采用与其匹配的驱动算法，使得图像中任意区域的色分离程度都降到最低。
下面以一幅具体的图像为例，针对刷新率为240Hz的色序型显示器，对上述的步骤S301至步骤S304进行详细的说明。
1)对图像进行分区。
对于输入的如图11所示的原始图像，首先对该原始图像进行分区，分区的大小根据色序型显示器的mini-LED灯珠的数量进行确定，可以是3*4，9*16，27*48等。在一个可选的实施方式中，采用的是3*4的分区大小，各个子区域的位置及区域编号如图23所示。
2)对各子区域确定其驱动算法。
将分区后的图像输入到实施例一中已经训练好的图像分类模型中，为其匹配最适宜的驱动算法。其中，如图24所示，与子区域2、3、9、10、11、12相匹配的驱动算法为Edge法，与子区域6、7相匹配的驱动算法为Global_Stencil法，与子区域1、4、5、8相匹配的驱动算法为RGBK算法。
3)根据所选取的驱动算法计算每个子区域的理想背光分布、模拟背光分布以及透射率。
首先，由于不同驱动算法，其背光计算方法也不一样，以下针对不同的驱动算法，对相应子区域分别计算其理想背光。
如图25所示，对于采用Edge算法的子区域2、3、9、10、11、12，由于图像的边缘时最容易发生色分离的地方，首先通过sobel算子提取图像的边缘，然后把提取到的图像边缘的信息作为理想背光分布；对于采用Global_Stencil算法的子区域6、7，将相应子区域图像的大部分内容显示在第一场，剩余三个场显示剩余的RGB信息，对第一场的图像进行调光来作为理想背光分布；对于采用RGBK算法的子区域1、4、5、8，由于这些分区内的信息都是黑色，直接将这两个场的背光关掉，以此作为理想背光分布。
其次，在获取理想背光分布后，采用DFT和GLPF计算其模拟背光分布，其模拟背光分布如图26所示。
最后，采用公式(1)至(3)计算其透射率。其中，四个场的透射率如图27所示。
4)目标图像的合成。
通过上述方法计算完模拟背光分布以及透射率后，接下来计算单帧图像的最终输出。将3个原色模拟背光信号(BLR、BLG、BLB)和最小透射率信号Tmin组合在一起，在第一帧图像中显示具有粗糙颜色信息的高亮度图像。同样地，将BLR与T′R、BLG与T′G、BLB与T′B相结合，生成了另外三幅原色图像。以240Hz的频率依次显示这四幅原色图像，生成了生动的彩色图像，如图28所示所示。
至此，对每张图像的不同子区域采用不同的驱动算法具体步骤已经介绍完毕。对图像进行分区，并针对各区域为其确定相匹配的驱动算法取得良好的显示效果。一方面，如图29所示，可以看到对具体的子区域，采用自适应图像内容的驱动算法，色分离得到了明显的抑制，其CBU值为10.21。另一方面，如图30所示，对整张图片仅采用一种算法(此处采用Stencil法)，则可以看到边缘颜色不均匀的情况，出现了明显的红绿蓝色分离条纹，其CBU值为13.85。
本申请上述实施例所提供的基于深度学习的色序型显示器控制方法的其他变形实施方案，具体请参照本说明书中较前面的实施例，此处不再赘述。
本申请的上述实施例自适应地对同一幅图像中的不同区域采用不同的驱动算法，其本质上是局部调光(Local Dimming)的一种全新的形式，这种自适应图像内容的局部调光算法，使图像的任意区域的色分离程度都降到最低，这也是本申请实施例提供的基于深度学习的色序型显示器控制方法相比于传统的局部调光算法最显著的优势，同时也继承了传统局部调光算法在色序型显示器上固有的优势，比如高动态范围、三倍光效、三倍分辨率等。
本申请的实施例所提供的基于深度学习的色序型显示器控制方法，可直接应用于mini-LED，随着mini-LED尺寸的不断缩小，局部调光的分区数越来越大，使得局部调光的精准度也越来越高，配合本申请的实施例所提供的基于深度学习的色序型显示器控制方法，使图像质量相比于传统的局部调光算法有大幅提升。除此之外，由于色序型显示器固有的三倍分辨率特性，其空间带宽积也同时增大三倍，也可应用在VR、AR等设备上面，解决VR、AR设备分辨率难以提升的问题。
本申请的上述实施例通过对图像进行分区，对各个区域进行局部调光取得较好的显示效果，然而，并非所有情况下都盲目选择分区的方式对图像进行驱动。对于图像是否进行分区，即采用局部调光或全局调光(Global Diming)，可以依据实际应用需求来进行抉择。具体地，在节能与驱动成本之间做出取舍。对于节能要求较高的色序型显示器，就采用局部调光的算法，局部调光算法对局部背光进行调光，能够节省背光的功耗；对于驱动成本要求较高的色序型显示器，可以采用全局调光算法，全局调光算法为全开背光，其驱动成本较低，但是功耗相对较高。
基于上述的基于深度学习的色序型显示器控制方法，本申请还提供一种色序型显示器控制装置，下文描述的色序型显示器控制装置与上文描述的基于深度学习的色序型显示器控制方法可相互对应参照。
请参阅图31，本申请实施例提供的色序型显示器控制装置可以包括：
驱动算法匹配模块21，用于：对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，确定与所述单帧图像匹配的驱动算法。
理想背光计算模块22，用于：采用所述驱动算法计算得到所述单帧图像在各个场中的理想背光分布。
模拟背光及补偿模块23，用于：根据所述理想背光分布，结合所述色序型显示器的光扩散特性，计算出所述单帧图像在各个场中的模拟背光分布和透射率。
场图像计算模块24，用于：根据所述模拟背光分布和透射率，计算出各个场的图像。
综上所述：
本申请实施例采用色序型显示器驱动算法对图像进行驱动显示，其使用时间混色的办法，去除了彩色滤光片，使得显示器光效达到原来的三倍之多，降低了显示器功耗；同时，色序型LCD仅需要常规LCD像素三分之一就能达到相同的分辨率，即在相同的LCD面板大小上，分辨率能提升三倍。
在此基础上，本申请实施例提供的基于深度学习的色序型显示器控制方法，对于视频中的每一帧图像，根据图像内容中所包含的具体图像特征，采用深度学习的方法，一一为其确定相匹配的驱动算法，以抑制图像在色序型显示器中显示时所产生的色分离现象，降低了图像的色分离程度，使得每一帧图像在色序型显示器中均能获得较好的色分离抑制效果，提高了图像质量，为用户提供了较好的视觉效果。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习的色序型显示器控制方法，其特征在于，包括：
对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法；
采用所述驱动算法计算得到所述单帧图像在各个场中的理想背光分布；
根据所述理想背光分布，结合所述色序型显示器的光扩散特性，计算出所述单帧图像在各个场中的模拟背光分布和透射率；
根据所述模拟背光分布和透射率，计算出各个场的图像；
其中，利用下述方程式计算得到所述透射率：
利用下述方程式计算所述模拟背光分布：
Tmin＝min(TR,TG,TB)
和Ii表示图像亮度；/>和BLi分别表示使用局部彩色背光调光技术时，传统全开启背光和模糊背光图像的强度，TR、TG和TB分别表示液晶像素的红、绿、蓝分量，T′R、T′G和T′B分别表示所述模拟背光分布的红、绿、蓝分量。
2.根据权利要求1所述的方法，其特征在于，所述对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法，包括：
将所述单帧图像输入至预训练的图像分类模型，得到图像分类模型输出的与所述单帧图像匹配的驱动算法；
所述图像分类模型以训练图像作为训练样本，以训练图像所匹配的驱动算法作为样本标签训练得到；
在所述图像分类模型输出的驱动算法中，选取与所述色序型显示器的刷新率一致的驱动算法，作为与所述图像匹配的驱动算法。
3.根据权利要求2所述的方法，其特征在于，所述图像分类模型的训练方法包括：
获取训练图像集；
将预设的驱动算法应用于训练图像，并对所述训练图像在每一种类型的驱动算法下的色分离程度进行计算，以及将色分离程度最低的驱动算法标记为所述图像的匹配驱动算法；
将训练图像输入到图像分类模型中，得到图像分类模型输出的所述训练图像对应的驱动算法；
以所述输出的所述训练图像对应的驱动算法趋近于所述训练图像标记的匹配驱动算法为训练目标，更新所述图像分类模型的参数。
4.根据权利要求3所述的方法，其特征在于，所述训练图像在驱动算法下的色分离程度的计算方法，包括：
获取所述训练图像在驱动算法下的各个场的图像，并将所述各个场的图像合并成所述训练图像的模拟显示图像；
计算模拟显示图像中各个区域的视觉显著性VS，将模拟显示图像中VS值大于预设阈值的区域确定为显性视觉显著性DVS区域；
逐个像素地计算所述模拟显示图像的DVS区域，与所述训练图像的相应区域之间的色差；
对DVS区域内所有像素的色差进行求和，得到总色差值，并将总色差值除以DVS区域的像素数目，得到色分离程度的值。
5.根据权利要求1所述的方法，其特征在于，所述对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法，包括：
对输入的单帧图像，基于所述单帧图像所包含的整体区域的图像特征，结合色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法。
6.根据权利要求1所述的方法，其特征在于，所述对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法，包括：
对输入的单帧图像，将所述单帧图像划分成至少两个区域；
对于每一个区域，基于所述区域的图像特征，结合色序型显示器的刷新率，采用深度学习的方法确定与所述区域匹配的驱动算法。
7.根据权利要求1所述的方法，其特征在于，所述驱动算法包括Stencil法、Edge-Stencil法、Stencil-FSC法、LPD法、Stencil-LPD法、RGB法和/或GPDK法。
8.根据权利要求3所述的方法，其特征在于，所述图像分类模型为深度残差网络模型。
9.根据权利要求4所述的方法，其特征在于，所述预设阈值为0.5。
10.一种基于深度学习的色序型显示器控制装置，其特征在于，包括：
驱动算法匹配模块，用于：对输入的单帧图像，基于所述单帧图像的图像特征以及色序型显示器的刷新率，采用深度学习的方法确定与所述单帧图像匹配的驱动算法；
理想背光计算模块，用于：采用所述驱动算法计算得到所述单帧图像在各个场中的理想背光分布；
模拟背光及补偿模块，用于：根据所述理想背光分布，结合所述色序型显示器的光扩散特性，计算出所述单帧图像在各个场中的模拟背光分布和透射率；
场图像计算模块，用于：根据所述模拟背光分布和透射率，计算出各个场的图像；
其中，利用下述方程式计算得到所述透射率：
利用下述方程式计算所述模拟背光分布：
Tmin＝min(TR,TG,TB)
和Ii表示图像亮度；/>和BLi分别表示使用局部彩色背光调光技术时，传统全开启背光和模糊背光图像的强度，TR、TG和TB分别表示液晶像素的红、绿、蓝分量，T′R、T′G和T′B分别表示所述模拟背光分布的红、绿、蓝分量。
CN202110793074.5A 2021-07-13 2021-07-13 一种基于深度学习的色序型显示器控制方法及装置 Active CN113408655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793074.5A CN113408655B (zh) 2021-07-13 2021-07-13 一种基于深度学习的色序型显示器控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793074.5A CN113408655B (zh) 2021-07-13 2021-07-13 一种基于深度学习的色序型显示器控制方法及装置

Publications (2)

Publication Number Publication Date
CN113408655A CN113408655A (zh) 2021-09-17
CN113408655B true CN113408655B (zh) 2023-09-15

Family

ID=77686240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793074.5A Active CN113408655B (zh) 2021-07-13 2021-07-13 一种基于深度学习的色序型显示器控制方法及装置

Country Status (1)

Country Link
CN (1) CN113408655B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744165B (zh) * 2021-11-08 2022-01-21 天津大学 一种基于代理模型辅助进化算法的视频区域调光方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673521A (zh) * 2009-08-18 2010-03-17 北京巨数数字技术开发有限公司 一种液晶显示装置和数字图像信号处理的方法
CN103782091A (zh) * 2011-09-09 2014-05-07 苹果公司 用于显示器背光的底座
CN105469750A (zh) * 2016-02-01 2016-04-06 东南大学 一种基于局域基色去饱和算法的彩色显示控制方法
CN106652928A (zh) * 2016-09-28 2017-05-10 东南大学 一种基于四场时序液晶显示器的色彩显示方法
CN108877693A (zh) * 2018-07-23 2018-11-23 东南大学 一种四场时序液晶显示控制方法
CN110728637A (zh) * 2019-09-21 2020-01-24 天津大学 基于深度学习的用于图像处理的动态调光背光扩散方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673521A (zh) * 2009-08-18 2010-03-17 北京巨数数字技术开发有限公司 一种液晶显示装置和数字图像信号处理的方法
CN103782091A (zh) * 2011-09-09 2014-05-07 苹果公司 用于显示器背光的底座
CN105469750A (zh) * 2016-02-01 2016-04-06 东南大学 一种基于局域基色去饱和算法的彩色显示控制方法
CN106652928A (zh) * 2016-09-28 2017-05-10 东南大学 一种基于四场时序液晶显示器的色彩显示方法
CN108877693A (zh) * 2018-07-23 2018-11-23 东南大学 一种四场时序液晶显示控制方法
CN110728637A (zh) * 2019-09-21 2020-01-24 天津大学 基于深度学习的用于图像处理的动态调光背光扩散方法

Also Published As

Publication number Publication date
CN113408655A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN108877694B (zh) 一种双层液晶屏、背光亮度控制方法、装置及电子设备
CN109979401B (zh) 驱动方法、驱动装置、显示设备和计算机可读介质
CN109658877B (zh) 一种显示装置及其驱动方法以及电子设备
US9601062B2 (en) Backlight dimming method and liquid crystal display using the same
EP1927974B1 (en) Liquid crystal display with area adaptive backlight
US7932883B2 (en) Sub-pixel mapping
US8224086B2 (en) Methods and apparatuses for restoring color and enhancing electronic images
RU2413383C2 (ru) Блок цветового преобразования для уменьшения окантовки
KR20100007748A (ko) 표시 장치, 표시 장치의 구동 방법, 구동용 집적 회로, 구동용 집적 회로에 의한 구동 방법 및 신호 처리 방법
US10650758B2 (en) Multi zone backlight controlling method and device thereof
US20100309298A1 (en) Control of a display
EP2409194A1 (en) Area adaptive backlight display and method with reduced computation and halo artifacts
CN113408655B (zh) 一种基于深度学习的色序型显示器控制方法及装置
CN108564923B (zh) 基于分区背光的高动态对比度图像显示方法及装置
CN109272928A (zh) 图像显示方法及装置
CN116597789B (zh) 彩色墨水屏的画面显示方法、装置、设备以及存储介质
Gong et al. Impacts of appearance parameters on perceived image quality for mobile-phone displays
CN116543709A (zh) 背光控制装置、方法及设备
KR101715853B1 (ko) 색역 확장 방법 및 유닛과, 그를 이용한 광색역 표시 장치
Huang et al. Mixed-primary factorization for dual-frame computational displays.
CN105575339B (zh) 显示方法以及显示装置
JP2010048958A (ja) 画像処理装置、その処理方法および画像表示システム
KR20080073821A (ko) 액정 표시 장치 및 이의 구동 방법
CN115547262A (zh) 一种背光发光强度调整方法和装置
CN117198220B (zh) 显示面板的驱动方法、装置、显示模组及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant