CN113240112A - 屏幕显示的调节方法、装置、电子设备及存储介质 - Google Patents

屏幕显示的调节方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113240112A
CN113240112A CN202110610510.0A CN202110610510A CN113240112A CN 113240112 A CN113240112 A CN 113240112A CN 202110610510 A CN202110610510 A CN 202110610510A CN 113240112 A CN113240112 A CN 113240112A
Authority
CN
China
Prior art keywords
screen display
adjusting
screen
parameters
backlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110610510.0A
Other languages
English (en)
Inventor
范泽华
崔志佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110610510.0A priority Critical patent/CN113240112A/zh
Publication of CN113240112A publication Critical patent/CN113240112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source

Abstract

本申请公开一种屏幕显示的调节方法、装置、电子设备及计算机可读存储介质。电子设备的屏幕显示的调节方法,包括:获取图像采集装置采集的外部图像数据;获取当前屏幕的屏幕显示内容;根据外部图像数据和屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数;根据背光调节参数和屏幕显示调节参数,调节电子设备的屏幕显示。本申请提出的屏幕显示的调节方法通过神经网络模型对多调节参数进行智能协同计算,从而实现在屏幕背光调节的同时,对屏幕显示内容的同步调节,保证屏幕显示动态调整过程中屏幕显示内容与屏幕背光的协调性,提高屏幕显示效果。

Description

屏幕显示的调节方法、装置、电子设备及存储介质
技术领域
本发明涉及终端显示技术领域,具体涉及一种屏幕显示的调节方法、装置、电子设备及存储介质。
背景技术
随着硬件和软件的迅速发展,诸如智能手机、平板电脑等带有触摸显示屏的移动终端已经成为人们生活中必不可少的工具,用户可以在不同场合不同时刻使用终端设备聊天、看视频、阅读、玩游戏、浏览网页等。
用户在不同场合下,对于移动终端屏幕的显示需求不同。例如,当用户处于光线较强的环境下时,需要提高屏幕亮度,避免屏幕亮度过低导致屏幕的可读性差。反之,当用户处于光线较暗的环境下时,需要调低屏幕亮度,避免屏幕亮度过高形成对于眼睛的刺激。目前一些移动终端具有屏幕亮度自动调节功能,但是通过这种通用的屏幕亮度自动调节方式对终端屏幕进行调节后,屏幕显示效果不理想,还需要用户对于屏幕显示参数进行再调整。
发明内容
本申请实施方式提供一种屏幕显示的调节方法、装置、电子设备及非易失性计算机可读存储介质。
第一方面,本申请实施例提供一种屏幕显示的调节方法,应用于电子设备,包括:
获取图像采集装置采集的外部图像数据;
获取当前屏幕的屏幕显示内容;
根据外部图像数据和屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数;
根据背光调节参数和屏幕显示调节参数,调节电子设备的屏幕显示。
第二方面,本申请实施例提供一种屏幕显示的调节装置,包括:
第一获取模块,用于获取图像采集装置采集的外部图像数据;
第二获取模块,用于获取当前屏幕的屏幕显示内容;
处理模块,用于根据外部图像数据和屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数;
调节模块,用于根据背光调节参数和屏幕显示调节参数,调节电子设备的屏幕显示。
第三方面,本申请实施例提供一种电子设备,包括图像采集装置、存储器和处理器;
图像采集装置用于采集外部图像数据;
存储器存储有计算机程序;
处理器通过调用计算机程序,用于执行本申请任一实施例提供的屏幕显示的调节方法。
第四方面,本申请实施例提供一种存储有计算机程序的非易失性计算机可读存储介质,当计算机程序被处理器执行时,实现如本申请任一实施例提供的屏幕显示的调节方法。
本申请实施方式提供的屏幕显示的调节方法、装置、电子设备及非易失性计算机可读存储介质,根据外部图像数据和屏幕显示内容,基于神经网络模型计算,确定背光调节参数和屏幕显示调节参数,实现了屏幕背光参数和屏幕显示参数的同步调节,保证了屏幕显示动态调整过程中屏幕显示内容与屏幕背光的协调性,提高屏幕显示效果。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请实施方式的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种电子设备的结构示意图;
图3是本申请实施例提供的一种屏幕显示的调节方法的流程示意图;
图4是本申请实施例提供的一种屏幕显示的调节方法的流程示意图;
图5是本申请实施例提供的一种屏幕显示的调节方法的流程示意图;
图6是本申请实施例提供的一种屏幕显示内容场景特征识别方法的流程示意图;
图7是本申请实施例提供的一种屏幕显示的调节方法的流程示意图;
图8是本申请实施例提供的一种屏幕显示的调节系统的示意图;
图9是本申请实施例提供的一种屏幕显示的调节装置的结构示意图。
具体实施方式
为了方便理解本申请实施例,首先在此对本申请实施例可能会引入的元素进行介绍。应当注意的是,以下元素及其介绍并不构成对本申请技术方案的限定。
亮度:表示画面的明亮程度,对于光源色,亮度值与发光体的光亮度有关,对于物体色,此值与物体的透射比或反射比有关,通常取值范围为0%(黑)到100%(白)。一副图像给人的直观感受,如果是灰度图像,通常灰度值越高则图像越亮。亮度是衡量显示器屏幕发光强度的重要指标,对于显示器面板来说,高亮度也意味着对其工作环境的抗干扰能力更高。
色温:表示光线中包含颜色成分的一个计量单位。在黑体辐射中,随着温度不同,光的颜色各不相同,黑体呈现由红—橙红—黄—黄白—白—蓝白的渐变过程。某个光源所发射的光的颜色,看起来与黑体在某一个温度下所发射的光颜色相同时,黑体的这个温度称为该光源的色温。“黑体”的温度越高,光谱中蓝色的成份则越多,而红色的成份则越少。利用自然光拍摄时,由于不同时间段光线的色温并不相同,因此拍摄出来的照片色彩也并不相同。例如,在晴朗的蓝天下拍摄时,由于光线的色温较高,因此照片偏冷色调;而如果在黄昏时拍摄时,由于光线的色温较低,因此照片偏暖色调。利用人工光线进行拍摄时,也会出现光源类型不同,拍摄出来的照片色调不同的情况。色温是显示器的一个性能指标,通过改变显示屏幕中不同颜色分量的占比,可以实现色温的调节。
对比度:表示一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,即一幅图像灰度反差的大小。通常一幅图像对比度越高给人的感觉就越鲜亮和突出;对比度越低则给人感觉反差越不明显。
饱和度:表示颜色接近光谱色的程度,一种颜色,可以看成是某种光谱色与白色混合的结果,其中光谱色占比越大,颜色接近光谱色的程度就越高,颜色的饱和度也就越高。饱和度高,给人的感觉是颜色深而艳。
灰阶:表示将最亮与最暗之间的亮度变化,区分为若干份,以便于进行信号输入相对应的屏幕亮度管控。通常中间层级越多,所能够呈现的画面效果也就越细腻。以8bit显示屏幕为例,显示屏幕由许多像素点组合而成,而通常每个像素点由红(R)、绿(G)、蓝(B)三个子像素点组成的。对于单一子像素点来说,可以有28个亮度层次,称之为256灰阶。屏幕上每一个像素点的色彩变化,其实都是由构成这个像素点的三个RGB子像素的灰阶变化所带来的。
灰度直方图:表示图像中具有某种灰度级像素点的个数,反映了图像中某种灰度出现的频率。这种直方图中,横坐标的左侧为纯黑、较暗的区域,而右侧为较亮、纯白的区域。因此,一张较暗图片的灰度直方图中的数据多集中于左侧和中间部分,整体明亮图片的灰度直方图中的数据多集中于右侧和中间的部分,而对于一张对比度较大的图片的灰度直方图,数据则分布于左侧和右侧的位置。
色域:表示某种表色模式所能表达的颜色构成的范围,也指具体设备,如显示器等所能表现的颜色范围。例如:对于灰色模式的图像,每个像素用一个字节表示,则灰色模式的图像最多可以有28=256种颜色,它的色域为(0,255)。对于RGB模式的图像,如果一种基色用一个字节表示,则RGB模式的图像最多可以有224种颜色,它的色域为(0,224-1)。
色彩校准(Color calibration),就是校正图像偏色的操作,使图像显示更符合人眼现场看到的感受,并遵循摄影成像和成色的规律。例如,标准色温(日光)照片的偏色以灰平衡为准,灰平衡可以是暗调、中间调与高光,因为人眼对暗部和高亮的反应较迟钝,所以中间调的灰在校色处理上基本接近1:1:1即算校准到位,比如采样参数色阶为128:124:130,一般要求不高的图像校色允许有10%之内的校色偏差。
色彩管理:在图像处理链的各环节中,校准所有的输入/输出设备,以便达到在不同设备中,总能得到期望获得的色彩。
液晶显示器(liquid-crystal display,LCD):为平面薄型的显示设备,包括显示屏和光源两部分,显示屏放置于光源前方,由多个像素点构成,每个像素点又包括3个子像素点。每个子像素点的像素值即为对应的灰阶亮度。每个子像素点对应一个像素通道,比如,R子像素点对应R像素通道,在R子像素点和背光之间加上仅允许红色波段的光通过的颜色滤光片,R子像素点的灰阶亮度由R子像素点的透光率决定,R子像素点的透光率与该R子像素点的对应液晶分子的偏转角度有关,液晶分子的偏转角度与加载在液晶分子亮度的像素电压有关。一般而言,像素电压越高,对应的液晶分子的偏转角度越大,透光率越高,对应的灰阶亮度越高。
OLED(organic light-emitting diode,有机发光二极管)显示器:又称为有机电激光显示、有机发光半导体,具有高色彩、广视角、高对比度、高响应速度、轻薄、低耗电等诸多优点,目前在手机和平板电脑等终端显示屏上已经得到广泛应用。OLED依驱动方式可分为AMOLED(Active-matrix OLED,主动式有机发光二极管)与PMOLED(Passive-matrixOLED,被动式有机发光二极管)。
AMOLED显示器是一种采用自发光二极体矩阵排列的显示屏,采用非常薄的有机材料涂层和玻璃基板,当有电流通过时,这些有机材料就会发光,成千上万个只能发出红、绿或蓝色中的一种颜色的发光二极管通过特定的排列方式安放在屏幕的基板上,这些发光体在被施加电压的时候会发出红、绿或者蓝色的光。每个像素由代表RGB三原色的三个二极管组成,可以单独开关控制,例如RGB(0,0,0)表示一个黑色的像素点,RGB(255,255,255)代表一个白色的点。集成电路IC提供256级可调电压来限定上限电压,每一级电压与屏幕的亮度呈线性关系,每一级对应一个亮度,级数越高,人眼看到的白色光越亮。
LUT:Look Up Table的简称,在维基百科中,LUT被视为某种函数,每个像素的色彩信息经过LUT的重新定位之后,就能得到一个新的色彩值。LUT通常应用在三个方面:用于显示设备的色彩校准;用于图像色彩空间的转换;用于特殊色彩效果的设计与模拟。
Subpixel Rendering(SPR):表示亚像素渲染操作。
Demura:表示补偿消除mura的操作,mura具体指亮暗不均的问题。
Deburn in:表示通过处理显示数据来降低烧屏的可能性。
IR drop:IR指出现在集成电路中电源和地网络上电压下降或升高的问题,IRdrop表示对降低集成电路中的IR问题。
SOC(System on Chip):通常简称“片上系统”。SoC有两个显著的特点:一是硬件规模庞大,通常基于IP设计模式;二是软件比重大,需要进行软硬件协同设计。系统级芯片的构成可以是系统级芯片控制逻辑模块、微处理器/微控制器CPU内核模块、数字信号处理器DSP模块、嵌入的存储器模块、和外部进行通讯的接口模块、含有ADC/DAC的模拟前端模块、电源提供和功耗管理模块,对于一个无线SoC还有射频前端模块、用户定义逻辑(它可以由FPGA或ASIC实现)以及微电子机械模块,更重要的是一个SoC芯片内嵌有基本软件(RDOS或COS以及其他应用软件)模块或可载入的用户软件等。
硬件加速:表示在计算机中把计算量非常大的工作分配给专门的特殊硬件元件(芯片或处理器)来处理以减轻中央处理器的工作量的技术。
为使本方法要解决的技术问题、技术方案和技术效果的阐述更加清楚,下面将结合附图及具体实施例进行详细描述。需要说明的是,后置用语“单元”和“模块”仅仅是为了描述的方便,并且这些后置用语不具有相互区分的含义或功能。本申请提供的方法可用硬件或软件来实现。
请参阅图1,为本申请一实施例提供的一种电子设备的结构示意图。电子设备100包括图像采集装置110、分析单元120、接口单元130、处理器140、存储器150、调节单元160和屏幕170。下面将对每一部分做具体介绍。
图像采集装置110:在本申请一实施例中,图像采集装置110可以为电子设备中前置的图像采集装置,具有常开(Always on,AON)功能,主要用于对用户和环境状态进行实时监控。图像采集装置110包括但不限于图像传感器和光学传感器。图像传感器输出图像数据用作用户特征信息的识别检测,包括但不限于用户年龄、人眼方位、人眼瞳孔尺寸、人眼眨眼频率和用户所处的场景等信息。光学传感器主要用于感测设备周边的环境光信息,例如环境光亮度、色温等。
分析单元120:主要用于对当前屏幕的屏幕显示内容进行分析处理,例如对屏幕显示内容进行灰阶统计,并且可根据得到的灰阶统计结果确定屏幕显示内容的屏幕显示参数。在本申请一实施例中,分析单元120可以为帧级别分析单元,用于对当前屏幕的屏幕显示内容进行帧级别的分析处理。由于单帧处理的方式对算力要求较高,帧级别的分析单元120可以采用外挂硬件的方式,当然也可以设置于内置处理器中,本申请不做过多限制。
接口单元130:用于接收用户输入的按键信息、触控信息或用户特征信息(例如指纹)等,并产生与用户输入相对应的接口数据。例如,用户可通过接口单元130手动调节屏幕背光参数,或者通过接口单元130,对于屏幕显示参数进行手动调节。
处理器140:在处理器140中,可根据图像采集装置110采集的外部图像数据、分析单元120分析获取的当前屏幕的屏幕显示内容,基于处理器140中的神经网络模型进行计算,确定背光调节参数,和与背光调节参数相适配的屏幕显示调节参数。在处理器中,还可以通过接口单元130采集的接口数据,例如用户手动调节的屏幕背光参数和/或屏幕显示参数,对神经网络模型的本地训练库进行不断地训练更新。
在本申请一实施例中,对屏幕显示内容的分析处理以及对屏幕显示的调节方法可以是帧级别的,因此要想达到实时和帧级处理,对运算量的需求较大,因此可采用基于AI引擎的硬件加速器作为处理器140。当前,处理器140也可采用电子设备100中内置的处理器,本申请在此并不做过多限制。
与传统AI硬件相比,以谷歌的TPU为例,TPU在算力利用率上只有28%,其他的70%是在等待内存的访问,如果采用显示专用的硬件加速器,可以在内存的大小和通道上做针对性匹配,提升通道的复用和访问机制,将内存的访问等待时间缩短,从而算法处理的时间大大提升。采用显示专用的硬件加速器可以将利用率提升到90%以上,基于现在传统TPU每秒5万亿次(5Tops)的算力,显示专用的硬件加速器可以将算力提升到15Tops左右,以达到实时计算的目的,从而大大提升显示效果的处理速度。
存储器150:可用于存储计算机程序和数据。存储器150存储的计算机程序中包含有可在处理器140中执行的指令。计算机程序可以组成各种功能模块。处理器140通过调用存储在存储器150中的计算机程序,从而执行各种功能应用以及数据处理。存储器150可以是以下类型中的一种或多种:闪速(flash)存储器、硬盘类型存储器、微型多媒体卡型存储器、卡式存储器(例如SD或XD存储器)、随机存取存储器(random access memory,RAM)、静态随机存取存储器(static RAM,SRAM)、只读存储器(read only memory,ROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、可编程只读存储器(programmable ROM,PROM)或磁存储器。
调节单元160:用于根据处理器140输出的背光调节参数和屏幕显示调节参数,调节电子设备100的屏幕170的显示。
在本申请一实施例中,调节单元160可进一步包括显示驱动芯片和系统级芯片。
显示驱动芯片(DDIC,DisplayDriverIC):用于根据处理器140输出的背光调节参数,对显示屏幕的背光进行调节。在LCD显示器中,显示驱动芯片可通过脉冲宽度调制(Pulse Width Modulation,PWM)调光或线性调光的方式来调节背光光源电压,进而调整背光亮度。在AMOLED显示器中,显示驱动芯片依照电压亮度转换模型,通过调节发光时间、PWM占比、Gamma映射等方式调整显示屏电压,进而改变背光亮度或背光色温。
系统级芯片(SOC,System on Chip):用于根据处理器140输出的屏幕显示调节参数对屏幕显示参数进行调节。屏幕显示调节参数表示了在当前屏幕的屏幕显示参数的基础上进行多大偏移量的调节,当然屏幕显示调节参数也可以直接给出屏幕显示参数新的取值。如果对于屏幕显示参数进行帧级别的调节,则系统级芯片可以采用外挂的SOC结合系统硬件平台来实现。当然,对于屏幕显示参数的调节,也可以采用内置系统硬件平台来实现,在本申请中不做过多限制。
屏幕170:用于对屏幕显示内容进行显示,具体可以实现为LCD显示屏,也可以是OLED显示屏。
如图2所示,电子设备100还可以包括色彩校准单元和/或色彩管理单元180,通过色彩校准单元和/或色彩管理单元180对当前屏幕的屏幕显示内容先进行预处理,再将处理后的屏幕显示内容输入至分析单元120进行分析处理。
例如,当用户处于不同的场景模式下,例如阳光屏、暗色模式、护眼模式、色温自适应模式下时,对应不同的场景模式,用户对于色温的要求不同。而对应不同的色温,标准图像数据可能不同。因此对当前屏幕显示内容,与色温所对应的标准图像数据进行分析可得到显色偏差等色彩校准参数,根据不同的色彩校准参数对屏幕显示内容进行预处理,得到处理后的屏幕显示内容,再将处理后的屏幕显示内容输入至分析单元120进行分析处理。同时对于不同的显示屏幕,由于显色能力不同,即显示色域等色彩管理参数会不同,因此对于同一图像,可能在不同的显示屏幕上所呈现出来的色彩效果会不同。因此,可根据显示屏幕的色彩管理参数对屏幕显示内容进行预处理。对于屏幕显示内容调整的方式可包括SPR、demura、Deburn in和IR drop中的一个或多个。
本申请实施例提供一种屏幕显示的调节方法,该屏幕显示的调节方法的执行主体可以是本申请实施例提供的屏幕显示的调节装置300,或者集成了该屏幕显示的调节装置300的电子设备100。其中电子设备100可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等具有显示功能的设备。
请参阅图3,为本申请一实施例提供的一种屏幕显示的调节方法的流程示意图。屏幕显示的调节方法包括以下过程:
210:获取外部图像数据和当前屏幕的屏幕显示内容,具体包括:
211:通过图像采集装置110采集外部图像数据,通过对采集的外部图像数据分析可获取用户特征信息和/或环境光信息。用户特征信息包括但不限于用户年龄、人眼方位、人眼瞳孔尺寸、人眼眨眼频率、用户所处的环境场景等一种或多种特征信息。环境光信息可以包括环境光亮度和/或环境光色温。
212:通过分析单元120获取当前屏幕的屏幕显示内容,屏幕显示内容可以指示当前屏幕显示图像的像素阵列的RGB值。
可以理解的是,对于上述数据的获取没有先后顺序限定。
230:根据外部图像数据和屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数。
请参阅图4,步骤230的方法具体可包括以下步骤:
232:根据屏幕显示内容,确定屏幕显示内容的屏幕显示参数;
233:根据外部图像数据和屏幕显示参数,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数。
240:根据背光调节参数和屏幕显示调节参数,调节电子设备的屏幕显示。
屏幕170实际由多个像素点组成,每个像素点由R、G、B等子像素点组成,通过对R、G、B子像素点设置不同的灰度,可使整个屏幕呈现出不同的亮度、对比度、饱和度等色彩信息。例如,可以通过对屏幕显示内容做灰阶统计,根据灰阶统计结果,确定屏幕显示内容的屏幕显示参数,包括但不限于对比度、饱和度、用户喜好色等参数。背光调节参数用于对屏幕背光参数进行调节。背光调节参数可以表示在初始屏幕背光参数的基础上的偏移量,当然也可以直接表示屏幕背光参数的新的取值。屏幕背光参数可以包括屏幕背光亮度和屏幕背光色温中的一种或两种。即,对于屏幕背光参数的调节,既可以是仅对屏幕背光亮度进行调节,也可以是仅对屏幕背光色温进行调节,还可以是对屏幕背光亮度和屏幕背光色温同时进行调节。对于不同的应用场景,对于亮度和色温调节的侧重点不同。例如,为实现人眼舒适度,提高可阅读性时,主要需对亮度进行调节;而根据用户所处的环境或用户的状态,主要需对色温进行调节。
如果单纯对屏幕170进行屏幕背光亮度和/或屏幕背光色温的调整,调整后的背光亮度和/或背光色温可能与当前屏幕的屏幕显示内容不适配,造成屏幕170显示效果不理想。本申请实施例提出的技术方案,根据外部图像数据和屏幕显示内容,基于预设的神经网络模型进行计算,可确定背光调节参数和屏幕显示调节参数,在基于背光调节参数对屏幕背光参数进行调节的同时,可根据屏幕显示调节参数对屏幕显示参数进行同步调节,实现对多调节参数的协同分析和协同设置,避免多个参数单独调节时存在的算法冲突问题,减少用户重复调节操作的麻烦。同时,屏幕背光参数和屏幕显示参数的同步调节,可以保证屏幕背光调节后与屏幕显示内容更加适配,提高人眼舒适度和屏幕显示的效果,提升用户体验。
请参阅图5,为本申请一实施例提供的一种屏幕显示的调节方法的流程示意图。
与图4所示的实施例相比,步骤230还可以包括:
234:根据屏幕显示内容,基于场景分类器识别屏幕显示内容的场景特征信息;
235:根据外部图像数据、屏幕显示参数和场景特征信息,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数。
对于整张图像来说,对于不同的场景细节,可能在亮度或色温发生变化后,会有不同的显示效果的需求。因此在对屏幕显示内容做全局分析的基础上,增加对于场景特征信息的识别,再基于不同的场景特征信息,对于整张图像的不同细节做差异调节,由此可以细化调节效果,提高显示效果。
对于场景特征信息的识别过程,可参阅图6,图6示出了本申请一实施例提供的一种场景特征信息识别方法的流程示意图。对于输入的屏幕显示内容,首先进行预处理,包括根据屏幕初始分区规则,对屏幕显示内容进行分区灰阶统计,计算整个屏幕显示内容的灰阶统计全局信息,以及每个屏幕分区内显示内容的灰阶统计局部信息,根据局部信息和全局信息的对比分析,可识别出屏幕显示内容中感兴趣区域的边缘和灰阶信息。调整初始分区边界,使屏幕显示内容按照感兴趣区域进行重新划分,并分别对感兴趣区域中的场景特征信息进行提取。将提取的场景特征信息输入场景分类器,场景分类器将输入的场景特征信息与第二AI训练库进行特征匹配分析,如果匹配到该场景特征信息,则输出场景特征信息。如果没有匹配到该场景特征信息,则将该特征存入第二AI训练库,对第二AI训练库数据进行进一步地优化训练。通过对第二AI训练库的不断更新与训练,可使本申请实施例中提出的神经网络模型能处理更多的场景特征,并根据更多的场景特征给出相应的屏幕调节策略,满足用户更多的个性化需求。
为对屏幕显示内容做更为精细化的调节,请参阅图7,为本申请一实施例提供一种屏幕显示的调节方法的流程示意图,与前述实施例相比,增加对于屏幕显示内容的区块划分处理,具体包括:
231:按预设规则对屏幕显示内容进行区块划分;
237:对区块划分后得到的单个屏幕区块,根据外部图像数据和单个屏幕区块内的屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数;
242:根据所有屏幕区块的背光调节参数和屏幕显示调节参数,调节电子设备的屏幕显示。
预设规则可以包括人为设定的划分方式,例如按照M*N(M、N为大于等于1的整数)的方式对屏幕显示内容进行划分,也可以通过神经网络模型训练的方式,根据人为设定的历史参数,训练出最优划分参数。
通过对屏幕显示内容先进行区块划分,再以区块为单位分别进行针对性的显示调节策略的确定,使得显示的调节更加精细化,进一步提高显示效果。
本申请一实施例还提供一种屏幕显示的调节方法,技术方案包括:
根据屏幕显示内容,确定场景特征信息;
场景特征信息包括第一场景特征信息和第二场景特征信息,并且第一场景特征信息对应第一用户界面,第二场景特征信息对应第二用户界面。对第一场景特征信息所对应的屏幕显示的调节与第二场景特征信息所对应的屏幕显示的调节存在时分差异。
以分屏模式为例,若根据当前屏幕显示内容,确定第一个屏幕显示区域的第一场景特征信息对应阅读模式,相应地显示阅读用户界面,同时确定第二个屏幕显示区域的第二场景特征信息对应游戏模式,相应地显示游戏用户界面。可以理解,用户对于游戏用户界面的屏幕显示效果的要求与对阅读用户界面的屏幕显示效果的要求不同,因此可以对不同的用户显示界面采用时分差异的处理,优先处理对于屏幕显示效果要求高的界面,由此可以降低对于处理器算力和处理速率的要求。
当然,可以理解的是,对于屏幕不同显示区域的时分差异的调节方法,并不局限于分屏模式。对于整个显示界面来说,对于不同的场景特征所对应的显示区域,都可以采用时分差异的调节方法,以降低处理器算力和处理速率的压力。
屏幕170的显示内容以预设的刷新频率进行刷新显示。比如,预设的刷新频率可以设置为60Hz,即1秒钟刷新显示60帧画面,每隔16.67ms在显示屏上刷新一帧画面。在本申请一实施例中,对电子设备100的屏幕170的显示调节频率与屏幕170的显示刷新频率相同。
通过对屏幕170单帧屏幕显示内容进行分析,并且以单帧图像为单位进行屏幕背光参数和屏幕显示参数的动态调节,可以避免对多帧图像数据之间的差异的遗漏分析,从而可以增加屏幕显示调节的准确率。
在一些实施例中,也可以采用定时或每间隔预设时间间隔,对外部图像数据和屏幕显示内容进行采集和分析,采用多帧图像处理的方式,根据多帧图像处理的结果,对屏幕背光参数和屏幕显示参数进行调节,以此减少对于硬件算力的要求。
在一些实施例中,也可以对屏幕背光参数或屏幕显示参数设定一定的阈值,只有当两帧显示图像之间的背光参数差或者显示参数差大于该阈值时,才对屏幕背光参数和屏幕显示参数进行调节,以此减少对于硬件算力的要求。
请参阅图8,为本申请一实施例提供的一种屏幕显示的调节系统的示意图。调节系统可包括:原始数据、输入数据、神经网络模型、输出数据、接口数据和第一AI训练库等部分。
原始数据包括图像采集装置110采集的外部图像数据和分析单元120获取的屏幕显示内容,屏幕显示内容既可以是从屏幕170中直接获取的,也可以是经过色彩校准单元和/或色彩管理单元180进行预处理后得到的。
输入数据为对原始数据进行进一步地处理得到的,并且作为神经网络模型的输入数据。具体地,对外部图像数据分析可得用户特征信息和环境光信息,用户特征信息可以为用户年龄、人眼方位、人眼瞳孔尺寸、人眼眨眼频率和用户所处的场景等信息,环境光信息可以为环境光亮度、环境光色度等。对屏幕显示内容做灰阶统计、场景识别等分析处理,可进一步获取屏幕显示内容的屏幕显示参数、场景特征信息等。
神经网络模型能够基于用户特征信息、环境光信息、屏幕显示参数、场景特征信息等多输入数据进行计算,输出相应的背光调节参数和屏幕显示调节参数。并且,该神经网络模型既可以基于第一AI训练库进行模型的计算,也可以由第一AI训练库根据用户手动调节的参数进行不断地训练和优化。
第一AI训练库包括本地AI训练库和云端AI训练库。本地AI训练库可根据用户手动调节的参数进行训练库数据的更新,具体地包括但不限于:
获取用户手动调节的屏幕背光参数,确定调节后的屏幕背光参数为参考屏幕背光参数;获取用户手动调节屏幕背光参数时所对应的外部图像数据和屏幕显示内容;根据参考屏幕背光参数及对应的外部图像数据和屏幕显示内容,更新本地AI训练库的数据,并且根据参考屏幕背光参数、外部图像数据和屏幕显示内容训练神经网络模型。
用户除了可以对屏幕背光参数进行手动调节外,也可以对用户喜好色、对比度、饱和度等屏幕显示参数进行人为设定。因此,还可以根据用户对屏幕显示参数的手动调节数据,对本地AI训练库的数据进行不断地更新,具体地:
获取用户手动调节的屏幕显示参数,确定调节后的屏幕显示参数为参考屏幕显示参数;获取用户手动调节屏幕显示参数时所对应的外部图像数据和屏幕显示内容;根据参考屏幕显示参数及对应的外部图像数据和屏幕显示内容,更新本地AI训练库的数据,并且根据参考屏幕显示参数、外部图像数据和屏幕显示内容训练神经网络模型。
本申请实施例中提出的神经网络模型能够根据用户以往在屏幕显示的自动调节模式下的手动调节行为,进行学习和训练,从而能够输出更加贴近用户使用需求的屏幕显示效果,减少用户在自动调节模式下自主调节屏幕显示的动作,提高屏幕显示性能,提升用户体验。
进一步地,为了避免用户一些极端的显示调节行为影响神经网络模型的学习,可以预先判断用户的显示调节行为是否为有效的调节行为,若为有效的调节行为,则对该调节行为进行学习和训练;若是无效的调节行为(如明显偏离正常显示调节的行为),则不对该调节行为进行学习。
请参阅图9,为本申请一实施例提供的一种屏幕显示的调节装置300,包括:
第一获取模块310,用于获取图像采集装置110采集的外部图像数据;
第二获取模块320,用于获取当前屏幕170的屏幕显示内容;
处理模块340,用于根据外部图像数据和屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数,其中神经网络模型由第一AI训练库根据用户手动调节的参数训练得到;
调节模块350,用于根据背光调节参数和屏幕显示调节参数,调节电子设备的屏幕显示。
进一步地,如图9所示,屏幕显示的调节装置300还可以包括:
第三获取模块330,用于获取用户手动调节的屏幕背光参数和/或屏幕显示参数,处理模块340确定调节后的屏幕背光参数和/或屏幕显示参数为参考屏幕背光参数和/或参考屏幕显示参数;
第一获取模块310获取用户手动调节屏幕背光参数和/或屏幕显示参数时的外部图像数据;
第二获取模块320获取用户手动调节屏幕背光参数和/或屏幕显示参数时的屏幕显示内容;
处理模块340还用于,根据参考屏幕背光参数和/或参考屏幕显示参数、外部图像数据和屏幕显示内容训练神经网络模型。
本申请一实施例还提供一种存储有计算机程序的非易失性计算机可读存储介质,当计算机程序在计算机上运行时,计算机执行上述任一实施例中的屏幕显示的调节方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的屏幕显示的调节方法、装置、电子设备及非易失性计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种屏幕显示的调节方法,应用于电子设备,其特征在于,包括:
获取图像采集装置采集的外部图像数据;
获取当前屏幕的屏幕显示内容;
根据所述外部图像数据和所述屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数;
根据所述背光调节参数和所述屏幕显示调节参数,调节电子设备的屏幕显示。
2.根据权利要求1所述的屏幕显示的调节方法,其特征在于,所述根据所述外部图像数据和所述屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数包括:
根据所述外部图像数据,确定用户特征信息和/或环境光信息;
根据所述用户特征信息和/或环境光信息、所述屏幕显示内容,基于所述预设的神经网络模型,确定所述背光调节参数和所述屏幕显示调节参数。
3.根据权利要求1所述的屏幕显示的调节方法,其特征在于,所述根据所述外部图像数据和所述屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数包括:
根据所述屏幕显示内容,确定所述屏幕显示内容的屏幕显示参数;
根据所述外部图像数据和所述屏幕显示参数,基于所述预设的神经网络模型,确定所述背光调节参数和所述屏幕显示调节参数;
其中,所述屏幕显示参数包括用户喜好色、对比度、饱和度中的一种或多种。
4.根据权利要求3所述的屏幕显示的调节方法,其特征在于,所述方法还包括:
根据所述屏幕显示内容,基于场景分类器识别所述屏幕显示内容的场景特征信息;
根据所述外部图像数据、所述屏幕显示参数和所述场景特征信息,基于所述预设的神经网络模型,确定所述背光调节参数和所述屏幕显示调节参数。
5.根据权利要求1所述的屏幕显示的调节方法,其特征在于,所述方法还包括:
按预设规则对所述屏幕显示内容进行区块划分;
对所述区块划分后得到的单个屏幕区块,根据所述外部图像数据和所述单个屏幕区块内的所述屏幕显示内容,基于所述预设的神经网络模型,确定所述背光调节参数和所述屏幕显示调节参数;
根据所有屏幕区块的所述背光调节参数和所述屏幕显示调节参数,调节电子设备的屏幕显示。
6.根据权利要求3所述的屏幕显示的调节方法,其特征在于,
获取用户手动调节的屏幕背光参数和/或屏幕显示参数,确定调节后的所述屏幕背光参数和/或屏幕显示参数为参考屏幕背光参数和/或参考屏幕显示参数;
获取用户手动调节所述屏幕背光参数和/或所述屏幕显示参数时所对应的所述外部图像数据和所述屏幕显示内容;
根据所述参考屏幕背光参数和/或参考屏幕显示参数、所述外部图像数据和所述屏幕显示内容训练所述神经网络模型。
7.根据权利要求1所述的屏幕显示的调节方法,其特征在于,
所述电子设备的屏幕显示的调节频率与所述屏幕的显示刷新频率相同。
8.一种屏幕显示的调节装置,其特征在于,包括:
第一获取模块,所述第一获取模块用于获取图像采集装置采集的外部图像数据;
第二获取模块,所述第二获取模块用于获取当前屏幕的屏幕显示内容;
处理模块,所述处理模块用于根据所述外部图像数据和所述屏幕显示内容,基于预设的神经网络模型,确定背光调节参数和屏幕显示调节参数;
调节模块,所述调节模块用于根据所述背光调节参数和所述屏幕显示调节参数,调节电子设备的屏幕显示。
9.一种电子设备,包括图像采集装置、存储器和处理器,其特征在于,
所述图像采集装置用于采集外部图像数据;
所述存储器存储有计算机程序;
所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一所述的屏幕显示的调节方法。
10.一种存储有计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1至7任一所述的屏幕显示的调节方法。
CN202110610510.0A 2021-06-01 2021-06-01 屏幕显示的调节方法、装置、电子设备及存储介质 Pending CN113240112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610510.0A CN113240112A (zh) 2021-06-01 2021-06-01 屏幕显示的调节方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610510.0A CN113240112A (zh) 2021-06-01 2021-06-01 屏幕显示的调节方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113240112A true CN113240112A (zh) 2021-08-10

Family

ID=77136248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610510.0A Pending CN113240112A (zh) 2021-06-01 2021-06-01 屏幕显示的调节方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113240112A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108523636A (zh) * 2018-05-17 2018-09-14 广东美的厨房电器制造有限公司 蒸汽炉
CN114141186A (zh) * 2021-11-12 2022-03-04 维沃移动通信有限公司 显示参数调整方法和装置
CN114220368A (zh) * 2021-12-29 2022-03-22 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调节系统和亮度调节方法
CN114895829A (zh) * 2022-07-15 2022-08-12 广东信聚丰科技股份有限公司 基于人工智能的显示状态优化方法及系统
CN115422419A (zh) * 2022-09-14 2022-12-02 北京优特捷信息技术有限公司 一种数据展示方法、装置、电子设备及可读存储介质
CN116453438A (zh) * 2023-06-19 2023-07-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996382A (zh) * 2014-05-07 2014-08-20 成都京东方光电科技有限公司 提高rgbw图像饱和度的方法及系统
CN105825835A (zh) * 2015-07-29 2016-08-03 维沃移动通信有限公司 一种调节电子设备显示亮度的方法及电子设备
CN106201417A (zh) * 2016-07-04 2016-12-07 广东欧珀移动通信有限公司 调整屏幕显示亮度的方法、装置及移动终端
CN107818753A (zh) * 2017-11-22 2018-03-20 广东欧珀移动通信有限公司 屏幕亮度调整方法、装置、存储介质和电子设备
CN109542376A (zh) * 2018-11-06 2019-03-29 西安易朴通讯技术有限公司 屏幕的显示调节方法、装置和介质
US20200013371A1 (en) * 2019-08-08 2020-01-09 Lg Electronics Inc. Method, controller, and system for adjusting screen through inference of image quality or screen content on display
KR102143487B1 (ko) * 2020-02-07 2020-08-12 (주)대우루컴즈 인공지능기반 모니터 밝기 제어장치 및 그 방법
CN111752516A (zh) * 2020-06-10 2020-10-09 Oppo(重庆)智能科技有限公司 终端设备的屏幕调整方法、装置、终端设备及存储介质
WO2020237194A1 (en) * 2019-05-22 2020-11-26 Pcms Holdings, Inc. Method for rendering of augmented reality content in combination with external display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996382A (zh) * 2014-05-07 2014-08-20 成都京东方光电科技有限公司 提高rgbw图像饱和度的方法及系统
CN105825835A (zh) * 2015-07-29 2016-08-03 维沃移动通信有限公司 一种调节电子设备显示亮度的方法及电子设备
CN106201417A (zh) * 2016-07-04 2016-12-07 广东欧珀移动通信有限公司 调整屏幕显示亮度的方法、装置及移动终端
CN107818753A (zh) * 2017-11-22 2018-03-20 广东欧珀移动通信有限公司 屏幕亮度调整方法、装置、存储介质和电子设备
CN109542376A (zh) * 2018-11-06 2019-03-29 西安易朴通讯技术有限公司 屏幕的显示调节方法、装置和介质
WO2020237194A1 (en) * 2019-05-22 2020-11-26 Pcms Holdings, Inc. Method for rendering of augmented reality content in combination with external display
US20200013371A1 (en) * 2019-08-08 2020-01-09 Lg Electronics Inc. Method, controller, and system for adjusting screen through inference of image quality or screen content on display
KR102143487B1 (ko) * 2020-02-07 2020-08-12 (주)대우루컴즈 인공지능기반 모니터 밝기 제어장치 및 그 방법
CN111752516A (zh) * 2020-06-10 2020-10-09 Oppo(重庆)智能科技有限公司 终端设备的屏幕调整方法、装置、终端设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108523636A (zh) * 2018-05-17 2018-09-14 广东美的厨房电器制造有限公司 蒸汽炉
CN114141186A (zh) * 2021-11-12 2022-03-04 维沃移动通信有限公司 显示参数调整方法和装置
CN114141186B (zh) * 2021-11-12 2024-03-19 维沃移动通信有限公司 显示参数调整方法和装置
CN114220368A (zh) * 2021-12-29 2022-03-22 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调节系统和亮度调节方法
CN114895829A (zh) * 2022-07-15 2022-08-12 广东信聚丰科技股份有限公司 基于人工智能的显示状态优化方法及系统
CN114895829B (zh) * 2022-07-15 2022-09-27 广东信聚丰科技股份有限公司 基于人工智能的显示状态优化方法及系统
CN115422419A (zh) * 2022-09-14 2022-12-02 北京优特捷信息技术有限公司 一种数据展示方法、装置、电子设备及可读存储介质
CN116453438A (zh) * 2023-06-19 2023-07-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质
CN116453438B (zh) * 2023-06-19 2023-08-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113240112A (zh) 屏幕显示的调节方法、装置、电子设备及存储介质
US11270657B2 (en) Driving method, driving apparatus, display device and computer readable medium
US9520075B2 (en) Image processing method for display apparatus and image processing apparatus
CN107957294B (zh) 环境光强度检测方法、装置、存储介质及电子设备
CN108281125B (zh) 根据人眼特性进行背光亮度调节的方法、装置和设备
CN103871377B (zh) 具强光可视性的显示方法与使用此方法的电子装置
CN104063846B (zh) 用于基于检测到的信息来处理图像的方法和装置
CN110444152A (zh) 光学补偿方法及装置、显示装置、显示方法及存储介质
CN105580066A (zh) 环境光上下文知晓显示
WO2019005489A1 (en) BACKLIGHTS WITH DYNAMIC MITIGATION BEACHES
CN113192470B (zh) 屏幕调节方法、装置、存储介质及电子设备
CN1988628A (zh) 一种环境光自适应图像显示方法
CN107111145A (zh) 头戴式显示装置和显示方法
US10186209B1 (en) Night time control of brightness and blue light emission in device displays
US11087700B1 (en) System and method for image enhancement on a digital display device
CN104937657B (zh) 显示控制设备和方法
CN114981873B (zh) 伽马校正方法及装置、电子设备和可读存储介质
CN108806616A (zh) 背光控制方法、装置及计算机可读存储介质
CN114359305A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2016183681A1 (en) System and method for color retargeting
CN103559694A (zh) 一种基于hsv色彩空间的oled低功耗方法
CN114281629A (zh) 用于估计屏幕漏光量的方法、装置和电子设备
CN114170976A (zh) 显示亮度调节方法、装置、电子设备和计算机可读存储介质
CN113096592B (zh) 一种消除显示屏残影的方法、设备及显示设备
US20140146095A1 (en) Display apparatus and method for reducing power consumption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination