CN114519891A - 背光调节方法、装置及存储介质 - Google Patents

背光调节方法、装置及存储介质 Download PDF

Info

Publication number
CN114519891A
CN114519891A CN202011311137.0A CN202011311137A CN114519891A CN 114519891 A CN114519891 A CN 114519891A CN 202011311137 A CN202011311137 A CN 202011311137A CN 114519891 A CN114519891 A CN 114519891A
Authority
CN
China
Prior art keywords
target
determining
backlight
parameter
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011311137.0A
Other languages
English (en)
Inventor
朱文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011311137.0A priority Critical patent/CN114519891A/zh
Publication of CN114519891A publication Critical patent/CN114519891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种背光调节方法、装置及存储介质,应用于电子设备,所述方法包括:确定用户针对显示屏的目标关注区域的区域图像;对所述区域图像进行特征提取,得到第一特征信息;获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;依据所述目标背光调节参数进行背光调节。采用本申请实施例有助于提升背光调节智能性。

Description

背光调节方法、装置及存储介质
技术领域
本申请涉及背光调节技术领域,尤其涉及一种背光调节方法、装置及存储介质。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。
生活中,背光调节已经成为电子设备的必备技能,但是,目前来看,背光调节往往只会简单地依据环境光实现背光调节,功能过于单一且调节效果欠佳,因此,如何提升背光调节智能性的问题亟待解决。
发明内容
本申请实施例提供一种背光调节方法、装置及存储介质,能够提升背光调节智能性。
第一方面,本申请实施例提供一种背光调节方法,应用于电子设备,所述方法包括:
确定用户针对显示屏的目标关注区域的区域图像;
对所述区域图像进行特征提取,得到第一特征信息;
获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;
根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;
依据所述目标背光调节参数进行背光调节。
第二方面,本申请实施例提供一种背光调节装置,应用于电子设备,所述装置包括:第一确定单元、第一提取单元、第二提取单元、第二确定单元和调节单元,其中,
所述第一确定单元,用于确定用户针对显示屏的目标关注区域的区域图像;
所述第一提取单元,用于对所述区域图像进行特征提取,得到第一特征信息;
所述第二提取单元,用于获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;
所述第二确定单元,用于根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;
所述调节单元,用于依据所述目标背光调节参数进行背光调节。
第三方面,本申请实施例提供一种电子设备,该电子设备包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质用于存储计算机程序,其中,上述计算机程序被处理器执行,以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中所描述的背光调节方法、装置及存储介质,应用于电子设备,确定用户针对显示屏的目标关注区域的区域图像,对区域图像进行特征提取,得到第一特征信,获取用户的眼睛区域图像,并对眼睛区域图像进行特征提取,得到第二特征信息,根据第一特征信息以及第二特征信息确定目标背光调节参数,依据目标背光调节参数进行背光调节,能够在调整背光时结合了用户眼睛信息的变化,即背景对眼球的刺激情况来进行背光调节,使得调整后的背光更加符合用户的偏好以及使得更加适合于人眼的背光调整效果,有助于提升背光调节智能性。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种电子设备的软件结构示意图;
图3是本申请实施例提供的一种眼球跟踪系统的软件架构图;
图4A是本申请实施例提供的一种背光调节方法的流程示意图;
图4B是本申请实施例提供的应用场景的演示示意图;
图5是本申请实施例提供的一种背光调节方法的交互图;
图6是本申请实施例提供的一种电子设备的另一硬件结构示意图;
图7A是本申请实施例提供的一种背光调节装置的结构示意图;
图7B是本申请实施例提供的另一种背光调节装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
电子设备可以具备背光调节功能的设备,例如,智能手机、车载设备(导航仪、行车记录仪、雷达测距仪、ETC支付装载等等)、可穿戴设备、智能手表、对讲机、智能眼镜、无线蓝牙耳机、计算设备、路由器或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),虚拟现实/增强现实设备,终端设备(terminal device)等等。
电子设备还可以包括智能家居设备,智能家居设备可以为以下至少一种:智能音箱、智能摄像头、智能电饭煲、智能轮椅、智能按摩椅、智能家具、智能洗碗机、智能电视机、智能冰箱、智能电风扇、智能取暖器、智能晾衣架、智能灯、智能路由器、智能交换机、智能开关面板、智能加湿器、智能空调、智能门、智能窗、智能灶台、智能消毒柜、智能马桶、扫地机器人等等,在此不做限定。
第一部分,本申请所公开的技术方案的软硬件运行环境介绍如下。
如图所示,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、指南针190、马达191、指示器192、摄像头193、显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器AP,调制解调处理器,图形处理器GPU,图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器NPU等。其中,不同的处理单元可以是独立的部件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备101也可以包括一个或多个处理器110。其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。在其他一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例性地,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。这样就避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备101处理数据或执行指令的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit,I2C)接口、集成电路间音频(inter-integrated circuitsound,I2S)接口、脉冲编码调制(pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、用输入输出(general-purpose input/output,GPIO)接口、SIM卡接口和/或USB接口等。其中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电,也可以用于电子设备101与外围设备之间传输数据。该USB接口130也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)、UWB模块等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、迷你发光二极管(mini light-emitting diode,miniled)、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备101执行本申请一些实施例中所提供的显示页面元素的方法,以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universal flash storage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备101执行本申请实施例中所提供的显示页面元素的方法,以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放、录音等。
传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
其中,压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即X、Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
示例性的,图2示出了电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序层可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
第二部分,本申请实施例所公开的背光调节方法及装置介绍如下。
如图3所示,图3是本申请实施例提供的一种背光调节方法的软件架构图。该软件架构图包括四层,其中,第一层为应用层,其可以包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。第二层可以包括眼球追踪服务(OEyeTrackerService),其具体包括:眼球追踪授权(OEyeTrackerAuthentication)、眼球追踪策略(OEyeTrackerStrategy)、眼球追踪算法(OEyeTrackerAlgo)和眼球追踪参数(OEyeTrackerParams)等模块,其中,OEyeTrackerService通过眼球追踪SDK(OEyeTrackerSDK)接口与第一层的应用连接起来;第二层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService),CameraNDKInterface与OEyeTrackerService连接,CameraService与CameraNDKInterface相互连接。第三层为硬件抽象层,其可以包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HALInterface)、电子防抖模块、Cam X、Chi-cdk等,高通HAL界面(Qualcomm HAL Interface)可以连接电子防抖模块,Google HAL Interface与第二层的CameraService连接,QualcommHAL Interface与Google HAL Interface连接,Cam X分别与Qualcomm HAL Interface和Chi-cdk连接,第四层为底层驱动,其包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IR sensor)、激光(Laser)和发光二极管(LED)等,IR sensor与第三层的Cam X连接。OEyeTrackerService与OEyeTrackerSDK之间的连接、CameraService与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService之间的连接均通过Binder架构。
其中,OEyeTrackerSDK负责为普通应用提供获取注视点以及输入的api,形式为jar/aar包。OEyeTrackerService负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。EyeTrackerAlgo是眼球追踪的核心算法,包括本申请中的确定注视点函数的算法。OEyeTrackerStrategy与算法后处理相关,如滤波、注视点跳动、注视点转监听、注视点输入。OEyeTrackerAuthentication回调各模块,负责鉴权请求者是否被允许。OEyeTrackerParam负责解析配置和热更新配置。电子防抖模块用于实现电子防抖功能,其原理是将CCD先固定在一个能上下左右移动的支架上,通过陀螺仪感应相机抖动的方向及幅度,然后传感器将这些数据传送至处理器进行筛选、放大,计算出可以抵消抖动的CCD移动量。
眼球注视点为用户的眼球注视电子设备所在平面的注视点位置,眼球追踪软件开发工具包接口是电子设备为眼球追踪应用提供的软件开发工具包(software developmentkit,SDK)接口,负责为眼球追踪应用提供获取注视点以及输入的应用程序接口(application programming interface,API)接口。眼球追踪服务还可通过照相机原生开发工具包(Native Development Kit,NDK)接口调用相机应用,照相机应用可以调用摄像头,通过摄像头采集用户眼睛区域图像。
如图4A所示,图4A是本申请实施例提供的一种背光调节方法的流程示意图,应用于如图1-图3任一图中所示的电子设备,所述方法包括:
401、确定用户针对显示屏的目标关注区域的区域图像。
其中,电子设备可以包括摄像头,在用户注视显示屏时,通过摄像头可以对用户进行眼球跟踪,不仅可以获取用户眼睛区域图像,还可以获取用户针对显示屏的目标关注区域,以通过截屏或者截图方式区域目标关注区域的区域图像。摄像头还可以为单摄像头、双摄像头或者多摄像头,单摄像头可以为红外摄像头、可见光摄像头(普通视角摄像头或者广角摄像头),双摄像头可以为普通视角摄像头+广角摄像头,或者,红外摄像头+可见光摄像头。
具体实现中,摄像头可以为前置摄像头时,如图4B所示,目标对象则可以在进行自拍或者启动眼球跟踪功能时,则可以通过该摄像头即可以获取用户自拍的第一图像,又可以获取目标对象注视第一图像中的眼球注视点。
402、对所述区域图像进行特征提取,得到第一特征信息。
其中,本申请实施例中,具体特征提取方式可以为以下至少一种:颜色信息提取、特征点提取、整体特征提取等等,在此不作限定。颜色信息提取可以通过颜色空间变换实现,例如,RGB转化为YUV等等,特征点提取的具体算法可以为以下至少一种:harris角点提取算法、尺度不变特征提取算法等等,在此不作限定,整体特征提取的具体算法可以为以下至少一种:平均灰度、均方差、平均梯度、清晰度等等,在此不作限定。电子设备可以基于上述特征提取方式对区域图像进行特征提取,得到第一特征信息,第一特征信息可以为以下至少一种:颜色信息、特征点信息、整体特征信息等等,在此不作限定。
403、获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息。
其中,本申请实施例中,电子设备可以通过摄像头对用户进行拍摄,得到拍摄图像,对该拍摄图像进行区域提取,得到眼睛区域图像,并对眼睛区域图像进行特征提取,得到第二特征信息,第二特征信息可以为以下至少一种:眼球半径、瞳孔半径、眼睛张合度、瞳孔半径与眼球半径之间的比例关系等等,在此不作限定。
404、根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数。
其中,本申请实施例中,第一特征信息在一定程度上反映了背光信息,第二特征信息在一定程度上反映了用户对关注区域的适应程度,进而,可以通过两者之间的关联性,来实现背光调节,调节之后的背光效果更加适合人眼,能够实现个性化(“私人订制”)背光调节效果。
可选地,上述步骤404,根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数,可以包括如下步骤:
A41将所述第一特征信息以及所述第二特征信息输入到目标神经网络模型,得到目标运算结果;
A42、按照预设的运算结果与背光调节参数之间的映射关系,确定所述目标运算结果对应的所述目标背光调节参数。
其中,本申请实施例中,目标神经网络模型可以为以下至少一种:卷积神经网络模型、全连接神经网络模型、脉冲神经网络模型、循环神经网络模型等等,在此不作限定。
具体实现中,电子设备中可以预先存储预设的运算结果与背光调节参数之间的映射关系,电子设备可以将第一特征信息以及第二特征信息输入到目标神经网络模型,得到目标运算结果,进而,可以按照预设的运算结果与背光调节参数之间的映射关系,确定目标运算结果对应的目标背光调节参数,目标神经网络模型可以用于表述用户眼睛的适应程度,进而,依据用户关注区域的图像对用户眼睛的适应程度实现背光调节。
进一步地,可选地,在上述步骤401,确定用户针对显示屏的目标关注区域的区域图像之前,还可以包括如下步骤:
A1、获取用户关注区域的背景样本特征集;
A2、依据所述用户关注区域对应的眼睛区域图像的眼球样本特征集;
A3、将所述背景样本特征集以及所述眼球样本特征集输入到预设神经网络模型进行训练,得到所述目标神经网络模型。
其中,预设神经网络模型可以为以下至少一种:卷积神经网络模型、全连接神经网络模型、脉冲神经网络模型、循环神经网络模型等等,在此不作限定。具体地,在步骤401之前,电子设备可以获取用户关注区域的背景样本特征集,依据用户关注区域对应的眼睛区域图像的眼球样本特征集,进而,将背景样本特征集以及眼球样本特征集输入到预设神经网络模型进行训练,得到目标神经网络模型,如此,目标神经网络模型可以表述眼球针对显示屏的适应程度,进而,依据适应程度能够实现背光调节,使得显示效果更加适合人眼。
可选地,在所述第一特征信息包括目标颜色分布状态、平均亮度值以及目标特征点分布密度,所述第二特征信息包括目标眼球特征参数时,上述步骤404,根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数,可以包括如下步骤:
B41、按照预设的亮度值与眼球特征参数之间的映射关系,确定所述平均亮度值对应的第一眼球特征参数;
B42、按照预设的颜色分布状态与第一调节因子之间的映射关系,确定所述目标颜色分布状态对应的目标第一调节因子;
B43、按照预设的特征点分布密度与第二调节因子之间的映射关系,确定所述目标特征点分布密度对应的目标第二调节因子;
B44、依据所述目标第一调节因子、所述目标第二调节因子对所述第一眼球特征参数进行调节,得到参考眼球特征参数;
B45、确定所述参考眼球特征参数与所述目标眼球特征参数之间的目标偏离度;
B46、按照预设的偏离度与背光调节参数之间的映射关系,确定所述目标偏离度对应的所述目标背光调节参数。
具体实现中,电子设备中可以预先存储预设的亮度值与眼球特征参数之间的映射关系、预设的颜色分布状态与第一调节因子之间的映射关系、预设的特征点分布密度与第二调节因子之间的映射关系以及预设的偏离度与背光调节参数之间的映射关系,其中,第一调节因子的取值范围、第二调节因子的取值范围均可以由用户自行设置或者系统默认,例如,第一调节因子的取值范围可以为-0.12~0.12,第二调节因子的取值范围可以为-0.08~0.08。
具体实现中,在第一特征信息包括目标颜色分布状态、平均亮度值以及目标特征点分布密度,以及第二特征信息包括目标眼球特征参数时,电子设备可以按照预设的亮度值与眼球特征参数之间的映射关系,确定平均亮度值对应的第一眼球特征参数,以及按照预设的颜色分布状态与第一调节因子之间的映射关系,确定目标颜色分布状态对应的目标第一调节因子,以及按照预设的特征点分布密度与第二调节因子之间的映射关系,确定目标特征点分布密度对应的目标第二调节因子,再依据目标第一调节因子、目标第二调节因子对第一眼球特征参数进行调节,得到参考眼球特征参数,可以参照如下公式进行运算:
参考眼球特征参数=第一眼球特征参数*(1+第一调节因子)*(1+第二调节因子)
进一步地,电子设备可以确定参考眼球特征参数与目标眼球特征参数之间的目标偏离度,例如,目标偏离度=|参考眼球特征参数-目标眼球特征参数|,最后,电子设备可以按照预设的偏离度与背光调节参数之间的映射关系,确定目标偏离度对应的目标背光调节参数,如此,可以通过背光图像的颜色、图像细节特征、以及背景亮度来整体评估用户关注区域对用户眼睛影响,进而,能够实现精准确定背光调节参数,有助于实现精准背光调节。
405、依据所述目标背光调节参数进行背光调节。
其中,具体实现中,电子设备可以依据目标背光调节参数对目标关注区域进行背光调节,或者,可以对显示屏整体进行背光调节,具体地,例如,在目标背光调节参数的取值范围为-1~1之间时,如,取值范围为-0.1~0.1,则可以参照如下公式实现背光调节:
调节后的背光参数=当前背光参数*(1+目标背光调节参数)
又例如,在目标背光调节参数为具体背光值时,则可以参照如下公式实现背光调节:
调节后的背光参数=当前背光参数+目标背光调节参数
当然,还可以是其他调节方式,在此不做限定,具体依据实际情况而定。
本申请实施例中,通过眼球追踪技术获取注视点信息,根据注视点的位置确定用户的关注区域,同时,结合用户的眼球信息(例如,瞳孔大小等信息),可以确定在某些区域上用户合适的背光亮度,在确定关注区域的同时需要对相关区域的特征进行提取,例如,颜色或者区域里的物体等,再通过样本训练的方式得到背光调整模型,该模型可以反映出在关注区域内容里的颜色和物体确定的前提下,适合用户偏好的背光亮度的值,以及是否适合用户的背光偏好,可以根据眼球信息的变化来进行确定,例如当瞳孔大小(瞳孔大小和进入的光线的多少具有一定的关系,即反映了亮度是否适合用户当前的需求)变化到一定值的时候就可以认为当前的亮度适合用户的偏好。
可选地,上述步骤405,依据所述目标背光调节参数进行背光调节,可以包括如下步骤:
依据所述目标背光调节参数对所述目标关注区域进行背光调节。
具体实现中,电子设备可以依据目标背光调节参数对目标关注区域进行背光调节。例如,对亮度值的调整不是针对整个显示区域进行调整,其主要是对用户当前重点关注的区域,在满足用户需求的基础上以达到节省设备功耗的目的(例如,非重点区域的背光亮度可以在关注区域亮度调整值的基础上相应的降低亮度值,实现由亮到暗的平滑亮度效果)。在对用户关注区域进行亮度调整时根据用户兴趣区域的特征确定用户的兴趣区域的特征,例如,对颜色来说用户可能希望绿色或蓝色的亮度略高一些,那么,在调整时就要相应地提高相关颜色区域的亮度。此外,也可以通过内容识别的方式将用户当前关注区域相关的区域进行同样的亮度调整(例如用户关注文字部分,那么对整幅显示区域的文字部分都进行较高标准的背光调整)。
总之,本申请实施例,对显示屏的显示区域通过差异化背光调整避免了传统调整策略带来的功耗增加过高的问题;同时,本申请实施例,在调整背光时结合了用户眼球信息(瞳孔大小等信息)的变化,使得调整后的背光更加符合用户的偏好,达到更好地背光调整效果。
可选地,上述步骤401,确定用户针对显示屏的目标关注区域的区域图像之前,还可以包括如下步骤:
C1、确定在所述显示屏上的目标注视点;
C2、确定针对所述目标注视点的注视时长;
C3、在所述注视时长大于预设时长时,将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,并获取该目标关注区域对应的区域图像。
其中,预设时长可以由用户自行设置或者系统默认,预设范围可以由用户自行设置或者系统默认。电子设备可以确定在显示屏上的目标注视点,以及还可以确定针对目标注视点的注视时长,并且在注视时长大于预设时长时,将包括目标注视点的预设范围内的区域作为目标关注区域,并获取该目标关注区域对应的区域图像,例如,可以将以目标注视点为中心的预设范围内的区域作为目标关注区域,又例如,可以预先将显示屏划分为多个区域,将目标注视点所在区域作为目标关注区域。
进一步地,可选地,上述步骤C3,将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,可以包括如下步骤:
C31、获取所述显示屏的显示区域的目标尺寸信息;
C32、确定所述用户的眼睛与所述显示屏之间的目标距离;
C33、按照预设的距离与关注范围之间的映射关系,确定所述目标距离对应的参考关注范围;
C34、按照预设的尺寸信息与优化系数之间的映射关系,确定所述目标尺寸信息对应的目标优化系数;
C35、依据所述目标优化系数对所述参考关注范围进行优化处理,得到目标关注范围;
C36、依据所述目标关注点为中心的所述目标关注范围的区域作为所述目标关注区域。
其中,电子设备中可以预先存储预设的距离与关注范围之间的映射关系以及预设的尺寸信息与优化系数之间的映射关系。
具体实现中,电子设备可以获取显示屏的显示区域的目标尺寸信息,以及确定用户的眼睛与显示屏之间的目标距离,进而,按照预设的距离与关注范围之间的映射关系,确定目标距离对应的参考关注范围,以及按照预设的尺寸信息与优化系数之间的映射关系,确定目标尺寸信息对应的目标优化系数,依据目标优化系数对所述参考关注范围进行优化处理,得到目标关注范围,其中,优化系统的取值范围可以由用户自行设置或者系统默认,例如,优化系数可以为-0.1~0.1,优化处理过程可以为:目标关注范围=参考关注范围*(1+目标优化系数),最后,电子设备可以依据目标关注点为中心的目标关注范围的区域作为目标关注区域,如此,可以结合显示屏的屏幕尺寸以及用户与显示屏之间的距离调节用户关注区域的大小,从而,可以在一定程度上精准确定用户所关注的区域。
举例说明下,具体实现中,电子设备可以在用户把背光调整模式调整为自动的环境下启动眼球追踪模块,对用户的眼球信号进行抓取以及分析,得到用户关注的区域,同时,对所关注区域进行图像提取,并分析关注区域图像中所包含物体的特征信息以及相关的颜色信息,将得到的特征信息和颜色信息传送给模型训练模块(如目标神经网络模型),此外,同时获取用户的眼球特征信息,例如瞳孔的相对大小等,并将眼球信息同时传送到模型训练模块,模型训练模块可以通过样本训练得到能够反映用户偏好的背光调整模型,进而,根据新的特征区域和用户眼球信息的特征自动差异化调整背光的亮度值,具体流程如下:
1、将背光调整修改为自动模式;
2、启动眼球识别模块;
3、对用户的注视点信息进行提取判断(例如对于某一注视区域的注视时间)。
4、如果注视点信息符合某一要求(注视时间大于t),则将提取相关注视区域图像信息;
5、将兴趣区域的图像信息送入特征提取算法中进行处理,算法将处理得到的特征信息(颜色信息以及物体的特征信息)输出给模型训练算法;
6、同时提取用户的眼睛信息并作为模型训练算法的输入;
7、模型训练通过样本训练得到能够反映用户偏好的背光调整模型;
8、根据新的眼球追踪数据和用户眼睛信息使用得到的背光调整模型确定重点区域的合适的背光值;
9、进行差异化背光调整。
针对眼球信息在背光调整模型中的使用需要关注能够反映用户背光主观偏好和客观指标的一些信息,例如瞳孔的大小就可以反映当前背光对用户的客观影响,当背光强度变化时瞳孔的大小会像光圈一样自动调整大小以适应新的背光强度;用户眼镜睁开的比例同样也反映了当前背光是否适合用户的偏好,如果背光偏暗,用户则会增加眼睛睁开的比例,同样,如果背光过亮,用户则会降低睁开的比例。此外,也可以采集用户手动背光调整模式下背光强度和眼球信息的关系作为模型训练的样本。
对于背光调整模型的训练和修正来说,可以将以下信息作为训练算法的输入:注视点信息(根据注视点信息分析注视区域的特征)、眼球信息(包括眼睛睁开的大小和瞳孔大小)、合适用户的背光亮度值(不一定存在,如果用户当前是手动调节则将当前亮度值作为合适的亮度值,并将此时的瞳孔大小和眼睛睁开的比例参数作为标准值(即合适用户的背光标准))。需要注意的是训练的过程并不一定依赖于手动背光调整的参数,也可以选一个客观科学的指标作为标准进行训练(例如合理的瞳孔大小达到什么值以及眼睛睁开的比例到什么程度对人来说是最适宜的使用感受);根据训练出的结果进行背光调整,再根据调整之后用户的反映对模型进行修正。
具体实现中,由于用户距离屏幕的远近会影响采集到的眼睛参数的绝对值(例如,图像中眼睛大小,瞳孔大小),因此可以将一些比例值作为眼球信息的数据,例如以a/b作为眼睛睁开大小的参数(a为眼皮的纵向睁开距离,b为眼睛区域左右两个眼角的距离);同理,对于瞳孔大小的参数来说也可以将d’/d(d’为瞳孔直径,d为黑眼球区域的直径)作为瞳孔数据。模型可简单定义为M,则可表示为:M<-(a/b,d’/d,注视点对应的图像内容)。
可以看出,在本申请实施例中所描述的背光调节方法,应用于电子设备,确定用户针对显示屏的目标关注区域的区域图像,对区域图像进行特征提取,得到第一特征信,获取用户的眼睛区域图像,并对眼睛区域图像进行特征提取,得到第二特征信息,根据第一特征信息以及第二特征信息确定目标背光调节参数,依据目标背光调节参数进行背光调节,能够在调整背光时结合了用户眼睛信息的变化,即背景对眼球的刺激情况来进行背光调节,使得调整后的背光更加符合用户的偏好以及使得更加适合于人眼的背光调整效果,有助于提升背光调节智能性。
与上述图4A所示的实施例一致地,请参阅图5,图5是本申请实施例提供的一种背光调节方法的流程示意图,如图所示,应用于如图1-图3任一图中所示的电子设备,本背光调节方法包括:
501、确定在所述显示屏上的目标注视点。
502、确定针对所述目标注视点的注视时长。
503、在所述注视时长大于预设时长时,将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,并获取该目标关注区域对应的区域图像。
504、对所述区域图像进行特征提取,得到第一特征信息。
505、获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息。
506、根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数。
507、依据所述目标背光调节参数进行背光调节。
其中,上述步骤501-步骤507的具体描述可以参照如图4A所描述的背光调节方法的相应步骤,在此不再赘述。
可以看出,在本申请实施例中所描述的背光调节方法,能够在调整背光时结合了用户眼睛信息的变化,即背景对眼球的刺激情况来进行背光调节,使得调整后的背光更加符合用户的偏好以及使得更加适合于人眼的背光调整效果,有助于提升背光调节智能性。
与上述实施例一致地,请参阅图6,图6是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
确定用户针对显示屏的目标关注区域的区域图像;
对所述区域图像进行特征提取,得到第一特征信息;
获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;
根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;
依据所述目标背光调节参数进行背光调节。
可以看出,在本申请实施例中所描述的电子设备,确定用户针对显示屏的目标关注区域的区域图像,对区域图像进行特征提取,得到第一特征信,获取用户的眼睛区域图像,并对眼睛区域图像进行特征提取,得到第二特征信息,根据第一特征信息以及第二特征信息确定目标背光调节参数,依据目标背光调节参数进行背光调节,能够在调整背光时结合了用户眼睛信息的变化,即背景对眼球的刺激情况来进行背光调节,使得调整后的背光更加符合用户的偏好以及使得更加适合于人眼的背光调整效果,有助于提升背光调节智能性。
可选地,在所述根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数方面,上述程序包括用于执行以下步骤的指令:
将所述第一特征信息以及所述第二特征信息输入到目标神经网络模型,得到目标运算结果;
按照预设的运算结果与背光调节参数之间的映射关系,确定所述目标运算结果对应的所述目标背光调节参数。
可选地,在所述确定用户针对显示屏的目标关注区域的区域图像之前,上述程序还包括用于执行以下步骤的指令:
获取用户关注区域的背景样本特征集;
依据所述用户关注区域对应的眼睛区域图像的眼球样本特征集;
将所述背景样本特征集以及所述眼球样本特征集输入到预设神经网络模型进行训练,得到所述目标神经网络模型。
可选地,在所述第一特征信息包括目标颜色分布状态、平均亮度值以及目标特征点分布密度,所述第二特征信息包括目标眼球特征参数时,在所述根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数方面,上述程序包括用于执行以下步骤的指令:
按照预设的亮度值与眼球特征参数之间的映射关系,确定所述平均亮度值对应的第一眼球特征参数;
按照预设的颜色分布状态与第一调节因子之间的映射关系,确定所述目标颜色分布状态对应的目标第一调节因子;
按照预设的特征点分布密度与第二调节因子之间的映射关系,确定所述目标特征点分布密度对应的目标第二调节因子;
依据所述目标第一调节因子、所述目标第二调节因子对所述第一眼球特征参数进行调节,得到参考眼球特征参数;
确定所述参考眼球特征参数与所述目标眼球特征参数之间的目标偏离度;
按照预设的偏离度与背光调节参数之间的映射关系,确定所述目标偏离度对应的所述目标背光调节参数。
可选地,在所述依据所述目标背光调节参数进行背光调节方面,上述程序包括用于执行以下步骤的指令:
依据所述目标背光调节参数对所述目标关注区域进行背光调节。
可选地,在所述确定用户针对显示屏的目标关注区域的区域图像方面,上述程序包括用于执行以下步骤的指令:
确定在所述显示屏上的目标注视点;
确定针对所述目标注视点的注视时长;
在所述注视时长大于预设时长时,将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,并获取该目标关注区域对应的区域图像。
可选地,在所述将包括所述目标注视点的预设范围内的区域作为所述目标关注区域方面,上述程序包括用于执行以下步骤的指令:
获取所述显示屏的显示区域的目标尺寸信息;
确定所述用户的眼睛与所述显示屏之间的目标距离;
按照预设的距离与关注范围之间的映射关系,确定所述目标距离对应的参考关注范围;
按照预设的尺寸信息与优化系数之间的映射关系,确定所述目标尺寸信息对应的目标优化系数;
依据所述目标优化系数对所述参考关注范围进行优化处理,得到目标关注范围;
依据所述目标关注点为中心的所述目标关注范围的区域作为所述目标关注区域。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图7A是本申请实施例中所涉及的背光调节装置700的功能单元组成框图。该背光调节装置700,应用于电子设备,所述装置700包括:第一确定单元701、第一提取单元702、第二提取单元703、第二确定单元704和调节单元705,其中,
所述第一确定单元701,用于确定用户针对显示屏的目标关注区域的区域图像;
所述第一提取单元702,用于对所述区域图像进行特征提取,得到第一特征信息;
所述第二提取单元703,用于获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;
所述第二确定单元704,用于根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;
所述调节单元705,用于依据所述目标背光调节参数进行背光调节。
可以看出,在本申请实施例中所描述的背光调节装置,应用于电子设备,确定用户针对显示屏的目标关注区域的区域图像,对区域图像进行特征提取,得到第一特征信,获取用户的眼睛区域图像,并对眼睛区域图像进行特征提取,得到第二特征信息,根据第一特征信息以及第二特征信息确定目标背光调节参数,依据目标背光调节参数进行背光调节,能够在调整背光时结合了用户眼睛信息的变化,即背景对眼球的刺激情况来进行背光调节,使得调整后的背光更加符合用户的偏好以及使得更加适合于人眼的背光调整效果,有助于提升背光调节智能性。
可选地,在所述根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数方面,上述程序包括用于执行以下步骤的指令:
将所述第一特征信息以及所述第二特征信息输入到目标神经网络模型,得到目标运算结果;
按照预设的运算结果与背光调节参数之间的映射关系,确定所述目标运算结果对应的所述目标背光调节参数。
可选地,如图7B所示,图7B为图7A所示的背光调节装置700的又一变型结构,其与图7A相比较,还可以包括:模型训练单元706,具体如下:
所述模型训练单元706,用于执行如下功能:
在所述确定用户针对显示屏的目标关注区域的区域图像之前,所述方法还包括:
获取用户关注区域的背景样本特征集;
依据所述用户关注区域对应的眼睛区域图像的眼球样本特征集;
将所述背景样本特征集以及所述眼球样本特征集输入到预设神经网络模型进行训练,得到所述目标神经网络模型。
可选地,在所述第一特征信息包括目标颜色分布状态、平均亮度值以及目标特征点分布密度,所述第二特征信息包括目标眼球特征参数时,在所述根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数方面,所述第二确定单元704具体用于:
按照预设的亮度值与眼球特征参数之间的映射关系,确定所述平均亮度值对应的第一眼球特征参数;
按照预设的颜色分布状态与第一调节因子之间的映射关系,确定所述目标颜色分布状态对应的目标第一调节因子;
按照预设的特征点分布密度与第二调节因子之间的映射关系,确定所述目标特征点分布密度对应的目标第二调节因子;
依据所述目标第一调节因子、所述目标第二调节因子对所述第一眼球特征参数进行调节,得到参考眼球特征参数;
确定所述参考眼球特征参数与所述目标眼球特征参数之间的目标偏离度;
按照预设的偏离度与背光调节参数之间的映射关系,确定所述目标偏离度对应的所述目标背光调节参数。
可选地,在所述依据所述目标背光调节参数进行背光调节方面,所述调节单元705具体用于:
依据所述目标背光调节参数对所述目标关注区域进行背光调节。
可选地,在所述确定用户针对显示屏的目标关注区域的区域图像方面,所述第一确定单元701具体用于:
确定在所述显示屏上的目标注视点;
确定针对所述目标注视点的注视时长;
在所述注视时长大于预设时长时,将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,并获取该目标关注区域对应的区域图像。
进一步地,可选地,在所述将包括所述目标注视点的预设范围内的区域作为所述目标关注区域方面,所述第一确定单元701具体用于:
获取所述显示屏的显示区域的目标尺寸信息;
确定所述用户的眼睛与所述显示屏之间的目标距离;
按照预设的距离与关注范围之间的映射关系,确定所述目标距离对应的参考关注范围;
按照预设的尺寸信息与优化系数之间的映射关系,确定所述目标尺寸信息对应的目标优化系数;
依据所述目标优化系数对所述参考关注范围进行优化处理,得到目标关注范围;
依据所述目标关注点为中心的所述目标关注范围的区域作为所述目标关注区域。
需要说明的是,第一确定单元701、第一提取单元702、第二提取单元703、第二确定单元704、调节单元705和模型训练单元706均可通过处理器实现,第一确定单元701、第一提取单元702、第二提取单元703还可以通过摄像头实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种背光调节方法,其特征在于,所述方法包括:
确定用户针对显示屏的目标关注区域的区域图像;
对所述区域图像进行特征提取,得到第一特征信息;
获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;
根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;
依据所述目标背光调节参数进行背光调节。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数,包括:
将所述第一特征信息以及所述第二特征信息输入到目标神经网络模型,得到目标运算结果;
按照预设的运算结果与背光调节参数之间的映射关系,确定所述目标运算结果对应的所述目标背光调节参数。
3.根据权利要求2所述的方法,其特征在于,在所述确定用户针对显示屏的目标关注区域的区域图像之前,所述方法还包括:
获取用户关注区域的背景样本特征集;
依据所述用户关注区域对应的眼睛区域图像的眼球样本特征集;
将所述背景样本特征集以及所述眼球样本特征集输入到预设神经网络模型进行训练,得到所述目标神经网络模型。
4.根据权利要求1所述的方法,其特征在于,在所述第一特征信息包括目标颜色分布状态、平均亮度值以及目标特征点分布密度,所述第二特征信息包括目标眼球特征参数时,所述根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数,包括:
按照预设的亮度值与眼球特征参数之间的映射关系,确定所述平均亮度值对应的第一眼球特征参数;
按照预设的颜色分布状态与第一调节因子之间的映射关系,确定所述目标颜色分布状态对应的目标第一调节因子;
按照预设的特征点分布密度与第二调节因子之间的映射关系,确定所述目标特征点分布密度对应的目标第二调节因子;
依据所述目标第一调节因子、所述目标第二调节因子对所述第一眼球特征参数进行调节,得到参考眼球特征参数;
确定所述参考眼球特征参数与所述目标眼球特征参数之间的目标偏离度;
按照预设的偏离度与背光调节参数之间的映射关系,确定所述目标偏离度对应的所述目标背光调节参数。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述依据所述目标背光调节参数进行背光调节,包括:
依据所述目标背光调节参数对所述目标关注区域进行背光调节。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述确定用户针对显示屏的目标关注区域的区域图像,包括:
确定在所述显示屏上的目标注视点;
确定针对所述目标注视点的注视时长;
在所述注视时长大于预设时长时,将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,并获取该目标关注区域对应的区域图像。
7.根据权利要求6所述的方法,其特征在于,所述将包括所述目标注视点的预设范围内的区域作为所述目标关注区域,包括:
获取所述显示屏的显示区域的目标尺寸信息;
确定所述用户的眼睛与所述显示屏之间的目标距离;
按照预设的距离与关注范围之间的映射关系,确定所述目标距离对应的参考关注范围;
按照预设的尺寸信息与优化系数之间的映射关系,确定所述目标尺寸信息对应的目标优化系数;
依据所述目标优化系数对所述参考关注范围进行优化处理,得到目标关注范围;
依据所述目标关注点为中心的所述目标关注范围的区域作为所述目标关注区域。
8.一种背光调节装置,其特征在于,应用于电子设备,所述装置包括:第一确定单元、第一提取单元、第二提取单元、第二确定单元和调节单元,其中,
所述第一确定单元,用于确定用户针对显示屏的目标关注区域的区域图像;
所述第一提取单元,用于对所述区域图像进行特征提取,得到第一特征信息;
所述第二提取单元,用于获取所述用户的眼睛区域图像,并对所述眼睛区域图像进行特征提取,得到第二特征信息;
所述第二确定单元,用于根据所述第一特征信息以及所述第二特征信息确定目标背光调节参数;
所述调节单元,用于依据所述目标背光调节参数进行背光调节。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至7任意一项所述的方法。
CN202011311137.0A 2020-11-20 2020-11-20 背光调节方法、装置及存储介质 Pending CN114519891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011311137.0A CN114519891A (zh) 2020-11-20 2020-11-20 背光调节方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011311137.0A CN114519891A (zh) 2020-11-20 2020-11-20 背光调节方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114519891A true CN114519891A (zh) 2022-05-20

Family

ID=81594765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011311137.0A Pending CN114519891A (zh) 2020-11-20 2020-11-20 背光调节方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114519891A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798401A (zh) * 2023-02-09 2023-03-14 深圳市宏普欣电子科技有限公司 一种基于物联网的mini-LED智能调控方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798401A (zh) * 2023-02-09 2023-03-14 深圳市宏普欣电子科技有限公司 一种基于物联网的mini-LED智能调控方法
CN115798401B (zh) * 2023-02-09 2023-04-11 深圳市宏普欣电子科技有限公司 一种基于物联网的mini-LED智能调控方法

Similar Documents

Publication Publication Date Title
CN109814766B (zh) 一种应用显示方法及电子设备
CN112717370B (zh) 一种控制方法和电子设备
CN112040361B (zh) 耳机控制方法、装置及存储介质
WO2021179773A1 (zh) 图像处理方法和装置
CN112598594A (zh) 颜色一致性矫正方法及相关装置
WO2021013132A1 (zh) 输入方法及电子设备
WO2022007707A1 (zh) 家居设备控制方法、终端设备及计算机可读存储介质
CN111553846A (zh) 超分辨率处理方法及装置
WO2022140887A1 (zh) 一种图像处理方法及装置
CN113177229A (zh) 数据处理方法及相关装置
CN111768352A (zh) 图像处理方法及装置
CN117234398B (zh) 一种屏幕亮度调节方法及电子设备
EP4131063A1 (en) Eye bag detection method and device
CN114237646A (zh) 游戏试玩方法及相关装置
CN114519891A (zh) 背光调节方法、装置及存储介质
CN115390738A (zh) 卷轴屏开合方法及相关产品
CN111836226B (zh) 数据传输控制方法、装置及存储介质
WO2021190097A1 (zh) 图像处理方法和装置
CN114465852A (zh) 信号处理方法及相关装置
CN114244655A (zh) 信号处理方法及相关装置
CN114336998A (zh) 充电控制方法、装置及存储介质
CN115933952B (zh) 一种触控采样率调节方法及相关装置
CN111865369B (zh) 天线控制方法、装置及存储介质
CN114596819B (zh) 亮度调节方法及相关装置
CN114422686B (zh) 参数调整方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination