CN111880640B - 屏幕控制方法、装置、电子设备及存储介质 - Google Patents
屏幕控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111880640B CN111880640B CN202010765986.7A CN202010765986A CN111880640B CN 111880640 B CN111880640 B CN 111880640B CN 202010765986 A CN202010765986 A CN 202010765986A CN 111880640 B CN111880640 B CN 111880640B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- display screen
- end interface
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种屏幕控制方法、装置、电子设备及存储介质,电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口,第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口,轻量图像前端接口连接DSP,通过区分低功耗模式和非低功耗模式,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态,实现更加优化的判断机制,以及更加准确地判断是否进入熄屏状态;此外,通过ISP的轻量图像前端接口传输第一摄像头采集的人脸图像,从而提升第一摄像头采集人脸图像的效率。
Description
技术领域
本申请涉及显示技术领域,具体涉及一种屏幕控制方法、装置、电子设备及存储介质。
背景技术
目前利用传感器进行情境感知的厂商越来越多,熄屏控制为情境感知的一种功能,电子设备进行熄屏的目的是为了省电和防止误触操作,现有技术中,大多是通过物理按键控制显示屏的熄灭和点亮,或者通过生物识别触发点亮显示屏,但是,在某些场景下,仅基于人脸识别确定是否熄屏的准确度不够,例如车载场景,虽然电子设备检测到用户的人脸,但用户可能不需要点亮显示屏,因此,如何更加准确地判断是否控制显示屏点亮或熄灭的问题需要解决。
发明内容
本申请实施例提供了一种屏幕控制方法、装置、电子设备及存储介质,能够提升第一摄像头采集第一图像的效率,以及,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态。
第一方面,本申请实施例提供一种屏幕控制方法,应用于电子设备,所述电子设备包括第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;所述方法包括:
当所述电子设备处于低功耗模式时,通过所述第一摄像头采集第一图像,所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;
所述DSP通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器;
若所述检测结果不包括人脸,则所述主处理器控制所述显示屏进入熄屏状态;
当所述电子设备处于非低功耗模式时,则通过所述ISP、所述相机串行接口解码器、所述图像前端接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器;
所述主处理器根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
第二方面,本申请实施例提供一种屏幕控制装置,应用于电子设备,所述电子设备包括第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;所述装置包括:
第一处理单元,用于当所述电子设备处于低功耗模式时,控制所述第一摄像头采集第一图像,控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;
发送单元,用于控制所述DSP将所述检测结果发送至所述主处理器;
第二处理单元,用于若所述检测结果不包括人脸,控制所述主处理器控制所述显示屏进入熄屏状态;
第三处理单元,用于当所述电子设备处于非低功耗模式时,控制所述ISP通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;
所述发送单元,还用于控制所述ISP将所述第一处理结果发送至所述主处理器;
所述第二处理单元,还用于控制所述主处理器根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
第三方面,一种电子设备,所述电子设备包括第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;其中,
所述第一摄像头,用于当所述电子设备处于低功耗模式时,通过采集第一图像;
所述DSP,用于通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器;
所述主处理器,用于若所述检测结果不包括人脸,则控制所述显示屏进入熄屏状态;
所述ISP,用于当所述电子设备处于非低功耗模式时,则通过所述CSID、所述图像前端接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器;
所述主处理器,还用于根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口,第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口,轻量图像前端接口连接DSP,DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的第一图像,通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;若检测结果不包括人脸,则主处理器控制显示屏进入熄屏状态,当所述电子设备处于非低功耗模式时,则ISP通过CSID、图像前端接口接收来自第二摄像头采集的第二图像,以及对第二图像进行第一预设处理,得到第一处理结果;主处理器根据第一处理结果判断电子设备的显示屏是否被注视,若否,则控制显示屏进入熄屏状态,若是,则控制显示屏进入亮屏状态。如此,通过区分低功耗模式和非低功耗模式,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态,实现更加优化的判断机制,以及更加准确地判断是否进入熄屏状态或亮屏状态;此外,电子设备的第一摄像头无需使用ISP的图像前端接口,而是通过ISP的轻量图像前端接口将第一图像传输至DSP,通过DSP处理第一摄像头采集的第一图像,由于轻量图像前端接口仅用于实现第一图像的传输工作,不会给ISP增加过多功耗,因此,不影响ISP处理其他图像数据,从而能够提升屏幕控制过程中的图像处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2A是本申请实施例提供的一种屏幕控制方法的流程示意图;
图2B是本申请实施例提供的一种电子设备的显示屏是否朝向人脸的演示示意图;
图3是本申请实施例提供的另一种屏幕控制方法的流程示意图;
图4是本申请实施例提供的一种屏幕控制装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了更好地理解本申请实施例的方案,下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
RAW图像,RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据,它包含未压缩的原始图像数据,可使用支持该格式的软件调整曝光和白平衡。
相机串行接口解码器(Camera Serial Interface Decoder,CSID),CSID是负责图像信号处理器ISP与传感器相连接的接口,具体对传感器的原始数据进行处理以得到RAW图像数据。
图像前端IFE接口,IFE是ISP中的Mipi RAW图像数据单元。
轻量图像前端IFE_lite接口,IFE_lite是ISP中的一种轻量的IFE接口。
图像处理引擎(Image Process Engine,IPE),IPE是ISP中的降躁及颜色编码方法YUV后处理处理单元。YUV是编译true-color颜色空间(color space)的种类,Y'UV,YUV,YCbCr,YPbPr等专有名词都可以称为YUV,彼此有重叠。“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
神经网络处理器(Neural-network Processing Units,NPU),NPU是为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手机等电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,手势识别等。
请参阅图1,本申请实施例提供了一种电子设备10,该电子设备10包括第一摄像头100、相机串行接口解码器CSID200、图像信号处理器ISP300、数字信号处理器DSP400、运动传感器500、第二摄像头600、显示屏700、和主处理器800,所述ISP300包括轻量图像前端接口310和图像前端接口320,其中,所述第一摄像头100连接所述CSID200,所述CSID200连接所述ISP300的所述轻量图像前端接口310,所述轻量图像前端接口310连接所述DSP400;
所述第一摄像头100,用于当所述电子设备处于低功耗模式时,通过采集第一图像;
所述DSP400,用于通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器;
所述主处理器800,用于若所述检测结果不包括人脸,则控制所述显示屏进入熄屏状态;
所述ISP300,用于当所述电子设备处于非低功耗模式时,则通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器;
所述主处理器800,还用于根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
其中,第一预设处理可包括以下至少一种:人脸检测、眼动检测、眼球追踪、表情检测等。上述第一摄像头100可以是RGB摄像头,第二摄像头600可以为以下任意一种:时间飞行TOF摄像头、红外IR摄像头、3D结构光摄像头。上述运动传感器可包括以下至少一种:重力传感器、加速度传感器、陀螺仪等等。
其中,通过在电子设备的ISP中设置轻量图像前端接口310,在低功耗模式下,ISP300的轻量图像前端接口310传输来自第一摄像头100的第一图像,但ISP300并不会对所述第一图像进行人脸检测,而是将第一图像传输至DSP,由DSP通过人脸检测算法对所述第一图像进行人脸检测。在非低功耗模式下,ISP300可通过图像前端接口320接收第二摄像头600采集的第二图像,并对所述第二图像进行第一预设处理,得到第一处理结果,具体地,ISP可调用硬件模块对第二图像进行第一预设处理。由于轻量图像前端接口310仅用于实现第一图像的传输工作,因此,相对于现有方案中直接通过图像前端接口320传输第一图像,由ISP对第一图像进行下一步处理,轻量图像前端接口310的功耗相对更低,不会给ISP增加过多功耗,从而能够提升低功耗模式下屏幕控制过程中的图像处理效率。
可选地,在非低功耗模式下,ISP还可通过图像前端接口320接收由第一摄像头100采集的第三图像,并调用硬件模块对该第三图像进行第二预设处理,第二预设处理可包括以下至少一种:人脸检测、眼动检测、眼球追踪、表情检测等。如此,非低功耗模式下,可通过第一摄像头和第二摄像头同时工作,通过更加复杂、准确度高的处理方式对显示屏是否被注视的情况进行检测。
其中,主处理器800可以为神经网络处理器NPU,也可以为中央处理器CPU等,此处不做限定,可选地,电子设备可通过NPU根据预设的人工智能算法根据所述第一处理结果判断所述电子设备的显示屏是否被注视,提升运算效率。
其中,电子设备通过第一摄像头可采集用户的第一图像,由DSP通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器,通过主处理器根据检测结果判断是否控制显示屏进入熄屏状态;若检测结果不包括人脸,则主处理器控制显示屏进入熄屏状态;当电子设备处于非低功耗模式时,则ISP通过CSID、图像前端接口接收来自第二摄像头采集的第二图像,以及调用硬件模块对第二图像进行第一预设处理,得到第一处理结果;主处理器根据第一处理结果判断电子设备的显示屏是否被注视,若否,则控制显示屏进入熄屏状态,若是,则控制显示屏进入亮屏状态;通过区分低功耗模式和非低功耗模式,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态,实现更加优化的判断机制,以及更加准确地判断是否进入熄屏状态或亮屏状态。
可见,通过在电子设备的ISP中设置轻量图像前端接口310,电子设备不需要加大成本来提升ISP的硬件性能,仅根据普通的ISP和DSP即可实现提升第一摄像头采集的图像质量,实现方式便捷,不用增加成本,可提升通过第一摄像头在实现屏幕控制功能中的工作性能。此外,通过DSP以软件层面的人脸检测算法对第一图像集进行人脸检测,通过ISP调用硬件模块对第二图像进行第一预设处理,可实现电子设备在软硬件层面进行图像处理的兼容性,提升图像处理效率。
可以看出,本申请实施例中,电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口,第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口,轻量图像前端接口连接DSP,通过区分低功耗模式和非低功耗模式,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态,实现更加优化的判断机制,以及更加准确地判断是否进入熄屏状态;此外,电子设备的第一摄像头无需使用ISP的图像前端接口,而是通过ISP的轻量图像前端接口将第一图像传输至DSP,通过DSP处理第一摄像头采集的第一图像,由于轻量图像前端接口仅用于实现第一图像的传输工作,不会给ISP增加过多功耗,因此,不影响ISP处理其他图像数据,从而能够提升屏幕控制过程中的图像处理效率。
可选地,所述主处理器,还用于若所述人脸检测的检测结果包括人脸,将所述电子设备的工作模式切换至所述非低功耗模式。
本申请实施例中,电子设备可将工作模式设置为低功耗模式,在低功耗模式下,通过第一摄像头采集第一图像进行人脸检测,判断是否控制显示屏熄屏,若第一图像中包括人脸,则将工作模式切换至非低功耗模式,从而通过非低功耗模式下的工作机制和算法来判断是否控制显示屏熄屏。
可选地,在所述对所述第二图像进行第一预设处理方面,所述ISP具体用于:
针对所述第二图像执行以下至少一种操作:
根据眼球追踪算法对所述第二图像进行眼球追踪,得到人眼注视所述显示屏所在平面的注视位置;
对所述第二图像进行眼动检测,得到眼动参数;
对所述第二图像进行表情检测,得到表情参数。
其中,第一预设处理可包括以下至少一种:人脸检测、眼动检测、眼球追踪、表情检测等。
其中,在非低功耗模式下,为了提高判断是否控制显示屏熄屏或亮屏的准确度,可采用更加精细化的算法,例如人脸检测、眼动检测、眼球追踪、表情检测等等,从而根据上述处理得到的第一处理结果更加准确地判断是否控制显示屏熄屏或亮屏。
具体实施中,ISP可通过图像前端接口320接收第二摄像头600采集的第二图像,并调用硬件模块对该第二图像进行第一预设处理,或者,ISP还可调用预设处理算法对第二图像进行预设处理,预设处理算法可包括以下至少一种:人脸检测算法、眼球追踪算法、表情检测算法等,此处不作限制。
可选地,所述ISP,还用于若所述第二图像中包括多个人脸,则确定所述多个人脸中最大人脸对应的目标人脸区域;
对所述目标人脸区域进行所述第一预设处理,得到所述第一处理结果。
其中,在第二图像中包括多个人脸时,可仅选取第二图像中的一个目标人脸区域,具体地,第二图像中人脸越大,表明该人脸距离第二摄像头越近,因此,可确定多个人脸中最大人脸对应的目标人脸区域,根据最大人脸对应的目标人脸区域的图像信息判断是否控制显示屏熄屏或亮屏。
可选地,所述电子设备还包括运动传感器,在所述根据所述第一处理结果判断所述电子设备的显示屏是否被注视方面,所述主处理器具体用于:
获取所述运动传感器检测的所述电子设备的第一姿态信息;
根据所述第一姿态信息分析所述电子设备的显示屏是否朝向人脸,若是,则根据以下至少一种参数确定判断所述人眼是否注视所述显示屏:人眼在所述显示屏所在平面的注视位置、所述眼动参数、所述表情参数。
其中,上述第一姿态信息可以包括以下至少一种:电子设备的显示屏朝向、加速度方向、显示屏倾斜角度等等。运动传感器可包括以下至少一种:加速度传感器、重力传感器、陀螺仪等。
具体地,主处理器可根据第一姿态信息分析所述电子设备的显示屏是否朝向人脸,然后根据人眼在所述显示屏所在平面的注视位置、眼动参数或表情参数判断人眼是否注视所述显示屏,从而,可更加准确地分析是否控制显示屏熄屏或亮屏。
可选地,所述主处理器还用于:
若所述电子设备处于充电状态,将所述电子设备设置为所述非低功耗模式。
其中,电子设备处于充电状态时,电子设备的电流可及时得到补偿,因此,可降低对节省功耗的要求,将电子设备设置为非低功耗模式,在非低功耗模式下,通过功耗更大的第二摄像头采集第二图像,以及通过更加复杂的算法处理第二图像,从而更加准确地判断是否控制显示屏熄屏或亮屏。
与图1一致的,请参阅图2A,图2A是本申请实施例提供的一种屏幕控制方法,应用于如图1所示的电子设备,所述电子设备包括第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;所述方法包括如下步骤:
201、当所述电子设备处于低功耗模式时,通过所述第一摄像头采集第一图像,所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;所述DSP通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器。
其中,第一摄像头可以为RGB摄像头,上述第一图像为RGB图像,上述运动传感器可包括以下至少一种:陀螺仪、加速度传感器、重力传感器等。
具体实施中,在低功耗模式下,电子设备可仅通过第一摄像头采集第一图像,对第一图像进行人脸检测,从而可节省功耗。
其中,电子设备的ISP中除了图像前端接口以外,还设置有轻量图像前端接口,首先,通过第一摄像头采集第一图像的原始数据,然后,通过轻量图像前端接口相机串行接口解码器CSID对原始数据进行处理,得到第一图像,接着,将该原始图像传输至ISP的轻量图像前端接口,最后,ISP的轻量图像前端接口将第一图像传输至DSP。如此,可通过ISP中的轻量图像前端接口传输第一图像,轻量图像前端的功耗较低,不会给ISP带来功耗负担,对ISP的性能要求不高,从而可提升电子设备采集和处理第一图像的效率。
202、若所述检测结果不包括人脸,则所述主处理器控制所述显示屏进入熄屏状态。
其中,若第一图像中不包括人脸,则控制显示屏进入熄屏状态,从而在低功耗模式下可减少显示屏的功耗,延长待机时长。
可选地,本申请实施例中,所述方法还包括:
若所述人脸检测的检测结果包括人脸,所述主处理器将所述电子设备的工作模式切换至所述非低功耗模式。
其中,若第一图像中包括人脸,可将电子设备的工作模式切换至非低功耗模式,从而通过非低功耗模式下的工作机制和算法来判断是否控制显示屏熄屏或亮屏。
203、当所述电子设备处于非低功耗模式时,则通过所述ISP通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器。
其中,所述第二摄像头为以下任意一种:时间飞行TOF摄像头、红外IR摄像头、3D结构光摄像头,第二图像可以为以下任意一种:深度图像、红外图像、三维图像。
其中,第一预设处理可包括以下至少一种:人脸检测、眼动检测、眼球追踪、表情检测等。
具体实施中,在非低功耗模式下,可允许更大的功耗,通过TOF摄像头、IR摄像头、3D结构光摄像头等获取第二图像,从而,可拍摄到更多的人脸细节,例如深度信息,从而,可针对拍摄得到的第二图像进行人脸检测、眼动检测、眼球追踪、表情检测等预设处理,得到第一处理结果,从而根据第一处理结果更加准确地判断控制显示屏熄屏或亮屏。
可选地,上述步骤203中,所述对所述第二图像进行第一预设处理,可包括以下步骤:
所述ISP针对所述第二图像执行以下至少一种操作:
31、根据眼球追踪算法对所述第二图像进行眼球追踪,得到人眼注视所述显示屏所在平面的注视位置;
32、对所述第二图像进行眼动检测,得到眼动参数;
33、对所述第二图像进行表情检测,得到表情参数。
其中,所述眼动参数包括眨眼参数、眼球转动参数等,根据眼动参数或者表情参数可判断第二图像的人脸为生动的人脸,从而排除拍摄到非用户以外的人脸图像的可能。
通过人眼注视所述显示屏所在平面的注视位置可确定用户人眼是否正在注视显示屏所在区域,若用户未注视显示屏所在区域,则不需要控制显示屏亮屏,可控制显示屏进入熄屏状态。
可选地,在所述步骤203之前,所述方法还包括:
若所述第二图像中包括多个人脸,则确定所述多个人脸中最大人脸对应的目标人脸区域;
对所述目标人脸区域进行所述第一预设处理,得到所述第一处理结果。
具体实施中,第二图像中人脸越大,表明该人脸距离第二摄像头越近,因此,可确定多个人脸中最大人脸对应的目标人脸区域,根据最大人脸对应的目标人脸区域的图像信息判断是否控制显示屏熄屏或亮屏。
204、所述主处理器根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
其中,若电子设备的显示屏被注视,则可控制所述显示屏进入熄屏状态,具体地,若当前电子设备的显示屏处于熄屏状态,则维持熄屏状态不变,若当前电子设备的显示屏处于亮屏状态或者熄屏显示状态,则控制显示屏熄屏;若显示屏未被注视,则可控制显示屏进入亮屏状态,具体地,若当前电子设备的显示屏处于熄屏状态,则控制显示屏亮屏;若当前电子设备的显示屏处于亮屏状态或者熄屏显示状态,则维持当前的显示屏状态不变。
从而,可针对电子设备当前设置的工作模式,通过不同功耗的工作机制和算法来判断是否控制显示屏进行熄屏或亮屏,实现在低功耗模式下节省能耗,在非低功耗模式下保证判断所述电子设备的显示屏是否被注视的判断结果的准确度,从而实现更优化的工作机制。
可选地,所述电子设备还包括运动传感器,上述步骤204中,所述根据所述第一处理结果判断所述电子设备的显示屏是否被注视,可包括以下步骤:
获取所述运动传感器检测的所述电子设备的第一姿态信息;
根据所述第一姿态信息分析所述电子设备的显示屏是否朝向人脸,若是,则根据以下至少一种参数确定判断所述人眼是否注视所述显示屏:人眼在所述显示屏所在平面的注视位置、所述眼动参数、所述表情参数。
其中,运动传感器可包括以下至少一种:加速度传感器、重力传感器、陀螺仪等。
主处理器可根据第一姿态信息分析所述电子设备的显示屏是否朝向人脸,请参阅图2B,图2B为本申请实施例提供的一种电子设备的显示屏是否朝向人脸的演示示意图,根据人眼在所述显示屏所在平面的注视位置、眼动参数或表情参数判断人眼是否注视所述显示屏,从而,可更加准确地分析是否控制显示屏熄屏或亮屏。
可选地,本申请实施例中,所述方法还包括:
若所述电子设备处于充电状态,将所述电子设备设置为所述非低功耗模式。
具体实施中,电子设备处于充电状态时,电子设备的电流可及时得到补偿,因此,可降低对节省功耗的要求,将电子设备设置为非低功耗模式,在非低功耗模式下,通过功耗更大的第二摄像头采集第二图像,以及通过更加复杂的算法处理第二图像,从而更加准确地判断是否控制显示屏熄屏或亮屏。
可选地,本申请实施例中,在所述对所述第二图像进行第一预设处理,得到第一处理结果之前,还可包括以下步骤:
2021、所述主处理器将所述第二图像进行多尺度特征分解,得到低频特征分量和高频特征分量;
2022、将所述低频特征分量划分为多个部分;确定所述多个部分中每一部分对应的信息熵,得到多个信息熵;
2023、依据所述多个信息熵确定平均信息熵和目标均方差;确定所述目标均方差对应的目标调节系数;
2024、依据所述目标调节系数对所述平均信息熵进行调节,得到目标信息熵;
2025、按照预设的信息熵与评价值之间的映射关系,确定所述目标信息熵对应的第一评价值;
2026、获取对所述第二图像对应的目标拍摄参数;
2027、按照预设的拍摄参数与低频权重之间的映射关系,确定所述目标信息熵对应的目标低频权重,依据该目标低频权重确定目标高频权重;
2028、依据所述高频特征分量确定目标特征点分布密度;按照预设的特征点分布密度与评价值之间的映射关系,确定所述目标特征点分布密度对应的第二评价值;
2029、依据所述第一评价值、所述第二评价值、所述目标低频权重和所述目标高频权重进行加权运算,得到所述第二图像的目标清晰度;
2030、若所述目标清晰度大于预设数值,执行所述步骤203的操作。
具体实现中,主处理器可以采用多尺度分解算法将每一第二图像进行多尺度特征分解,得到低频特征分量和高频特征分量,多尺度分解算法可以为以下至少一种:金字塔变换算法、小波变换、轮廓波变换、剪切波变换等等,在此不做限定。进一步地,可以将低频特征分量划分为多个部分。低频特征分量反映了图像的主体特征,高频特征分量反映了图像的细节信息。
其中,主处理器可以确定多个部分中每一部分对应的信息熵,得到多个信息熵,依据多个信息熵确定平均信息熵和目标均方差,信息熵在一定程度上反映了图像信息多少,均方差则可以反映图像信息的稳定性。主处理器中可以预先存储预设均方差与调节系数之间的映射关系,进而,可以依据该映射关系确定目标均方差对应的目标调节系数,本申请实施例中,调节系数的取值范围可以为-0.15~0.15。主处理器可以依据目标调节系数对平均信息熵进行调节,得到目标信息熵,目标信息熵=(1+目标调节系数)*平均信息熵。主处理器中可以预先存储预设的信息熵与评价值之间的映射关系,进而,可以按照预设的信息熵与评价值之间的映射关系,确定目标信息熵对应的第一评价值。
其中,主处理器可以获取第二图像对应的目标拍摄参数,目标拍摄参数可以为以下至少一种:曝光时长、白平衡参数、对焦参数等等,在此不做限定。主处理器中还可以预先存储预设的拍摄参数与低频权重之间的映射关系,进而,可以按照预设的拍摄参数与低频权重之间的映射关系,确定目标信息熵对应的目标低频权重,依据该目标低频权重确定目标高频权重,目标低频权重+目标高频权重=1。主处理器可以依据高频特征分量确定目标特征点分布密度,目标特征点分布密度=高频特征分量的特征点总数量/区域面积。主处理器中还可以预先存储预设的特征点分布密度与评价值之间的映射关系,进而,可以按照预设的特征点分布密度与评价值之间的映射关系,确定目标特征点分布密度对应的第二评价值,最后,依据第一评价值、第二评价值、目标低频权重和目标高频权重进行加权运算,得到所述第二图像的目标清晰度,具体如下:目标清晰度=第一评价值*目标低频权重+第二评价值*目标高频权重。
如此,可以基于第二图像的低频分量以及高频分量两个维度进行图像质量评价,能够精准得到与拍摄环境相宜的评价参数,即目标清晰度,从而在清晰度较高时,对所述第二图像进行特征提取,得到人脸特征集,提高特征提取的准确度。
可以看出,本申请实施例中,电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口,第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口,轻量图像前端接口连接DSP,DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的第一图像,对所述第一图像进行人脸检测,得到检测结果;若检测结果不包括人脸,则主处理器控制显示屏进入熄屏状态,当所述电子设备处于非低功耗模式时,则ISP通过CSID、图像前端接口接收来自第二摄像头采集的第二图像,以及对第二图像进行第一预设处理,得到第一处理结果;主处理器根据第一处理结果判断电子设备的显示屏是否被注视,若否,则控制显示屏进入熄屏状态,若是,则控制显示屏进入亮屏状态。如此,通过区分低功耗模式和非低功耗模式,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态,实现更加优化的判断机制,以及更加准确地判断是否进入熄屏状态或亮屏状态;此外,电子设备的第一摄像头无需使用ISP的图像前端接口,而是通过ISP的轻量图像前端接口将第一图像传输至DSP,通过DSP处理第一摄像头采集的第一图像,由于轻量图像前端接口仅用于实现第一图像的传输工作,不会给ISP增加过多功耗,因此,不影响ISP处理其他图像数据,从而能够提升屏幕控制过程中的图像处理效率。
与上述一致地,请参阅图3,为本申请实施例提供的另一种屏幕控制方法的流程示意图,本实施例中所描述的屏幕控制方法,应用于如图1所示的电子设备,所述电子设备包括第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;该方法可包括以下步骤:
301、若所述电子设备处于充电状态,将所述电子设备设置为所述非低功耗模式。
302、通过所述第一摄像头采集第一图像,所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;所述DSP通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器。
303、若所述检测结果不包括人脸,则所述主处理器控制所述显示屏进入熄屏状态。
304、若所述人脸检测的检测结果包括人脸,所述主处理器将所述电子设备的工作模式切换至所述非低功耗模式。
305、通过所述ISP通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器,所述第一预设处理包括以下至少一种:人脸检测、眼动检测、眼球追踪、表情检测。
306、获取所述运动传感器检测的所述电子设备的第一姿态信息。
307、根据所述第一姿态信息分析所述电子设备的显示屏是否朝向人脸,若是,则根据以下至少一种参数确定判断所述人眼是否注视所述显示屏:人眼在所述显示屏所在平面的注视位置、所述眼动参数、所述表情参数。
308、若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
可以看出,本申请实施例中,通过在低功耗模式下,仅通过第一摄像头采集的第一图像进行人脸检测来判断是否控制显示屏进行熄屏或亮屏;在非低功耗模式下,获取运动传感器检测的所述电子设备的第一姿态信息;根据第一姿态信息分析所述电子设备的显示屏是否朝向人脸,若是,则根据以下至少一种参数确定判断所述人眼是否注视所述显示屏:人眼在显示屏所在平面的注视位置、眼动参数、表情参数,从而,实现在低功耗模式下节省能耗,在非低功耗模式下保证判断所述电子设备的显示屏是否被注视的判断结果的准确度,从而实现更优化的工作机制;此外,通过ISP的轻量图像前端接口将第一图像传输至DSP,DSP处理第一摄像头采集的第一图像,不影响ISP处理其他图像数据,从而能够提升低功耗模式下采集和处理第一图像的效率,以及提升非低功耗模式下显示屏控制的准确率。
本申请实施例提供一种屏幕控制装置,该屏幕控制装置可以应用于图1所示的电子设备。具体的,屏幕控制装置用于执行以屏幕控制方法中测试设备所执行的步骤。本申请实施例提供的屏幕控制装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对屏幕控制装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图4示出上述实施例中所涉及的屏幕控制装置的一种可能的结构示意图。如图4所示,屏幕控制装置应用于电子设备,所述电子设备包括第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;屏幕控制装置400包括第一处理单元401、发送单元402、第二处理单元403和第三处理单元404,其中,
第一处理单元401,用于当所述电子设备处于低功耗模式时,控制所述第一摄像头采集第一图像,控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;
发送单元402,用于控制所述DSP将所述检测结果发送至所述主处理器;
第二处理单元403,用于若所述检测结果不包括人脸,控制所述主处理器控制所述显示屏进入熄屏状态;
第三处理单元404,用于当所述电子设备处于非低功耗模式时,控制所述ISP通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;
所述发送单元402,还用于控制所述ISP将所述第一处理结果发送至所述主处理器;
所述第二处理单元403,还用于控制所述主处理器根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
可选地,第二处理单元403还用于:
若所述人脸检测的检测结果包括人脸,控制所述主处理器将所述电子设备的工作模式切换至所述非低功耗模式。
可选地,所述第二摄像头为以下任意一种:时间飞行TOF摄像头、红外IR摄像头、3D结构光摄像头。
可选地,在所述对所述第二图像进行第一预设处理方面,所述第三处理单元404具体用于:
控制所述ISP针对所述第二图像执行以下至少一种操作:
根据眼球追踪算法对所述第二图像进行眼球追踪,得到人眼注视所述显示屏所在平面的注视位置;
对所述第二图像进行眼动检测,得到眼动参数;
对所述第二图像进行表情检测,得到表情参数。
可选地,第三处理单元404还用于:
若所述第二图像中包括多个人脸,则控制所述ISP确定所述多个人脸中最大人脸对应的目标人脸区域;
对所述目标人脸区域进行所述第一预设处理,得到所述第一处理结果。
可选地,所述电子设备还包括运动传感器,在所述根据所述第一处理结果判断所述电子设备的显示屏是否被注视方面,第二处理单元403具体用于:
获取所述运动传感器检测的所述电子设备的第一姿态信息;
根据所述第一姿态信息分析所述电子设备的显示屏是否朝向人脸,若是,则根据以下至少一种参数确定判断所述人眼是否注视所述显示屏:人眼在所述显示屏所在平面的注视位置、所述眼动参数、所述表情参数。
可选地,第二处理单元403还用于:
若所述电子设备处于充电状态,将所述电子设备设置为所述非低功耗模式。
可以看出,电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口,第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口,轻量图像前端接口连接DSP,DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的第一图像,通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;若检测结果不包括人脸,则主处理器控制显示屏进入熄屏状态,当所述电子设备处于非低功耗模式时,则ISP通过CSID、图像前端接口接收来自第二摄像头采集的第二图像,以及对第二图像进行第一预设处理,得到第一处理结果;主处理器根据第一处理结果判断电子设备的显示屏是否被注视,若否,则控制显示屏进入熄屏状态,若是,则控制显示屏进入亮屏状态。如此,通过区分低功耗模式和非低功耗模式,针对不同工作模式采用不同的处理机制和算法判断是否进入熄屏状态,实现更加优化的判断机制,以及更加准确地判断是否进入熄屏状态或亮屏状态;此外,电子设备的第一摄像头无需使用ISP的图像前端接口,而是通过ISP的轻量图像前端接口将第一图像传输至DSP,通过DSP处理第一摄像头采集的第一图像,由于轻量图像前端接口仅用于实现第一图像的传输工作,不会给ISP增加过多功耗,因此,不影响ISP处理其他图像数据,从而能够提升屏幕控制过程中的图像处理效率。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。当然,本申请实施例提供的屏幕控制装置包括但不限于上述模块,例如:屏幕控制装置还可以包括存储单元。存储单元可以用于存储该屏幕控制装置的程序代码和数据。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种屏幕控制方法,其特征在于,应用于电子设备,所述电子设备包括显示屏、第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;所述方法包括:
当所述电子设备处于低功耗模式时,通过所述第一摄像头采集第一图像,所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;所述DSP通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器;
若所述检测结果不包括人脸,则所述主处理器控制所述显示屏进入熄屏状态;
当所述电子设备处于非低功耗模式时,则所述ISP通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器;
所述主处理器根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述人脸检测的检测结果包括人脸,所述主处理器将所述电子设备的工作模式切换至所述非低功耗模式。
3.根据权利要求1或2所述的方法,其特征在于,所述第二摄像头为以下任意一种:时间飞行TOF摄像头、红外IR摄像头、3D结构光摄像头。
4.根据权利要求3所述的方法,其特征在于,所述对所述第二图像进行第一预设处理,包括:
所述ISP针对所述第二图像执行以下至少一种操作:
根据眼球追踪算法对所述第二图像进行眼球追踪,得到人眼注视所述显示屏所在平面的注视位置;
对所述第二图像进行眼动检测,得到眼动参数;
对所述第二图像进行表情检测,得到表情参数。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述第二图像中包括多个人脸,则所述ISP确定所述多个人脸中最大人脸对应的目标人脸区域;
对所述目标人脸区域进行所述第一预设处理,得到所述第一处理结果。
6.根据权利要求4或5所述的方法,其特征在于,所述电子设备还包括运动传感器,所述根据所述第一处理结果判断所述电子设备的显示屏是否被注视,包括:
获取所述运动传感器检测的所述电子设备的第一姿态信息;
根据所述第一姿态信息分析所述电子设备的显示屏是否朝向人脸,若是,则根据以下至少一种参数确定判断所述人眼是否注视所述显示屏:人眼在所述显示屏所在平面的注视位置、所述眼动参数、所述表情参数。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若所述电子设备处于充电状态,将所述电子设备设置为所述非低功耗模式。
8.一种屏幕控制装置,其特征在于,应用于电子设备,所述电子设备包括显示屏、第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;所述装置包括:
第一处理单元,用于当所述电子设备处于低功耗模式时,控制所述第一摄像头采集第一图像,控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;
发送单元,用于控制所述DSP将所述检测结果发送至所述主处理器;
第二处理单元,用于若所述检测结果不包括人脸,控制所述主处理器控制所述显示屏进入熄屏状态;
第三处理单元,用于当所述电子设备处于非低功耗模式时,控制所述ISP通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;
所述发送单元,还用于控制所述ISP将所述第一处理结果发送至所述主处理器;
所述第二处理单元,还用于控制所述主处理器根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
9.一种电子设备,其特征在于,所述电子设备包括显示屏、第一摄像头、第二摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器,所述ISP包括轻量图像前端接口和图像前端接口,其中,所述第一摄像头连接所述CSID,所述CSID连接所述轻量图像前端接口,所述轻量图像前端接口连接所述DSP;其中,
所述第一摄像头,用于当所述电子设备处于低功耗模式时,通过采集第一图像;
所述DSP,用于通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的第一图像;通过人脸检测算法对所述第一图像进行人脸检测,得到检测结果;将所述检测结果发送至所述主处理器;
所述主处理器,用于若所述检测结果不包括人脸,则控制所述显示屏进入熄屏状态;
所述ISP,用于当所述电子设备处于非低功耗模式时,则通过所述CSID、所述图像前端接口接收来自所述第二摄像头采集的第二图像,以及对所述第二图像进行第一预设处理,得到第一处理结果;将所述第一处理结果发送至所述主处理器;
所述主处理器,还用于根据所述第一处理结果判断所述电子设备的显示屏是否被注视,若否,则控制所述显示屏进入熄屏状态,若是,则控制所述显示屏进入亮屏状态。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010765986.7A CN111880640B (zh) | 2020-07-31 | 2020-07-31 | 屏幕控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010765986.7A CN111880640B (zh) | 2020-07-31 | 2020-07-31 | 屏幕控制方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111880640A CN111880640A (zh) | 2020-11-03 |
CN111880640B true CN111880640B (zh) | 2022-03-22 |
Family
ID=73204412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010765986.7A Active CN111880640B (zh) | 2020-07-31 | 2020-07-31 | 屏幕控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111880640B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112331095A (zh) * | 2020-11-27 | 2021-02-05 | 江苏高明安光电有限公司 | 一种条形超薄液晶模组 |
CN112764343A (zh) * | 2021-01-20 | 2021-05-07 | 深圳市沃特沃德信息有限公司 | 智能手表的控制方法、装置、智能手表及存储介质 |
CN113903317B (zh) * | 2021-10-19 | 2023-06-27 | Oppo广东移动通信有限公司 | 电子设备的屏幕亮度调节方法、装置以及电子设备 |
CN118057498A (zh) * | 2022-11-21 | 2024-05-21 | Oppo广东移动通信有限公司 | 人眼注视检测方法及装置、电子设备、存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3159784A1 (en) * | 2015-10-22 | 2017-04-26 | Samsung Electronics Co., Ltd. | Electronic device having bent display and control method thereof |
CN107240072A (zh) * | 2017-04-27 | 2017-10-10 | 努比亚技术有限公司 | 一种屏幕亮度调节方法、终端和计算机可读存储介质 |
CN107844160A (zh) * | 2016-09-20 | 2018-03-27 | 仁宝电脑工业股份有限公司 | 折叠式电子装置 |
CN108469893A (zh) * | 2018-03-09 | 2018-08-31 | 海尔优家智能科技(北京)有限公司 | 显示屏的控制方法、装置、设备及计算机可读存储介质 |
CN110519443A (zh) * | 2018-05-22 | 2019-11-29 | 维沃移动通信有限公司 | 一种亮屏方法及移动终端 |
CN110651296A (zh) * | 2017-05-22 | 2020-01-03 | 三星电子株式会社 | 处理通过使用照相机获取的图像的电子设备及其操作方法 |
CN111147667A (zh) * | 2019-12-25 | 2020-05-12 | 华为技术有限公司 | 一种熄屏控制方法及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102281233B1 (ko) * | 2013-03-14 | 2021-07-23 | 삼성전자 주식회사 | 화면 제어 방법 및 장치 |
CN105759935B (zh) * | 2016-01-29 | 2019-01-18 | 华为技术有限公司 | 一种终端控制方法及终端 |
US10506161B2 (en) * | 2017-10-26 | 2019-12-10 | Qualcomm Incorporated | Image signal processor data traffic management |
CN110826374B (zh) * | 2018-08-10 | 2023-07-14 | Oppo广东移动通信有限公司 | 监测人眼注视时间的方法和装置、存储介质、电子设备 |
-
2020
- 2020-07-31 CN CN202010765986.7A patent/CN111880640B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3159784A1 (en) * | 2015-10-22 | 2017-04-26 | Samsung Electronics Co., Ltd. | Electronic device having bent display and control method thereof |
CN107844160A (zh) * | 2016-09-20 | 2018-03-27 | 仁宝电脑工业股份有限公司 | 折叠式电子装置 |
CN107240072A (zh) * | 2017-04-27 | 2017-10-10 | 努比亚技术有限公司 | 一种屏幕亮度调节方法、终端和计算机可读存储介质 |
CN110651296A (zh) * | 2017-05-22 | 2020-01-03 | 三星电子株式会社 | 处理通过使用照相机获取的图像的电子设备及其操作方法 |
CN108469893A (zh) * | 2018-03-09 | 2018-08-31 | 海尔优家智能科技(北京)有限公司 | 显示屏的控制方法、装置、设备及计算机可读存储介质 |
CN110519443A (zh) * | 2018-05-22 | 2019-11-29 | 维沃移动通信有限公司 | 一种亮屏方法及移动终端 |
CN111147667A (zh) * | 2019-12-25 | 2020-05-12 | 华为技术有限公司 | 一种熄屏控制方法及电子设备 |
Non-Patent Citations (1)
Title |
---|
Android移动终端的电源管理系统设计与优化;杨柏松;《中国优秀硕士学位论文全文数据库》;20170930;I135-278 * |
Also Published As
Publication number | Publication date |
---|---|
CN111880640A (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111880640B (zh) | 屏幕控制方法、装置、电子设备及存储介质 | |
CN110058694B (zh) | 视线追踪模型训练的方法、视线追踪的方法及装置 | |
JP7266672B2 (ja) | 画像処理方法および画像処理装置、ならびにデバイス | |
CN108491775B (zh) | 一种图像修正方法及移动终端 | |
WO2019120029A1 (zh) | 智能调节屏幕亮度的方法、装置、存储介质及移动终端 | |
CN109993115B (zh) | 图像处理方法、装置及可穿戴设备 | |
US9549120B2 (en) | Adaptive data path for computer-vision applications | |
CN110781899B (zh) | 图像处理方法及电子设备 | |
US11977981B2 (en) | Device for automatically capturing photo or video about specific moment, and operation method thereof | |
CN111880711B (zh) | 显示控制方法、装置、电子设备及存储介质 | |
WO2019011098A1 (zh) | 解锁控制方法及相关产品 | |
CN111510630A (zh) | 图像处理方法、装置及存储介质 | |
CN112866576B (zh) | 图像预览方法、存储介质及显示设备 | |
WO2022267464A1 (zh) | 一种对焦的方法及相关设备 | |
CN111814745B (zh) | 手势识别方法、装置、电子设备及存储介质 | |
CN109302564B (zh) | 一种拍摄方法及移动终端 | |
CN111552389A (zh) | 注视点抖动消除方法、装置及存储介质 | |
WO2010150201A1 (en) | Geture recognition using chroma- keying | |
CN112733673B (zh) | 一种内容显示方法、装置、电子设备及可读存储介质 | |
US20230022444A1 (en) | Electronic device generating image and method for operating the same | |
CN112748797B (zh) | 一种眼球追踪方法及相关设备 | |
CN114519891A (zh) | 背光调节方法、装置及存储介质 | |
CN116366962A (zh) | 拍摄控制方法、装置、终端、存储介质及程序产品 | |
CN107995418B (zh) | 一种拍摄方法、装置及移动终端 | |
CN113849142B (zh) | 图像展示方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |