CN116450068A - 熄屏显示的控制方法、电子设备及存储介质 - Google Patents

熄屏显示的控制方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116450068A
CN116450068A CN202210021719.8A CN202210021719A CN116450068A CN 116450068 A CN116450068 A CN 116450068A CN 202210021719 A CN202210021719 A CN 202210021719A CN 116450068 A CN116450068 A CN 116450068A
Authority
CN
China
Prior art keywords
screen
display
electronic device
aon
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210021719.8A
Other languages
English (en)
Inventor
李经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210021719.8A priority Critical patent/CN116450068A/zh
Priority to PCT/CN2022/138948 priority patent/WO2023130927A1/zh
Publication of CN116450068A publication Critical patent/CN116450068A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例提供一种熄屏显示的控制方法、电子设备及计算机可读存储介质。熄屏显示的控制方法包括:显示屏处于灭屏状态时,电子设备启动人脸检测功能,并通过前置摄像头获取图像数据;电子设备识别图像数据包括全部或部分脸部图像,并确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,显示屏显示熄屏显示界面。可以看出:电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,显示屏才显示熄屏显示界面,如此,可避免电子设备进入展示熄屏显示界面反复显示。

Description

熄屏显示的控制方法、电子设备及存储介质
技术领域
本申请涉及显示技术领域,尤其涉及一种熄屏显示的控制方法、电子设备及计算机可读存储介质。
背景技术
熄屏显示是一种在电子设备的熄屏状态下的显示功能,相较于常规显示,其功耗较低,同时也能满足用户获知日期、时间、备忘提醒等消息的要求。图1a提供了电子设备的一种熄屏显示界面,用户可通过熄屏显示界面获知日期和时间。
电子设备提供的熄屏显示的启动方式为:电子设备处于灭屏状态,用户触摸显示屏,电子设备展示熄屏显示界面。但若用户不方便触摸显示屏,则无法让电子设备展示熄屏显示界面。
发明内容
本申请提供了一种熄屏显示的控制方法、电子设备及计算机可读存储介质,目的在于实现方便的触发电子设备展示熄屏显示界面。
为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供了一种可应用于电子设备的熄屏显示的控制方法,包括:电子设备的显示屏处于灭屏状态时,电子设备启动人脸检测功能,并通过前置摄像头获取图像数据;电子设备识别图像数据包括全部或部分脸部图像;电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,电子设备的显示屏显示熄屏显示界面。
由上述内容可以看出:显示屏灭屏,电子设备启动人脸检测功能。人脸检测功能被启动之后,电子设备可通过前置摄像头获取图像数据,并在确定图像数据包括部分或全部脸部图像,以及确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,电子设备的显示屏显示熄屏显示界面时,如此实现了电子设备的显示屏灭屏,人脸靠近显示屏触发电子设备展示熄屏显示界面这种方便的触发方式。
并且,电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,显示屏才显示熄屏显示界面,如此,还可避免熄屏显示界面被反复显示,电子设备进入“检测到人脸->展示熄屏显示界面->一定时长后熄屏显示界面消失->检测到人脸”的死循环中。
在一个可能的实施方式中,电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,电子设备的显示屏显示熄屏显示界面,包括:电子设备确定人脸检测事件的上报时间,与前一次人脸检测事件的上报时间的差值不小于阈值时,电子设备的显示屏显示熄屏显示界面,人脸检测事件由电子设备识别图像数据包括全部或部分脸部图像而生成。
在一个可能的实施方式中,还包括:电子设备确定本次识别到图像数据包括全部或部分脸部图像,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值小于阈值时,电子设备的显示屏维持灭屏状态。
在一个可能的实施方式中,电子设备的显示屏维持灭屏状态之前,还包括:电子设备确定电子设备持续处于静止状态。
在一个可能的实施方式中,还包括:电子设备确定电子设备未持续处于静止状态,电子设备的显示屏显示熄屏显示界面。
在本可能的实施方式中,电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值小于阈值,但电子设备未持续处于静止状态,即电子设备的姿态产生变化,则触发显示屏显示熄屏显示界面。
在一个可能的实施方式中,电子设备确定电子设备持续处于静止状态,包括:电子设备确定电子设备在预定时间段内为同一姿态,预定时间段指代:人脸检测功能开启时刻,到本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值的时间段。
在一个可能的实施方式中,电子设备确定电子设备在预定时间段内为同一姿态,包括:电子设备利用加速度传感器的三轴检测数据,确定电子设备在预定时间段内为同一姿态。
在一个可能的实施方式中,电子设备的显示屏维持灭屏状态之前,还包括:电子设备确定电子设备所处环境的光亮维持稳定。
在一个可能的实施方式中,还包括:电子设备确定电子设备所处环境的光亮没有维持稳定,电子设备的显示屏显示熄屏显示界面。
在本可能的实施方式中,电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值小于阈值,但电子设备所处环境的光亮没有维持稳定,可以实现即便用户持续位于显示屏前,但只要电子设备的所处环境的亮度产生变化,则可触发显示屏显示熄屏显示界面。
在一个可能的实施方式中,电子设备确定电子设备所处环境的光亮维持稳定,包括:电子设备通过环境光传感器检测环境光亮度;电子设备确定环境光传感器检测的环境光亮度在预定时间段内的维持稳定,预定时间段指代:人脸检测功能开启时刻,到本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值的时间段。
在一个可能的实施方式中,电子设备的显示屏维持灭屏状态之前,还包括:电子设备确定电子设备未检测到物体靠近和远离的变化。
在一个可能的实施方式中,还包括:电子设备确定电子设备检测到物体靠近和远离的变化,电子设备的显示屏显示熄屏显示界面。
在本可能的实施方式中,电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值小于阈值,但电子设备检测到物体靠近和远离的变化,电子设备的显示屏显示熄屏显示界面,可以实现即便用户持续位于显示屏前,只要电子设备有物体靠近或远离,则可触发显示屏显示熄屏显示界面。
在一个可能的实施方式中,电子设备确定电子设备未检测到物体靠近和远离的变化,包括:电子设备通过接近光传感器检测物体,得到上报事件;电子设备确定上报事件在预定时间段内持续为远离事件,或在预定时间段内持续为接近事件,预定时间段指代:人脸检测功能开启时刻,到本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值的时间段。
在一个可能的实施方式中,电子设备的处理器包括智能传感集线器sensor hub,sensor hub包括:AON模块;电子设备的显示屏处于灭屏状态时,电子设备启动人脸检测功能,包括:电子设备的显示屏处于灭屏状态时,电子设备启动AON模块执行人脸检测功能。
在一个可能的实施方式中,电子设备的处理器包括:虚拟摄像头单元Virtual AONCamera;基于此,电子设备的显示屏处于灭屏状态时,电子设备启动人脸检测功能,包括:Virtual AON Camera确定显示屏处于灭屏状态时,启动人脸检测功能。
在一个可能的实施方式中,Virtual AON Camera确定显示屏处于灭屏状态时,启动人脸检测功能之前,还包括:Virtual AON Camera接收显示屏的显示状态,并记录显示屏的显示状态。
在本可能的实施方式中,因Virtual AON Camera接管人脸检测功能的开启/关闭,需要获知显示屏的显示状态。考虑到显示屏灭屏,AP会进入休眠,因此,在AP进入休眠前,Virtual AON Camera接收显示屏的灭屏状态,并记录显示屏的灭屏状态。
在一个可能的实施方式中,Virtual AON Camera确定显示屏处于灭屏状态时,启动人脸检测功能之后,还包括:Virtual AON Camera确定图像数据包括部分或全部图像数据时,唤醒电子设备的应用处理器,并向应用处理器发送显示屏的显示状态。
在本可能的实施方式中,因电子设备的显示屏显示熄屏显示界面需要依赖应用处理器AP处于唤醒状态,因此,Virtual AON Camera确定图像数据包括部分或全部图像数据时需要先唤醒AP。因AP休眠过程中,显示屏的显示状态由Virtual AON Camera记录,因此,在AP被唤醒后,Virtual AON Camera将自己记录的显示屏的显示状态向AP发送,保证AP的正常运行。
在一个可能的实施方式中,电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,电子设备的显示屏显示熄屏显示界面之后,还包括:电子设备判断显示屏处于非灭屏状态时,关闭人脸检测功能。
在一个可能的实施方式中,电子设备启动人脸检测功能之前,还包括:电子设备确定电子设备满足预设条件;其中,预设条件包括电子设备的显示屏不处于向下的姿态,电子设备所处环境的亮度不小于第一阈值,以及电子设备未检测到物体靠近。
在一个可能的实施方式中,电子设备确定电子设备的显示屏不处于向下的姿态,确定环境光亮度不小于第一阈值,还确定接收到远离事件,说明电子设备的显示屏处于向上姿态,亮度足够的环境,没有物体靠近,可启动人脸检测功能,避免电子设备没有处于向上姿态,或者所处环境亮度不够,或者有物体遮挡导致的启动人脸检测功能造成的功耗浪费。
第二方面,本申请提供了一种电子设备,包括:一个或多个处理器、存储器、显示屏和前置摄像头;存储器和显示屏、以及前置摄像头与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,电子设备执行如第一方面任意一项的熄屏显示的控制方法。
第三方面,本申请提供了一种计算机存储介质,用于存储计算机程序,计算机程序被执行时,具体用于实现如第一方面任意一项的熄屏显示的控制方法。
第四方面,本申请提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面任意一项的熄屏显示的控制方法。
附图说明
图1a为熄屏显示界面的展示图;
图1b为本申请提供的一种应用场景图;
图2a为本申请提供的电子设备的硬件结构图;
图2b为本申请提供的电子设备的软件架构图;
图3为本申请提供的电子设备的一种界面的展示图;
图4为本申请提供的电子设备的另一种界面的展示图;
图5为本申请实施例一提供的一种熄屏显示的控制方法的信令图;
图6为本申请实施例二提供的一种熄屏显示的控制方法的信令图;
图7为本申请实施例三提供的一种熄屏显示的控制方法的信令图;
图8为本申请实施例四提供的一种熄屏显示的控制方法的信令图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例涉及的多个,是指大于或等于两个。需要说明的是,在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
为了更清楚地阐明本申请技术方案,下面对本申请涉及的相关概念进行解释。
1)AOD(Always On Display,常亮显示)显示界面,也称熄屏显示界面,属于一种低功耗的展示界面,该界面一般展示一些提示用户的消息,如时间,日期,手机电量等。另外,该界面还可展示动画效果,与提示用户的消息进行同步显示。
2)帧率(Frames Per Second)是指:摄像头采集图像的速度。
目前,熄屏显示是一种在电子设备的熄屏状态下的显示功能,相较于常规显示,其功耗较低,同时也能满足用户获知日期、时间、备忘提醒等消息的要求。电子设备提供的启动熄屏显示的方式为:电子设备处于灭屏状态,用户触摸显示屏,电子设备展示熄屏显示界面。
但若用户不方便触摸显示屏,则无法让电子设备展示AOD显示界面。针对该问题,本申请实施例提出一种熄屏显示的控制方法,可以实现如图1b所示,在显示屏处于灭屏状态,由人脸触发电子设备展示AOD显示界面。
本申请实施例提供的熄屏显示的控制方法,可以适用于手机,平板电脑,桌面型、膝上型、笔记本电脑,超级移动个人计算机(Ultra-mobile Personal Computer,UMPC),手持计算机,上网本,个人数字助理(Personal Digital Assistant,PDA),可穿戴电子设备,智能手表等电子设备。
以手机为例,图2a为本申请实施例提供的一种电子设备的组成示例。如图2a所示,电子设备100可以包括处理器110,内部存储器120,摄像头130,显示屏140,天线1,天线2,移动通信模块150,无线通信模块160以及传感器模块170等。其中传感器模块170可以包括加速度传感器170A,接近光传感器170B和环境光传感器170C等。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,智能传感集线器(sensorhub)和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
一些实施例中,处理器110中的智能传感集线器(sensor hub)能够提供一种基于低功耗MCU和轻量级RTOS操作系统之上的软硬件结合的解决方案,其主要功能是连接并处理来自各种传感器设备的数据。
sensor hub可包括:AON(Always on)模块,信号处理器和存储器(On-chip SRAM)。AON模块属于独立低功耗模块,包括:AON_ISP和人脸检测(Face Detect,FD)模块。AON_ISP可以理解成是一个Mini-ISP,用于处理摄像头130反馈的数据。一些实施例中,AON_ISP将摄像头感光元件转换的电信号,转化为图像数据。FD模块用于对AON_ISP输出的图像数据进行人脸检测,得到人脸检测事件。
信号处理器,可以理解成是传感芯片,如SSC(Snapdragon Sensing Core),用于传输FD模块得到的人脸检测事件。
On-chip SRAM用于保存AON_ISP得到的图像数据。
内部存储器120可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器120的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器120的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备通过GPU,显示屏230,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏230和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏230用于显示图像,视频等。显示屏230包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oled,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏230,N为大于1的正整数。
电子设备100可以通过ISP,摄像头130,视频编解码器,GPU,显示屏140以及应用处理器等实现拍摄功能。
ISP用于处理摄像头130反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头130中。
摄像头130用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头130,N为大于1的正整数。
一些实施例中,摄像头130可被设置为电子设备的前置摄像头,用于拍摄位于电子设备的显示屏前方的人脸图像。还需要说明的是,前置摄像头可以理解成运行时能够拍摄显示屏前方的图像的摄像头,其装设位置可不限制。
一些实施例中,摄像头130可具有三种工作模式,环境光检测(Ambient LightSensor,ALS)模式,超低功耗(Ultra Low Power,ULP)模式和Normal模式。
显示屏处于灭屏状态,摄像头130可以ALS模式运行,以配置的时间间隔,生成超低分辨率图像。处于ALS模式的摄像头130利用超低分辨率图像的图像数据,进行光影变化的检测,得到光影变化的检测结果。其中,摄像头130利用超低分辨率图像的图像数据,进行光影变化的检测,用于确定摄像头前是否有光影变化。
摄像头前有光影变化,摄像头可以ULP模式运行,生成较低分辨率的图像。较低分辨率的图像用于提供进行人脸检测。
摄像头被调用拍摄或摄像时,摄像头则以Normal模式运行。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
传感器模块170中,加速度传感器170A可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。一些实施例中,加速度传感器170A还可以用于识别电子设备姿态,应用于横竖屏切换,计步器,熄屏显示等应用。
接近光传感器170B可以包括例如发光二极管(LED)和光检测器,例如发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。一些实施例中,接近光传感器170B的检测结果可用于提供给电子设备,以确定是否启动人脸检测功能。
环境光传感器170C用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏140亮度。环境光传感器170C也可用于拍照时自动调节白平衡。一些实施例中,环境光传感器170C的检测结果可用于提供给电子设备,以确定是否启动人脸检测功能。
在一些实施例中,传感器模块170中的加速度传感器170A、接近光传感器170B和环境光传感器170C可在电子设备开机后处于运行状态,也可受电子设备的应用程序的触发而启动并运行。
另外,在上述部件之上,运行有操作系统。例如iOS操作系统,Android操作系统,Windows操作系统等。在操作系统上可以安装运行应用程序。
图2b是本申请实施例的电子设备的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图2b所示,应用程序包可以包括相机,图库,日历,通话,地图,设置(setting),AOD应用,注视检测以及人脸检测等应用程序。
其中,设置主要负责产品隔离及产品化信息管理。设置存储电子设备的属性信息。设置可根据电子设备的属性信息来确认电子设备是否具备人脸检测能力。设置确定具备人脸检测能力的电子设备,会暴露人脸检测功能开启的菜单。图3(a)展示的“智慧感知”和图3(b)展示的“识别到人脸出现熄屏显示”为人脸检测功能开启的菜单的一种示例。
AOD应用用于控制在显示屏展示熄屏显示界面。
注视检测用于实现控制人眼是否注视显示屏的检测。
人脸检测用于实现触发检测显示屏前是否出现人脸的功能。
并且,人脸检测开启,可使得AOD应用具备在显示屏前出现人脸,控制显示屏显示熄屏显示界面的功能。并且,AOD应用还能够在确定显示屏前出现人脸时,控制显示屏显示熄屏显示界面。
一些实施例中,AOD应用等应用程序可向电子设备的处理器发起注册流程,以启动接近光传感器、环境光传感器和加速度传感器,由接近光传感器进行是否有接近物靠近的检测,环境光传感器检测环境光亮度,加速度传感器进行电子设备加速度的检测。接近物可以理解成人或一般物体,也可以用物体来替代。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2b所示,应用程序框架层可以包括窗口管理器,内容提供器,电话管理器,资源管理器,通知管理器,视图系统,AON JNI Interface等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
AON JNI Interface用于完成消息的上传下达。当AOD应用有开启/关闭熄屏显示功能的请求时,AON JNI Interface将该请求透传至AON Service的AON HIDL Interface。当AON HIDL Interface上报人脸检测事件时,AON JNI Interface把人脸检测事件传递至AOD应用。
并且,若电子设备存在多个智慧感知的功能时,AON JNI Interface还用于实现多个智慧感知的功能间的配合调度。在一个示例中,电子设备配置有人脸检测和注视检测两个智慧感知的功能,当注视检测工作时,AON JNI Interface将人脸检测挂起;当注视检测执行完成,再执行人脸检测功能。
另外,若电子设备依赖上层系统做一些功能开关控制时,也放在AON JNIInterface里面。例如,电子设备有睡眠检测功能,当用户睡觉的时候就关闭人脸检测功能。睡眠事件的触发与退出就是通过AON JNI Interface传递的。
AON JNI Interface还用于为一些上层服务提供功能开关的控制。在一个示例中,电子设备有睡眠检测服务,电子设备的睡眠检测进程运行可实现睡眠检测功能。在电子设备的睡眠检测进程运行得到睡眠事件时,AON JNI Interface可传递睡眠事件,以关闭人脸检测功能。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。在本申请一些实施例中,应用冷启动会在Android runtime中运行,Android runtime由此获取到应用的优化文件状态参数,进而Android runtime可以通过优化文件状态参数判断优化文件是否因系统升级而导致过时,并将判断结果返回给应用管控模块。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG2,H.262,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染、合成和图层处理等。
二维图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,AON service,虚拟摄像头单元Virtual AON Camera和AON Driver等。
其中:摄像头驱动可用于驱动摄像头130运行。一些实施例中,摄像头驱动控制摄像头130以Normal模式运行。
传感器驱动可用于驱动加速度传感器170A、接近光传感器170B、以及环境光传感器170C运行。
AON service包括:AON HIDL Interface、AON HIDL Implement和AON CameraHAL。这三个部分共同组成了摄像头130的控制逻辑。电子设备包括多个摄像头130,AONcamera HAL用于完成多个摄像头130的调度。另外,摄像头130的三种工作模式的切换控制也由AON Camera HAL实现。
Virtual AON Camera用于在AP休眠后,接管人脸检测功能的开启/关闭。具体可根据显示屏的显示状态、电子设备姿态、接近光传感器的检测结果及环境光亮度动态开启/关闭人脸检测功能。Virtual AON Camera还用于接收人脸检测事件,唤醒AP并上报人脸检测事件;未收到人脸检测事件时不处理也不唤醒AP。
AON service用于驱动AON模块运行。
需要说明的是,本申请实施例虽然以Android系统为例进行说明,但是其基本原理同样适用于基于iOS、Windows等操作系统的电子设备。
首先需要说明的是,本申请实施例中,电子设备可设置人脸识别模型。一些实施例中,人脸识别模型可由sensor hub调用。通常情况下,sensor hub中的FD模块调用人脸识别模型对图像数据进行人脸检测,得到人脸检测事件。人脸识别模型具有预测输入到人脸识别模型的图像数据是否包含人脸的功能。人脸识别模型可得到用于指示图像数据是否包括人脸的置信度,电子设备利用该置信度可确定图像数据是否包含人脸。
一些实施例中,人脸识别模型可采用卷积神经网络(Convolutional NeuralNetwork,CNN)、长短期记忆人工神经网络(Long-Short Term Memory,LSTM)等基础网络模型。
卷积神经网络通常包括:输入层、卷积层(Convolution Layer)、池化层(Poolinglayer)、全连接层(Fully Connected Layer,FC)和输出层。一般来说,卷积神经网络的第一层是输入层,最后一层是输出层。
卷积层(Convolution Layer)是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。
池化层(Pooling layer),通常在卷积层之后会得到维度很大的特征,将特征切成几个区域,取其最大值或平均值,得到新的、维度较小的特征。
全连接层(Fully-Connected layer),把所有局部特征结合变成全局特征,用来计算最后每一类的得分。
长短期记忆人工神经网络(Long-Short Term Memory,LSTM)通常包括输入层、隐含层以及输出层。其中,输入层由至少一个输入节点组成;当LSTM网络为单向网络时,隐含层仅包括前向隐含层,当LSTM网络为双向网络时,隐含层包括前向隐含层以及后向隐含层。对于每个输入节点分别与前向隐含层节点以及后向隐含层节点连接,用于分别向前向隐含层节点以及后向隐含层节点输出输入数据,每个隐含层中的隐含节点分别与输出节点连接,用于向输出节点输出自己的计算结果,输出节点根据隐含层的输出节点进行计算,并输出数据。
人脸识别模型可采用下述方式进行训练:
构建人脸识别原始模型。其中,人脸识别原始模型可选择CNN、LSTM等基础网络模型。
获取大量的训练样本,训练样本包括:包含人脸的图像样本以及不包含人脸的图像样本,并且,训练样本被标记出图像样本中是否包含人脸。一些实施例中,人脸可指代人脸关键信息,人脸关键信息可包括指示眼睛、鼻子、嘴的轮廓的图像信息中的至少一个。因此,包含人脸的图像样本可包括包含全部人脸的图像样本,以及包含部分人脸的图像样本,如包含人脸侧脸的图像样本,包含有遮挡的人脸的图像样本。
将训练样本输入到人脸识别原始模型,由人脸识别原始模型对训练样本是否包含人脸进行检测,得到检测结果。
利用损失函数对检测结果和每个训练样本的标记结果进行损失值的计算,得到模型的损失值。一些实施例中,可采用交叉熵损失函数、加权损失函数等损失函数进行损失值计算,或者采用多种损失函数组合的方式,计算多种损失值。
判断模型的损失值是否符合模型的收敛条件。
一些实施例中,模型收敛条件可以是,模型的损失值小于或等于预先设定的损失阈值。也就是说,可以将模型的损失值和损失阈值进行比较,若模型的损失值大于损失阈值,则可以判断出模型的损失值不符合模型收敛条件,反之,若模型的损失值小于或等于损失阈值,则可以判断出模型损失值符合模型收敛条件。
需要说明的是,多个训练样本,可以针对每一个训练样本计算得到对应的模型的损失值,这种情况下,只有在每一个训练样本的模型损失值均符合模型收敛条件的情况下才会执行,反之,只要有一个训练样本的模型损失值不符合模型收敛条件,则执行后续步骤。
若模型的损失值符合模型的收敛条件,则说明模型训练结束。训练结束的模型则可用于本申请实施例提出的熄屏显示的控制方法,对输入到模型的图像数据是否包含人脸的检测。
若模型的损失值不符合模型的收敛条件,则根据模型的损失值计算得到模型的参数更新值,并以模型的参数更新值,更新人脸识别原始模型。并利用更新后的模型,继续对训练样本进行处理,得到检测结果,继续执行后续过程,直至模型的损失值符合模型的收敛条件。
还需要说明的是,本申请实施例中,电子设备可提供一展示界面,可设置前述图2b中电子设备软件框架涉及的“人脸检测”应用。图3展示了该展示界面的一种示例。图3(a)中,辅助功能的展示界面包括“智慧感知”应用智慧感知。用户可点击“智慧感知”应用的控件,“智慧感知”应用的展示界面可显示于显示屏,具体如图3(b)所示。图3(b)展示的“智慧感知”应用包括三个功能应用,分别为:注视屏幕不熄屏,注视屏幕减弱来电音量,识别到人脸出现熄屏显示。其中,识别到人脸出现熄屏显示可理解成本申请实施例提出的“人脸检测”功能。图3(b)展示的“智慧感知”应用的展示界面中,“识别到人脸出现熄屏显示”该功能处于启动状态。对应的,电子设备的熄屏显示应用的展示界面会有所调整。
图3(c)展示了熄屏显示应用的展示界面的一种示例。图3(c)展示的熄屏显示应用的展示界面中,用户可通过点击“显示方式”查看熄屏显示的显示方式。“识别到人脸出现熄屏显示”这个功能被启动,熄屏显示的显示方式,会调整成智能显示的显示方式,如图3(d)展示。
若“识别到人脸出现熄屏显示”这个功能被关闭,熄屏显示的显示方式会有所变化,参见图4展示的界面示例。同样的,用户通过点击图4(a)展示的“智慧感知”应用的控件,控制显示屏显示“智慧感知”应用的展示界面。用户在图4(b)展示的“智慧感知”应用的展示界面,点击“识别到人脸出现熄屏显示”的控件,关闭该功能。对应的,熄屏显示应用的显示方式会调整为轻触显示。如图4(c)所示,用户点击熄屏显示应用的展示界面的“显示方式”,可图4(d)所示,熄屏显示应用的显示方式被调整为轻触显示。
实施例一
如图3(b)所示,电子设备的“识别到人脸出现熄屏显示”功能被启动,电子设备可实现显示屏灭屏时,人脸出现在显示屏前触发熄屏显示界面的输出。为实现该功能,图5示出了本实施例提供的一种熄屏显示的控制方法。本实施例提供的熄屏显示的控制方法,包括步骤:
S501、AOD应用获取显示屏的显示状态。
通常情况下,显示屏的显示状态包括:亮屏状态、灭屏状态和低功耗状态(doze),电子设备的显示屏展示AOD显示界面的状态,可以理解成是一种低功耗状态。AOD应用可通过监听显示驱动广播的事件,来获取显示屏的显示状态。
一些实施例中,电子设备的处理器包括电源管理模块。电源管理模块可理解成一个逻辑单元,用于监测应用程序发送或用户触发生成的亮灭屏请求,并利用亮灭屏逻辑来控制显示驱动来实现控制显示屏的工作状态。
以灭屏为例,灭屏触发方式包括:1、用户手动按电源键灭屏;2、系统的自动息屏管理,即用户一段时间内不输入操作,电子设备自动灭屏;3、系统主动发起的息屏,如打电话时遮挡灭屏、自动重启时系统下发的灭屏等。
电源管理模块判断上述任意一个灭屏触发方式被执行,则下发灭屏指令给显示驱动。显示驱动接收到电源管理模块下发的灭屏指令后给显示屏下电。同时,广播灭屏事件,AOD应用可监听该灭屏事件,确定显示屏的显示状态为灭屏状态。
同理,亮屏状态和低功耗状态,AOD应用可采用同样的方式获取。
S502、AOD应用向AON JNI Interface发送显示屏的显示状态。
如前述电子设备软件框架的内容,AON JNI Interface属于应用程序框架层,用于完成消息的上传下达,AOD应用向AON JNI Interface发送显示屏的显示状态,以使得AONJNI Interface将显示屏的显示状态向下层传递。
S503、AON JNI Interface接收显示屏的显示状态,向AON service发送显示屏的显示状态。
如前述电子设备软件框架的内容,AON service属于内核层,包括AON HIDLInterface、AON HIDL Implement和AON Camera HAL。AON JNI Interface向AON service发送显示屏的显示状态包括:AON JNI Interface向AON HIDL Interface发送显示屏的显示状态。
AON HIDL Interface接收到显示屏的显示状态,向AON HIDL Implement发送。AONHIDL Implement接收到显示屏的显示状态,向AON Camera HAL发送。
S504、AON service接收显示屏的显示状态,向Virtual AON Camera发送显示屏的显示状态。
AON Camera HAL接收到显示屏的显示状态,AON Camera HAL向Virtual AONCamera发送显示屏的显示状态。
需要说明的是,AON Service的运行依赖AP处于唤醒状态。若AP休眠,AON Service无法管控人脸检测功能的开启/关闭。基于此,Sensor hub包括Virtual AON Camera这个逻辑单元,用于在AP休眠是接管人脸检测功能的开启/关闭。
因Virtual AON Camera接管人脸检测功能的开启/关闭,需要获知显示屏的显示状态,因此AON service接收显示屏的显示状态,若显示屏的状态为灭屏状态,考虑到显示屏灭屏,AP会进入休眠,因此,在AP进入休眠前,AON service向Virtual AON Camera发送显示屏的显示状态。
S505、显示屏处于灭屏状态,AP进入休眠状态。
其中,显示屏灭屏,AP休眠。一些实施例中,AP可通过获知电源管理模块下发的灭屏指令,来确定显示屏灭屏。
S506、Virtual AON Camera记录显示屏的显示状态。
在AP休眠前,Virtual AON Camera会记录显示屏的显示状态,在AP被唤醒后,Virtual AON Camera可将显示屏的显示状态发送到AP。
还需要说明的是,在显示屏处于灭屏状态,AOD应用可发起注册请求,以请求启动人脸检测功能,以及请求接收人脸检测事件。在显示屏处于非灭屏状态,AOD应用可发起解注册请求,以请求解除注册,即关闭人脸检测功能,不接收人脸检测事件。
基于此,前述步骤S501至步骤S503中,AOD应用向下层发送的是AOD的注册消息。Virtual AON Camera记录的是AOD的注册消息。
S507、Virtual AON Camera向AON Driver发送启动人脸检测功能的指示。
显示屏灭屏,电子设备可启动人脸检测功能,以便实现在检测到人脸后,电子设备展示AOD显示界面。其中,Virtual AON Camera利用显示屏的显示状态,确定电子设备的显示屏灭屏,向AON Driver发送启动人脸检测功能的指示。
AON Driver如前述电子设备的软件框架的内容,属于内核层,用于驱动AON模块运行。
S508、AON Driver向AON模块发送启动人脸检测功能的指令。
AON Driver接收到启动人脸检测功能的指示后,可向AON模块发指令,控制AON模块启动人脸检测功能。
如前述电子设备的硬件结构内容,AON模块包括AON_ISP和FD模块,FD模块用于对AON_ISP输出的图像数据进行人脸检测。AON Driver向AON模块发送启动人脸检测功能的指令,可指代控制AON_ISP输出图像数据,并控制FD模块运行进行人脸检测。
需要说明的是,如图3(b)所示,用户手动启动电子设备的“识别到人脸出现熄屏显示”功能之后,电子设备并不会立即进行人脸是否出现在显示屏前,以触发熄屏显示界面的输出的检测。电子设备通过执行步骤S501至步骤S507,确定电子设备的显示屏处于灭屏状态时,通过执行步骤S508以启动人脸检测功能,实现检测人脸出现在显示屏前,触发显示熄屏显示界面。
如此可以看出:针对人脸出现在显示屏前,触发显示熄屏显示界面的功能,电子设备配置有两个启动开关,一个启动开关提供于用户进行手动触发,为如3(b)所示“识别到人脸出现熄屏显示”功能开关;另一个启动开关属于条件触发的自动启动开关,如步骤S508提及的电子设备的显示屏灭屏,人脸检测功能的启动指令。在电子设备配置的两个启动开关均被启动后,电子设备才可实现检测人脸出现在显示屏前,触发显示熄屏显示界面。
S509、摄像头拍摄图像数据。
一些实施例中,显示屏进入灭屏状态,AON Camera HAL驱动摄像头运行。
如前述电子设备的硬件结构内容,摄像头包括三个工作模式,摄像头以ALS模式运行,得到光影变化的检测结果,AON Camera HAL利用光影变化的检测结果确定摄像头前是否有光影变化,AON Camera HAL切换摄像头以ULP模式运行。摄像头以ULP模式运行,以设定的帧率,如5fps拍摄图像。摄像头拍摄一定数量的图像后,如3帧图像,可退出ULP模式,由AON Camera HAL切换摄像头以ALS模式运行。
一些实施例中,AON Camera HAL被配置有切换摄像头以ALS模式或ULP模式运行的控制逻辑。AON Camera HAL可以依据控制逻辑来控制摄像头以ALS模式运行或者以ULP模式运行。
需要说明的是,图5展示的是摄像头拍摄图像数据的执行顺序的一种示例,并不构成对步骤S509的执行顺序的限制。一些实施例中,摄像头可在显示屏进入灭屏状态后则被摄像头驱动启动来拍摄图像数据。
S510、AON模块获取摄像头拍摄的图像数据。
摄像头拍摄图像得到的图像数据是电信号形式。AON_ISP获取电信号,并将其转化为图像数据后提供于FD模块。
S511、AON模块检测图像数据是否包括人脸。
其中,FD模块检测图像数据是否包括人脸。一些实施例中,FD模块调用前述内容提出的人脸识别模型处理图像数据,得到用于指示图像数据是否包括人脸的置信度。
需要说明的是,FD模块检测图像数据是否包括人脸可以理解成:FD模块检测图像数据是否包括全部或部分人脸,如是否包含全部或部分的人脸关键信息。
若AON模块检测图像数据包括人脸,则执行S512、生成人脸检测事件。若AON模块检测图像数据不包括人脸,则显示屏维持灭屏状态。
其中,若FD模块确定置信度大于阈值,则说明图像数据包括人脸,则生成人脸检测事件,人脸检测事件用于指示摄像头拍摄的图像中包括人脸,说明电子设备的显示屏前有人脸。一些实施例中,人脸检测事件可为高低电平。
还需要说明的是,摄像头拍摄得到多帧图像,FD模块调用人脸识别模型处理每一帧图像的图像数据,得到每一帧图像的置信度。在一帧图像的置信度大于阈值,则生成人脸检测事件。当然,FD模块也可以在确定每一帧图像的置信度均大于阈值,生成人脸检测事件。
摄像头拍摄多帧图像,且FD模块确定每一帧图像的置信度均大于阈值,生成人脸检测事件,可以看出:FD模块确定一定时长内的图像数据均包括全部或部分人脸,则生成人脸检测事件。
还需要说明的是,AON模块检测图像数据包括人脸,AON模块生成人脸检测事件之前,还可以包括:AON模块检测图像数据包括设定特征,该设定特征为预先配置的图像特征。电子设备可通过摄像头拍摄电子设备的合法使用者,如电子设备的主人的图像,提取图像的关键特征,如眼睛、鼻子和嘴的轮廓的图像信息中的至少一个,提取的图像的关键特征可为设定特征。
基于此,AON模块检测图像数据包括人脸,再识别图像数据是否包括预先配置的图像特征。若AON模块识别到图像数据包括预先配置的图像特征,则生成人脸检测事件。如此,可以保证在电子设备的合法使用者出现在电子设备的显示屏前,才可触发电子设备通过显示屏展示熄屏显示界面。
S513、AON模块向信号处理器发送人脸检测事件。
其中,FD模块向信号处理器发送人脸检测事件。
S514、信号处理器向AON Driver发送人脸检测事件。
其中,信号处理器接收到人脸检测事件,向AON Driver发送人脸检测事件。
S515、AON Driver向Virtual AON Camera发送人脸检测事件。
FD模块得到人脸检测事件,说明电子设备的显示屏前出现人脸,可触发显示屏输出AOD显示界面,因此,AON Driver接收到人脸检测事件,向Virtual AON Camera发送人脸检测事件。
S516、Virtual AON Camera唤醒AP,并向AP发送记录的显示屏的显示状态。
因AON service的运行需要依赖AP处于唤醒状态,因此,Virtual AON Camera向上传人脸检测事件之前需要先唤醒AP。
因AP休眠过程中,显示屏的显示状态由Virtual AON Camera记录,因此,在AP被唤醒后,Virtual AON Camera将自己记录的显示屏的显示状态向AP发送。
S517、Virtual AON Camera向AON service发送人脸检测事件。
AP被唤醒,Virtual AON Camera和AON service可通信,Virtual AON Camera则可将人脸检测事件发送给AON service。
一些实施例中,如前述电子设备的软件框架的内容,AON service包括AON HIDLInterface、AON HIDL Implement和AON Camera HAL。Virtual AON Camera向AON CameraHAL发送人脸检测事件,AON Camera HAL向AON HIDL Implement发送人脸检测事件,AONHIDL Implement向AON HIDL Interface发送人脸检测事件。
S518、AON service向AON JNI Interface发送人脸检测事件。
其中,AON HIDL Interface接收到人脸检测事件,向AON JNI Interface发送人脸检测事件。
S519、AON JNI Interface向AOD应用发送人脸检测事件。
其中,AON JNI Interface接收到人脸检测事件,向AOD应用发送人脸检测事件。
S520、AOD应用控制显示屏显示AOD显示界面。
其中,AOD应用接收到人脸检测事件,确定电子设备的显示屏前出现人脸,则控制显示屏显示AOD显示界面,如此实现了用户通过人脸位于显示屏前,可触发电子设备的显示屏显示AOD显示界面。
一些实施例中,AOD应用控制显示屏显示AOD显示界面一定时长如5S后,显示屏可退出显示AOD显示界面,进行灭屏状态。
实施例二
实施例一提供的熄屏显示的控制方法,可实现在电子设备的显示屏灭屏时,人脸出现在显示屏前,显示屏显示AOD显示界面的功能。在实现该功能时,电子设备的人脸检测功能属于开启状态。在电子设备不需要开启人脸检测功能时,电子设备的人脸检测功能可被关闭。本实施例提供的熄屏显示的控制方法,可实现对人脸检测功能的关闭。
图6展示了本申请实施例提供的一种熄屏显示的控制方法,本实施例提供的熄屏显示的控制方法,包括步骤:
S601、AOD应用获取显示屏的显示状态。
S602、AOD应用向AON JNI Interface发送显示屏的显示状态。
S603、AON JNI Interface接收显示屏的显示状态,向AON service发送显示屏的显示状态。
S604、AON service接收显示屏的显示状态,向AP发送显示屏的显示状态。
其中,步骤S601至步骤S604的具体实现方式,可参见实施例一步骤S501至步骤S504的内容,此处不再赘述。
S605、AP确定显示屏处于亮屏状态或doze状态。
其中,AP可根据接收的显示状态,确定显示屏是否处于亮屏状态或doze状态。
S606、Virtual AON Camera向AP发送指示信息,以指示电子设备的人脸检测功能启动。
在显示屏处于亮屏或doze状态时,若电子设备的人脸检测功能被启动,会影响电子设备的正常使用,因此,应该需要将人脸检测功能关闭。为了能将人脸检测功能关闭,AP需要获知电子设备的人脸检测功能是否被开启。
一些实施例中,Virtual AON Camera可检测电子设备的人脸检测功能是否被启动。Virtual AON Camera确定电子设备的人脸检测功能被启动,则向AP发送指示信息,该指示信息用于表征电子设备的人脸检测功能启动。
另一些实施例中,AP也可向Virtual AON Camera发送指令,以使得Virtual AONCamera接收到指令后,确定电子设备的人脸检测功能是否被启动,并向AP发送指示信息。
还需要说明的是,图6展示的是步骤S606执行顺序的一种示例,但步骤S606并不限于该执行顺序,Virtual AON Camera可在步骤S605之前的任意时刻执行步骤S606。
S607、AP向AON Driver发送关闭人脸检测功能的指示。
AP确定显示屏处于亮屏状态或doze状态,且接收到Virtual AON Camera发送的指示信息,以确定电子设备的人脸检测功能启动,则向AON Driver发送关闭人脸检测功能的指示,以指示关闭人脸检测功能。
还需要说明的是,亮屏状态和doze状态均属于显示屏的非灭屏状态,但是显示屏的非灭屏状态可不限于亮屏状态和doze状态两种。在显示屏处于非灭屏状态时,AP收到Virtual AON Camera发的指示信息,以指示电子设备的人脸检测功能启动,AP则向AONDriver发送关闭人脸检测功能的指示,以指示关闭人脸检测功能。
S608、AON Driver向AON模块发送关闭人脸检测功能的指令。
其中,AON Driver收到AON Driver发送关闭人脸检测功能的指示,向AON模块发送关闭人脸检测功能的指令。
AO模块收到该指令,关闭人脸检测功能。一些实施例中,AON Driver向AON模块发送关闭人脸检测功能的指令,可指代控制FD模块关闭人脸检测。
FD模块关闭人脸检测,则不会执行对摄像头拍摄的图像数据进行是否包括人脸的检测,也不会上报人脸检测事件,基于此,AOD应用也不受人脸检测事件的触发,控制显示屏显示AOD显示界面,实现了在电子设备的显示屏处于非灭屏状态时,不显示AOD显示界面。
实施例三
实施例一提供的熄屏显示的控制方法的步骤S507中,Virtual AON Camera向AONDriver发送启动人脸检测功能的指示,可以是Virtual AON Camera确定电子设备满足一定的条件时,向AON Driver发送启动人脸检测功能的指示。本实施例提供的熄屏显示的控制方法,对此进行介绍。
本实施例中,Virtual AON Camera按照实现功能来看,可包括:显示状态处理模块、加速度监测模块、接近光监测模块、环境光监测模块、姿态检测模块、人脸检测启动条件判断模块、人脸检测停止条件判断模块、人脸事件上报模块、以及异常打点模块几个逻辑模块。
其中:显示状态处理模块,用于负责接收上层下发的显示状态指令,解析消息并记录当前显示状态。并根据显示状态及人脸检测模块的启停情况,综合电子设备的传感器信息,决策启动或停止人脸检测功能。
加速度监测模块,用于负责接收加速度传感器发送的加速度变化数据,并把加速度变化数据转发至姿态监测模块。
接近光监测模块,用于负责接收接近光传感器发送的接近光变化事件,并记录接近光(接近或远离)事件。
环境光监测模块,用于负责接收环境光传感器发送的环境光亮度,并记录环境光亮度。
姿态检测模块,用于负责接收加速度监测模块传递的数据,识别并记录电子设备的姿态。
人脸检测启动条件判断模块,用于负责根据人脸检测启动条件,启动人脸检测功能。
人脸检测停止条件判断模块,用于负责根据人脸检测停止条件,停止人脸检测功能。
人脸事件上报模块,用于负责接收人脸检测事件,如检测到人脸,则唤醒AP并上报人脸检测事件;如检测到非人脸,则不做处理,继续回到人脸检测模式。
异常打点模块,用于负责识别流程及功能异常,对异常进行打点记录并上报。
图7展示了本申请实施例提供的一种熄屏显示的控制方法,本实施例提供的熄屏显示的控制方法,包括步骤:
S701、接近光传感器进行接近物靠近检测,得到接近事件或远离事件。
其中,接近光传感器检测到有接近物靠近,生成接近事件;接近光传感器没有检测到接近物靠近,生成远离事件。一些实施例中,接近事件和远离事件可为高低电平,一个示例中,高电平指代接近事件,低电平指代远离事件。
S702、环境光传感器检测得到环境光亮度。
其中,环境光传感器用于检测电子设备所处环境的环境光,得到环境光亮度。
S703、加速度传感器检测得到三轴检测数据。
其中,加速度传感器检测电子设备在x、y和z三个轴的加速度大小,得到x、y和z三个轴的检测数据。
S704、接近光传感器向Virtual AON Camera发送接近事件或远离事件。
其中,接近光监测模块接收接近光传感器发送的接近事件或远离事件。
S705、环境光传感器向Virtual AON Camera发送环境光亮度。
其中,环境光监测模块接收环境光传感器发送的环境光亮度。
S706、加速度传感器向Virtual AON Camera发送三轴检测数据。
其中,加速度监测模块接收加速度传感器发送的三轴检测数据。
还需要说明的是,图7展示的是步骤S701至步骤S706执行顺序的一种示例,但步骤S701至步骤S706并不限于该执行顺序。一些实施例中,Virtual AON Camera可并行执行步骤S704、步骤S705、步骤S706以及步骤S707。
S707、Virtual AON Camera接收并记录显示屏的显示状态。
其中,Virtual AON Camera接收AON service发送显示屏的显示状态。其中,AONservice发送显示屏的显示状态可如实施例一的步骤S504内容,此处不再赘述。
具体的,显示状态处理模块接收并记录显示屏的显示状态。
还需要说明的是,步骤S707可以理解成是实施例一中的步骤S506。当然,步骤S707执行之前,电子设备需执行实施例一的步骤S501至步骤S505,本实施例对此不进行详细说明,可参见实施例一的内容。
S708、Virtual AON Camera判断显示状态是否为灭屏状态。
其中,显示状态处理模块利用显示屏的显示状态,确定显示屏是否为灭屏状态。
Virtual AON Camera判断显示状态为灭屏状态,则执行步骤S709至步骤S711。Virtual AON Camera判断显示状态不是灭屏状态,则执行步骤S712和步骤S713。
S709、Virtual AON Camera判断人脸检测功能是否启动。
其中,显示状态处理模块判断人脸检测功能是否启动。
需要说明的是,图7展示的是步骤S707、步骤S708和步骤S709的执行顺序的一种示例。步骤S707、步骤S708和步骤S709并不限于该执行顺序。一些实施例中,Virtual AONCamera可并行执行步骤S707和步骤S709,或先执行步骤S709,再执行步骤S707、步骤S708。
并且,步骤S709也可以是可选择性执行的步骤。一些实施例中,Virtual AONCamera判断显示状态为灭屏状态,可直接执行步骤S710。
S710、Virtual AON Camera利用三轴检测数据判断电子设备是否不为第一姿态,判断环境光亮度是否不小于第一阈值,以及判断是否接收远离事件。
其中,第一姿态可以理解成电子设备的显示屏向下的姿态,包括显示屏完全向下的姿态以及以一定角度倾斜向下的姿态。Virtual AON Camera可处理三轴检测数据,得到电子设备的姿态。一些实施例中,Virtual AON Camera可利用下述公式一至公式三,处理三轴检测数据,得到俯仰角g_pitch。Virtual AON Camera判断计算得到的俯仰角是否满足门限范围,如[110°-350°]。若计算得到的俯仰角在门限范围内,则说明电子设备处于第一姿态。若计算得到的俯仰角不在门限范围内,则说明电子设备不处于第一姿态。
acc_data[PS_DATA_X]=ps_gesture_acc_data.x×SENSOR_DATA_FACTOR 公式一
acc_data[PS_DATA_Y]=ps_gesture_acc_data.y×SENSOR_DATA_FACTOR 公式二
acc_data[PS_DATA_Z]=ps_gesture_acc_data.z×SENSOR_DATA_FACTOR 公式三
公式一中,ps_gesture_acc_data.x为加速度传感器x轴的检测数据。
公式二中,ps_gesture_acc_data.y为加速度传感器y轴的检测数据。
公式三中,ps_gesture_acc_data.z为加速度传感器z轴的检测数据。
公式一到公式三中,SENSOR_DATA_FACTOR=100。
公式四中,FLAT_ANGLE=180;PEI=3.1415926。
第一阈值是电子设备所处环境的环境光亮度是否足以支持摄像头拍摄得到清楚图像的评判数值,环境光亮度不小于第一阈值,则说明电子设备所处的环境光亮度,足以支持摄像头拍摄到清楚图像。一个示例中,第一阈值可为6lux。
一些实施例中,Virtual AON Camera可判断环境光传感器上报的一个环境光亮度是否不小于第一阈值。
另一些实施例中,环境光传感器可持续检测环境光亮度,得到多个环境光亮度,并将每个环境光亮度上报给Virtual AON Camera。Virtual AON Camera持续判断每个环境光亮度是否不小于第一阈值。一个示例中,Virtual AON Camera判断连续5个环境光亮度是否不小于第一阈值。
需要说明的是,本步骤中,可由Virtual AON Camera中的人脸检测启动条件判断模块,执行利用三轴检测数据判断电子设备是否为第一姿态,判断环境光亮度是否不小于第一阈值,以及判断是否接收远离事件的步骤。
Virtual AON Camera利用三轴检测数据判断电子设备不为第一姿态,判断环境光亮度不小于第一阈值,以及判断接收到远离事件,则执行S711、Virtual AON Camera启动人脸检测功能。
一些实施例中,Virtual AON Camera利用三轴检测数据判断电子设备的俯仰角不处于门限范围内,如[110°-350°];判断连续多个环境光亮度(如5个)不小于第一阈值,如6lux;判断接收到远离事件,则启动人脸检测功能。
具体的,人脸检测启动条件判断模块启动人脸检测功能。一些实施例中,VirtualAON Camera向AON Driver发送启动人脸检测功能的指示。
需要说明的是,步骤S711可以理解成是实施例一中的步骤S507。当然,步骤S711执行之后,电子设备需执行实施例一的步骤S508至步骤S520,本实施例对此不进行详细说明,可参见实施例一的内容。
AON Driver接收启动人脸检测功能的指示之后,可执行实施例一提供的步骤S508。如此,电子设备的人脸检测功能则被启动,AON模块可获取摄像头拍摄的图像数据,并检测图像数据是否包括人脸,并根据人脸检测结果,生成人脸检测事件。
如实施例一所述,Virtual AON Camera也接收AON Driver发送的人脸检测事件,并执行步骤S516和步骤S517。其中,可由人脸事件上报模块执行步骤S516和步骤S517。
需要说明的是,Virtual AON Camera利用加速度传感器的三轴检测数据,确定电子设备不处于第一姿态,确定环境光亮度不小于第一阈值,还确定接收到远离事件,说明电子设备的显示屏处于向上姿态,亮度足够的环境,没有接近物靠近,可启动人脸检测功能。
还需要说明的是,Virtual AON Camera判断下述三个条件中至少一个条件满足,则不启动人脸检测功能。三个条件包括:条件1、利用三轴检测数据判断电子设备为第一姿态;条件2、判断环境光亮度小于第一阈值,条件3、判断接收到接近事件。
条件1满足,说明电子设备是显示屏向下姿态,属于用户不能看到显示屏的姿态,如显示屏扣放姿态。在该姿态下,电子设备启动人脸检测功能,显示屏显示AOD显示界面,也不能被用户看到,因此可不启动人脸检测功能,以避免功耗浪费。
条件2满足,说明电子设备所处环境的亮度太低,电子设备启动人脸检测功能,摄像头拍摄的图像数据,也不足以识别出是否包括人脸,因此也可不启动人脸检测功能,同样避免功耗浪费。
条件3满足,说明有接近物靠近电子设备,如电子设备被放置到包里的使用场景,也可不启动人脸检测功能,避免功耗浪费。
需要指出的是,条件2中,环境光亮度小于第一阈值,可以指代连续多个环境光亮度包括至少一个环境光亮度小于第一阈值。一个示例中,连续5个环境光亮度小于6lux。当然条件2也可为判断环境光亮度小于其他小于第一阈值的数值,如3lux。
S712、Virtual AON Camera判断人脸检测功能是否启动。
其中,显示状态处理模块判断人脸检测功能是否启动。
需要说明的是,步骤S712和步骤S708也可不限于图7展示的执行顺序。一些实施例中,可先执行步骤S712,再执行步骤S708。
Virtual AON Camera判断人脸检测功能启动,则执行S713、Virtual AON Camera向AP发送指示信息,以指示电子设备的人脸检测功能启动。
其中,Virtual AON Camera判断人脸检测功能启动,显示屏不处于灭屏状态,则向AP发送指示信息,以指示电子设备的人脸检测功能启动。需要说明的是,步骤S713可以理解成是实施例二中的步骤S606。其中,AP接收到指示信息后,可执行实施例二提供的步骤S607,并且,AON Driver执行实施例二提供的步骤S608。
还需要说明的是,Virtual AON Camera的人脸检测停止条件判断模块可执行步骤S713。
还需要说明的是,在电子设备的人脸检测功能被启动过程中,Virtual AONCamera也可利用加速度传感器、接近光传感器以及环境光传感器的检测数据,来评判是否要关闭人脸检测功能。
其中,Virtual AON Camera可利用加速度传感器的三轴检测数据判断电子设备是否为第一姿态,利用环境光传感器检测到的环境光亮度是否小于第一阈值,或者利用判断是否接收接近光传感器上报的接近事件。
Virtual AON Camera利用三轴检测数据判断电子设备为第一姿态,环境光亮度小于第一阈值,或者接收接近事件,则执行步骤S712和步骤S713。
一些实施例中,Virtual AON Camera利用三轴检测数据,按照前述步骤S710提供的公式,计算出俯仰角。判断计算出的俯仰角在门限范围,如[110°-350°],则认定电子设备处于第一姿态。
环境光亮度小于第一阈值,可以指代环境光传感器上报的一个环境光亮度小于第一阈值,也可以指代环境光传感器上报的多个环境光亮度,均小于第一阈值。第一阈值可以与步骤S710中的第一阈值相同,也可以不同。一个示例中,连续5个环境光亮度小于3lux。
电子设备的人脸检测功能处于启动状态下,电子设备处于第一姿态,说明电子设备的显示屏向下,属于用户不能看到显示屏的姿态。在该姿态下,电子设备启动人脸检测功能,显示屏显示AOD显示界面,也不能被用户看到,因此可关闭人脸检测功能,以避免功耗浪费。
环境光亮度小于第一阈值,说明电子设备所处环境的亮度太低,电子设备启动人脸检测功能,摄像头拍摄的图像数据,也不足以识别出是否包括人脸,因此可关闭人脸检测功能,同样避免功耗浪费。
Virtual AON Camera接收到接近事件,说明有接近物靠近电子设备,如电子设备被放置到包里的使用场景,也可关闭人脸检测功能,避免功耗浪费。
实施例四
电子设备利用实施例一提供的熄屏显示的控制方法,可实现在显示屏处于灭屏状态进行人脸检测,并在检测到人脸后,显示屏展示AOD显示界面。然而,在实施例一提供的熄屏显示的控制方法的执行过程中,存在下述应用场景。
本应用场景下,用户持续位于电子设备的显示屏前。电子设备持续确定人脸检测条件满足,导致电子设备处于“检测到人脸->展示AOD->一定时长后AOD消失->检测到人脸”的死循环中。基于此,本实施例提供一种熄屏显示的控制方法,以避免电子设备陷入该死循环中。
本实施例中,Virtual AON Camera可包括人脸持续检测逃生模块。人脸持续检测逃生模块用于:确定本次人脸检测事件的上报时间和上次人脸检测事件的上报时间之差小于第二阈值,不上报人脸检测事件,第二阈值如30秒,1分钟。需要说明的是,第二阈值一般会大于AOD显示界面的展示时长。
图8展示了本申请实施例提供的一种熄屏显示的控制方法,本实施例提供的熄屏显示的控制方法,包括步骤:
S801、接近光传感器进行接近物靠近检测,得到接近事件或远离事件。
S802、环境光传感器检测得到环境光亮度。
S803、加速度传感器检测得到三轴检测数据。
S804、接近光传感器向Virtual AON Camera发送接近事件或远离事件。
S805、环境光传感器向Virtual AON Camera发送环境光亮度。
S806、加速度传感器向Virtual AON Camera发送三轴检测数据。
需要说明的是,步骤S801至步骤S806的具体实现过程,可如实施例三提供的步骤S701至步骤S706的内容,此处不再赘述。
还需要说明的是,图8展示的是步骤S801至步骤S806执行顺序的一种示例,但步骤S801至步骤S806并不限于该执行顺序。一些实施例中,Virtual AON Camera可并行执行步骤S804、步骤S805、步骤S806以及步骤S807。
S807、Virtual AON Camera接收AON Driver发送的人脸检测事件。
步骤S807可以理解成是实施例一中的步骤S515。其中,如实施例一的步骤S501至步骤S514的内容,电子设备的人脸检测功能被启动之后,AON模块在检测图像数据包括人脸,则生成人脸检测事件,并通过信号处理器、AON Driver,将人脸检测事件上传到VirtualAON Camera。
一些实施例中,Virtual AON Camera接收AON Driver发送的人脸检测事件之后,可记录人脸检测事件的上报时间。
S808、Virtual AON Camera判断人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值是否小于第二阈值。
其中,Virtual AON Camera判断人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值不小于第二阈值,执行步骤S809和步骤S810。Virtual AON Camera判断人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值小于第二阈值,执行步骤S811和步骤S820。
具体的,由人脸持续检测逃生模块判断人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值是否小于第二阈值。
还需要说明的是,如实施例一中步骤S512的内容,AON模块检测图像数据包括人脸,则可生成人脸检测事件,并向信号处理器上报人脸检测事件。一些实施例中,AON模块还可得到人脸检测事件的上报时间,并同步上报到信号处理器,并经AON Driver发送到Virtual AON Camera,如此,Virtual AON Camera可得到人脸检测事件的上报时间。
另一些实施例中,Virtual AON Camera也可在接收到AON Driver发送人脸检测事件时,以接收时刻作为人脸检测事件的上报时间。
S809、Virtual AON Camera唤醒AP,并向AP发送记录的显示状态。
S810、Virtual AON Camera向AON service发送人脸检测事件。
其中,步骤S809和步骤S810的具体实现过程,可如实施例一的步骤S516和步骤S517的内容,此处不再赘述。并且,步骤S809和步骤S810执行完毕之后,电子设备可继续执行如实施例一提出的步骤S518至步骤S520,此处不展开说明,可参见实施例一的内容。
需要说明的是,Virtual AON Camera接收到人脸检测事件,且判断人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值不小于第二阈值,再执行步骤S809和步骤S810,AON service可接收人脸检测事件。AON service还可将人脸检测事件向上层发送,以使得AOD应用可接收到人脸检测事件,并控制显示屏显示AOD显示界面。如此,可避免电子设备进入“检测到人脸->展示AOD->一定时长后AOD消失->检测到人脸”的死循环中。
S811、Virtual AON Camera利用三轴检测数据判断电子设备是否持续处于静止状态。
电子设备持续处于静止状态,可以理解成:从电子设备的人脸检测功能开启时刻开始,直到Virtual AON Camera通过步骤S808判断出人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值小于第二阈值的这段时间内,电子设备是否处于同一个姿态。
一些实施例中,可通过三轴检测数据,计算电子设备的俯仰角,判断计算出的俯仰角是否维持稳定数值。维持稳定数值可以理解成:从电子设备的人脸检测功能开启时刻开始,直到Virtual AON Camera通过步骤S808判断出人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值小于第二阈值的这段时间内,加速度传感器连续性上报三轴检测数据,Virtual AON Camera利用每次上报的三轴检测数据,计算出的俯仰角的差值均在一定范围内,如5°范围内。
其中,Virtual AON Camera利用三轴检测数据判断电子设备没有持续处于静止状态,则执行步骤S812和步骤S813。Virtual AON Camera利用三轴检测数据判断电子设备持续处于静止状态,则执行步骤S820。
S812、Virtual AON Camera唤醒AP,并向AP发送记录的显示状态。
S813、Virtual AON Camera向AON service发送人脸检测事件。
其中,步骤S812和步骤S813的具体实现过程,可如实施例一的步骤S516和步骤S517的内容,此处不再赘述。并且,步骤S812和步骤S813执行完毕之后,电子设备可继续执行如实施例一提出的步骤S518至步骤S520,此处不展开说明,可参见实施例一的内容。
需要说明的是,Virtual AON Camera利用三轴检测数据判断电子设备没有持续处于静止状态,再执行步骤S812和步骤S813,AON service可接收人脸检测事件。AON service还可将人脸检测事件向上层发送,以使得AOD应用可接收到人脸检测事件,并控制显示屏显示AOD显示界面。如此,可以实现即便利用前后两次人脸检测事件的上报时间之差较小,推断出用户持续位于显示屏前,但只要电子设备的姿态产生变化,则触发显示屏显示AOD显示界面。
S814、Virtual AON Camera判断环境光亮度是否有大波动。
其中,Virtual AON Camera判断环境光亮度有大波动,则执行步骤S815和步骤S816。Virtual AON Camera判断环境光亮度没有大波动,则执行步骤S820。
步骤S814和步骤S811可以理解成是并行执行。
环境光亮度有大波动,可以理解成:从电子设备的人脸检测功能开启时刻开始,直到Virtual AON Camera通过步骤S808判断出人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值小于第二阈值的这段时间内,环境光传感器上报的环境光亮度是否有大变化。一些实施例中,环境光传感器上报的环境光亮度存在至少几倍数的变化,则可认定环境光亮度有大波动。另一些实施例中,环境光传感器上报的环境光亮度的差值没有维持在一定范围内,则可认定环境光亮度有大波动。
S815、Virtual AON Camera唤醒AP,并向AP发送记录的显示状态。
S816、Virtual AON Camera向AON service发送人脸检测事件。
其中,步骤S815和步骤S816的具体实现过程,可如实施例一的步骤S516和步骤S517的内容,此处不再赘述。并且,步骤S815和步骤S816执行完毕之后,电子设备可继续执行如实施例一提出的步骤S518至步骤S520,此处不展开说明,可参见实施例一的内容。
需要说明的是,Virtual AON Camera判断环境光亮度有大波动,再执行步骤S815和步骤S816,AON service可接收人脸检测事件。AON service还可将人脸检测事件向上层发送,以使得AOD应用可接收到人脸检测事件,并控制显示屏显示AOD显示界面。如此,可以实现即便利用前后两次人脸检测事件的上报时间之差较小,推断出用户持续位于显示屏前,但只要电子设备的所处环境的亮度产生变化,则可触发显示屏显示AOD显示界面。
S817、Virtual AON Camera判断是否存在接近事件和远离事件的接收变化。
其中,Virtual AON Camera判断存在接近事件和远离事件的接收变化,则执行步骤S818和步骤S819。Virtual AON Camera判断没有存在接近事件和远离事件的接收变化,则执行步骤S820。
步骤S817、步骤S814和步骤S811可以理解成是并行执行。
接近事件和远离事件的接收变化,可以理解成:从电子设备的人脸检测功能开启时刻开始,直到Virtual AON Camera通过步骤S808判断出人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值小于第二阈值的这段时间内,接近光传感器上报有接近事件,也上报有远离事件。
S818、Virtual AON Camera唤醒AP,并向AP发送记录的显示状态。
S819、Virtual AON Camera向AON service发送人脸检测事件。
其中,步骤S818和步骤S819的具体实现过程,可如实施例一的步骤S516和步骤S517的内容,此处不再赘述。并且,步骤S818和步骤S819执行完毕之后,电子设备可继续执行如实施例一提出的步骤S518至步骤S520,此处不展开说明,可参见实施例一的内容。
需要说明的是,Virtual AON Camera判断存在接近事件和远离事件的接收变化,再执行步骤S818和步骤S819,AON service可接收人脸检测事件。AON service还可将人脸检测事件向上层发送,以使得AOD应用可接收到人脸检测事件,并控制显示屏显示AOD显示界面。如此,可以实现即便利用前后两次人脸检测事件的上报时间之差较小,推断出用户持续位于显示屏前,但只要电子设备有接近物靠近和远离,则可触发显示屏显示AOD显示界面。
S820、Virtual AON Camera控制不上报人脸检测事件。
其中,由人脸持续检测逃生模块来执行控制不上报人脸检测事件的步骤。
还需要说明的是,步骤S811至步骤S819可以为可选性执行的步骤。一些实施例中,Virtual AON Camera执行步骤S808,判断人脸检测事件的上报时间和上一次人脸检测事件的上报时间的差值小于第二阈值,可直接执行步骤S820。
还需要说明的是,在确定本次人脸检测事件的上报时间和上次人脸检测事件的上报时间之差小于第二阈值,不上报人脸检测事件的过程中,若检测到人手触摸显示屏的操作,可让电子设备的显示屏展示AOD显示界面。
本申请另一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
计算机可读存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (21)

1.一种熄屏显示的控制方法,其特征在于,包括:
电子设备的显示屏处于灭屏状态时,所述电子设备启动人脸检测功能,并通过前置摄像头获取图像数据;
所述电子设备识别图像数据包括全部或部分脸部图像;
所述电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,所述电子设备的显示屏显示熄屏显示界面。
2.根据权利要求1所述的熄屏显示的控制方法,其特征在于,所述电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,所述电子设备的显示屏显示熄屏显示界面,包括:
所述电子设备确定人脸检测事件的上报时间,与前一次人脸检测事件的上报时间的差值不小于阈值时,所述电子设备的显示屏显示熄屏显示界面,所述人脸检测事件由所述电子设备识别图像数据包括全部或部分脸部图像而生成。
3.根据权利要求1或2所述的熄屏显示的控制方法,其特征在于,还包括:
所述电子设备确定本次识别到图像数据包括全部或部分脸部图像,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值小于阈值时,所述电子设备的显示屏维持灭屏状态。
4.根据权利要求3所述的熄屏显示的控制方法,其特征在于,所述电子设备的显示屏维持灭屏状态之前,还包括:
所述电子设备确定所述电子设备持续处于静止状态。
5.根据权利要求4所述的熄屏显示的控制方法,其特征在于,还包括:
所述电子设备确定所述电子设备未持续处于静止状态,所述电子设备的显示屏显示熄屏显示界面。
6.根据权利要求3或4所述的熄屏显示的控制方法,其特征在于,所述电子设备确定所述电子设备持续处于静止状态,包括:
所述电子设备确定所述电子设备在预定时间段内为同一姿态,所述预定时间段指代:所述人脸检测功能开启时刻,到本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值的时间段。
7.根据权利要求6所述的熄屏显示的控制方法,其特征在于,所述电子设备确定所述电子设备在预定时间段内为同一姿态,包括:
所述电子设备利用加速度传感器的三轴检测数据,确定所述电子设备在预定时间段内为同一姿态。
8.根据权利要求3至7中任一项所述的熄屏显示的控制方法,其特征在于,所述电子设备的显示屏维持灭屏状态之前,还包括:
所述电子设备确定所述电子设备所处环境的光亮维持稳定。
9.根据权利要求8所述的熄屏显示的控制方法,其特征在于,还包括:
所述电子设备确定所述电子设备所处环境的光亮没有维持稳定,所述电子设备的显示屏显示熄屏显示界面。
10.根据权利要求8或9所述的熄屏显示的控制方法,其特征在于,所述电子设备确定所述电子设备所处环境的光亮维持稳定,包括:
所述电子设备通过环境光传感器检测环境光亮度;
所述电子设备确定所述环境光传感器检测的环境光亮度在预定时间段内的维持稳定,所述预定时间段指代:所述人脸检测功能开启时刻,到本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值的时间段。
11.根据权利要求3至10中任一项所述的熄屏显示的控制方法,其特征在于,所述电子设备的显示屏维持灭屏状态之前,还包括:
所述电子设备确定所述电子设备未检测到物体靠近和远离的变化。
12.根据权利要求11所述的熄屏显示的控制方法,其特征在于,还包括:
所述电子设备确定所述电子设备检测到物体靠近和远离的变化,所述电子设备的显示屏显示熄屏显示界面。
13.根据权利要求11或12所述的熄屏显示的控制方法,其特征在于,所述电子设备确定所述电子设备未检测到物体靠近和远离的变化,包括:
所述电子设备通过接近光传感器检测物体,得到上报事件;
所述电子设备确定所述上报事件在预定时间段内持续为远离事件,或在预定时间段内持续为接近事件,所述预定时间段指代:所述人脸检测功能开启时刻,到本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值的时间段。
14.根据权利要求1至13中任一项所述的熄屏显示的控制方法,其特征在于,所述电子设备的处理器包括智能传感集线器sensor hub,所述sensor hub包括:AON模块;所述电子设备的显示屏处于灭屏状态时,所述电子设备启动人脸检测功能,包括:
所述电子设备的显示屏处于灭屏状态时,所述电子设备启动AON模块执行人脸检测功能。
15.根据权利要求1至14中任一项所述的熄屏显示的控制方法,其特征在于,所述电子设备的处理器包括:虚拟摄像头单元Virtual AON Camera;所述电子设备的显示屏处于灭屏状态时,所述电子设备启动人脸检测功能,包括:
所述Virtual AON Camera确定所述显示屏处于灭屏状态时,启动人脸检测功能。
16.根据权利要求15所述的熄屏显示的控制方法,其特征在于,所述Virtual AONCamera确定所述显示屏处于灭屏状态时,启动人脸检测功能之前,还包括:
所述Virtual AON Camera接收所述显示屏的显示状态,并记录所述显示屏的显示状态。
17.根据权利要求15所述的熄屏显示的控制方法,其特征在于,所述Virtual AONCamera确定所述显示屏处于灭屏状态时,启动人脸检测功能之后,还包括:
所述Virtual AON Camera确定所述图像数据包括部分或全部图像数据时,唤醒所述电子设备的应用处理器,并向所述应用处理器发送所述显示屏的显示状态。
18.根据权利要求1至17中任一项所述的熄屏显示的控制方法,其特征在于,所述电子设备确定本次识别到图像数据包括全部或部分脸部图像的时间,与前一次识别到图像数据包括全部或部分脸部图像的时间的差值不小于阈值时,所述电子设备的显示屏显示熄屏显示界面之后,还包括:
所述电子设备判断所述显示屏处于非灭屏状态时,关闭人脸检测功能。
19.根据权利要求1至17中任一项所述的熄屏显示的控制方法,其特征在于,所述电子设备启动人脸检测功能之前,还包括:
所述电子设备确定所述电子设备满足预设条件;其中,所述预设条件包括所述电子设备的显示屏不处于向下的姿态,所述电子设备所处环境的亮度不小于第一阈值,以及所述电子设备未检测到物体靠近。
20.一种电子设备,其特征在于,包括:
一个或多个处理器、存储器、显示屏和前置摄像头;
所述存储器和所述显示屏、以及所述前置摄像头与所述一个或多个所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1至19任意一项所述的熄屏显示的控制方法。
21.一种计算机存储介质,其特征在于,用于存储计算机程序,所述计算机程序被执行时,具体用于实现如权利要求1至19任意一项所述的熄屏显示的控制方法。
CN202210021719.8A 2022-01-10 2022-01-10 熄屏显示的控制方法、电子设备及存储介质 Pending CN116450068A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210021719.8A CN116450068A (zh) 2022-01-10 2022-01-10 熄屏显示的控制方法、电子设备及存储介质
PCT/CN2022/138948 WO2023130927A1 (zh) 2022-01-10 2022-12-14 熄屏显示的控制方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210021719.8A CN116450068A (zh) 2022-01-10 2022-01-10 熄屏显示的控制方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116450068A true CN116450068A (zh) 2023-07-18

Family

ID=87073071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210021719.8A Pending CN116450068A (zh) 2022-01-10 2022-01-10 熄屏显示的控制方法、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN116450068A (zh)
WO (1) WO2023130927A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557292A (zh) * 2016-11-11 2017-04-05 珠海市魅族科技有限公司 信息显示方法及装置
CN108509037B (zh) * 2018-03-26 2021-04-02 维沃移动通信有限公司 一种信息显示方法及移动终端
CN110658906A (zh) * 2019-08-30 2020-01-07 华为技术有限公司 显示的方法及电子设备
CN112671976B (zh) * 2019-09-30 2023-01-13 华为技术有限公司 电子设备的控制方法、装置及电子设备、存储介质

Also Published As

Publication number Publication date
WO2023130927A1 (zh) 2023-07-13

Similar Documents

Publication Publication Date Title
CN110708086B (zh) 一种分屏显示方法与电子设备
EP3872807B1 (en) Voice control method and electronic device
US11921977B2 (en) Processing method for waiting scenario in application and apparatus
CN111316199B (zh) 一种信息处理方法及电子设备
US20220044043A1 (en) Integrated circuit and sensor data processing method
WO2021057537A1 (zh) 一种卡顿预测的方法、数据处理的方法以及相关装置
WO2021104104A1 (zh) 一种高能效的显示处理方法及设备
WO2023000772A1 (zh) 模式切换方法、装置、电子设备及芯片系统
WO2023005282A9 (zh) 一种消息推送方法及装置
CN112445276A (zh) 一种折叠屏显示应用方法及电子设备
CN112527093A (zh) 手势输入方法及电子设备
CN115333941A (zh) 获取应用运行情况的方法及相关设备
WO2023207667A1 (zh) 一种显示方法、汽车和电子设备
WO2023130931A1 (zh) 服务异常提醒方法、电子设备及存储介质
CN114125148B (zh) 电子设备运行模式的控制方法、电子设备及可读存储介质
WO2022152174A9 (zh) 一种投屏的方法和电子设备
CN114500732B (zh) 一种界面显示的方法和电子设备、存储介质
CN116450068A (zh) 熄屏显示的控制方法、电子设备及存储介质
CN116450067A (zh) 熄屏显示的控制方法、电子设备及存储介质
CN116450069A (zh) 熄屏显示的控制方法、电子设备及介质
CN115206308A (zh) 一种人机交互的方法及电子设备
CN115083401A (zh) 语音控制方法及装置
CN116400974B (zh) 进入长待机模式的方法、电子设备及可读存储介质
CN111475363B (zh) 卡死识别方法及电子设备
CN114115772B (zh) 灭屏显示的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination