CN118118776A - 疲劳感知方法、设备及存储介质 - Google Patents

Abstract

本申请提供一种疲劳感知方法、设备及存储介质，涉及终端技术领域以及人工智能领域，还涉及智能感知、智能控制、智能推荐等技术领域。该方法包括：电子设备在开启疲劳感知功能后，摄像头以第一模式运行。电子设备检测到摄像头范围内有人物面部时，控制摄像头以第二模式运行。电子设备获取第二模式下摄像头采集的图像，识别图像中人物的眼部状态，若识别到人物眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，则执行预设操作，实现智能感知用户疲劳状态的功能，提升用户的用机体验。

Description

疲劳感知方法、设备及存储介质

技术领域

本申请涉及终端技术领域，尤其涉及疲劳感知方法、设备及存储介质。

背景技术

随着智能终端的普及，用户可以随时随地使用智能终端。例如，在驾驶场景下，用户使用智能终端导航行车路线；又例如，在卧室场景下，用户使用智能终端观看视频或短视频。

上述场景用户都有可能进入疲劳状态，例如长时间驾驶产生疲劳，又例如在睡眠时段长时间使用手机产生疲劳。目前，相关技术暂无法实现智能感知用户是否疲劳的方案。

发明内容

本申请实施例提供一种疲劳感知方法、设备及存储介质，可以实现智能感知用户疲劳状态的功能，提升用户的用机体验。

第一方面，本申请实施例提出一种疲劳感知方法，应用于电子设备，该方法中，电子设备的摄像头以第一模式运行；电子设备获取摄像头在第一模式下采集的第一图像，检测第一图像中是否有人物面部；若电子设备在第一图像中检测到人物面部，控制摄像头由第一模式切换至第二模式；电子设备获取摄像头在第二模式下采集的第二图像，并识别第二图像中人物的眼部状态；电子设备识别到眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，控制执行预设操作。

该方案中，摄像头在后台持续采集图像，若检测到图像中有人物面部，则识别人物的眼部状态，若在连续图像中的人物眼部状态持续为闭眼状态，可判定用户处于疲劳状态，进而执行相应的预设操作，如提醒用户注意休息等，实现智能感知人物疲劳状态的功能，改善用户的用机体验。此外，通过获取第一模式下摄像头采集的第一图像，检测人物面部有无，再经摄像头模式的切换，获取第二模式下摄像头采集的第二图像，识别人物的眼部状态，可在一定程度上降低设备功耗。

作为一种示例，第一图像的分辨率小于第二图像的分辨率，和/或，第一图像的帧率小于第二图像的帧率。

在第一方面的一个可选实施例中，电子设备的摄像头以第一模式运行之前，方法还包括：响应于开启疲劳感知功能的第一操作。

该方案中，限定了设备开启摄像头的条件，以触发设备执行智能感知用户疲劳状态的方案。

在第一方面的一个可选实施例中，电子设备的摄像头以第一模式运行之前，方法还包括：检测到电子设备的状态满足第一条件；第一条件包括以下至少一项：电子设备的屏幕状态为亮屏状态；电子设备已解锁；电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的屏幕朝向预设方向；电子设备的预设应用已开启；电子设备连接车载设备；电子设备的移动速度大于第三阈值；电子设备的瞬时加速度大于第四阈值；电子设备的时钟数据在预设时段内；电子设备的位置数据在预设位置范围内；电子设备的环境光传感器的检测数据小于第五阈值。

该方案中，进一步限定了设备开启摄像头的条件，除了用户手动开启疲劳感知功能外，通过增设第一条件，以避免摄像头在非必要时持续采集图像，降低设备功耗。非必要时可以理解为摄像头不可能采集到人物面部的任意一种场景。

在第一方面的一个可选实施例中，电子设备为可折叠设备，可折叠设备包括内屏和外屏，内屏对应设置有第一摄像头，外屏对应设置有第二摄像头；电子设备的摄像头以第一模式运行，包括：检测到电子设备的外屏为亮屏状态，且电子设备处于折叠状态，控制第二摄像头以第一模式运行；或者，检测到电子设备的内屏为亮屏状态，且电子设备处于展开状态，控制第一摄像头以第一模式运行。

该方案可应用于可折叠设备，若设备在折叠状态或展开状态下，有相应的屏幕(内屏或外屏)处于亮屏状态，可控制开启处于亮屏状态的屏幕上的摄像头，以检测摄像头范围内是否有人物面部，进而可触发识别人物的眼部状态。

在第一方面的一个可选实施例中，在控制第一摄像头以第一模式运行，或者控制第二摄像头以第一模式运行之前，方法还包括：检测到电子设备的状态满足第二条件；第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的内屏或外屏朝向预设方向；电子设备的预设应用已开启；电子设备连接车载设备；电子设备的移动速度大于第三阈值；电子设备的瞬时加速度大于第四阈值；电子设备的时钟数据在预设时段内；电子设备的位置数据在预设位置范围内；电子设备的环境光传感器的检测数据小于第五阈值。

该方案中，进一步限定了可折叠设备开启摄像头的条件，除了用户开启疲劳感知功能、电子设备屏幕处于折叠状态或展开状态时，有相应屏幕点亮外，通过增设第二条件，以避免摄像头在非必要时持续采集第一图像，降低设备功耗。

在第一方面的一个可选实施例中，方法还包括：当第二摄像头以第一模式运行时，若检测到电子设备由折叠状态至展开状态时，电子设备控制第一摄像头以第一模式运行，并关闭第二摄像头；当第一摄像头以第一模式运行时，若检测到电子设备由展开状态至折叠状态时，电子设备控制第一摄像头关闭，并控制第二摄像头以第一模式运行。

该方案中，在其他条件不变时，若用户改变设备屏幕的物理状态，如由折叠状态至展开状态，或者由展开状态至折叠状态，可通过切换摄像头，持续采集第一图像，以便设备屏幕在新的物理状态下，还能够实现智能感知人物疲劳状态的功能。

在第一方面的一个可选实施例中，电子设备识别第二图像中人物的眼部状态，包括：电子设备识别第二图像中人物的多个眼部检测点；电子设备获取每个眼部检测点在第二图像的坐标数据；电子设备根据多个眼部检测点的坐标数据确定第一参数，第一参数用于指示人物的眼部开合程度；电子设备根据第一参数确定人物的眼部状态。

该方案中，通过识别图像中人物眼部的关键点，根据关键点的坐标数据确定眼部开合程度，以判定用户在每一帧图像中的眼部状态。

在第一方面的一个可选实施例中，多个眼部检测点包括第一检测点、第二检测点、第三检测点和第四检测点；电子设备根据多个眼部检测点的坐标数据确定第一参数，包括：电子设备根据第一检测点和第二检测点的坐标数据，确定眼部宽度值；电子设备根据第三检测点和第四检测点的坐标数据，确定眼部高度值；电子设备根据眼部宽度值和眼部高度值，确定第一参数。

该方案中，根据图像中人物眼部关键点坐标数据，确定人物眼部的长度和宽度，进而确定人物眼部的长宽比，以表征眼部开合程度，判定用户在每一帧图像中的眼部状态。

在第一方面的一个可选实施例中，多个眼部检测点包括第一检测点、第二检测点、第三检测点、第四检测点、第五检测点和第六检测点；电子设备根据多个眼部检测点的坐标数据确定第一参数，包括：电子设备根据第一检测点和第二检测点的坐标数据，确定眼部宽度值；电子设备根据第三检测点和第四检测点的坐标数据，确定眼部第一高度值；电子设备根据第五检测点和第六检测点的坐标数据，确定眼部第二高度值；电子设备根据眼部宽度值、眼部第一高度值和眼部第二高度值，确定第一参数。

该方案中，同样根据图像中人物眼部关键点坐标数据，确定人物眼部的长度和宽度，进而确定人物眼部的长宽比，以表征眼部开合程度，判定用户在每一帧图像中的眼部状态。与前一种方案不同的是，采集的关键点数量更多，以降低计算误差，使得第一参数更加准确。

在第一方面的一个可选实施例中，电子设备的摄像头以第一模式运行，包括：电子设备的感知模块向电子设备的第二处理模块发送第一指示，第一指示用于指示第二处理模块检测摄像头范围内是否有人物面部；第二处理模块向摄像头发送第一拍摄指令；摄像头响应于第一拍摄指令，以第一模式运行。

在第一方面的一个可选实施例中，电子设备获取摄像头在第一模式下采集的第一图像，检测第一图像中是否有人物面部，包括：电子设备的第二处理模块获取摄像头在第一模式下采集的第一图像，检测第一图像中是否有人物面部。

在第一方面的一个可选实施例中，若电子设备在第一图像中检测到人物面部，控制摄像头由第一模式切换至第二模式，包括：若电子设备的第二处理模块检测到第一图像中有人物面部，第二处理模块向电子设备的感知模块发送第一消息，第一消息用于通知感知模块摄像头范围内有人物面部；感知模块向电子设备的第一处理模块发送第二指示，第二指示用于指示第一处理模块识别第二图像中人物的眼部状态；第一处理模块响应于第二指示，向摄像头发送第二拍摄指令，第二拍摄指令用于指示摄像头以第二模式运行。

在第一方面的一个可选实施例中，电子设备获取摄像头在第二模式下采集的第二图像，并识别第二图像中人物的眼部状态，包括：电子设备的第一处理模块获取摄像头在第二模式下采集的第二图像，并识别第二图像中人物的眼部状态。

在第一方面的一个可选实施例中，电子设备识别到眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，控制执行预设操作，包括：若电子设备的第一处理模块识别到眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，第一处理模块向电子设备的感知模块发送第二消息，第二消息用于指示人物处于疲劳状态；感知模块向电子设备的目标应用发送第三指示，第三指示用于指示人物处于疲劳状态；目标应用控制执行预设操作。

在第一方面的一个可选实施例中，电子设备的第二处理模块检测电子设备的状态。

上述几个可选实施例示出了电子设备底层模块之间的交互过程，以实现设备智能感知人物疲劳状态的功能，改善用户的用机体验。

在第一方面的一个可选实施例中，预设操作包括以下至少一种：调节音量大小；发送第一信息，第一信息用于提醒用户注意休息；发送第二信息，第二信息用于推荐目标场景对应的内容；发送第三信息，第三信息用于推荐电子设备附近的休息场所；播放预设歌曲；开启电子设备的语音助手；息屏。

该方案中，示出了用户处于疲劳状态下的多种可能的预设操作，可根据用户疲劳状态的程度设置相应的预设操作，适时合理作出智能控制，改善用户的用机体验。

第二方面，本申请实施例提供了一种电子设备，电子设备包括：摄像头，存储器和处理器，所述摄像头用于采集不同帧率和/或分辨率的图像，所述处理器用于调用所述存储器中的计算机程序，以执行如第一方面任一项所述的方法。

在第二方面的一个可选实施例中，所述处理器包括第一处理模块和第二处理模块，所述第一处理模块的功耗高于所述第二处理模块的功耗；所述第二处理模块用于检测所述摄像头范围内是否存在人物面部；所述第一处理模块用于识别摄像头范围内人物的眼部状态。

第三方面，本申请实施例提供一种电子设备，电子设备包括用于执行如第一方面任一项所述的方法的单元、模块或电路。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面任一项所述的方法。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面任一项所述的方法。

第六方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面任一项所述的方法。

应当理解的是，本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种场景示意图；

图2为本申请实施例提供的一种疲劳感知方法的场景示意图；

图3为本申请实施例提供的一种界面示意图；

图4为本申请实施例提供的一种电子设备的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图；

图6为本申请实施例提供的一种SoC的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图；

图8为本申请实施例提供的一种疲劳感知方法的流程示意图；

图9为本申请实施例提供的一种检测人物眼部状态的流程图；

图10为本申请实施例提供的眼部检测点的示意图；

图11为本申请实施例提供的一种疲劳感知方法的流程示意图；

图12为本申请实施例提供的一种电子设备的结构示意图；

图13为本申请实施例提供的一种芯片的结构示意图；

图14为本申请实施例提供的一种折叠屏手机的结构示意图；

图15为本申请实施例提供的一种疲劳感知方法的流程示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一图像和第二图像仅仅是为了区分不同帧率和/或分辨的图像，并不对其先后顺序进行限定。又例如，第一指示和第二指示仅仅是为了区分不同的指示。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(种/个)”或其类似表达，是指的这些项中的任意组合，包括单项(种/个)或复数项(种/个)的任意组合。例如，a，b或c中的至少一项(种/个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

下面对本申请中涉及的部分用语进行解释说明，以便于本领域技术人员理解。

帧率(frame rate)，是指摄像头在一秒钟采集或传输图像的张数，通常用fps(即帧每秒)表示。本申请实施例中，摄像头在第一模式下采用第一帧率采集/传输图像，在第二模式下采用第二帧率采集/传输图像，第一帧率小于第二帧率。在一些实施例中，第一模式下采集的图像的分辨率小于第二模式下采集的图像的分辨率。

分辨率，即图像分辨率，是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位有：dpi(点每英寸)、ppi(像素每英寸)等。

地理围栏(geo-fencing)，是基于位置的服务(location based services，LBS)的一种应用，就是用一个虚拟的栅栏围出一个虚拟地理边界。当电子设备进入、离开某个特定地理区域，或在该区域内活动时，电子设备可以接收自动通知和警告等信息提示，电子设备还可以自动设置系统相关参数，如音量、震动强度等。地理围栏基于不同场景可以有不同名称，例如地铁站附近的地理围栏可称为地铁围栏，又例如办公楼附近的地理围栏可称为办公围栏，再例如教学楼附近的地理围栏可称为教室围栏。在本申请实施例中，地理围栏可以是非公共区域的围栏，例如卧室场景对应的围栏，电子设备检测进入地理围栏是否执行与地理围栏相关的操作，均需要得到电子设备的用户的授权。

轻量级神经网络，是一个较轻的模型，其拥有不差于较重模型的性能，从而实现硬件友好型的神经网络。这里的轻重通常指模型的规模或参数量。常用的轻量级神经网络的技术有：蒸馏、剪枝、量化、权重共享、低秩分解、注意力模块轻量化、动态网络架构/训练方式、更轻的网络架构设计等等，对此本申请实施例不做限制。

在长时间驾驶的场景，用户如果感觉到疲劳，可以通过手动设置动感音乐以消除疲劳感，还可以自主查询附近的服务区或宾馆等及时休息。然而，若用户不能及时感知到困意，其驾驶行为将变得非常危险。此外，在卧室场景，大多数用户会在入睡前使用手机，且持续时间很长。例如，用户将手机固定在床头观看视频，往往在困意来袭时，无法自主关闭手机屏幕，手机一直处于播放视频的状态，而用户已经睡着，这将持续消耗手机功耗直至关机。

针对上述的场景，本申请实施例提供一种疲劳感知方法、电子设备及存储介质，本申请实施例提供的电子设备，若满足开启摄像头的条件，摄像头以第一模式运行，获取摄像头在第一模式下采集的第一图像，若第一图像中存在人物面部，控制摄像头由第一模式切换至第二模式。获取摄像头在第二模式下采集的第二图像，识别第二图像中人物的眼部状态，若识别到眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，执行预设操作，如提醒用户注意休息、推荐附近的服务区或宾馆等。

上述方案实现电子设备智能感知用户疲劳状态的功能，电子设备可以在识别到用户处于疲劳状态时，及时提醒用户，可改善用户的用机体验。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图1为本申请实施例提供的一种场景示意图。如图1中(a)所示，若用户在非疲劳状态下驾驶车辆，电子设备采集的人物眼部图像帧的变化是：第n帧人物睁眼，第n+1帧人物闭眼，第n+2帧人物睁眼，此处假设设备采集图像帧的帧率与眨眼频率相同。如图1中(b)所示，若用户在疲劳状态下驾驶车辆，电子设备采集的人物眼部图像帧的变化是：第n帧人物睁眼，第n+1帧人物闭眼，第n+2帧人物闭眼。由此可见，通过检测连续图像帧中人物眼部的状态变化即可判断用户是否处于疲劳驾驶状态。

基于图1所示的驾驶场景，下面以电子设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

图2为本申请实施例提供的一种疲劳感知方法的场景示意图。在驾驶场景下，用户使用手机导航路线，此时手机的屏幕通常是面向用户的，如图2所示。若满足开启摄像头的条件，可触发手机的前置摄像头在第一模式下采集第一图像，在检测到第一图像中包含人物面部时，触发手机的前置摄像头在第二模式下采集第二图像，识别第二图像中人物的眼部状态，若识别到眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，则执行预设操作，例如发送语音提醒用户注意休息，或者推荐附近的服务区或宾馆等。

本实施例中，第一图像的分辨率小于第二图像的分辨率，和/或，第一图像的帧率小于第二图像的帧率。第一图像包括一张或多张图像，第二图像包括多张图像。应理解，检测用户是否处于疲劳状态，需要持续检测多张第二图像，识别每张第二图像中人物的眼部状态。

在一些实施例中，开启摄像头的条件包括：已开启疲劳感知功能。在一种实施例中，响应于开启疲劳感知功能的第一操作，手机的摄像头以第一模式运行(后台运行，例如手机当前开启某第三方应用，摄像头在后台运行)，采集上述的第一图像。其中，第一操作可以是用户在系统设置界面的点击操作，第一操作还可以是语音操作，对此本申请实施例不作限定。

需要说明的是，本申请实施例中，若没有特殊说明，手机的摄像头主要是指前置摄像头。

示例性的，图3为本申请实施例提供的一种界面示意图。如图3的(a)和(b)所示，用户可在系统应用的设置界面中选择开启或关闭疲劳感知功能，在检测到手机已开启该疲劳感知功能时，触发手机的前置摄像头采集上述的第一图像。

在一些实施例中，用户还可以在系统设置界面选择对全部或部分第三方应用开启疲劳感知功能，如图3的(a)、(c)、(d)所示，用户开启疲劳感知功能，同时选择支持该疲劳感知功能的应用A和应用B，用户在开启应用A或应用B时，触发手机前置摄像头采集上述的第一图像。

在一些实施例中，用户还可以在第三方应用的设置界面中选择开启或关闭疲劳感知功能，在检测到手机已开启该第三方应用，且在第三方应用中开启该疲劳感知功能时，触发手机的前置摄像头采集上述的第一图像。

需要说明的是，已开启第三方应用包括用户当前点开第三方应用，或者，用户在开启第三方应用后第三方应用进入后台运行状态。

在一些实施例中，开启摄像头的条件还包括第一条件，第一条件包括以下至少一种：

手机的屏幕状态为亮屏状态；

手机已解锁；

手机的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；

手机的屏幕朝向预设方向；

手机的预设应用已开启；

手机连接车载设备；

手机的移动速度大于第三阈值；

手机的瞬时加速度大于第四阈值；

手机的时钟数据在预设时段内；

手机的位置数据在预设位置范围内；

手机的环境光传感器的检测数据小于第五阈值。

在一种实施例中，响应于开启疲劳感知功能的第一操作，且满足第一条件，手机的摄像头以第一模式运行，采集上述的第一图像。本实施例中，若手机已开启疲劳感知功能，且满足第一条件，则触发手机的摄像头持续采集图像。通过增设第一条件，以避免手机摄像头在非必要时持续采集图像，进一步降低设备功耗。

基于前述实施例，下面对触发前置摄像头采集第一图像的各种可能的实施方式进行说明。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，触发手机的前置摄像头采集第一图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机的屏幕状态，若手机的屏幕状态为亮屏状态，触发手机的前置摄像头采集第一图像。手机亮屏状态显示的界面包括例如锁屏界面、主界面、第三方应用界面(如导航应用的导航界面等)。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机是否已解锁，若手机已解锁，触发手机的前置摄像头采集第一图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机的接近光传感器发射的光信号是否被遮挡，若确定接近光传感器发射的光信号未被遮挡，触发手机的前置摄像头采集第一图像。

作为一种示例，若手机的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接近光传感器未接收到反射信号，可确定接近光传感器发射的光信号未被遮挡。

可以理解的是，若用户通过听筒拨打或接听电话，或者，手机位于手提包或口袋时，手机接近光传感器发射的光信号会被遮挡，前置摄像头采集的图像无法检测到人物面部，此时可停止摄像头持续采图，以降低设备功耗。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机的屏幕朝向，若手机的屏幕朝向预设方向，触发手机的前置摄像头采集第一图像。本实施方式中，预设方向可以理解为用户使用手机的方向，通常是手机屏幕朝向用户的方向，该方向可通过检测手机的姿态数据确定，其中姿态数据包括俯仰角、偏航角和滚动角。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机是否处于移动状态，若确定手机处于移动状态，触发手机的前置摄像头采集第一图像。在本申请实施例中，手机处于移动状态包括例如用户驾驶车辆时将手机放置在前挡风玻璃前。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机的预设应用是否已开启，若确定手机的预设应用已开启，触发手机的前置摄像头采集第一图像。在本申请实施例中，预设应用包括例如导航应用、视频应用。

一种示例中，若用户已开启疲劳感知功能，且检测到用户正在使用导航应用(如在导航模式下)，则触发手机前置摄像头持续采集第一图像，以检测用户是否疲劳。

一种示例中，若用户已开启疲劳感知功能，且检测到用户正在使用视频应用，此时还可以结合手机位置、时钟信息、用机习惯等，在确定当前时段在用户睡眠时段或当前位置在卧室时，触发手机前置摄像头持续采集第一图像，以检测用户是否疲劳。

在一些实施例中，特定应用如导航应用，在使用过程中可以控制摄像头在第一模式下持续采集图像，其他应用(对疲劳检测要求不高的应用，可以是例如视频应用)可以控制摄像头以一定的时间间隔采集图像，例如以预设周期(每分钟)采集一定数量的图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机是否连接车载设备，例如车载蓝牙，若确定手机已连接车载设备，可确定用户将进入驾驶模式，则触发手机前置摄像头持续采集第一图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机的移动速度是否大于第三阈值，若确定手机的移动速度大于第三阈值，例如第三阈值为20km/h，则触发手机前置摄像头持续采集第一图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，检测手机的瞬时加速度是否大于第四阈值，若确定手机的瞬时加速度大于第四阈值，例如第四阈值为2.7m/s²，则触发手机前置摄像头持续采集第一图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，确定手机的时钟数据是否在预设时段内，例如预设时段为用户设置的睡眠时段，若确定手机的时钟数据在预设时段内，则触发手机前置摄像头持续采集第一图像。在一些实施例中，还可以结合手机的环境光传感器的检测数据，若环境光传感器的检测数据小于第五阈值(手机处于较暗环境)，则触发手机前置摄像头持续采集第一图像。在一些实施例中，若环境光传感器检测不到光线或光线小于第六阈值(手机处于全黑环境)，即使手机的时钟数据在预设时段，也不触发手机前置摄像头开启。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，确定手机的位置数据是否在预设位置范围内，例如预设位置范围为用户卧室对应的位置范围，若确定手机的位置数据在预设位置范围内，则触发手机前置摄像头持续采集第一图像。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，确定手机的环境光传感器的检测数据(如光亮度)是否小于第五阈值，若确定手机的环境光传感器的检测数据小于第五阈值，则触发手机前置摄像头持续采集第一图像。本实施方式中，主要考虑用户在入睡前的卧室场景的环境光相较于白天弱，可通过开启摄像头检测用户是否疲劳。当然，检测环境光的同时，还可以结合时钟数据和位置数据，确定当前是否在用户入睡前的卧室场景。

在一种可能的实施方式中，若检测到用户已开启疲劳感知功能，且确定满足以下至少两项：手机的屏幕状态为亮屏状态，手机已解锁，手机的接近光传感器发射的光信号未被遮挡，手机的屏幕朝向预设方向，手机的预设应用已开启，手机连接车载设备，手机的移动速度大于第三阈值，手机的瞬时加速度大于第四阈值，手机的时钟数据在预设时段内，手机的位置数据在预设位置范围内，手机的环境光传感器的检测数据小于第五阈值，则触发手机的前置摄像头采集第一图像。

基于上述任一实施方式，可触发手机摄像头以第一模式运行。通过获取摄像头在第一模式下采集的较低分辨率的第一图像，进行面部检测。若第一图像中检测到人物面部，可触发手机摄像头以第二模式运行，获取摄像头在第二模式下采集的较高分辨率的第二图像，通过识别第二图像中人物的眼部状态，确定用户是否处于疲劳状态。若确定用户处于疲劳状态，则执行预设操作。上述实施例示出的疲劳感知方法，实现手机智能感知用户疲劳状态的功能，在识别到用户处于疲劳状态时，执行当前场景所对应的预设操作，改善用户的用机体验。

上述实施例中，预设操作包括以下至少一种：调节音量大小；发送第一信息，第一信息用于提醒用户注意休息；发送第二信息，第二信息用于推荐目标场景对应的内容；发送第三信息，第三信息用于推荐手机附近的休息场所；播放预设歌曲；开启手机的语音助手；息屏。

需要说明的是，上述预设操作可以是用户设置的。

作为一种示例，在驾驶场景下，若检测到用户处于疲劳状态，可执行如下操作的至少一项：调高音量或将音量设置为最大值，以提醒用户；发送第一信息，第一信息用于提醒用户注意休息，第一信息包括语音信息和/或弹窗信息；发送第三信息，第三信息用于推荐手机附近的如服务区或宾馆等休息场所；播放预设歌曲，例如播放兴奋提神的歌曲；开启手机的语音助手，通过语音助手主动聊天，消除用户疲劳。本示例中，上述操作可提升用户的用机体验，在一定程度上降低危险的发生。

作为一种示例，在卧室场景下，若检测到用户处于疲劳状态，可执行如下操作的至少一项：发送第一信息，第一信息用于提醒用户注意休息；发送第二信息，第二信息用于推荐卧室场景对应的例如音频内容；息屏，例如检测到用户的眼部持续为闭眼状态，可确定用户已入睡，则控制手机息屏。本示例中，上述操作可提升用户的用机体验，还可以节省设备功耗。

本申请实施例提供的疲劳感知方法，除了应用于直板手机外，还可应用于折叠屏手机。

在一些实施例中，若手机为折叠屏手机，折叠屏手机包括内屏和外屏，内屏对应设置有第一摄像头，外屏对应设置有第二摄像头，例如，第一摄像头为图14中的摄像头3，第二摄像头为图14中的摄像头1。

作为一种示例，若检测到手机的外屏为亮屏状态，且手机处于折叠状态，控制第二摄像头以第一模式运行。作为一种示例，若检测到手机的外屏为亮屏状态，且手机处于展开状态，控制第二摄像头以第一模式运行。基于该两种示例，在一些实施例中，在控制第二摄像头以第一模式运行之前，还包括：检测到手机的状态满足以下至少一项：手机已解锁；手机的接近光传感器(外屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；手机的外屏朝向预设方向；手机的预设应用已开启；手机连接车载设备；手机的移动速度大于第三阈值；手机的瞬时加速度大于第四阈值；手机的时钟数据在预设时段内；手机的位置数据在预设位置范围内；手机的环境光传感器的检测数据小于第五阈值。

作为一种示例，若检测到手机的内屏为亮屏状态，且手机处于展开状态，控制第一摄像头以第一模式运行。在控制第一摄像头以第一模式运行之前，还包括：检测到手机的状态满足以下至少一项：手机已解锁；手机的接近光传感器(内屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；手机的内屏朝向预设方向；手机的预设应用已开启；手机连接车载设备；手机的移动速度大于第三阈值；手机的瞬时加速度大于第四阈值；手机的时钟数据在预设时段内；手机的位置数据在预设位置范围内；手机的环境光传感器的检测数据小于第五阈值。

基于上述几个示例，在控制第一摄像头以第一模式运行，或者控制第二摄像头以第一模式运行之前，还包括：检测到电子设备的状态满足第二条件；第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器发射的光信号与所述光信号的反射信号的时间差大于第一阈值，和/或，所述反射信号的信号强度小于第二阈值，和/或，所述接收光传感器未接收到所述反射信号；电子设备的内屏或外屏朝向预设方向；电子设备的预设应用已开启；电子设备连接车载设备；电子设备的移动速度大于第三阈值；电子设备的瞬时加速度大于第四阈值；电子设备的时钟数据在预设时段内；电子设备的位置数据在预设位置范围内；电子设备的环境光传感器的检测数据小于第五阈值。

作为一种示例，当第二摄像头以第一模式运行时，若检测到电子设备由折叠状态至展开状态时，电子设备控制第一摄像头以第一模式运行，并关闭第二摄像头。

作为一种示例，当第一摄像头以第一模式运行时，若检测到电子设备由展开状态至折叠状态时，电子设备控制第一摄像头关闭，并控制第二摄像头以第一模式运行；或者，电子设备控制第一摄像头关闭。

下面结合附图14对折叠屏手机执行疲劳感知方法进行详细说明。

示例性的，图14为本申请实施例提供的一种折叠屏手机的结构示意图。如图14所示，折叠屏手机的屏幕包括第一屏、第二屏和第三屏，第一屏为折叠屏手机的外屏，第二屏和第三屏为折叠屏手机的内屏，折叠屏包括第二屏和第三屏，折叠屏按照图14中(4)所示的折叠边折叠，形成第二屏和第三屏。折叠屏所在的虚拟轴线为公共轴。其中，内屏指的是折叠屏处于折叠状态时位于内部的屏，外屏指的是折叠屏处于闭合状态时位于外部的屏。第二屏和第三屏之间的夹角β为折叠屏手机的合页角度，确定合页角度即可确定折叠屏的物理状态。物理状态包括如图14中(3)所示的折叠状态、图14中(4)所示的展开状态、或图14中(2)所示的支架状态。图14所示的折叠屏手机包括3组摄像头，分别记为摄像头1、摄像头2和摄像头3。图14中(1)所示，摄像头1设置在第一屏上部的中间位置，摄像头2设置在背板上，图14中(4)所示，摄像头3设置在第三屏上部的中间位置。折叠屏手机在折叠状态下，摄像头1可看作是前置摄像头，摄像头2可看作是后置摄像头，如图14中(3)所示。折叠屏手机在展开状态下，摄像头3可看作是前置摄像头，摄像头1和2可看作是后置摄像头。

下面以图14所示的折叠屏手机为例，对折叠屏手机在何种情况下开启摄像头以及开启哪些摄像头进行举例说明。

在一种可能的实施方式中，若折叠屏手机已开启疲劳感知功能，当检测到手机为折叠状态，且外屏(如图14中的第一屏)为亮屏状态，触发折叠屏手机的摄像头1持续采集第一图像，以检测摄像头范围是否有人物面部。

在一种可能的实施方式中，若折叠屏手机已开启疲劳感知功能，当检测到手机为折叠状态，且外屏为亮屏状态，且满足上述第二条件的至少一项时，触发折叠屏手机的摄像头1持续采集第一图像，以检测摄像头范围是否有人物面部。

在一种可能的实施方式中，若折叠屏手机已开启疲劳感知功能，当检测到手机为展开状态，且内屏(如图14中的第二屏和第三屏)为亮屏状态，触发折叠屏手机的摄像头3，持续采集第一图像，以检测摄像头范围是否有人物面部。

在一种可能的实施方式中，若折叠屏手机已开启疲劳感知功能，当检测到手机为展开状态，且内屏为亮屏状态，且满足上述第二条件的至少一项时，触发折叠屏手机的摄像头3，持续采集第一图像，以检测摄像头范围是否有人物面部。

在一种可能的实施方式中，若折叠屏手机已满足开启摄像头的条件，当前手机为折叠状态且已开启摄像头1。当检测到手机由折叠状态至展开状态，且开启摄像头的其他条件不变时，可关闭摄像头1，并开启摄像头3，以检测摄像头3范围内是否有人物面部。

在一种可能的实施方式中，若折叠屏手机已满足开启摄像头的条件，当前手机为展开状态且已开启摄像头3。当检测到手机由展开状态切换至折叠状态，且开启摄像头的其他条件不变时，可关闭摄像头3，并开启摄像头1，以检测摄像头1范围内是否有人物面部。

需要说明的是，其他形态的折叠屏手机执行疲劳感知方法，可参照图14所示的折叠屏手机，其实现原理和技术效果类似，本申请实施例对折叠屏手机的结构样式不作任何限制。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍。示例性的，图4为本申请实施例提供的一种电子设备的结构示意图。如图4所示，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，显示处理单元(displayprocess unit，DPU)，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在一些实施例中，电子设备100也可以包括一个或多个处理器110。

在一些实施例中，处理器110可以包括一个或多个接口。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)，蓝牙，全球导航卫星系统(global navigation satellitesystem，GNSS)，调频(frequency modulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。

电子设备100通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，一个或多个摄像头193，视频编解码器，GPU，一个或多个显示屏194以及应用处理器等实现拍摄功能。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行各种功能应用以及数据处理等。

传感器180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景等。

磁传感器180D用于检测磁铁的磁场强度，得到磁力数据，通过磁力数据检测电子设备100的折叠屏的物理状态。磁铁用于产生磁场。在本申请实施例中，磁传感器180D可以设置于例如图14中(1)所示的背板对应的机体中，磁铁可以设置于例如图14中(1)所示的第一屏对应的机体中，磁铁可以让磁传感器180D检测到磁力数据，随着折叠屏开合状态的变化，磁传感器180D与磁铁之间的距离相应发生变化，磁传感器180D检测到的磁铁的磁场强度也会发生变化，进而智能传感集线器可以根据磁传感器180D在磁铁的磁场作用下所获取到的磁力数据，判断折叠屏的物理状态，物理状态包括如展开状态、支架状态、或折叠状态(闭合状态)。在一些实施例中，传感器180还可以包括霍尔传感器，霍尔传感器同样可用于检测磁铁的磁场强度，输出高/低电平，通过高/低电平确定电子设备100的折叠屏的物理状态。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

上述电子设备也可以称为终端设备(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。电子设备可以为拥有触摸屏的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。

在本申请实施例中，为了实现电子设备智能感知场景的功能，需要对电子设备的摄像头和处理器做硬件和软件上的改进。下面首先对电子设备的硬件改进进行说明。

示例性的，图5为本申请实施例提供的一种电子设备的结构示意图。如图5所示，电子设备可以包括改进的摄像头501和改进的处理器502。

改进的摄像头501是指在现有的摄像头模组中增设控制电路和新增拍摄模式所对应的工作电路，实现低功耗配置。例如，现有的摄像头模组的拍摄模式为模式1，摄像头模组中包括模式1对应的工作电路。若拍摄模式增加模式2，相应的，还涉及模式1和模式2之间的切换，对此，改进的摄像头模组除了包括模式1对应的工作电路，还包括新增的模式2对应的工作电路，以及两种模式切换对应的控制电路。应理解，根据实际应用需求，可以设置两个以上拍摄模式，对此本申请实施例不作任何限制。

作为一种示例，改进的摄像头501包括两种工作模式：第一模式和第二模式，第一模式可称为低功耗拍摄模式，第二模式可称为常规拍摄模式。摄像头501在第一模式下采集的图像的分辨率小于在第二模式下采集的图像的分辨率，摄像头501在第一模式下采集的图像的帧率小于在第二模式下采集的图像的帧率。摄像头501可在这两种模式间切换。

示例性的，若满足开启摄像头的条件，摄像头501工作在第一模式下，可常驻扫描，摄像头501以第一帧率持续采集第一分辨率的第一图像，以检测摄像头501范围内是否有人，如检测第一图像是否包含人物面部；若检测到有人出现后，如检测到第一图像中包含人物面部，摄像头501由第一模式切换至第二模式，以第二帧率持续采集第二分辨率的第二图像，以检测人物的眼部状态。其中，第一帧率小于第二帧率，第一分辨率小于第二分辨率。

基于上述示例，摄像头501可以动态调节采集图像的帧率和分辨率，以适应不同的需求，例如，摄像头501以较低的帧率和分辨率采集图像，以检测摄像头501范围内是否有人物面部，摄像头501以较高的帧率和分辨率采集图像，以检测人物的眼部状态。示例性的，摄像头501的最低帧率可以为1fps，最高帧率可以为30fps。摄像头501的最低分辨率可以为120×180，最高分辨率可以为480×640。在另一种示例中，最高帧率还可以为240fps，最高分辨率还可以为2736×3648。

需要说明的是，本申请实施例对摄像头采集图像的帧率范围、分辨率范围不作具体限定，即可以不限制摄像头采集图像的最低帧率和最高帧率，也不限制摄像头采集图像的最低分辨率和最高分辨率。在实际应用中，可以根据需求对帧率范围和分辨率范围作出合理设置。

需要说明的是，摄像头501可以是电子设备的前置摄像头，也可以是电子设备的后置摄像头，对此本实施例不作限制。

改进的处理器502可以是片上系统(System on Chip，SoC)。在本申请实施例中，当电子设备触发摄像头501常驻扫描，获取当前场景下的图像，摄像头501可将图像发送至SoC进行图像分析，以检测图像中是否存在人物面部、人物的眼部状态等。

为了实现低功耗的目的，SoC可以支持低功耗AON ISP(Always On ISP)，参考附图6，摄像头501将图像传输至AON ISP，AON ISP除了对图像作格式转换外，不作任何图像效果的处理，随后将格式转换后的图像存储至片上静态随机存取存储器(on-chip StaticRandom-Access Memory，on-chip SRAM)。SoC还可以支持极低功耗核心，计算、算法运行、图像存储都工作在低功耗模式。并且，SoC还可以支持低功耗嵌入式神经网络处理器eNPU(emdedded NPU)。

下面对于本申请实施例涉及的SoC进行详细说明。

示例性的，图6为本申请实施例提供的一种SoC的结构示意图。如图6所示，SoC包括第一处理单元和第二处理单元。其中，第一处理单元包括图像信号处理ISP、神经网络处理器NPU和中央处理器CPU，第二处理单元包括I2C总线接口、AON ISP、on-chip SRAM、数字信号处理器DSP和eNPU。在Soc中，第二处理单元的功耗低于第一处理单元的功耗，具体来说，第二处理单元中eNPU的功耗低于第一处理单元中NPU的功耗，第二处理单元中AON ISP的功耗低于第一处理单元中ISP的功耗。

作为一种示例，第一处理单元可用于处理摄像头501采集的上述的第二分辨率的第二图像。示例性的，在第二模式下，摄像头501采集第二分辨率的第二图像，经IPS处理后，由NPU对处理后的第二分辨率的第二图像进行检测，例如检测人物的眼部状态。第一处理单元将数据(如图像数据)发送至存储器前，可以进行安全处理(例如加密处理)，将安全处理后的数据存储在存储器的安全缓冲器(buffer)中。安全处理用于保护用户的隐私数据。

作为一种示例，第二处理单元可用于处理摄像头501采集的上述的第一分辨率的第一图像。示例性的，在第一模式下，摄像头501采集第一分辨率的第一图像，AON ISP通过I2C总线接口获取第一分辨率的第一图像，经AON ISP处理后，由eNPU对处理后的第一分辨率的第一图像进行检测，例如检测第一图像中是否包含人物面部。第二处理单元中的on-chip SRAM可用于存储处理后的第一分辨率的第一图像，DSP可用于通知eNPU进行图像检测、接收eNPU上报的检测结果，并将检测结果上报至上层应用。第二处理单元采用低功耗配置，以降低电子设备的功耗。

需要说明的是，本申请实施例对于第一处理单元或第二处理单元与摄像头之间传输的图像数据的格式不作限制。示例性的，图像数据可以为摄像串行接口(Camera SerialInterface，CSI)移动产业处理器接口(Mobile Industry Processor Interface，MIPI)数据。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的软件系统为Android系统为例，示例性说明电子设备的软件结构。图7为本申请实施例提供的一种电子设备的结构示意图。分层架构将电子设备的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。

参照图7，本申请实施例的电子设备包括应用程序层(Applications)、应用程序框架层(Application Framework)、硬件抽象层(Hardware Abstraction Layer，HAL)，内核层(Kernel)，传感器控制中心(Sensorhub)以及硬件层。

应用程序层可以包括一系列应用程序，应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface，API)运行应用程序。

本申请实施例中，应用程序层可以包括疲劳感知应用和感知模块，疲劳感知应用与感知模块连接，疲劳感知应用在感知模块中注册，由感知模块作状态管理下发和数据传输，例如，感知模块从Sensorhub中的第二处理模块获知摄像头范围内有人物面部时，感知模块通知HAL中的第一处理模块，以便第一处理模块识别人物的眼部状态，最终由感知模块向疲劳感知应用上报识别结果，其中眼部状态包括睁眼状态、中间状态、闭眼状态。

在一些实施例中，应用程序层还包括其他应用(图7未示出)，例如注视不息屏应用，注视常亮显示(always on display，AOD)应用。一种可能的情况，多个应用对应同一算法，例如，注视不息屏应用和注视AOD应用对应注视检测算法，感知模块可用于对注视检测算法作统一的调度和管理。另一种可能的情况，不同应用对应不同的算法，例如，疲劳感知应用对应眼部状态识别算法(疲劳感知应用还对应面部(有无)检测算法)，注视不息屏应用对应注视检测算法，这两个算法均涉及从底层的摄像头获取图像数据，感知模块可用于对多个算法间的优先级的调度和管理。存在一种可能，眼部状态识别算法和注视检测算法的优先级相同，感知模块可通知底层的摄像头将图像数据同时上报给疲劳感知应用和注视不息屏应用。本实施例中，眼部状态识别算法可部署在第一处理模块中，面部检测算法可部署在第二处理模块中。本实施例示出的算法仅为示例。

在一些实施例中，若电子设备包括折叠屏，应用程序层还包括第三处理模块，第三处理模块用于获取第二处理模块上报的折叠屏物理状态，以及内外屏摄像头的状态(开启或关闭)。此外，第三处理模块还用于将内外屏摄像头的状态通知给第一处理模块。

在一些实施例中，应用程序还可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序，可以是系统应用，也可以是第三方应用，本申请实施例对此不做限制。

应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图7所示，应用程序框架层可以包括摄像头服务(CameraService)，摄像头服务用于对所有需要使用摄像头的应用的优先级调度和管理。

在一些实施例中，应用程序框架层还可以包括例如窗口管理器，内容提供器，资源管理器，通知管理器，视图系统等，本申请实施例对此不做限制。

硬件抽象层可以包括AO(always on)服务和第一处理模块。AO服务可用于控制第一处理模块中的眼部状态识别算法的开启或关闭，以及控制第二处理模块中的面部检测算法的开启或关闭，以及上下层数据传输。第一处理模块可用于处理较高分辨率和/或较高帧率的图像，如上述的第二图像，以检测第二图像中人物的眼部状态。第一处理模块还用于用于摄像头模式切换，例如第一处理模块接收来自感知模块的第二指示，控制摄像头由第一模式切换至第二模式。

内核层是硬件和软件之间的层。内核层用于驱动硬件，使得硬件工作。在本申请实施例中，内核层可以包括摄像头驱动，摄像头驱动用于驱动电子设备中摄像头工作在第一模式或第二模式下，以采集不同帧率和/或分辨率的图像。

此外，内核层还可以包括显示驱动音频驱动，传感器驱动，马达驱动等，本申请实施例对此不做限制。其中，传感器驱动可以驱动例如接近光传感器发射光信号，以检测用户当前是否手持电子设备贴近耳朵通话等，传感器驱动还可以驱动例如陀螺仪传感器，以检测电子设备的姿态数据；传感器驱动还可以驱动例如环境光传感器检测环境光亮度，以检测电子设备是否处于暗环境，暗环境包括例如手机在口袋里等。

Sensorhub用于实现对传感器的集中控制，以减小CPU的负荷。Sensorhub相当于微程序控制器(Microprogrammed Control Unit，MCU)，该MCU上可以运行用于驱动多个传感器工作的程序，也就是说Sensorhub中可以支持挂载多个传感器的能力，其可以作为一个独立的芯片，放置在CPU与各类传感器之间，也可以集成在CPU中的应用处理器(applicationprocessor，AP)中。

在本申请实施例中，Sensorhub可以包括第二处理模块，第二处理模块可用于处理较低分辨率和/或较低帧率的的图像，如上述的第一图像，以检测第一图像中是否有人物面部。相较于第一处理模块，第二处理模块为低功耗处理模块，第二处理模块常驻运行或以低功耗形式运行。作为一种示例，在疲劳感知功能开启时，第二处理模块还用于获取各类传感器上报的数据，基于各类传感器数据确定电子设备的各项状态，如屏幕状态、解锁状态、使用状态等，若设备状态满足第一条件，第二处理模块可向摄像头发送第一拍摄指令，指示摄像头在低功耗拍摄模式(如第一模式)下常驻扫图，以检测摄像头范围内是否有人物面部。作为一种示例，对于可折叠设备，第二处理模块可通过检测折叠屏物理状态、屏幕状态以及设备状态是否满足第二条件，确定是否向摄像头(内屏或外屏上的摄像头)发送第一拍摄指令。作为一种示例，第二处理模块在检测到折叠屏手机的屏幕的物理状态发生改变时，如由折叠状态至展开状态，或者由展开状态至折叠状态，第二处理模块可控制折叠屏手机的摄像头(如手机外屏的摄像头，和/或，手机内屏的摄像头)开启或关闭。

硬件层可以包括例如摄像头、各类传感器和AON ISP等。

可以理解的是，图7示出的层级结构中的层以及各层中包含的模块或部件，并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。图7所示的各分层中包括的模块为本申请实施例中涉及到的模块，各分层中包括的模块并不构成对电子设备的结构和模块部署的层级(示例说明)的限定。在一些实施例中，图7中所示的模块可以单独部署，或者几个模块可以部署在一起，图7中对模块的划分为一种示例。在一些实施例中，图7中所示的模块的名称为示例说明。

在上述所示的电子设备的结构的基础上，下面结合具体的实施例对本申请实施例提供的疲劳感知方法进行说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图8为本申请实施例提供的一种疲劳感知方法的流程示意图。如图8所示，本实施例提供的疲劳感知方法，包括：

步骤801、目标应用在感知模块注册疲劳感知功能。

本实施例中，目标应用即应用程序层的疲劳感知应用。在一种实施例中，目标应用从服务器(或称为云端)获取疲劳感知功能的信息，在获取疲劳感知功能的信息后，目标应用可在感知模块注册疲劳感知功能，以便感知模块常驻运行和执行与疲劳感知相关的事项。疲劳感知功能的信息包括实现疲劳感知功能的代码信息，还可以包括不同场景(例如睡眠场景、驾驶场景等)对应的预设操作等信息。

步骤802、感知模块确定是否启动疲劳感知功能。

若感知模块确定启动疲劳感知功能，则执行步骤803。

示例性的，参照图3，若用户在系统应用或第三方应用的设置界面选择开启疲劳感知功能，系统应用或第三方应用向感知模块发送通知，以告知感知模块用户已开启疲劳感知功能。

步骤803、感知模块向第二处理模块发送第一指示。

第一指示用于指示第二处理模块检测电子设备的摄像头范围内是否有人物面部。感知模块发送第一指示，可控制启动第二处理模块，包括模块上电、工作场景下发、资源准备等。

步骤804、第二处理模块响应于第一指示，向摄像头发送第一拍摄指令，第一拍摄指令用于指示摄像头工作在第一模式。

第二处理模块发送第一拍摄指令，以控制启动摄像头，包括摄像头上电、模式切换、出图分辨率和帧率设置等。摄像头在第一模式下以较低的帧率和/或分辨率持续采集图像，即第一图像。

步骤805、摄像头向第二处理模块发送第一图像。

摄像头响应于第一拍摄指令，在第一模式下以第一帧率采集第一分辨率的第一图像。示例性的，第一帧率可设置为5fps，第一分辨率可设置为120×180或者640×480。

步骤806、第二处理模块识别第一图像是否有人物面部。

若第二处理模块在第一图像中识别到人物面部，则执行步骤807。否则，第二处理模块继续执行步骤806，除非摄像头被控制关闭。

在一种实施例中，第二处理模块预置有面部识别模型，面部识别模型可以是采用轻量级神经网络模型训练得到的，用于识别图像中是否包含人物面部。

在一些实施例中，面部识别模型可部署在第二处理模块的eNPU上，具有良好的实时性。

作为一种示例，面部识别模型的训练过程包括：

步骤a、构建面部识别模型的训练集和测试集，训练集或测试集中均包括样本图像和样本图像对应的标注结果，标注结果用于指示样本图像中是否有人物面部，例如，0表示图像中不存在人物面部，1表示图像中存在人物面部。其中训练集和测试集中的样本图像不同。

步骤b、基于初始的面部识别模型和训练集，对面部识别模型进行训练。具体的，将训练集的样本图像作为初始的面部识别模型的输入，将训练集的样本图像对应的标注结果作为初始的面部识别模型的输出，对面部识别模型进行训练。

步骤c、基于步骤b训练的面部识别模型和测试集，对面部识别模型的预测结果进行验证，当模型损失函数收敛时，停止对面部识别模型的训练。

步骤807、第二处理模块向感知模块发送第一消息，第一消息用于通知感知模块电子设备的摄像头范围内识别到人物面部。

步骤808、感知模块向第一处理模块发送第二指示。

第二指示用于指示第一处理模块识别摄像头范围内的人物的眼部状态。第二处理模块发送第二指示，可控制启动第一处理模块，包括模块上电、工作场景下发、资源准备等。

步骤809、第一处理模块响应于第二指示，向摄像头发送第二拍摄指令。

第二拍摄指令用于指示摄像头工作在第二模式。第一处理模块发送第二拍摄指令，以控制摄像头进行模式切换，即由第一模式切换至第二模式。摄像头在第二模式下以较高的帧率和/或分辨率持续采集图像，即第二图像。

步骤810、摄像头向第一处理模块发送第二图像。

摄像头响应于第二拍摄指令，在第二模式下以第二帧率采集第二分辨率的第二图像，并向第一处理模块发送第二图像。本实施例中，第二图像包括多张图像。示例性的，第二帧率可设置为30fps，第二分辨率可设置为1920×1080。

步骤811、第一处理模块确定第二图像中是否有人物面部。

若确定有人物面部，执行步骤813；若确定没有人物面部，执行步骤812。

步骤812、第一处理模块向感知模块发送第三消息，第三消息用于通知感知模块摄像头范围内没有人物面部。

步骤813、第一处理模块识别第二图像中人物的眼部状态。

步骤814、第一处理模块确定第二图像中人物的眼部状态是否为闭眼状态，且闭眼状态的持续时间是否大于预设时长。

若确定第二图像中人物的眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，则执行步骤815；否则，跳转回步骤811。

在一种实施例中，第一处理模块预设有眼部检测模型，眼部检测模型可以是采用轻量级神经网络模型训练得到的，用于识别第二图像中人物的眼部状态。

在一些实施例中，眼部检测模型可部署在第一处理模块的NPU上，具有良好的实时性。

作为一种示例，眼部检测模型的训练过程包括：

步骤a、构建眼部检测模型的训练集和测试集，训练集或测试集中均包括样本图像(含人物面部的图像)和样本图像对应的眼部状态(样本标注)，训练集和测试集中的样本图像不同。

步骤b、基于初始的眼部检测模型和训练集，对眼部检测模型进行训练。具体的，将训练集的样本图像作为初始的眼部检测模型的输入，将训练集的样本图像对应的眼部状态作为初始的眼部检测模型的输出，对眼部检测模型进行训练。

步骤c、基于步骤b训练的眼部检测模型和测试集，对眼部检测模型的预测结果进行验证，当模型损失函数收敛时，停止对眼部检测模型的训练。

在一种实施例中，图9示出了一种检测人物眼部状态的流程图，如图9所示，第一处理模块还可以通过如下步骤确定第二图像中人物的眼部状态：

步骤901、识别第二图像中人物的多个眼部检测点；

步骤902、获取每个眼部检测点在第二图像的坐标数据；

步骤903、根据多个眼部检测点的坐标数据确定第一参数，第一参数用于指示人物的眼部开合程度；

步骤904、根据第一参数确定人物的眼部状态。

为了便于理解上述执行步骤，下面结合附图10对如何确定第一参数进行详细说明。图10为本申请实施例提供的眼部检测点的示意图。

在一种可能的实施方式中，如图10的(a)和(b)所示，多个眼部检测点包括第一检测点P₁(或P₁＇)、第二检测点P₂(或P₂＇)、第三检测点P₃(或P₃＇)和第四检测点P₄(或P₄＇)。

相应的，根据多个眼部检测点的坐标数据确定第一参数，包括：

根据第一检测点和第二检测点的坐标数据，确定眼部宽度值；根据第三检测点和第四检测点的坐标数据，确定眼部高度值；根据眼部宽度值和眼部高度值，确定第一参数。

具体的，可通过如下公式确定第一参数EAR₁：

式中，∥P₁-P₂∥表示第一检测点和第二检测点的距离值，即眼部宽度值x；∥P₃-P₄∥表示第三检测点和第四检测点的距离值，即眼部高度值y。上式示出了图10的(a)所示的睁眼状态的EAR₁，同理，可以确定图10的(b)所示的闭眼状态的第一参数。

在一种可能的实施方式中，如图10的(c)和(d)所示，多个眼部检测点包括第一检测点P1(或P1＇)、第二检测点P2(或P2＇)、第三检测点P3(或P3＇)、第四检测点P4(或P4＇)、第五检测点P5(或P5＇)和第六检测点P6(或P6＇)。

相应的，根据多个眼部检测点的坐标数据确定第一参数，包括：

根据第一检测点和第二检测点的坐标数据，确定眼部宽度值；根据第三检测点和第四检测点的坐标数据，确定眼部第一高度值；根据第五检测点和第六检测点的坐标数据，确定眼部第二高度值；根据眼部宽度值、眼部第一高度值和眼部第二高度值，确定第一参数。

具体的，可通过如下公式确定第一参数EAR₂：

式中，∥P₁-P₂∥表示第一检测点和第二检测点的距离值，即眼部宽度值x；∥P₃-P₄∥表示第三检测点和第四检测点的距离值，即眼部第一高度值y₁；∥P₅-P₆∥表示第五检测点和第六检测点的距离值，即眼部第二高度值y₂。上式示出了图10的(c)所示的睁眼状态的EAR₂，同理，可以确定图10的(d)所示的闭眼状态的第一参数。

本实施方式中，根据顺序编号的六个眼部检测点可以表示人物眼部的开合程度(或者开合状态)。可以理解的是，当人物眼部睁开时，如图10的(c)所示，眼部高度值y₁和y₂的数值较大，当人物眼部闭合时，如图10的(d)所示，眼部高度值y₁＇和y₂＇的数值较小。

考虑到摄像头与人物眼部距离的不同，仅仅使用眼部高度值表示眼部的开合程度缺少参考比较，因此还需要结合眼部宽度值来表示眼部的开合程度，这样可以相对客观的表征眼部的开合程度，提高测量的精确度。

需要说明的是，检测眼部状态的眼部检测点的数量最少为4个，为了提高检测精准度，可以采集更多的眼部检测点，对此本申请实施例不作具体限定。

本实施例中，人物的眼部状态包括例如睁眼状态、中间状态、闭眼状态。不同眼部状态对应不同的第一参数。通过大量测试发现，当EAR小于0.25时，眼部处于闭眼状态，闭眼状态持续时间大于预设时长时，可判定用户处于疲劳状态。

示例性的，人物的眼部状态与EAR的数值范围的对应关系如表1所示。

人物的眼部状态	EAR的数值范围
		睁眼状态	[0,0.25)
中间状态	[0.25,0.3)
		闭眼状态	[0.3,0.4]

在另一种实施例中，若确定第二图像中人物的眼部状态为中间状态，且中间状态的持续时间大于预设时长，也可以执行步骤815。

步骤815、第一处理模块向感知模块发送第二消息。

第二消息用于指示用户处于疲劳状态。在一些实施例中，第二消息还可以指示用户的疲劳程度，不同的疲劳程度可对应不同的预设操作。示例性的，若用户的疲劳程度为轻度，可执行例如播放预设歌曲；若用户的疲劳程度为中度，可执行例如开启语音助手；若用户的疲劳程度为重度，可执行例如向用户推荐附近的服务区或宾馆等。

需要说明的是，用户的疲劳程度可根据用户闭眼的持续时间确定。一般来说，正常人眨眼大概持续0.3s至0.4s。示例性的，若用户闭眼的持续时间大于0.4s，确定用户的疲劳程度为轻度；若用户闭眼的持续时间大于1s，确定用户的疲劳程度为中度；若用户闭眼的持续时间大于3s，确定用户的疲劳程度为重度。

步骤816、感知模块向目标应用发送第三指示，第三指示用于指示用户处于疲劳状态。作为一种示例，第三指示还可以指示用户的疲劳程度。

步骤817、目标应用控制执行预设操作。

作为一种示例，目标应用响应于第三指示中用户的疲劳程度，控制执行与疲劳程度对应的预设操作。其中，预设操作包括以下至少一种：调节音量大小；发送第一信息，第一信息用于提醒用户注意休息；发送第二信息，第二信息用于推荐目标场景对应的内容；发送第三信息，第三信息用于推荐手机附近的休息场所；播放预设歌曲；开启手机的语音助手；息屏。不同场景可对应不同的预设操作，用户可自定义设置预设操作，具体可参见上文实施例。

需要说明的是，在本实施例中，第一处理模块可对应图6所示的第一处理单元，第二处理模块可对应图6所示的第二处理单元。

上述实施例中，若检测到电子设备已开启疲劳感知功能，感知模块可通过第二处理模块(低功耗处理模块)向摄像头发送第一拍摄指令，使得摄像头以较低的帧率和/或分辨率采集第一图像。若第二处理模块识别到第一图像中包含人物面部，可通知第一处理模块，以便第一处理模块向摄像头发送第二拍摄指令，使得摄像头以较高的帧率和/或分辨率采集第二图像。第一处理模块识别第二图像中人物的眼部状态，若识别到人物的眼部状态为闭眼状态，且该闭眼状态的持续时间大于预设时长，可执行预设操作。

上述方案在用户开启疲劳感知功能后，电子设备以较低功耗进行人物面部检测，在确定用户处于疲劳状态时，执行预设操作，如提醒用户注意休息、推荐附近的服务区或宾馆等，实现电子设备智能感知用户疲劳状态的功能，提升用户的用机体验。由于摄像头和第二处理模块均采用低功耗配置，执行该方案的功耗极低。

图11为本申请实施例提供的一种疲劳感知方法的流程示意图。在图8所示实施例的基础上，如图11所示，本实施例提供的疲劳感知方法，包括：

步骤1101、目标应用在感知模块注册疲劳感知功能。

步骤1102、感知模块确定是否启动疲劳感知功能。

若感知模块确定启动疲劳感知功能，则执行步骤1103。

步骤1103、感知模块向第二处理模块发送第一指示，第一指示用于指示第二处理模块检测电子设备的摄像头范围内是否有人物面部。

步骤1104、第二处理模块确定是否满足第一条件。

若第二处理模块确定满足第一条件，则执行步骤1105。否则，第二处理模块持续低功耗检测，以确定是否满足第一条件。

本实施例中，第一条件包括以下至少一种：电子设备的屏幕状态为亮屏状态；电子设备已解锁；电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的屏幕朝向预设方向；电子设备的预设应用已开启；电子设备连接车载设备；电子设备的移动速度大于第三阈值；电子设备的瞬时加速度大于第四阈值；电子设备的时钟数据在预设时段内；电子设备的位置数据在预设位置范围内；电子设备的环境光传感器的检测数据小于第五阈值。

本实施例中，若电子设备已开启疲劳感知功能，且满足上述的第一条件，则触发电子设备的摄像头持续采集第一图像。通过增设第一条件，以避免电子设备在非必要时持续采集第一图像，进一步降低设备功耗。

步骤1105、第二处理模块向摄像头发送第一拍摄指令，第一拍摄指令用于指示摄像头工作在第一模式。

在一些实施例中，若电子设备为可折叠设备，可折叠设备包括内屏和外屏，内屏对应设置有第一摄像头，外屏对应设置有第二摄像头。

一种情况，步骤1104可以替换为：第二处理模块检测到电子设备的内屏为亮屏状态，且电子设备处于展开状态。相应的，步骤1105可以是：第二处理模块向第一摄像头发送第一拍摄指令。在一些实施例中，第二处理模块向第一摄像头发送第一拍摄指令之前，还包括：检测到电子设备的状态满足第二条件，第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器(内屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的内屏朝向预设方向；电子设备的预设应用已开启；电子设备连接车载设备；电子设备的移动速度大于第三阈值；电子设备的瞬时加速度大于第四阈值；电子设备的时钟数据在预设时段内；电子设备的位置数据在预设位置范围内；电子设备的环境光传感器的检测数据小于第五阈值。

一种情况，步骤1104可以替换为：第二处理模块检测到电子设备的外屏为亮屏状态，且电子设备处于折叠状态。相应的，步骤1105可以是：第二处理模块向第二摄像头发送第一拍摄指令。在一些实施例中，第二处理模块向第二摄像头发送第一拍摄指令之前，还包括：检测到电子设备的状态满足第二条件，第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器(外屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的外屏朝向预设方向；电子设备的预设应用已开启；电子设备连接车载设备；电子设备的移动速度大于第三阈值；电子设备的瞬时加速度大于第四阈值；电子设备的时钟数据在预设时段内；电子设备的位置数据在预设位置范围内；电子设备的环境光传感器的检测数据小于第五阈值。

步骤1106、摄像头向第二处理模块发送第一图像。

步骤1107、第二处理模块识别第一图像是否包含人物面部。

若第二处理模块在第一图像中识别到人物面部，则执行步骤1108；

若第二处理模块在第一图像中未识别到人物面部，则跳转回步骤1104。

步骤1108、第二处理模块向感知模块发送第一消息，第一消息用于通知感知模块电子设备摄像头范围内识别到人物面部。

步骤1109、感知模块向第一处理模块发送第二指示，第二指示用于指示第一处理模块识别摄像头范围内的人物的眼部状态。

步骤1110、第一处理模块响应于第二指示，向摄像头发送第二拍摄指令，第二拍摄指令用于指示摄像头工作在第二模式。

步骤1111、摄像头向第一处理模块发送第二图像。

步骤1112、第一处理模块确定第二图像中是否有人物面部。

若确定有人物面部，执行步骤1114；若确定没有人物面部，执行步骤1113。

步骤1113、第一处理模块向感知模块发送第三消息，第三消息用于通知感知模块摄像头范围内没有人物面部。

步骤1114、第一处理模块识别第二图像中人物的眼部状态。

步骤1115、第一处理模块确定第二图像中人物的眼部状态是否为闭眼状态，且闭眼状态的持续时间是否大于预设时长。若确定第二图像中人物的眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，则执行步骤1116；否则，跳转回步骤1112。

步骤1116、第一处理模块向感知模块发送第二消息，第二消息用于指示用户处于疲劳状态。

步骤1117、感知模块向目标应用发送第三指示，第三指示用于指示用户处于疲劳状态。

在一些实施例中，第三指示还可以指示用户的疲劳程度。

步骤1118、目标应用控制执行预设操作。

上述实施例中，若电子设备已开启疲劳感知功能，且满足上述的第一条件，感知模块可通过第二处理模块向摄像头发送第一拍摄指令，使得摄像头以较低的帧率和/或分辨率采集第一图像。若第二处理模块识别到第一图像中包含人物面部，可通知第一处理模块，由第一处理模块向摄像头发送第二拍摄指令，使得摄像头以较高的帧率和/或分辨率采集第二图像。第一处理模块识别第二图像，若第二图像中人物的眼部状态为闭眼状态，且闭眼状态的持续时间大于预设时长，则执行预设操作，如提醒用户注意休息，或推荐附近的服务区或宾馆等，实现设备智能感知用户疲劳状态的功能。一方面，由于摄像头和第二处理模块均采用低功耗配置，执行上述方案的功耗极低。另一方面，增设第一条件可避免电子设备进行非必要的人物面部检测，从而进一步降低设备功耗。

本申请实施例还提供一种疲劳感知方法，该方法应用于具有柔性屏幕的电子设备，下面以折叠屏手机为例进行方案说明，折叠屏手机的内屏和外屏上分别设置一组摄像头，用于采集图像数据。本实施例的疲劳感知方法涉及折叠屏状态变化时，设备底层模块的处理逻辑，下面结合附图15进行说明。

示例性的，图15为本申请实施例提供的一种疲劳感知方法的流程示意图。如图15所示，本实施例的疲劳感知方法，可以包括以下步骤：

步骤1501、第二处理模块获取传感器数据，以确定折叠屏的物理状态变化。

本实施例中，传感器数据包括例如磁传感器、霍尔传感器等，通过获取传感器数据确定折叠屏的物理状态是否发生变化。折叠屏的物理状态发生变化包括由折叠状态至展开状态，或者由展开状态至折叠状态。

步骤1502a、第二处理模块基于折叠屏的物理状态变化，控制开启或关闭内屏上的摄像头。

步骤1502b、第二处理模块基于折叠屏的物理状态变化，控制开启或关闭外屏上的摄像头。

在一种可能的实施方式中，若折叠屏的物理状态变化为由折叠状态至展开状态，第二处理模块可控制开启内屏上的摄像头。

在一种可能的实施方式中，外屏上的摄像头已开启，若折叠屏的物理状态变化为由折叠状态至展开状态，第二处理模块可控制关闭外屏上的摄像头，同时控制开启内屏上的摄像头。

在一种可能的实施方式中，内屏上的摄像头已开启，若折叠屏的物理状态变化为由展开状态至折叠状态，第二处理模块可控制关闭内屏上的摄像头，同时开启外屏上的摄像头。

示例性的，外屏上的摄像头可以是图14所示的摄像头1，内屏上的摄像头可以是图14所示的摄像头3。

步骤1502c、第二处理模块将折叠屏的物理状态以及内外屏摄像头的状态上报给第三处理模块。

需要指出的是，本实施例对步骤1502a至1502c的执行顺序不做任何限定。

步骤1503、第三处理模块向第一处理模块发送通知，通知内外屏摄像头的状态。

本实施例示出了折叠屏手机的屏幕的物理状态发生变化时，手机内部各个模块之间的交互过程，通过上述交互以实现对摄像头低功耗持续扫图功能的精确控制，使得用户在使用折叠屏手机时(如使用折叠屏手机导航时)，手机能够智能识别摄像头范围内人物的疲劳状态，进而提示用户注意休息或推送服务区等，提升用户的用机体验。

图12为本申请实施例提供的一种电子设备的结构示意图，如图12所示，电子设备包括摄像头1206，处理器1201，通信线路1204以及至少一个通信接口(图12中示例性的以通信接口1203为例进行说明)。

摄像头1206可用于采集不同帧率和/或分辨率的图像，处理器1201可用于检测图像中是否有人物面部，以及识别人物疲劳状态(眼部状态)。

处理器1201可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。在一些实施例中，处理器1201包括第一处理模块和第二处理模块，第一处理模块的功耗高于第二处理模块的功耗；第二处理模块可用于检测摄像头范围内是否存在人物面部；第一处理模块可用于识别摄像头范围内人物的眼部状态。

通信线路1204可包括在上述组件之间传送信息的电路。

通信接口1203，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

在一些实施例中，电子设备还可以包括存储器1202。

存储器1202可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1204与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1202用于存储执行本申请方案的计算机执行指令，并由处理器1201来控制执行。处理器1201用于执行存储器1202中存储的计算机执行指令，从而实现本申请实施例所提供的疲劳感知方法。

在一些实施例中，电子设备还包括显示屏1207，显示屏1207可以是折叠屏。

本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

作为一种示例，处理器1201可以包括一个或多个CPU，例如图12中的CPU0和CPU1。

作为一种示例，电子设备可以包括多个处理器，例如图12中的处理器1201和处理器1205。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

图13为本申请实施例提供的一种芯片的结构示意图。如图13所示，芯片1300包括一个或两个以上(包括两个)处理器1320和通信接口1330。

在一些实施方式中，存储器1340存储了如下的元素：可执行模块或者数据结构，或者，可执行模块或者数据结构的子集，或者，可执行模块或者数据结构的扩展集。

本申请实施例中，存储器1340可以包括只读存储器和随机存取存储器，并向处理器1320提供指令和数据。存储器1340的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器1340、通信接口1330以及存储器1340通过总线系统1310耦合在一起。其中，总线系统1310除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图13中将各种总线都标为总线系统1310。

上述本申请实施例描述的方法可以应用于处理器1320中，或者由处理器1320实现。处理器1320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1320可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1320可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括一个或多个计算机指令。在电子设备上加载和执行计算机程序指令时，使得电子设备执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

计算机可读存储介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。计算机可读存储介质可以包括：紧凑型光盘只读储存器CD-ROM、RAM、ROM、EEPROM或其它光盘存储器；计算机可读存储介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读存储介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

此外，需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户面部信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种疲劳感知方法，其特征在于，应用于电子设备，所述方法包括：

所述电子设备的摄像头以第一模式运行；

所述电子设备获取所述摄像头在所述第一模式下采集的第一图像，检测所述第一图像中是否有人物面部；

若所述电子设备在所述第一图像中检测到人物面部，控制所述摄像头由所述第一模式切换至第二模式；

所述电子设备获取所述摄像头在所述第二模式下采集的第二图像，并识别所述第二图像中所述人物的眼部状态；

所述电子设备识别到所述眼部状态为闭眼状态，且所述闭眼状态的持续时间大于预设时长，控制执行预设操作。

2.根据权利要求1所述的方法，其特征在于，

所述电子设备的摄像头以第一模式运行之前，所述方法还包括：

响应于开启疲劳感知功能的第一操作。

3.根据权利要求1或2所述的方法，其特征在于，

所述电子设备的摄像头以第一模式运行之前，所述方法还包括：

检测到所述电子设备的状态满足第一条件；所述第一条件包括以下至少一项：

所述电子设备的屏幕状态为亮屏状态；

所述电子设备已解锁；

所述电子设备的接近光传感器发射的光信号与所述光信号的反射信号的时间差大于第一阈值，和/或，所述反射信号的信号强度小于第二阈值，和/或，所述接收光传感器未接收到所述反射信号；

所述电子设备的屏幕朝向预设方向；

所述电子设备的预设应用已开启；

所述电子设备连接车载设备；

所述电子设备的移动速度大于第三阈值；

所述电子设备的瞬时加速度大于第四阈值；

所述电子设备的时钟数据在预设时段内；

所述电子设备的位置数据在预设位置范围内；

所述电子设备的环境光传感器的检测数据小于第五阈值。

4.根据权利要求1或2所述的方法，其特征在于，所述电子设备为可折叠设备，所述可折叠设备包括内屏和外屏，所述内屏对应设置有第一摄像头，所述外屏对应设置有第二摄像头；所述电子设备的摄像头以第一模式运行，包括：

检测到所述电子设备的外屏为亮屏状态，且所述电子设备处于折叠状态，控制所述第二摄像头以第一模式运行；或者

检测到所述电子设备的内屏为亮屏状态，且所述电子设备处于展开状态，控制所述第一摄像头以第一模式运行。

5.根据权利要求4所述的方法，其特征在于，在控制所述第一摄像头以第一模式运行，或者控制所述第二摄像头以第一模式运行之前，所述方法还包括：

检测到所述电子设备的状态满足第二条件；所述第二条件包括以下至少一项：

所述电子设备已解锁；

所述电子设备的接近光传感器发射的光信号与所述光信号的反射信号的时间差大于第一阈值，和/或，所述反射信号的信号强度小于第二阈值，和/或，所述接收光传感器未接收到所述反射信号；

所述电子设备的内屏或外屏朝向预设方向；

所述电子设备的预设应用已开启；

所述电子设备连接车载设备；

所述电子设备的移动速度大于第三阈值；

所述电子设备的瞬时加速度大于第四阈值；

所述电子设备的时钟数据在预设时段内；

所述电子设备的位置数据在预设位置范围内；

所述电子设备的环境光传感器的检测数据小于第五阈值。

6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：

当所述第二摄像头以所述第一模式运行时，若检测到所述电子设备由折叠状态至展开状态时，所述电子设备控制所述第一摄像头以所述第一模式运行，并关闭所述第二摄像头；

当所述第一摄像头以所述第一模式运行时，若检测到所述电子设备由展开状态至折叠状态时，所述电子设备控制所述第一摄像头关闭，并控制所述第二摄像头以所述第一模式运行。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述电子设备识别所述第二图像中所述人物的眼部状态，包括：

所述电子设备识别所述第二图像中所述人物的多个眼部检测点；

所述电子设备获取每个眼部检测点在所述第二图像的坐标数据；

所述电子设备根据所述多个眼部检测点的坐标数据确定第一参数，所述第一参数用于指示所述人物的眼部开合程度；

所述电子设备根据所述第一参数确定所述人物的眼部状态。

8.根据权利要求7所述的方法，其特征在于，所述多个眼部检测点包括第一检测点、第二检测点、第三检测点和第四检测点；所述电子设备根据所述多个眼部检测点的坐标数据确定第一参数，包括：

所述电子设备根据所述第一检测点和所述第二检测点的坐标数据，确定眼部宽度值；

所述电子设备根据所述第三检测点和所述第四检测点的坐标数据，确定眼部高度值；

所述电子设备根据所述眼部宽度值和所述眼部高度值，确定所述第一参数。

9.根据权利要求7所述的方法，其特征在于，所述多个眼部检测点包括第一检测点、第二检测点、第三检测点、第四检测点、第五检测点和第六检测点；所述电子设备根据所述多个眼部检测点的坐标数据确定第一参数，包括：

所述电子设备根据所述第一检测点和所述第二检测点的坐标数据，确定眼部宽度值；

所述电子设备根据所述第三检测点和所述第四检测点的坐标数据，确定眼部第一高度值；

所述电子设备根据所述第五检测点和所述第六检测点的坐标数据，确定眼部第二高度值；

所述电子设备根据所述眼部宽度值、所述眼部第一高度值和所述眼部第二高度值，确定所述第一参数。

10.根据权利要求1至9任一项所述的方法，其特征在于，

所述电子设备的摄像头以第一模式运行，包括：

所述电子设备的感知模块向所述电子设备的第二处理模块发送第一指示，所述第一指示用于指示所述第二处理模块检测所述摄像头范围内是否有人物面部；

所述第二处理模块向所述摄像头发送第一拍摄指令；

所述摄像头响应于所述第一拍摄指令，以所述第一模式运行。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述电子设备获取所述摄像头在所述第一模式下采集的第一图像，检测所述第一图像中是否有人物面部，包括：

所述电子设备的第二处理模块获取所述摄像头在所述第一模式下采集的所述第一图像，检测所述第一图像中是否有人物面部。

12.根据权利要求1至11任一项所述的方法，其特征在于，若所述电子设备在所述第一图像中检测到人物面部，控制所述摄像头由所述第一模式切换至第二模式，包括：

若所述电子设备的第二处理模块检测到所述第一图像中有人物面部，所述第二处理模块向所述电子设备的感知模块发送第一消息，所述第一消息用于通知所述感知模块所述摄像头范围内有人物面部；

所述感知模块向所述电子设备的第一处理模块发送第二指示，所述第二指示用于指示所述第一处理模块识别所述第二图像中所述人物的眼部状态；

所述第一处理模块响应于所述第二指示，向所述摄像头发送第二拍摄指令，所述第二拍摄指令用于指示所述摄像头以所述第二模式运行。

13.根据权利要求1至12任一项所述的方法，其特征在于，所述电子设备获取所述摄像头在所述第二模式下采集的第二图像，并识别所述第二图像中所述人物的眼部状态，包括：

所述电子设备的第一处理模块获取所述摄像头在所述第二模式下采集的第二图像，并识别所述第二图像中所述人物的眼部状态。

14.根据权利要求1至13任一项所述的方法，其特征在于，

所述电子设备识别到所述眼部状态为闭眼状态，且所述闭眼状态的持续时间大于预设时长，控制执行预设操作，包括：

若所述电子设备的第一处理模块识别到所述眼部状态为闭眼状态，且所述闭眼状态的持续时间大于预设时长，所述第一处理模块向所述电子设备的感知模块发送第二消息，所述第二消息用于指示所述人物处于疲劳状态；

所述感知模块向所述电子设备的目标应用发送第三指示，所述第三指示用于指示所述人物处于疲劳状态；

所述目标应用控制执行所述预设操作。

15.根据权利要求3至6任一项所述的方法，其特征在于，所述电子设备的第二处理模块检测所述电子设备的状态。

16.根据权利要求1至15任一项所述的方法，其特征在于，

所述预设操作包括以下至少一种：

调节音量大小；

发送第一信息，所述第一信息用于提醒用户注意休息；

发送第二信息，所述第二信息用于推荐目标场景对应的内容；

发送第三信息，所述第三信息用于推荐所述电子设备附近的休息场所；

播放预设歌曲；

开启所述电子设备的语音助手；

息屏。

17.一种电子设备，其特征在于，所述电子设备包括：摄像头，存储器和处理器；

所述摄像头用于采集不同帧率和/或分辨率的图像，所述处理器用于调用所述存储器中的计算机程序，以执行如权利要求1至16任一项所述的方法。

18.根据权利要求17所述的电子设备，其特征在于，所述处理器包括第一处理模块和第二处理模块，所述第一处理模块的功耗高于所述第二处理模块的功耗；

所述第二处理模块用于检测所述摄像头范围内是否存在人物面部；

所述第一处理模块用于识别所述摄像头范围内所述人物的眼部状态。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至16任一项所述的方法。

20.一种芯片，其特征在于，所述芯片包括处理器，所述处理器用于调用存储器中的计算机程序，以执行如权利要求1至16任一项所述的方法。