CN109710080A - 一种屏幕控制和语音控制方法及电子设备 - Google Patents

一种屏幕控制和语音控制方法及电子设备 Download PDF

Info

Publication number
CN109710080A
CN109710080A CN201910075866.1A CN201910075866A CN109710080A CN 109710080 A CN109710080 A CN 109710080A CN 201910075866 A CN201910075866 A CN 201910075866A CN 109710080 A CN109710080 A CN 109710080A
Authority
CN
China
Prior art keywords
user
electronic equipment
yaw degree
display screen
predetermined angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910075866.1A
Other languages
English (en)
Other versions
CN109710080B (zh
Inventor
辛志华
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910075866.1A priority Critical patent/CN109710080B/zh
Publication of CN109710080A publication Critical patent/CN109710080A/zh
Priority to PCT/CN2020/072610 priority patent/WO2020151580A1/zh
Application granted granted Critical
Publication of CN109710080B publication Critical patent/CN109710080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Abstract

本申请实施例提供一种屏幕控制和语音控制方法及电子设备，涉及电子技术领域，可以在电子设备的显示屏被使用或者被查看的可能性较高时，才自动点亮电子设备的显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费。具体方案包括：显示屏黑屏时，电子设备通过摄像头采集第一图片；电子设备识别到第一图片中包括人脸图像，获取第一用户的人面偏航度；响应于确定第一用户的人面偏航度在第一预设角度范围内，则电子设备自动点亮显示屏。该第一用户是第一图片中的人脸图像对应的用户；第一用户的人面偏航度是第一用户的面部朝向相对于第一连线的左右旋转角度，第一连线是摄像头与第一用户的头部的连线。

Description

一种屏幕控制和语音控制方法及电子设备
技术领域
本申请实施例涉及电子技术领域，尤其涉及一种屏幕控制和语音控制方法及电子设备。
背景技术
随着显示屏技术的发展，越来越多的电子设备上配置显示屏，以显示电子设备的各项参数或者音视频资讯。上述显示屏可以为触摸屏。例如，无论是冰箱、洗衣机、空调等大型家居设备，还是音箱、空气净化器、厨卫用品等小型家居设备都可以配置显示屏。该显示屏可以显示对应家居设备的运行参数、家庭监控、时钟日历、数码相册和新闻资讯等一项或多项内容。
目前，显示屏一般为常亮或者响应于用户对物理按键或者显示屏(如触摸屏)的操作点亮。但是，显示屏常亮会增加家居设备的能耗，造成不必要的能源损耗。并且，显示屏常亮还会加快对显示屏的损耗，缩短显示屏的使用寿命。而响应于用户的操作点亮显示屏会增加家居设备所需要的时间，影响用户体验。
在一些方案中，家居设备上可以配置一个传感器。当该传感器检测到有用户与家居设备的距离小于预设距离阈值时，点亮家居设备的显示屏。但是，即使用户与家居设备的距离小于预设距离阈值，该用户也不一定想要使用显示屏或者查看显示屏显示的内容。如此，则可能会导致显示屏的误点亮。
发明内容
本申请实施例提供一种屏幕控制和语音控制方法及电子设备，可以在电子设备的显示屏被使用或者被查看的可能性较高时，才自动点亮电子设备的显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费。
本申请采用如下技术方案：
第一方面，本申请实施例提供一种屏幕控制方法，该屏幕控制方法可以应用于电子设备。该电子设备包括显示屏和摄像头。该屏幕控制方法可以包括：显示屏黑屏时，电子设备通过摄像头采集第一图片；电子设备识别到第一图片中包括人脸图像，获取第一用户的人面偏航度；响应于确定第一用户的人面偏航度在第一预设角度范围内，则电子设备自动点亮显示屏。其中，该第一用户是第一图片中的人脸图像对应的用户；第一用户的人面偏航度是第一用户的面部朝向相对于第一连线的左右旋转角度，第一连线是摄像头与第一用户的头部的连线。
可以理解，如果第一用户的人面偏航度在第一预设角度范围内，则表示第一用户的面部朝向相对于第一连线的旋转角度较小。此时，第一用户在关注(在看或者凝视)显示屏的可能性较高，电子设备可以自动点亮显示屏。换言之，电子设备可以在显示屏被使用或者查看的可能性较高时，自动点亮电子设备的显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费。
结合第一方面，在一种可能的设计方式中，上述响应于确定第一用户的人面偏航度在第一预设角度范围内，电子设备自动点亮显示屏，包括：响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的眼睛睁开，电子设备自动点亮显示屏。
其中，如果第一用户的人面偏航度在第一预设角度范围内，且第一用户的至少一个眼睛睁开，则表示第一用户在关注显示屏。此时，电子设备可以自动点亮显示屏。当然，即使第一用户的人面偏航度在第一预设角度范围内，但是如果第一用户两个眼睛均未睁开(即用户闭合双眼)，则表示第一用户并没有在关注显示屏。此时，电子设备则不点亮显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费，同时提高交互的智能性。
结合第一方面，在另一种可能的设计方式中，上述响应于确定第一用户的人面偏航度在第一预设角度范围内，电子设备自动点亮显示屏，包括：响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的眼睛看向显示屏，电子设备自动点亮显示屏。
可以理解，如果第一用户的人面偏航度在第一预设角度范围内，且第一用户的眼睛看向显示屏，则表示用户在关注显示屏。此时，电子设备可以自动点亮显示屏。当然，即使上述人面偏航度在第一预设角度范围内，但是如果用户两个眼睛没有看向显示屏，则表示用户并没有在关注显示屏。此时，电子设备则不点亮显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费，同时提高交互的智能性。
结合第一方面，在另一种可能的设计方式中，上述响应于确定第一用户的人面偏航度在第一预设角度范围内，电子设备自动点亮显示屏，包括：响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的人面偏航度在第一预设角度范围内的持续时间超过预设时间阈值，电子设备自动点亮显示屏。
其中，如果人面偏航度在第一预设角度范围内的持续时间未超过预设时间阈值，则表示用户没有关注显示屏，可能只是在转身或者转头时用户正好面向显示屏，使用户的人面偏航度在第一预设角度范围内。在这种情况下，电子设备不会点亮显示屏。如果人面偏航度在第一预设角度范围内的持续时间超过预设时间阈值，则表示用户在关注显示屏，电子设备可以自动点亮显示屏。因此可以提高判断的准确度，提高交互的智能性。
结合第一方面，在另一种可能的设计方式中，在电子设备自动点亮显示屏之前，电子设备还可获取第一用户的位置偏航度，第一用户的位置偏航度是摄像头与第一用户的头部的连线和第一直线的夹角，第一直线垂直于显示屏，且第一直线经过摄像头。上述响应于确定第一用户的人面偏航度在第一预设角度范围内，电子设备自动点亮显示屏，包括：响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的位置偏航度在第二预设角度范围内，电子设备自动点亮显示屏。
其中，如果位置偏航度不在第二预设角度范围内，则表示关注显示屏的用户在电子设备的两侧，距离电子设备的正前方较为偏远的方位。在这种情况下，该用户可能不是电子设备的机主，或者该用户没有经过机主同意在操作或者查看电子设备。例如，该用户可能是在通过本申请实施例的方法触发电子设备点亮显示屏；或者，该用户可能是在窃取电子设备的显示屏所显示的内容。在这种情况下，如果电子设备当前黑屏，电子设备则不会点亮屏幕；如果电子设备当前亮屏，电子设备则可以自动黑屏。这样，可以保护电子设备中保存的数据不被窃取。
结合第一方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：响应于确定第一用户的位置偏航度不在第二预设角度范围内，电子设备发出报警指示。该报警指示可以提醒机主有其他用户正在关注显示屏。
结合第一方面，在另一种可能的设计方式中，在电子设备自动点亮显示屏之前，本申请实施例的方法还可以包括：电子设备对第一用户进行人脸识别。上述响应于确定第一用户的人面偏航度在第一预设角度范围内，电子设备自动点亮显示屏，包括：响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的人脸识别通过，电子设备自动点亮显示屏。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备可以确定有用户在关注电子设备的显示屏。如果有用户在关注显示屏，且人脸识别未通过，则表示关注显示屏的用户不是经过授权的用户。此时，如果电子设备当前黑屏，电子设备则不会点亮屏幕；如果电子设备当前亮屏，电子设备则可以自动黑屏。这样，可以保护电子设备中保存的数据不被窃取。
结合第一方面，在另一种可能的设计方式中，在电子设备自动点亮显示屏之后，本申请实施例的方法还可以包括：电子设备通过摄像头采集第二图片；电子设备识别第二图片中是否包括人脸图像；响应于确定第二图片中不包括人脸图像，电子设备自动黑屏。这样，可以减少对电子设备的能耗的浪费。
结合第一方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：响应于确定第二图片中包括人脸图像，电子设备获取第二用户的人面偏航度，第二用户是第二图片中的人脸图像对应的用户；第二用户的人面偏航度是第二用户的面部朝向相对于第二连线的左右旋转角度，第二连线的摄像头与第二用户的头部的连线；响应于确定第二用户的人面偏航度不在第一预设角度范围内，电子设备自动黑屏。这样，可以减少对电子设备的能耗的浪费。
结合第一方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：电子设备通过麦克风采集语音数据；电子设备获取语音数据的声源偏航度，声源偏航度是摄像头与语音数据的声源的连线和第一直线的夹角；响应于第一用户的人面偏航度在第一预设角度范围内，且第一用户的位置偏航度和声源偏航度的差值在第三预设角度范围内，电子设备执行语音数据对应的语音控制事件。
可以理解，如果用户的位置偏航度和语音数据的声源偏航度的差值在第三预设角度范围内，则表示该语音数据是该用户发出的语音的可能性很高。如果上述人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内，那么电子设备可以确定上述语音数据是正在关注(在看或者凝视)的用户发出的。此时，电子设备可以直接执行上述语音数据(即语音命令)对应的事件。例如，电子设备可以在上述人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内时，启动语音助手并直接识别上述语音数据，并执行该语音数据(即语音命令)对应的语音控制事件。
第二方面，本申请实施例提供一种语音控制方法，该语音控制方法可以应用于电子设备。该电子设备包括麦克风、显示屏和摄像头。该语音控制方法可以包括：电子设备通过摄像头采集第一图片，通过麦克风采集语音数据；电子设备识别到第一图片中包括人脸图像，获取人脸图像对应的用户的人面偏航度，并获取用户的位置偏航度；电子设备获取语音数据的声源偏航度，声源偏航度是摄像头与语音数据的声源的连线和第一直线的夹角；响应于确定人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内，电子设备执行语音数据对应的语音控制事件。
其中，第二方面中所述的人面偏航度、第一连线、位置偏航度和第一直线的详细描述可以参考第一方面及其可能的设计方式中的描述，本申请实施例这里不予赘述。
可以理解，如果上述人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内，那么电子设备可以确定上述语音数据是正在关注(在看或者凝视)的用户发出的。此时，电子设备可以直接执行上述语音数据(即语音命令)对应的事件；而不需要在识别到唤醒词之后，再启动语音助手识别语音数据执行语音数据对应的语音控制事件。
结合第一方面或第二方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：响应于确定人面偏航度不在第一预设角度范围内，或者位置偏航度和声源偏航度的差值不在第三预设角度范围内，电子设备识别语音数据；响应于确定语音数据是预设唤醒词，电子设备启动电子设备的语音控制功能。其中，语音控制功能启动后，电子设备响应于麦克风采集的语音数据执行对应的语音控制事件。
结合第一方面或第二方面，在另一种可能的设计方式中，电子设备中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；位置参数用于表征人脸图像在对应图片中的位置。上述电子设备获取第一用户的位置偏航度，包括：电子设备获取人脸图像在第一图片中的位置参数；电子设备查找与获取到的位置参数对应的位置偏航度；并将查找到的位置偏航度作为位置偏航度。
结合第一方面或第二方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：响应于确定人面偏航度在第一预设角度范围内，电子设备通过麦克风采集语音数据时，对位置偏航度对应方位的声源发出的语音数据进行增强处理。例如，通过将多个麦克风按照一定规律组成一个麦克风阵列,当语音和环境信息被多个麦克风收集时,麦克风阵列可以通过调节每个通道的滤波系数,在期望方向上(该位置偏航度对应方向)有效地形成一个指向目标声源的波束,对这个波束内的信号进行增强,波束外的信号进行抑制,从而达到同时提取声源和抑制噪声的目的。
进一步的，电子设备通过麦克风采集语音数据时，还可以对其他方位的声源发出的语音数据进行衰减处理。上述其他方位可以为与上述位置偏航度的偏差在预设角度范围(如上述第一预设角度范围或者第三预设角度范围)之外的方位。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备可以确定有用户在关注电子设备的显示屏。如果有用户在关注显示屏，电子设备则可以对关注显示屏的用户(即上述位置偏航度对应方位的声源)发出的语音数据进行增强处理。这样，电子设备便可以针对性采集关注显示屏的用户发出的语音数据。
结合第一方面或第二方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：电子设备播放多媒体数据时，其中所述多媒体数据包含音频数据，响应于确定人面偏航度在第一预设角度范围内，电子设备则调低电子设备的播放音量。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备可以确定有用户在关注电子设备的显示屏。在电子设备播放音频数据的过程中，如果有用户在关注显示屏，那么该用户通过语音命令(即语音数据)控制电子设备的可能性较高。此时，电子设备可以调低电子设备的播放音量，做好采集语音命令的准备。
第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、显示屏和摄像头；存储器、显示屏和摄像头与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，如果显示屏黑屏，摄像头，用于采集第一图片；处理器，用于识别到第一图片中包括人脸图像，获取第一用户的人面偏航度，第一用户是第一图片中的人脸图像对应的用户；第一用户的人面偏航度是第一用户的面部朝向相对于第一连线的左右旋转角度，第一连线是摄像头与第一用户的头部的连线；响应于确定第一用户的人面偏航度在第一预设角度范围内，则自动点亮显示屏。
结合第三方面，在一种可能的设计方式中，上述处理器，用于响应于确定第一用户的人面偏航度在第一预设角度范围内，则自动点亮显示屏，包括：上述处理器，用于响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的眼睛睁开，则自动点亮显示屏。
结合第三方面，在另一种可能的设计方式中，上述处理器，用于响应于确定第一用户的人面偏航度在第一预设角度范围内，则自动点亮显示屏，包括：上述处理器，用于响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的眼睛看向显示屏，则自动点亮显示屏。
结合第三方面，在另一种可能的设计方式中，上述处理器，具体用于响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的人面偏航度在第一预设角度范围内的持续时间超过预设时间阈值，则自动点亮显示屏。
结合第三方面，在另一种可能的设计方式中，上述处理器，还用于在自动点亮显示屏之前，获取第一用户的位置偏航度，第一用户的位置偏航度是摄像头与第一用户的头部的连线和第一直线的夹角，第一直线垂直于显示屏，且第一直线经过摄像头。处理器，具体用于响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的位置偏航度在第二预设角度范围内，则自动点亮显示屏。
结合第三方面，在另一种可能的设计方式中，上述处理器，还用于响应于确定第一用户的位置偏航度不在第二预设角度范围内，则发出报警指示。
结合第三方面，在另一种可能的设计方式中，上述处理器，还用于在自动点亮显示屏之前，对第一用户进行人脸识别。上述处理器，用于响应于确定第一用户的人面偏航度在第一预设角度范围内，则自动点亮显示屏，包括：上述处理器，用于响应于确定第一用户的人面偏航度在第一预设角度范围内，且第一用户的人脸识别通过，则自动点亮显示屏。
结合第三方面，在另一种可能的设计方式中，上述摄像头，还用于在处理器自动点亮显示屏之后，采集第二图片。处理器，还用于识别第二图片中是否包括人脸图像；响应于确定第二图片中不包括人脸图像，则自动黑屏。
结合第三方面，在另一种可能的设计方式中，上述处理器，还用于响应于确定第二图片中包括人脸图像，获取第二用户的人面偏航度，第二用户是第二图片中的人脸图像对应的用户；第二用户的人面偏航度是第二用户的面部朝向相对于第二连线的左右旋转角度，第二连线的摄像头与第二用户的头部的连线；响应于确定第二用户的人面偏航度不在第一预设角度范围内，则自动黑屏。
结合第三方面，在另一种可能的设计方式中，上述电子设备还包括麦克风。麦克风，用于采集语音数据。处理器，还用于获取语音数据的声源偏航度，声源偏航度是摄像头与语音数据的声源的连线和第一直线的夹角；响应于第一用户的人面偏航度在第一预设角度范围内，且第一用户的位置偏航度和声源偏航度的差值在第三预设角度范围内，则执行语音数据对应的语音控制事件。
结合第三方面，在另一种可能的设计方式中，上述处理器，还用于响应于确定第一用户的人面偏航度不在第一预设角度范围内，或者第一用户的位置偏航度和声源偏航度的差值不在第三预设角度范围内，则识别语音数据；响应于确定语音数据是预设唤醒词，则启动电子设备的语音控制功能。其中，处理器，还用于启动语音控制功能启动后，响应于麦克风采集的语音数据执行对应的语音控制事件。
结合第三方面，在另一种可能的设计方式中，上述存储器中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；位置参数用于表征人脸图像在对应图片中的位置。上述处理器，用于获取第一用户的位置偏航度，包括：处理器，用于获取第一用户的人脸图像在第一图片中的位置参数；查找与获取到的位置参数对应的位置偏航度；并将查找到的位置偏航度作为第一用户的位置偏航度。
结合第三方面，在另一种可能的设计方式中，上述处理器，还用于响应于确定第一用户的人面偏航度在第一预设角度范围内，则通过麦克风采集语音数据时，对第一用户的位置偏航度对应方位的声源发出的语音数据进行增强处理。
结合第三方面，在另一种可能的设计方式中，上述电子设备还可以包括多媒体播放模块。上述处理器，还用于多媒体播放模块播放多媒体数据时，该多媒体数据需要包含音频数据，响应于确定第一用户的人面偏航度在第一预设角度范围内，则调低多媒体播放模块的播放音量。
第四方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、显示屏、摄像头和麦克风；存储器、显示屏和摄像头与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，摄像头用于采集第一图片；麦克风用于采集语音数据；处理器，用于识别到第一图片中包括人脸图像，获取人脸图像对应的用户的人面偏航度，并获取用户的位置偏航度；人面偏航度是用户的面部朝向相对于第一连线的左右旋转角度，第一连线是摄像头与用户的头部的连线；位置偏航度是摄像头与用户的头部的连线和第一直线的夹角，第一直线垂直于显示屏，且第一直线经过摄像头；获取语音数据的声源偏航度，声源偏航度是摄像头与语音数据的声源的连线和第一直线的夹角；响应于确定人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内，则执行语音数据对应的语音控制事件。
结合第四方面，在一种可能的设计方式中，上述处理器，还用于响应于确定人面偏航度不在第一预设角度范围内，或者位置偏航度和声源偏航度的差值不在第三预设角度范围内，则识别语音数据；响应于确定语音数据是预设唤醒词，则启动电子设备的语音控制功能。其中，处理器，还用于启动语音控制功能启动后，响应于麦克风采集的语音数据执行对应的语音控制事件。
结合第四方面，在另一种可能的设计方式中，上述处理器中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；位置参数用于表征人脸图像在对应图片中的位置。处理器，用于获取用户的位置偏航度，包括：处理器，用于获取人脸图像在第一图片中的位置参数；查找与获取到的位置参数对应的位置偏航度，并将查找到的位置偏航度作为位置偏航度。
结合第四方面，在另一种可能的设计方式中，上述处理器，还用于响应于确定人面偏航度在第一预设角度范围内，则通过麦克风采集语音数据时，对位置偏航度对应方位的声源发出的语音数据进行增强处理。
结合第四方面，在另一种可能的设计方式中，上述电子设备还包括多媒体播放模块。处理器，还用于多媒体播放模块播放多媒体数据时，该多媒体数据包含音频数据，响应于确定第一用户的人面偏航度在第一预设角度范围内，则调低多媒体播放模块的播放音量。
第五方面，本申请实施例提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如第一方面或第二方面及其任一种可能的设计方式所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面或第二方面及其任一种可能的设计方式所述的方法。
可以理解地，上述提供的第三方面和第四方面及其任一种可能的设计方式所述的电子设备，第五方面所述的计算机存储介质，以及第六方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
图1为本申请实施例提供的一种屏幕控制方法所应用的场景实例示意图；
图2为本申请实施例提供的一种显示屏和摄像头的实例示意图；
图3为本申请实施例提供的一种电子设备的硬件结构示意图；
图4为本申请实施例提供的一种摄像头成像原理示意图；
图5为本申请实施例提供的另一种摄像头成像原理示意图；
图6为本申请实施例提供的一种语音控制场景示意图；
图7为本申请实施例提供的一种位置偏航度和声源偏航度的示意图；
图8A为本申请实施例提供的另一种语音控制场景示意图；
图8B为本申请实施例提供的一种电子设备中各个模块的交互原理逻辑框图；
图9A为本申请实施例提供的一种夹角β与位置参数x的关系原理示意图；
图9B为本申请实施例提供的另一种夹角β与位置参数x的关系原理示意图；
图9C为本申请实施例提供的另一种夹角β与位置参数x的关系原理示意图；
图10为本申请实施例提供的一种夹角β与位置参数x的关系实例示意图；
图11为本申请实施例提供的一种夹角β与位置参数x的关系实例示意图；
图12为本申请实施例提供的一种计算位置参数x的方法原理示意图；
图13为本申请实施例提供的另一种计算位置参数x的方法原理示意图。
具体实施方式
本申请实施例提供一种屏幕控制方法，可以应用于电子设备自动点亮显示屏的过程中。具体的，该电子设备包括显示屏和摄像头，电子设备可以通过摄像头检测是否有用户在关注显示屏(如用户在看或者凝视显示屏)。如果有用户在关注显示屏，电子设备则可以自动点亮该显示屏。例如，如图1中的(a)所示，有用户关注显示屏的情况下，电子设备的显示屏被点亮。其中，有用户关注显示屏时，该显示屏被使用或者查看的可能性较高。此时，自动点亮电子设备的显示屏，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费，提高交互的智能性。
在电子设备的显示屏被点亮后，如果预设时间内，没有用户关注电子设备的显示屏，该电子设备则可以自动黑屏。例如，如图1中的(b)所示，没有用户关注显示屏的情况下，电子设备的显示屏黑屏。
需要注意的是，为了使得电子设备可以通过摄像头准确检测到是否有用户在关注显示屏，该摄像头设置在显示屏上方。例如，如图2所示，摄像头201可以设置在显示屏200的上边框上。或者，摄像头可以设置在电子设备的其他位置，只要电子设备通过摄像头可以准确检测到是否有用户在关注显示屏即可。
示例性的，本申请实施例中的电子设备可以为包括显示屏和摄像头模组的智能音箱、智能电视机、冰箱、洗衣机、空调、空气净化器、厨卫用品等家居设备。进一步的，本申请实施例中的电子设备还可以为包括显示屏和摄像头模组的便携式计算机(如手机)、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、媒体播放器等设备，本申请实施例对该电子设备的具体形态不作特殊限制。
请参考图3，其示出本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。
其中，传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M，声音传感器等多个传感器。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDL)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如Wi-Fi网络)，蓝牙(blue tooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP主要用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association ofthe USA，CTIA)标准接口。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。
本申请实施例提供的屏幕控制方法可以在上述电子设备100中实现。该电子设备100包括显示屏和摄像头。摄像头用于采集图像。其中，该摄像头采集的图像用于电子设备100检测是否有用户在关注显示屏。该显示屏用于显示电子设备100的处理器生成的图像或者来自其他设备的图像等。
本申请实施例提供一种屏幕控制方法。该屏幕控制方法可以应用于电子设备100的显示屏黑屏时，电子设备100自动点亮显示屏的过程中。其中，电子设备100黑屏时，显示屏处于休眠模式或者省电模式；本发明各实施例中电子设备黑屏是在显示屏上电且开关打开的情况下的黑屏，即显示屏可以显示但没有显示内容。
在该屏幕控制方法中，电子设备100可以通过摄像头采集第一图片。电子设备100识别到第一图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。响应于确定上述人面偏航度在第一预设角度范围内，电子设备100则可以自动点亮显示屏。
其中，人面偏航度是用户的面部朝向和“摄像头与用户头部的连线”(即第一连线)的偏离角度。人面偏航度也可以是用户的面部朝向相对于第一连线的左右旋转角度。例如，摄像头与用户头部的连线可以为摄像头与用户头部的任一器官(如鼻子或者嘴巴等)的连线。
例如，如图4所示，以用户A为例。OPOA是摄像头与用户A头部的连线，XAOA表示用户A的面部朝向。LAOA与用户A的面部朝向所在直线XAOA垂直，ηA＝90°。用户A的人面偏航度αA是XAOA与OPOA的夹角。以用户B为例。OPOB是摄像头与用户B头部的连线，XBOB表示用户B的面部朝向。LBOB与用户B的面部朝向所在直线XBOB垂直，ηB＝90°。用户B的人面偏航度αB是XBOB与OPOB的夹角。以用户C为例。OPOC是摄像头与用户C头部的连线，XCOC表示用户C的面部朝向。LCOC与用户C的面部朝向所在直线XCOC垂直，ηC＝90°。用户C的人面偏航度αC是XCOC与OPOC的夹角。
又例如，如图5所示，以用户D为例。OPOD是摄像头与用户D头部的连线，XDOD表示用户D的面部朝向。LDOD与用户D的面部朝向所在直线XDOD垂直，ηD＝90°。用户D的人面偏航度αD是XDOD与OPOD的夹角。以用户E为例。OPOE是摄像头与用户E头部的连线，XEOE表示用户E的面部朝向。LEOE与用户E的面部朝向所在直线XEOE垂直，ηE＝90°。用户E的人面偏航度αE是XEOE与OPOE的夹角。以用户F为例。OPOF是摄像头与用户F头部的连线，XFOF表示用户F的面部朝向。LFOF与用户F的面部朝向所在直线XFOF垂直，ηF＝90°。用户F的人面偏航度αF是XFOF与OPOF的夹角。
一般而言，人面偏航度的取值范围为[-90°，90°]。其中，如果用户的面部朝向相对于摄像头与用户头部之间的连线向左旋转(即向左偏离)，人面偏航度的取值范围为[-90°，0°)。例如，如图4所示，用户A的面部朝向相对于摄像头与用户头部的连线向左旋转，且向左旋转的角度为αA，αA∈[-90°，0°)。又例如，如图5所示，用户D的面部朝向相对于摄像头与用户头部的连线向左旋转，且向左旋转的角度为αD，αD∈[-90°，0°)。
如果用户的面部朝向相对于摄像头与用户头部之间的连线向右旋转(即向右偏离)，人面偏航度的取值范围为(0°，90°]。例如，如图4所示，用户B的面部朝向相对于摄像头与用户B头部的连线向右旋转，且向右边旋转的角度为αB，αB∈(0°，90°]。又例如，如图5所示，用户E的面部朝向相对于摄像头与用户E头部的连线向右旋转，且向右旋转的角度为αE，αE∈(0°，90°]。又例如，如图5所示，用户F的面部朝向相对于摄像头与用户F头部的连线向右旋转，且向右旋转的角度为αF，αF∈(0°，90°]。
参考图4和图5可知：人面偏航度越接近于0°，用户关注显示屏的可能性越高。例如，如图4所示，用户C的人面偏航度αC＝0°，用户A的人面偏航度αA和用户B的人面偏航度αB的人面偏航度接近于0°。因此，图4所示的用户A、用户B和用户C关注显示屏的可能性很高。
参考图4和图5可知：人面偏航度的绝对值越大，用户关注显示屏的可能性越低。例如，用户D的人面偏航度αD的绝对值、用户E的人面偏航度αE的绝对值，以及用户F的人面偏航度αF的绝对值均较大。因此，图4所示的用户D、用户E和用户F关注显示屏的可能性较低。
由上述描述可知：上述第一预设角度范围可以为在0°左右取值的角度范围。示例性的，第一预设角度范围可以为[-n°，n°]。例如，n的取值范围可以为(0，10)或者(0，5)等。例如，n＝2，或者n＝1，或者n＝3等。
可以理解，如果人面偏航度在第一预设角度范围内，则表示用户的面部朝向相对于摄像头与用户头部之间的连线的旋转角度较小。此时，用户在关注(在看或者凝视)显示屏的可能性较高，电子设备100可以自动点亮显示屏。换言之，电子设备100可以在显示屏被使用或者查看的可能性较高时，自动点亮电子设备100的显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费。
需要说明的是，电子设备100识别第一图片中是否包括人脸图像的方法可以参考常规技术中，识别人脸图像的具体方法，本申请实例这里不予赘述。
示例性的，电子设备100可以通过人脸检测的方式获取第一图片中的人脸图像的人脸特征。该人脸特征可以包括上述人面偏航度。具体的，该人脸特征还可以包括人脸位置信息(faceRect)、人脸特征点信息(landmarks)和人脸姿态信息。该人脸姿态信息可以包括人面俯仰角度(pitch)、平面内旋转角度(roll)和人面偏航度(即左右旋转角度，yaw)。
其中，电子设备100可以提供一个接口(如Face Detector接口)，该接口可以接收摄像头拍摄的第一图片。然后，电子设备100的处理器(如NPU)可以对第一图片进行人脸检测，得到上述人脸特征。最后，电子设备100可以返回检测结果(JSON Object)，即上述人脸特征。
例如，以下为本申请实施例中，电子设备100返回的检测结果(JSON)示例。
其中，上述代码中，“"id":0”表示上述人脸特征对应的人脸ID为0。其中，一张图片(如第一图片)中可以包括一个或多个人脸图像。电子设备100可以分配该一个或多个人脸图像不同的ID，以标识人脸图像。
“"height":1795”表示人脸图像(即人脸图像在第一图片中所在的人脸区域)的高度为1795个像素点。“"left":761”表示人脸图像与第一图片左边界的距离为761个像素点。“"top":1033”表示人脸图像与第一图片上边界的距离为1033个像素点。“"width":1496”表示人脸图像的宽度为1496个像素点。“"pitch":-2.9191732”表示人脸ID为0的人脸图像的人面俯仰角度为-2.9191732°。“"roll":2.732926”表示人脸ID为0的人脸图像的平面内旋转角度为2.732926°。
“"yaw":0.44898167”表示人脸ID为0的人脸图像的人面偏航度(即左右旋转角度)α＝0.44898167°。由α＝0.44898167°，0.44898167°>0°可知，用户的面部朝向相对于摄像头与该用户头部的连线向右旋转0.44898167°。假设上述n＝2，即上述第一预设角度范围为[-2°，2°]。由于α＝0.44898167°，且0.44898167°∈[-2°，2°]；因此，电子设备100可以确定用户在关注(在看或者凝视)显示屏的可能性较高，电子设备100可以自动点亮显示屏。
在另一实施例中，电子设备100还可以判断用户的眼睛是否睁开。例如，电子设备100可以判断用户的至少一个眼睛是否睁开。响应于确定上述人面偏航度在第一预设角度范围内，且用户的至少一个眼睛睁开，电子设备100则可以自动点亮显示屏。可以理解，如果上述人面偏航度在第一预设角度范围内，且用户的至少一个眼睛睁开，则表示用户在关注显示屏。此时，电子设备100可以自动点亮显示屏。当然，即使上述人面偏航度在第一预设角度范围内，但是如果用户两个眼睛均未睁开(即用户闭合双眼)，则表示用户并没有在关注显示屏。此时，电子设备100则不点亮显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费，同时提高交互的智能性。
示例性的，电子设备100可以通过以下方法判断用户的眼睛是否睁开：电子设备100在对上述用户进行人脸检测时，判断摄像头是否采集到用户的虹膜信息；如果摄像头采集到虹膜信息，电子设备100则确定用户的眼睛睁开；如果摄像头没有采集到虹膜信息，电子设备100则确定用户的眼睛没有睁开。当然，还可以采用其他已有技术进行眼睛是否睁开的检测。
在另一实施例中，电子设备100还可以判断用户的眼睛是否看向显示屏。响应于确定上述人面偏航度在第一预设角度范围内，且用户的眼睛看向显示屏，电子设备100则可以自动点亮显示屏。可以理解，如果上述人面偏航度在第一预设角度范围内，且用户的眼睛看向显示屏，则表示用户在关注显示屏。此时，电子设备100可以自动点亮显示屏。当然，即使上述人面偏航度在第一预设角度范围内，但是如果用户两个眼睛没有看向显示屏，则表示用户并没有在关注显示屏。此时，电子设备100则不点亮显示屏。这样，可以减少显示屏被误点亮的可能性，减少对电子设备的能耗的浪费，同时提高交互的智能性。
需要说明的是，电子设备100判断用户的眼睛是否看向显示屏的方法可以参考常规技术中，例如通过判断用户瞳孔与显示屏的位置关系来实现；或者使用眼动仪来实现等。判断用户的眼睛是否看向显示屏的方法，本申请实施例这里不予赘述。
进一步的，响应于确定上述人面偏航度在第一预设角度范围内，电子设备100还可以判断人面偏航度在第一预设角度范围内的持续时间是否超过预设时间阈值。如果人面偏航度在第一预设角度范围内的持续时间未超过预设时间阈值，则表示用户没有关注显示屏，可能只是在转身或者转头时用户正好面向显示屏，使用户的人面偏航度在第一预设角度范围内。在这种情况下，电子设备100不会点亮显示屏。如果人面偏航度在第一预设角度范围内的持续时间超过预设时间阈值，则表示用户在关注显示屏，电子设备100可以自动点亮显示屏。因此可以提高判断的准确度，提高交互的智能性。
在另一实施例中，电子设备100点亮显示屏之后，电子设备100可以继续通过摄像头采集图片(如第二图片)。
在一种情况下，电子设备100识别到第二图片中不包括人脸图像，则自动黑屏。
在另一种情况下，电子设备100识别到第二图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。如果该人面偏航度不在第一预设角度范围内，电子设备100则可以自动黑屏。如果该人面偏航度在第一预设角度范围内，电子设备100可以继续亮屏。
可以理解，如果第二图片中不包括人脸图像，则表示没有用户关注(在看或者凝视)显示屏。如果第二图片中包括人脸图像，但人脸图像对应的用户的人面偏航度不在第一预设角度范围内，则表示用户的面部朝向相对于摄像头与用户头部之间的连线的旋转角度较大，用户在关注(在看或者凝视)显示屏的可能性较低。此时，电子设备100可以黑屏(即进入休眠模式或者省电模式)。这样，可以减少对电子设备100的能耗的浪费。
在一些实施例中，上述方法还可以应用于电子设备100的显示屏处于屏保状态时，电子设备100自动点亮显示屏的过程中。其中，显示屏处于屏保状态是指：电子设备100执行屏幕保护程序，在显示屏显示屏幕保护画面。其中，显示屏显示屏幕保护画面时，显示屏的屏幕亮度比较暗，可以降低电子设备的能耗。显示屏处于屏保状态显示屏也处于休眠模式或者省电模式。
语音助手是电子设备(如上述电子设备100)的一项重要应用。语音助手可以与用户进行智能对话和即时问答的智能交互。并且，语音助手还可以识别用户的语音命令，并使手机执行该语音命令对应的事件。例如，如图6中的(a)所示，电子设备100的显示屏101黑屏；或者，如图6中的(b)所示，电子设备100显示照片。此时，电子设备100的语音助手处于休眠状态。电子设备100可以监测语音数据。当监测到语音数据(如唤醒词“小E，小E”)时，可以判断该语音数据与唤醒词是否匹配。如果该语音数据与唤醒词匹配，电子设备100可以开启语音助手，显示屏101显示图6中的(c)所示的语音识别界面。此时，电子设备100可以接收用户输入的语音命令(如“播放音乐”)，然后执行语音命令对应的事件(如调高电子设备100的音量)。在上述语音控制的过程中，用户需要发出至少两次语音数据(包括：与唤醒词匹配的语音数据，以及语音命令)，才可以控制电子设备100执行对应的语音控制事件。电子设备100不能根据语音命令直接执行该语音命令对应的语音控制事件。
基于此，本申请实施例提供的方法中，在显示屏黑屏或者显示屏亮屏的情况下，电子设备100不需要接收并匹配唤醒词，只根据语音命令，便可以直接执行该语音命令对应的事件。需要注意的是，显示屏亮屏的情况下，语音助手也可以处于休眠状态。
具体的，电子设备100可以通过摄像头采集第一图片。电子设备100识别到第一图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。电子设备100获取人脸图像对应的用户的位置偏航度。电子设备100采集语音数据，并获取语音数据的声源偏航度。响应于确定上述人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内，电子设备100则执行上述语音数据(即语音命令)对应的语音控制事件。
需要注意的是，上述语音数据不是电子设备100中预设的唤醒词；而是用于控制电子设备100执行对应语音控制事件的语音命令。例如，假设电子设备100中预设的唤醒词是“小E，小E”，那么上述语音数据则可以为“播放音乐”或者“调高音量”等语音命令。语音命令“播放音乐”用于控制电子设备100播放音乐(即语音控制事件)。语音命令“调高音量”用于控制电子设备100调高音量(即语音控制事件)。
其中，上述用户的位置偏航度是“摄像头与用户头部的连线”与第一直线的夹角。上述语音数据的声源偏航度是“摄像头与语音数据的声源的连线”与第一直线的夹角。上述第一直线(例如，图7中的(a)和图7中的(b)所示的OPOQ以及图9A-9C中的Y轴方向)垂直于显示屏，且该第一直线经过摄像头。
例如，如图7中的(a)或者图7中的(b)所示，第一直线是OPOQ。OPOQ垂直于显示屏，且OPOQ经过摄像头所在点OP。如图7中的(a)所示，摄像头与用户头部的连线为OPOA，用户A的位置偏航度是OPOA与OPOQ的夹角βa。如图7中的(b)所示，摄像头与用户头部的连线为OPOS，语音数据的声源S的声源偏航度是OPOS与OPOQ的夹角β＇。
需要说明的是，电子设备100获取用户的位置偏航度的方法可以参考本申请实施例后续相关描述。电子设备100获取语音数据的声源偏航度的方法可以参考常规技术中，获取语音数据的声源偏航度的方法，本申请实施例这里不予赘述。
参考上述图7中的(a)和图7中的(b)可知：位置偏航度βa与声源偏航度β＇的差值越接近于0°，上述语音数据是用户A发出的语音的可能性越高。位置偏航度βa与声源偏航度β＇的差值的绝对值越大，上述语音数据是用户A发出的语音的可能性越低。
由上述描述可知：上述第三预设角度范围可以为在0°左右取值的角度范围。示例性的，第三预设角度范围可以为[-p°，p°]。例如，p的取值范围可以为(0，5)或者(0，3)等。例如，p＝2，或者p＝4，或者p＝3等。
可以理解，如果用户的位置偏航度和语音数据的声源偏航度的差值在第三预设角度范围内，则表示该语音数据是该用户发出的语音的可能性很高。并且，由上述实施例可知：如果人面偏航度在第一预设角度范围内，则表示用户在关注(在看或者凝视)显示屏的可能性较高。因此，如果上述人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内，那么电子设备100可以确定上述语音数据是正在关注(在看或者凝视)的用户发出的。此时，电子设备100可以直接执行上述语音数据(即语音命令)对应的事件。例如，电子设备100可以在上述人面偏航度在第一预设角度范围内，且位置偏航度和声源偏航度的差值在第三预设角度范围内时，启动语音助手并直接识别上述语音数据，并执行该语音数据(即语音命令)对应的语音控制事件。
例如，如图8A中的(a)所示，电子设备100的显示屏101黑屏；或者，如图8A中的(b)所示，电子设备100的显示屏101亮屏。电子设备100(如电子设备100的DSP)可以监测语音数据。假设电子设备100监测到任一语音数据，例如“播放音乐”。并且，电子设备100确定有用户在关注显示屏(即上述人面偏航度在第一预设角度范围内)，关注显示屏的用户的位置偏航度和上述语音数据(如“播放音乐”)的声源偏航度的差值在第三预设角度范围内，电子设备100则可以确定上述语音数据是正在关注(在看或者凝视)的用户发出的。电子设备100则可以直接播放音乐。电子设备检测到语音数据后，可以先进行语义分析，确定有效语音指令后，确定人面偏航度是否在第一预设角度范围内，以及位置偏航度和该检测到的语音数据的声源偏航度的差值是否在第三预设角度范围内，如果都在预设范围内，则直接执行语音数据对应的动作；电子设备检测到语音数据后，也可以先判断人面偏航度是否在第一预设角度范围内，以及位置偏航度和该检测到的语音数据的声源偏航度的差值是否在第三预设角度范围内，如果都在预设范围内，则进行语义分析，并执行该语音数据对应的具体操作。
可选的，如图8A中的(a)所示，电子设备100的显示屏101黑屏。如果电子设备100确定有用户在关注显示屏，关注显示屏的用户的位置偏航度和上述语音数据(如“播放音乐”)的声源偏航度的差值在第三预设角度范围内，电子设备100还可以点亮显示屏。
需要说明的是，人面偏航度、第一预设角度范围，以及电子设备100获取人脸图像对应的用户的人面偏航度，确定人面偏航度在第一预设角度范围内的详细描述，可以参考上述实例中的相关描述，本申请实施例这里不予赘述。
一般而言，用户相对于摄像头(或者显示屏)的位置偏航度的取值范围为[-FOV，FOV]。其中，摄像头的视场角(field of view，FOV)的大小决定摄像头的视野范围。
可以理解，如果用户相对于摄像头(或者显示屏)在上述第一直线的右侧，用户相对于摄像头(或者显示屏)的位置偏航度β的取值范围为(0°，FOV]。例如，如图9A所示，用户A相对于摄像头(或者显示屏)的位置偏航度为OPOA与OPOQ的夹角βa。βa的取值范围为(0°，FOV]。如果用户在摄像头(或者显示屏)的正前方(即用户在上述第一直线上)，用户相对于摄像头(或者显示屏)的位置偏航度为0°。例如，如图9B所示，用户B相对于摄像头(或者显示屏)的位置偏航度为OPOB与OPOQ的夹角βb，βb＝0°。如果用户相对于摄像头(或者显示屏)在上述第一直线的左侧，用户相对于摄像头(或者显示屏)的位置偏航度β的取值范围为[-FOV，0°)。例如，如图9C所示，用户C相对于摄像头(或者显示屏)的位置偏航度为OPOC与OPOQ的夹角βc。βc的取值范围为[-FOV，0°)。
如果第一图像中包括人脸图像，则表示该用户的位置偏航度β∈[-FOV，FOV]。并且，电子设备确定该用户正在关注(在看或者凝视)显示屏、且上述语音数据是该用户发出的，那么电子设备100则可以直接执行该语音数据对应的事件。
需要注意的是，用户可能会在电子设备100的摄像头的视野范围(即视场角FOV)外。在这种情况下，上述第一图像中不包括该用户的人脸图像。此时，如果用户想要通过语音数据(即语音命令)控制电子设备100执行对应的事件，还是需要先发出上述唤醒词(如“小E，小E”)，以唤醒电子设备100的语音助手，然后再向电子设备100发出语音命令(如“调高音量”)。
示例性的，请参考图8B，其示出本申请实施例提供的电子设备100中各个模块的交互原理逻辑框图。一般而言，如图8B所示，电子设备100的“声音采集”模块801可以采集语音数据(如语音数据1)，并将采集到的语音数据1交给“唤醒引擎”802。由“唤醒引擎”802(如AP)判断该语音数据1是否与唤醒词(如“小E，小E”)匹配。如果“唤醒引擎”802确定语音数据1与唤醒词匹配，“唤醒引擎”802才会向“语音识别”模块803发送“声音采集”模块801后续采集的语音数据(如语音数据2)。由“语音识别”模块803对语音数据2进行语音识别(如语义分析等)，然后电子设备100执行语音数据2对应的事件。
而本申请实施例中，“声音采集”模块801可以采集语音数据(如语音数据3)。“声音采集”模块801可以向“免唤醒引擎”807发送采集到的语音数据3。“声源定位”模块805还可以对该语音数据3进行声源定位，获取语音数据3的声源偏航度。“声源定位”模块805可以向“免唤醒引擎”807发送语音数据3的声源偏航度。并且，电子设备100的“关注显示屏”模块804确定有用户在关注显示屏后，可以由“关注人定位”模块806对关注显示屏的用户进行位置定位，获取关注显示屏的用户的位置偏航度。然后，“关注人定位”模块806可以向“免唤醒引擎”807发送获取到的位置偏航度。“免唤醒引擎”807可以在位置偏航度与声源偏航度的差值在第三预设角度范围内时，向“语音识别”模块803发送语音数据3。由“语音识别”模块803对语音数据3进行语音识别(如语义分析等)，然后电子设备100执行语音数据3对应的事件。
综上所述，本申请实施例中，如果用户关注电子设备100的显示屏时，向电子设备100发出语音命令(如上述语音数据3)，电子设备100便可以识别电子设备100采集到的语音数据3，并直接执行该语音数据3对应的事件。通过本申请实施例的方法，电子设备100可以实现与用户之间免唤醒词的语音交互。
示例性的，上述“声音采集”模块801可以为电子设备100的声音传感器。该声音传感器可以采集电子设备100周围的语音数据。上述“关注显示屏”模块804可以包括摄像头。该“关注显示屏”模块804的部分功能可以集成在电子设备100的处理器中。上述“唤醒引擎”802、“免唤醒引擎”807、“语音识别”模块803、“声源定位”模块805、“关注人定位”模块806等可以集成在电子设备100的处理器中。例如，上述“唤醒引擎”802和“免唤醒引擎”807的功能可以在电子设备100的DSP中实现。“关注显示屏”模块804的部分功能可以在电子设备100的NPU中实现。
本申请实施例这里对电子设备100获取用户的位置偏航度的方法进行说明。
其中，用户相对于摄像头的位置不同，则用户的位置偏航度β不同；用户的位置偏航度β不同，则摄像头拍摄得到的第一图片中人脸图像的位置不同。本申请实施例中，位置参数x用于表征用户的人脸图像在第一图片中的位置。具体的，x＝d×tan(fc(β))。
本申请实施例这里以图9A为例，对x＝d×tan(fc(β))进行说明。电子设备100的摄像头可以包括图9A所示的传感器和透镜。传感器和透镜之间的垂直距离为d。以传感器的中心OX为坐标原点，经过OX的水平线为x轴，经过OX的垂直线为y轴。OP为透镜的中心点。
如图9A所示，用户A位于OA点(摄像头的右前方)。用户A相对于摄像头的位置偏航度为βa。光线OAOP经过透镜折射为OPKA，折射角为θa。即OXOP与OPKA的夹角为θa。其中，θa＝fc(βa)。需要说明的是，θ＝fc(β)与摄像头的硬件(如透镜)相关。θ与β之间的函数关系θ＝fc(β)可以通过实验多次测试得到。
其中，点KA是用户A在摄像头的传感器上的一个成像点(例如，第一图片a中的人脸图像的鼻尖所在的像素点)。第一图片a为摄像头拍摄的图片。该第一图片a中包括用户A的人脸图像。KA在上述坐标系中的坐标点为(-xa，0)。OXKA的长度为xa。xa可以表征用户A的人脸图像在第一图片a中的位置。根据三角函数可知：xa＝d×tan(θa)。由θa＝fc(βa)和xa＝d×tan(θa)可以得出：xa＝d×tan(fc(βa))。需要说明的是，本申请实施例中，xa的单位可以为像素点。上述OXKA的长度为xa具体可以为：点OX与点KA的之间相距xa个像素点。
综上所述，用户的人脸图像在第一图片中的位置参数x与该用户的位置偏航度β存在如下函数关系：x＝d×tan(fc(β))。其中，θ＝fc(β)。
例如，如图9B所示，用户B位于OB点(摄像头的正前方)。用户B相对于摄像头的位置偏航度βb＝0°。光线OBOP经过透镜折射为OPKB，折射角θb＝fc(βb)＝0°。xb＝d×tan(θb)＝0。又例如，如图9C所示，用户C位于OC点(摄像头的左前方)。用户C相对于摄像头的位置偏航度为βc。光线OBOP经过透镜折射为OPKB，折射角θc＝fc(βc)。xc＝d×tan(θc)。上述OXKC的长度为xc具体可以为：点OX与点KC的之间相距xc个像素点。
需要说明的是，θ＝fc(β)和d均与摄像头的硬件相关。本申请实施例中，可以通过调整用户相对于摄像头的位置为β赋不同的值，得到对应的x。示例性的，请参考图10，其示出本申请实施例提供的一种x与β的对应关系表。如图10所示，β＝-50°时，x＝x5；β＝-40°时，x＝x4；β＝-30°时，x＝x3；β＝-20°时，x＝x2；β＝-10°时，x＝x1；β＝0°时，x＝x0；β＝10°时，x＝-x1；β＝20°时，x＝-x2；β＝30°时，x＝-x3；β＝40°时，x＝-x4；β＝50°时，x＝-x5等。其中，x的单位为像素点。x0等于0个像素点。
例如，如图11所示，为本申请实施例提供的一种x与β的对应关系表实例。如图11所示，β＝0°时，x等于0个像素点；β＝10°时，x等于500个像素点；β＝20°时，x等于1040个像素点；β＝25°时，x等于1358个像素点等。
本申请实施例中，电子设备100可以获取人脸图像在第一图片中的位置参数x，然后查找与x对应的位置偏航度β。
本申请实施例以电子设备100获取图9所示的xa为例，对电子设备100获取用户的人脸图像在第一图片中的位置参数x的方法进行说明：
在一种实现方式中，电子设备100可以通过人脸检测的方式获取第一图片(如第一图片a)中人脸图像的人脸特征信息。例如，人脸特征信息可以包括上述代码中所示的左眼中心位置坐标(1235，1745)、右眼中心位置坐标(1752，1700)、鼻子位置坐标(1487，2055)、左嘴角位置坐标(1314，2357)和右嘴角位置坐标(1774，2321)等。需要注意的是，如图12所示，该人脸位置信息中各个位置的坐标在以第一图片的左上角为坐标原点O的坐标系中。如图12所示，xa可以为第一图片a在x轴方向的中线L与鼻子位置坐标(1487，2055)的垂直距离。其中，第一图片a在x轴方向的长度为r个像素点。即
在另一种实现方式中，电子设备100可以通过人脸检测的方式获取第一图片(如第一图片a)中人脸图像的人脸位置信息(faceRect)。例如，如图13所示，人脸位置信息可以包括：人脸图像的高度(例如，上述"height":1795，表示人脸图像的高度为1795个像素点)；人脸图像的宽度(例如，上述"width":1496，表示人脸图像的高度为1496个像素点)；人脸图像与第一图片左边界的距离(例如，上述"left":761，表示人脸图像与第一图片左边界的距离为761个像素点)；人脸图像与第一图片上边界的距离(例如，上述"top":1033，表示人脸图像与第一图片上边界的距离为1033个像素点)。如图13所示，第一图片a在水平方向的长度为r个像素点；那么，其中，Z为人脸图像与第一图片左边界的距离。例如，Z＝761个像素点。K为人脸图像的宽度。例如，K＝1496个像素点。
在另一实施例中，电子设备100可以通过摄像头采集第一图片。电子设备100识别到第一图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。电子设备100获取人脸图像对应的用户的位置偏航度。在电子设备100黑屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且位置偏航度不在第二预设角度范围内，电子设备100则不会点亮屏幕。在电子设备100亮屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且位置偏航度不在第二预设角度范围内，电子设备100则可以自动黑屏。
示例性的，上述第三预设范围可以为[-m°，m°]。例如，m的取值范围可以为[40，60]，或者，m的取值范围可以为[45，65]等。例如，m＝50，或者m＝45。
需要说明的是，人面偏航度、第一预设角度范围，以及电子设备100获取人脸图像对应的用户的人面偏航度，确定人面偏航度在第一预设角度范围内的详细描述，可以参考上述实例中的相关描述，本申请实施例这里不予赘述。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备100可以确定有用户在关注电子设备100的显示屏。如果有用户在关注显示屏，那么该用户可能是机主或者经过机主同意操作或者查看电子设备100的用户；或者，该用户也可能是没有经过机主同意欲操作或者查看电子设备100的用户。
一般而言，电子设备100的机主或者经过机主同意的用户在操作或者查看电子设备100时，都会位于电子设备100的正前方，或者距离电子设备100的正前方较近的方位。这类用户的位置偏航度在第二预设角度范围内。
如果位置偏航度不在第二预设角度范围内，则表示关注显示屏的用户在电子设备100的两侧，距离电子设备100的正前方较为偏远的方位。在这种情况下，该用户可能不是电子设备100的机主，或者该用户没有经过机主同意在操作或者查看电子设备100。例如，该用户可能是在通过本申请实施例的方法触发电子设备100点亮显示屏；或者，该用户可能是在窃取电子设备100的显示屏所显示的内容。在这种情况下，如果电子设备100当前黑屏，电子设备100则不会点亮屏幕；如果电子设备100当前亮屏，电子设备100则可以自动黑屏。这样，可以保护电子设备100中保存的数据不被窃取。
进一步的，在电子设备100黑屏或者亮屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且位置偏航度不在第二预设角度范围内，电子设备100还可以发出报警提示。，且显示屏状态不改变，仍保持黑屏或者亮屏。
示例性的，电子设备100可以发出语音报警提示。例如，电子设备100可以发出“嘀嘀嘀”的提示音；或者，电子设备100可以发出“安全警报，安全警报！”的语音提示。或者，电子设备100可以发出振动报警提示。本申请实施例对此不作限制。
进一步的，在电子设备100黑屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且位置偏航度在第二预设角度范围内，电子设备100则可以点亮屏幕。在电子设备100亮屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且位置偏航度在第二预设角度范围内，电子设备100则可以继续亮屏。
在另一实施例中，电子设备100可以通过摄像头采集第一图片。电子设备100识别到第一图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。电子设备100可以对该用户进行人脸识别。在电子设备100黑屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且人脸识别未通过，电子设备100则不会点亮屏幕。在电子设备100亮屏的情况下，响应于确定上述人面偏航度在第一预设角度范围内，且人脸识别未通过，电子设备100则可以自动黑屏。
需要说明的是，人面偏航度、第一预设角度范围，以及电子设备100获取人脸图像对应的用户的人面偏航度，确定人面偏航度在第一预设角度范围内的详细描述，可以参考上述实例中的相关描述，本申请实施例这里不予赘述。电子设备100对上述用户进行人脸识别的方法，可以参考常规技术中进行人脸识别的具体方法，本申请实施例这里不予赘述。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备100可以确定有用户在关注电子设备100的显示屏。如果有用户在关注显示屏，且人脸识别未通过，则表示关注显示屏的用户不是经过授权的用户。此时，如果电子设备100当前黑屏，电子设备100则不会点亮屏幕；如果电子设备100当前亮屏，电子设备100则可以自动黑屏。这样，可以保护电子设备100中保存的数据不被窃取。
进一步的，在电子设备100黑屏或者亮屏的情况下，如果上述人面偏航度在第一预设角度范围内，且人脸识别未通过，电子设备100还可以发出报警提示。电子设备100发出报警提示的具体方法可以参考上述实施例中的描述，本申请实施例这里不予赘述。
在另一实施例中，电子设备100可以通过摄像头采集第一图片，通过一个或多个(例如麦克风阵列)麦克风采集语音数据，其中这一个或多个麦克风可以是装备在该电子设备上的，也可以是独立于电子设备但与该电子设备相连的。电子设备100识别到第一图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。电子设备100获取人脸图像对应的用户的位置偏航度。响应于确定上述人面偏航度在第一预设角度范围内，电子设备100通过麦克风采集语音数据时，对上述位置偏航度对应方位的声源发出的语音数据进行增强处理。进一步的，电子设备100通过麦克风采集语音数据时，还可以对其他方位的声源发出的语音数据进行衰减处理。上述其他方位可以为与上述位置偏航度的偏差在预设角度范围(如上述第一预设角度范围或者第三预设角度范围)之外的方位。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备100可以确定有用户在关注电子设备100的显示屏。如果有用户在关注显示屏，电子设备100则可以对关注显示屏的用户(即上述位置偏航度对应方位的声源)发出的语音数据进行增强处理。这样，电子设备100便可以针对性采集关注显示屏的用户发出的语音数据。
在另一实施例中，本申请实施例的方法可以应用于电子设备100播放音频数据的过程中。电子设备100播放音频数据时，可能会因为电子设备100播放音频数据的音量较高，使得电子设备100不能准确采集到用户发出的语音命令(即语音数据)。为了提高电子设备100采集语音数据的准确性，本申请实施例的方法可以包括：电子设备100通过摄像头采集第一图片。电子设备100识别到第一图片中包括人脸图像。电子设备100获取人脸图像对应的用户的人面偏航度。响应于确定上述人面偏航度在第一预设角度范围内，电子设备100调低该电子设备100的播放音量。
可以理解，如果人面偏航度在第一预设角度范围内，电子设备100可以确定有用户在关注电子设备100的显示屏。在电子设备100播放音频数据的过程中，如果有用户在关注显示屏，那么该用户通过语音命令(即语音数据)控制电子设备100的可能性较高。此时，电子设备100可以调低电子设备100的播放音量，做好采集语音命令的准备。
进一步的，在电子设备100播放音频数据的过程中，如果有用户在关注显示屏，电子设备100不仅可以调低电子设备100的播放音量，做好采集语音命令的准备，以提高电子设备100采集语音数据的准确性。电子设备100还可以通过麦克风采集语音数据时，对上述用户的位置偏航度对应方位的声源发出的语音数据进行增强处理。这样，电子设备100便可以针对性采集关注显示屏的用户的语音数据。
本申请另一实施例还提供一种电子设备，该电子设备可以包括处理器、存储器、显示屏、麦克风和摄像头。其中，存储器、显示屏、摄像头和麦克风与处理器耦合。存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器执行所述计算机指令时，电子设备可以执行上述方法实施例中电子设备100所执行的各个功能或者步骤。其中，该电子设备的结构可以参考图3所示的电子设备100的结构。
例如，上述摄像头，用于采集图片。摄像头可以在显示屏黑屏时采集第一图片。上述处理器，用于识别到第一图片中包括人脸图像，获取第一用户的人面偏航度；响应于确定第一用户的人面偏航度在第一预设角度范围内，则自动点亮显示屏。其中，第一用户是第一图片中的人脸图像对应的用户。第一用户的人面偏航度是第一用户的面部朝向相对于第一连线的左右旋转角度，第一连线是摄像头与第一用户的头部的连线。
进一步的，上述处理器还用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的眼睛睁开，则自动点亮所述显示屏。
进一步的，上述处理器还用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的眼睛看向所述显示屏，则自动点亮所述显示屏。
进一步的，上述处理器还用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的人面偏航度在所述第一预设角度范围内的持续时间超过预设时间阈值，则自动点亮所述显示屏。
进一步的，上述处理器还用于在自动点亮所述显示屏之前，获取所述第一用户的位置偏航度，所述第一用户的位置偏航度是所述摄像头与所述第一用户的头部的连线和第一直线的夹角，所述第一直线垂直于所述显示屏，且所述第一直线经过所述摄像头；响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的位置偏航度在第二预设角度范围内，则自动点亮所述显示屏。
上述麦克风，用于采集语音数据。上述处理器，还用于获取语音数据的声源偏航度，声源偏航度是摄像头与语音数据的声源的连线和第一直线的夹角；响应于第一用户的人面偏航度在第一预设角度范围内，且第一用户的位置偏航度和声源偏航度的差值在第三预设角度范围内，则执行语音数据对应的语音控制事件。
进一步的，上述处理器，还用于响应于确定第一用户的人面偏航度不在第一预设角度范围内，或者第一用户的位置偏航度和声源偏航度的差值不在第三预设角度范围内，则识别语音数据；响应于确定语音数据是预设唤醒词，则启动电子设备的语音控制功能。其中，处理器，还用于启动语音控制功能启动后，响应于麦克风采集的语音数据执行对应的语音控制事件。
进一步的，处理器，还用于响应于确定人面偏航度在第一预设角度范围内，则通过麦克风采集语音数据时，对位置偏航度对应方位的声源发出的语音数据进行增强处理。
进一步的，电子设备还包括多媒体播放模块(如扬声器)。上述处理器，还用于多媒体播放模块播放多媒体数据时，该多媒体数据包含音频数据，响应于确定第一用户的人面偏航度在第一预设角度范围内，则调低多媒体播放模块的播放音量。
需要说明的是，电子设备的处理器、存储器、显示屏、麦克风和摄像头等的功能包括但不限于上述功能。电子设备的处理器、存储器、显示屏、麦克风和摄像头的其他功能可以参考上述方法实施例中电子设备100所执行的各个功能或者步骤，本申请实施例这里不予赘述。
本申请另一实施例提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得电子设备执行上述方法实施例中电子设备100所执行的各个功能或者步骤。
本申请另一实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中电子设备100所执行的各个功能或者步骤。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本实施例的具体实施方式，但本实施例的保护范围并不局限于此，任何在本实施例揭露的技术范围内的变化或替换，都应涵盖在本实施例的保护范围之内。因此，本实施例的保护范围应以所述权利要求的保护范围为准。

Claims (40)

1.一种屏幕控制方法，其特征在于，应用于电子设备，所述电子设备包括显示屏和摄像头，所述方法包括：
所述电子设备通过所述摄像头，采集显示屏黑屏时的第一图片；
响应于确定识别到所述第一图片中包括人脸图像，所述电子设备获取第一用户的人面偏航度，所述第一用户是第一图片中的人脸图像对应的用户；所述第一用户的人面偏航度是所述第一用户的面部朝向相对于第一连线的左右旋转角度，所述第一连线是所述摄像头与所述第一用户的头部的连线；
响应于确定所述第一用户的人面偏航度在第一预设角度范围内，所述电子设备自动点亮所述显示屏。
2.根据权利要求1所述的方法，其特征在于，所述响应于确定所述第一用户的人面偏航度在第一预设角度范围内，所述电子设备自动点亮所述显示屏，包括：
响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的眼睛睁开，所述电子设备自动点亮所述显示屏。
3.根据权利要求1或2所述的方法，其特征在于，所述响应于确定所述第一用户的人面偏航度在第一预设角度范围内，所述电子设备自动点亮所述显示屏，包括：
响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的眼睛看向所述显示屏，所述电子设备自动点亮所述显示屏。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述响应于确定所述第一用户的人面偏航度在第一预设角度范围内，所述电子设备自动点亮所述显示屏，包括：
响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的人面偏航度在所述第一预设角度范围内的持续时间超过预设时间阈值，所述电子设备自动点亮所述显示屏。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述电子设备自动点亮所述显示屏之前，所述方法还包括：
所述电子设备获取所述第一用户的位置偏航度，所述第一用户的位置偏航度是所述摄像头与所述第一用户的头部的连线和第一直线的夹角，所述第一直线垂直于所述显示屏，且所述第一直线经过所述摄像头；
所述响应于确定所述第一用户的人面偏航度在第一预设角度范围内，所述电子设备自动点亮所述显示屏，包括：
响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的位置偏航度在第二预设角度范围内，所述电子设备自动点亮所述显示屏。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
响应于确定所述第一用户的位置偏航度不在所述第二预设角度范围内，则所述电子设备发出报警指示。
7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述电子设备自动点亮所述显示屏之前，所述方法还包括：
所述电子设备对所述第一用户进行人脸识别；
所述响应于确定所述第一用户的人面偏航度在第一预设角度范围内，所述电子设备自动点亮所述显示屏，包括：
响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的人脸识别成功，所述电子设备自动点亮所述显示屏。
8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述电子设备自动点亮所述显示屏之后，所述方法还包括：
所述电子设备通过所述摄像头采集第二图片；
所述电子设备识别所述第二图片中是否包括人脸图像；
响应于确定所述第二图片中不包括人脸图像，所述电子设备自动黑屏。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
响应于确定所述第二图片中包括人脸图像，所述电子设备获取第二用户的人面偏航度，所述第二用户是第二图片中的人脸图像对应的用户；所述第二用户的人面偏航度是所述第二用户的面部朝向相对于第二连线的左右旋转角度，所述第二连线的所述摄像头与所述第二用户的头部的连线；
响应于确定所述第二用户的人面偏航度不在所述第一预设角度范围内，所述电子设备自动黑屏。
10.根据权利要求5所述的方法，其特征在于，所述方法还包括：
所述电子设备通过与之相连的麦克风采集语音数据；
所述电子设备获取所述语音数据的声源偏航度，所述声源偏航度是所述摄像头与所述语音数据的声源的连线和所述第一直线的夹角；
响应于所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的位置偏航度和所述声源偏航度的差值在第三预设角度范围内，所述电子设备执行所述语音数据对应的语音控制事件。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
响应于确定所述第一用户的人面偏航度不在所述第一预设角度范围内，和/或所述第一用户的位置偏航度和所述声源偏航度的差值不在所述第三预设角度范围内，所述电子设备识别所述语音数据；
响应于确定所述语音数据是预设唤醒词，所述电子设备启动所述电子设备的语音控制功能；
其中，所述语音控制功能启动后，所述电子设备响应于所述麦克风采集的语音数据，执行对应的语音控制事件。
12.根据权利要求10或11所述的方法，其特征在于，所述电子设备中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；所述位置参数用于表征人脸图像在对应图片中的位置；
所述电子设备获取所述第一用户的位置偏航度，包括：
所述电子设备获取所述第一用户的人脸图像在所述第一图片中的位置参数；
所述电子设备查找与获取到的位置参数对应的位置偏航度；并将查找到的位置偏航度作为所述第一用户的位置偏航度。
13.根据权利要求10-12中任一项所述的方法，其特征在于，所述方法还包括：
响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，所述电子设备通过所述麦克风采集语音数据时，对所述第一用户的位置偏航度对应方位的声源发出的语音数据进行增强处理。
14.根据权利要求1-13中任一项所述的方法，其特征在于，所述方法还包括：
响应于确定所述电子设备正在播放多媒体数据，且所述第一用户的人面偏航度在所述第一预设角度范围内，所述电子设备调低所述电子设备的播放音量。
15.一种语音控制方法，其特征在于，应用于电子设备，所述电子设备包括麦克风、显示屏和摄像头，所述方法包括：
所述电子设备通过所述摄像头采集第一图片，通过所述麦克风采集语音数据；
响应于确定识别到所述第一图片中包括人脸图像，所述电子设备获取所述人脸图像对应的用户的人面偏航度，并获取所述用户的位置偏航度；所述人面偏航度是所述用户的面部朝向相对于第一连线的左右旋转角度，所述第一连线是所述摄像头与所述用户的头部的连线；所述位置偏航度是所述摄像头与所述用户的头部的连线和第一直线的夹角，所述第一直线垂直于所述显示屏，且所述第一直线经过所述摄像头；
所述电子设备获取所述语音数据的声源偏航度，所述声源偏航度是所述摄像头与所述语音数据的声源的连线和所述第一直线的夹角；
响应于确定所述人面偏航度在第一预设角度范围内，且所述位置偏航度和所述声源偏航度的差值在第三预设角度范围内，所述电子设备执行所述语音数据对应的语音控制事件。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
响应于确定所述人面偏航度不在所述第一预设角度范围内，和/或所述位置偏航度和所述声源偏航度的差值不在所述第三预设角度范围内，所述电子设备识别所述语音数据；
响应于确定所述语音数据是预设唤醒词，所述电子设备启动所述电子设备的语音控制功能；
其中，所述语音控制功能启动后，所述电子设备响应于所述麦克风采集的语音数据执行对应的语音控制事件。
17.根据权利要求15或16所述的方法，其特征在于，所述电子设备中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；所述位置参数用于表征人脸图像在对应图片中的位置；
所述获取所述用户的位置偏航度，包括：
所述电子设备获取所述人脸图像在所述第一图片中的位置参数；
所述电子设备查找与获取到的位置参数对应的位置偏航度，并将查找到的位置偏航度作为所述位置偏航度。
18.根据权利要求15-17中任一项所述的方法，其特征在于，所述方法还包括：
响应于确定所述人面偏航度在所述第一预设角度范围内，所述电子设备通过所述麦克风采集语音数据时，对所述位置偏航度对应方位的声源发出的语音数据进行增强处理。
19.根据权利要求15-18中任一项所述的方法，其特征在于，所述方法还包括：
所述电子设备播放多媒体数据时，响应于确定所述人面偏航度在所述第一预设角度范围内，所述电子设备调低所述电子设备的播放音量。
20.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器、一个或多个存储器、显示屏和摄像头；所述一个或多个存储器、所述显示屏和所述摄像头与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，
所述摄像头，用于采集图片；
所述一个或多个处理器，用于在所述显示屏黑屏时，识别所述摄像头采集的第一图片中是否包括人脸图像，如果包含人脸图像，则获取第一用户的人面偏航度，所述第一用户是所述第一图片中的人脸图像对应的用户；所述第一用户的人面偏航度是所述第一用户的面部朝向相对于第一连线的左右旋转角度，所述第一连线是所述摄像头与所述第一用户的头部的连线；响应于确定所述第一用户的人面偏航度在第一预设角度范围内，则指示所述显示屏亮屏。
21.根据权利要求20所述的电子设备，其特征在于，所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在第一预设角度范围内，则指示所述显示屏亮屏，包括：
所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的眼睛睁开，则指示所述显示屏亮屏。
22.根据权利要求20或21所述的电子设备，其特征在于，所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在第一预设角度范围内，则指示所述显示屏亮屏，包括：
所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的眼睛看向所述显示屏，则指示所述显示屏亮屏。
23.根据权利要求20-22中任一项所述的电子设备，其特征在于，所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在第一预设角度范围内，则指示所述显示屏亮屏，包括：
所述一个或多个处理器，具体用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的人面偏航度在所述第一预设角度范围内的持续时间超过预设时间阈值，则指示所述显示屏亮屏。
24.根据权利要求20-23中任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于在指示点亮所述显示屏之前，获取所述第一用户的位置偏航度，所述第一用户的位置偏航度是所述摄像头与所述第一用户的头部的连线和第一直线的夹角，所述第一直线垂直于所述显示屏，且所述第一直线经过所述摄像头；
所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在第一预设角度范围内，则指示所述显示屏亮屏，包括：
所述一个或多个处理器，用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的位置偏航度在第二预设角度范围内，则指示所述显示屏亮屏。
25.根据权利要求24所述的电子设备，其特征在于，所述一个或多个处理器，还用于响应于确定所述第一用户的位置偏航度不在所述第二预设角度范围内，发出报警指示。
26.根据权利要求20-25中任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于在指示所述显示屏亮屏之前，对所述第一用户进行人脸识别；
所述一个或多个处理器，具体用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的人脸识别通过，则指示所述显示屏亮屏。
27.根据权利要求20-26中任一项所述的电子设备，其特征在于，所述摄像头，还用于在所述处理器自动点亮所述显示屏之后，采集第二图片；
所述一个或多个处理器，还用于识别所述第二图片中是否包括人脸图像；响应于确定所述第二图片中不包括人脸图像，则指示所述显示屏黑屏。
28.根据权利要求27所述的电子设备，其特征在于，所述一个或多个处理器，还用于响应于确定所述第二图片中包括人脸图像，获取第二用户的人面偏航度，所述第二用户是第二图片中的人脸图像对应的用户；所述第二用户的人面偏航度是所述第二用户的面部朝向相对于第二连线的左右旋转角度，所述第二连线的所述摄像头与所述第二用户的头部的连线；响应于确定所述第二用户的人面偏航度不在所述第一预设角度范围内，则指示所述显示屏黑屏。
29.根据权利要求24所述的电子设备，其特征在于，所述电子设备还包括一个或多个麦克风；
所述一个或多个麦克风，用于采集语音数据；
所述一个或多个处理器，还用于获取所述语音数据的声源偏航度，所述声源偏航度是所述摄像头与所述语音数据的声源的连线和所述第一直线的夹角；响应于所述第一用户的人面偏航度在所述第一预设角度范围内，且所述第一用户的位置偏航度和所述声源偏航度的差值在第三预设角度范围内，则执行所述语音数据对应的语音控制事件。
30.根据权利要求29所述的电子设备，其特征在于，所述一个或多个处理器，还用于响应于确定所述第一用户的人面偏航度不在所述第一预设角度范围内，和/或所述第一用户的位置偏航度和所述声源偏航度的差值不在所述第三预设角度范围内，则识别所述语音数据；响应于确定所述语音数据是预设唤醒词，则启动所述电子设备的语音控制功能；
其中，所述一个或多个处理器，还用于启动所述语音控制功能启动后，响应于所述一个或多个麦克风采集的语音数据执行对应的语音控制事件。
31.根据权利要求29或30所述的电子设备，其特征在于，所述一个或多个存储器中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；所述位置参数用于表征人脸图像在对应图片中的位置；
所述一个或多个处理器，用于获取所述第一用户的位置偏航度，包括：
所述一个或多个处理器，用于获取所述第一用户的人脸图像在所述第一图片中的位置参数；查找与获取到的位置参数对应的位置偏航度；并将查找到的位置偏航度作为所述第一用户的位置偏航度。
32.根据权利要求29-31中任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，则通过所述一个或多个麦克风采集语音数据时，对所述第一用户的位置偏航度对应方位的声源发出的语音数据进行增强处理。
33.根据权利要求20-32中任一项所述的电子设备，其特征在于，
所述一个或多个处理器，还用于在播放多媒体数据时，响应于确定所述第一用户的人面偏航度在所述第一预设角度范围内，则调低播放音量。
34.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器、一个或多个存储器、显示屏、摄像头和一个或多个麦克风；所述存储器、所述显示屏和所述摄像头与所述一个或多个处理器耦合；所述摄像头用于采集第一图片；所述麦克风用于采集语音数据；
所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，
所述一个或多个处理器，用于确定所述第一图片中包括人脸图像时，获取所述人脸图像对应的用户的人面偏航度，并获取所述用户的位置偏航度；所述人面偏航度是所述用户的面部朝向相对于第一连线的左右旋转角度，所述第一连线是所述摄像头与所述用户的头部的连线；所述位置偏航度是所述摄像头与所述用户的头部的连线和第一直线的夹角，所述第一直线垂直于所述显示屏，且所述第一直线经过所述摄像头；获取所述语音数据的声源偏航度，所述声源偏航度是所述摄像头与所述语音数据的声源的连线和所述第一直线的夹角；响应于确定所述人面偏航度在第一预设角度范围内，且所述位置偏航度和所述声源偏航度的差值在第三预设角度范围内，则执行所述语音数据对应的语音控制事件。
35.根据权利要求34所述的电子设备，其特征在于，所述一个或多个处理器，还用于响应于确定所述人面偏航度不在所述第一预设角度范围内，和/或所述位置偏航度和所述声源偏航度的差值不在所述第三预设角度范围内，则识别所述语音数据；响应于确定所述语音数据是预设唤醒词，则启动所述电子设备的语音控制功能；
其中，所述处理器，还用于在启动所述语音控制功能启动后，响应于所述一个或多个麦克风采集的语音数据，执行所述语音数据对应的语音控制事件。
36.根据权利要求34或35所述的电子设备，其特征在于，所述一个或多个处理器中预先保存有多个位置参数，以及每个位置参数对应的位置偏航度；所述位置参数用于表征人脸图像在对应图片中的位置；
所述获取所述用户的位置偏航度，包括：
获取所述人脸图像在所述第一图片中的位置参数；查找与获取到的位置参数对应的位置偏航度，并将查找到的位置偏航度作为所述位置偏航度。
37.根据权利要求34-36中任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于响应于确定所述人面偏航度在所述第一预设角度范围内，则通过所述麦克风采集语音数据时，对所述位置偏航度对应方位的声源发出的语音数据进行增强处理。
38.根据权利要求34-37中任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于在播放多媒体数据时，响应于确定所述人面偏航度在所述第一预设角度范围内，则调低播放音量。
39.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-19中任一项所述的方法。
40.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-19中任一项所述的方法。
CN201910075866.1A 2019-01-25 2019-01-25 一种屏幕控制和语音控制方法及电子设备 Active CN109710080B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910075866.1A CN109710080B (zh) 2019-01-25 2019-01-25 一种屏幕控制和语音控制方法及电子设备
PCT/CN2020/072610 WO2020151580A1 (zh) 2019-01-25 2020-01-17 一种屏幕控制和语音控制方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910075866.1A CN109710080B (zh) 2019-01-25 2019-01-25 一种屏幕控制和语音控制方法及电子设备

Publications (2)

Publication Number Publication Date
CN109710080A true CN109710080A (zh) 2019-05-03
CN109710080B CN109710080B (zh) 2021-12-03

Family

ID=66263015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910075866.1A Active CN109710080B (zh) 2019-01-25 2019-01-25 一种屏幕控制和语音控制方法及电子设备

Country Status (2)

Country Link
CN (1) CN109710080B (zh)
WO (1) WO2020151580A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164443A (zh) * 2019-06-28 2019-08-23 联想(北京)有限公司 用于电子设备的语音处理方法、装置以及电子设备
CN110364159A (zh) * 2019-08-19 2019-10-22 北京安云世纪科技有限公司 一种语音指令的执行方法、装置及电子设备
CN110456938A (zh) * 2019-06-28 2019-11-15 华为技术有限公司 一种曲面屏的防误触方法及电子设备
CN110718225A (zh) * 2019-11-25 2020-01-21 深圳康佳电子科技有限公司 一种语音控制方法、终端以及存储介质
CN111256404A (zh) * 2020-02-17 2020-06-09 海信（山东）冰箱有限公司 一种储藏装置和储藏装置的控制方法
CN111276140A (zh) * 2020-01-19 2020-06-12 珠海格力电器股份有限公司 语音命令识别方法、装置、系统及存储介质
WO2020151580A1 (zh) * 2019-01-25 2020-07-30 华为技术有限公司 一种屏幕控制和语音控制方法及电子设备
CN111736725A (zh) * 2020-06-10 2020-10-02 京东方科技集团股份有限公司 智能镜子及智能镜子唤醒方法
CN112188341A (zh) * 2020-09-24 2021-01-05 江苏紫米电子技术有限公司 一种耳机唤醒方法、装置、耳机及介质
WO2021013137A1 (zh) * 2019-07-25 2021-01-28 华为技术有限公司 一种语音唤醒方法及电子设备
CN112489578A (zh) * 2020-11-19 2021-03-12 北京沃东天骏信息技术有限公司 商品呈现方法和装置
CN112667084A (zh) * 2020-12-31 2021-04-16 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
CN112687295A (zh) * 2020-12-22 2021-04-20 联想(北京)有限公司 一种输入控制方法及电子设备
CN113741681A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种图像校正方法与电子设备
CN114422686A (zh) * 2020-10-13 2022-04-29 Oppo广东移动通信有限公司 参数调整方法及相关装置
WO2022095983A1 (zh) * 2020-11-06 2022-05-12 华为技术有限公司 一种防止手势误识别的方法及电子设备
WO2023284870A1 (zh) * 2021-07-15 2023-01-19 海信视像科技股份有限公司 控制方法及控制设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125143B (zh) * 2020-08-31 2023-04-07 华为技术有限公司 一种语音交互方法及电子设备
CN112188289B (zh) * 2020-09-04 2023-03-14 青岛海尔科技有限公司 用于控制电视的方法及装置、设备
CN113627290A (zh) * 2021-07-27 2021-11-09 歌尔科技有限公司 一种音箱控制方法、装置、音箱及可读存储介质
CN113965641B (zh) * 2021-09-16 2023-03-28 Oppo广东移动通信有限公司 音量调节方法及装置、终端及计算机可读存储介质
CN114779916A (zh) * 2022-03-29 2022-07-22 杭州海康威视数字技术股份有限公司 一种电子设备屏幕唤醒方法、门禁管理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386371A (zh) * 2000-08-01 2002-12-18 皇家菲利浦电子有限公司 使设备对准声源
CN103902963A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种识别方位及身份的方法和电子设备
CN104238948A (zh) * 2014-09-29 2014-12-24 广东欧珀移动通信有限公司 一种智能手表点亮屏幕的方法及智能手表
CN104811756A (zh) * 2014-01-29 2015-07-29 三星电子株式会社 显示装置和及其控制方法
US20170187852A1 (en) * 2015-12-29 2017-06-29 Lg Electronics Inc. Mobile terminal and controlling method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747346B (zh) * 2014-01-23 2017-08-25 中国联合网络通信集团有限公司 一种多媒体视频播放的控制方法及多媒体视频播放器
CN106155621B (zh) * 2015-04-20 2024-04-16 钰太芯微电子科技（上海）有限公司 可识别声源位置的关键词语音唤醒系统及方法及移动终端
CN105912903A (zh) * 2016-04-06 2016-08-31 上海斐讯数据通信技术有限公司 一种移动终端的解锁方法及移动终端
CN107765858B (zh) * 2017-11-06 2019-12-31 Oppo广东移动通信有限公司 确定人脸角度的方法、装置、终端及存储介质
CN109710080B (zh) * 2019-01-25 2021-12-03 华为技术有限公司 一种屏幕控制和语音控制方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386371A (zh) * 2000-08-01 2002-12-18 皇家菲利浦电子有限公司 使设备对准声源
CN103902963A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种识别方位及身份的方法和电子设备
CN104811756A (zh) * 2014-01-29 2015-07-29 三星电子株式会社 显示装置和及其控制方法
CN104238948A (zh) * 2014-09-29 2014-12-24 广东欧珀移动通信有限公司 一种智能手表点亮屏幕的方法及智能手表
US20170187852A1 (en) * 2015-12-29 2017-06-29 Lg Electronics Inc. Mobile terminal and controlling method thereof

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151580A1 (zh) * 2019-01-25 2020-07-30 华为技术有限公司 一种屏幕控制和语音控制方法及电子设备
US11782554B2 (en) 2019-06-28 2023-10-10 Huawei Technologies Co., Ltd. Anti-mistouch method of curved screen and electronic device
CN110456938A (zh) * 2019-06-28 2019-11-15 华为技术有限公司 一种曲面屏的防误触方法及电子设备
CN110164443A (zh) * 2019-06-28 2019-08-23 联想(北京)有限公司 用于电子设备的语音处理方法、装置以及电子设备
CN110164443B (zh) * 2019-06-28 2021-09-14 联想(北京)有限公司 用于电子设备的语音处理方法、装置以及电子设备
WO2021013137A1 (zh) * 2019-07-25 2021-01-28 华为技术有限公司 一种语音唤醒方法及电子设备
CN110364159A (zh) * 2019-08-19 2019-10-22 北京安云世纪科技有限公司 一种语音指令的执行方法、装置及电子设备
CN110364159B (zh) * 2019-08-19 2022-04-29 北京安云世纪科技有限公司 一种语音指令的执行方法、装置及电子设备
CN110718225A (zh) * 2019-11-25 2020-01-21 深圳康佳电子科技有限公司 一种语音控制方法、终端以及存储介质
CN111276140B (zh) * 2020-01-19 2023-05-12 珠海格力电器股份有限公司 语音命令识别方法、装置、系统及存储介质
CN111276140A (zh) * 2020-01-19 2020-06-12 珠海格力电器股份有限公司 语音命令识别方法、装置、系统及存储介质
CN111256404A (zh) * 2020-02-17 2020-06-09 海信（山东）冰箱有限公司 一种储藏装置和储藏装置的控制方法
CN113741681B (zh) * 2020-05-29 2024-04-26 华为技术有限公司 一种图像校正方法与电子设备
CN113741681A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种图像校正方法与电子设备
WO2021249154A1 (zh) * 2020-06-10 2021-12-16 京东方科技集团股份有限公司 智能魔镜及智能魔镜唤醒方法
CN111736725A (zh) * 2020-06-10 2020-10-02 京东方科技集团股份有限公司 智能镜子及智能镜子唤醒方法
CN112188341B (zh) * 2020-09-24 2024-03-12 江苏紫米电子技术有限公司 一种耳机唤醒方法、装置、耳机及介质
CN112188341A (zh) * 2020-09-24 2021-01-05 江苏紫米电子技术有限公司 一种耳机唤醒方法、装置、耳机及介质
CN114422686A (zh) * 2020-10-13 2022-04-29 Oppo广东移动通信有限公司 参数调整方法及相关装置
WO2022095983A1 (zh) * 2020-11-06 2022-05-12 华为技术有限公司 一种防止手势误识别的方法及电子设备
CN112489578A (zh) * 2020-11-19 2021-03-12 北京沃东天骏信息技术有限公司 商品呈现方法和装置
CN112687295A (zh) * 2020-12-22 2021-04-20 联想(北京)有限公司 一种输入控制方法及电子设备
WO2022142331A1 (zh) * 2020-12-31 2022-07-07 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
CN112667084A (zh) * 2020-12-31 2021-04-16 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
WO2023284870A1 (zh) * 2021-07-15 2023-01-19 海信视像科技股份有限公司 控制方法及控制设备

Also Published As

Publication number Publication date
WO2020151580A1 (zh) 2020-07-30
CN109710080B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN109710080A (zh) 一种屏幕控制和语音控制方法及电子设备
WO2021000876A1 (zh) 一种语音控制方法、电子设备及系统
JP7426470B2 (ja) 音声起動方法及び電子デバイス
CN110506416A (zh) 一种终端切换摄像头的方法及终端
WO2021036568A1 (zh) 辅助健身的方法和电子装置
WO2022193989A1 (zh) 电子设备的操作方法、装置和电子设备
CN110070863A (zh) 一种语音控制方法及装置
CN110119684A (zh) 图像识别方法和电子设备
CN109793498A (zh) 一种皮肤检测方法及电子设备
CN110336910A (zh) 一种隐私数据保护方法及终端
WO2020019355A1 (zh) 一种可穿戴设备的触控方法、可穿戴设备及系统
CN113395382B (zh) 一种设备间数据交互的方法及相关设备
CN110742580A (zh) 一种睡眠状态识别方法及装置
CN109561213A (zh) 一种护眼模式控制方法、终端及计算机可读存储介质
CN113552937A (zh) 显示控制方法和可穿戴设备
CN113892920A (zh) 可穿戴设备的佩戴检测方法、装置及电子设备
WO2022151887A1 (zh) 睡眠监测方法及相关装置
WO2022105830A1 (zh) 睡眠评估方法、电子设备及存储介质
CN113438364B (zh) 振动调节方法、电子设备、存储介质
CN113069089B (zh) 电子设备
CN109285563A (zh) 在线翻译过程中的语音数据处理方法及装置
WO2021204036A1 (zh) 睡眠风险监测方法、电子设备及存储介质
CN113838478B (zh) 异常事件检测方法、装置和电子设备
CN114822525A (zh) 语音控制方法和电子设备
WO2020034104A1 (zh) 一种语音识别方法、可穿戴设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant