CN113728295B - 控屏方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种控屏方法、装置、设备及存储介质，该方法包括：获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；根据所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕，所述显示子屏幕为显示屏幕的部分区域；根据所述N个控屏对象各自的动作信息，控制所述N个控屏对象各自对应的显示子屏幕。实现了对屏幕的分屏控制，不仅提高了屏幕利用率，而且增强了用户体验。

Description

控屏方法、装置、设备及存储介质

技术领域

本申请涉及屏幕控制技术领域，尤其涉及一种控屏方法、装置、设备及存储介质。

背景技术

随着科学技术与终端设备的发展，其中带有大屏幕的设备、系统等因其直观性和易用性，被越来越多的领域所使用。与此同时，对大屏幕的操控也给人们带来了相应的困扰，因此，如何更好的利用和控制大屏幕设备就变的尤为重要，通常情况下，对大屏幕的控制可以通过遥控器、按钮、手势和语音操控等方式。

现有技术中，通过手势控制屏幕，通常是通过单人手势与大屏幕进行交互，并通过手势的动作对大屏幕进行相应的控制，实现了通过手势控制屏幕的效果。

然而现有技术中，通过手势控制屏幕，只能通过单人手势对大屏幕进行控制，造成屏幕利用率较低。

发明内容

本申请实施例提供一种控屏方法、装置、设备及存储介质，用于实现了多个控屏对象对屏幕的分屏控制，不仅提高了屏幕利用率，而且增强了用户体验。

第一方面，本申请提供一种控屏方法，包括：

获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；根据所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕，所述显示子屏幕为显示屏幕的部分区域；根据所述N个控屏对象各自的动作信息，控制所述N个控屏对象各自对应的显示子屏幕。本申请实施例中，通过根据控屏对象的特征信息确定控屏对象对应的显示子屏幕，并根据控屏对象的动作信息，控制控屏对象对应的显示子屏幕，实现了对屏幕的分屏控制，不仅提高了屏幕利用率，而且增强了用户体验。

可选的，在获取第一图像中N个控屏对象各自的特征信息和N个控屏对象各自的动作信息之前，本申请实施例提供的控屏方法还包括：

获取用户的第二图像；确定第二图像中的满足预设启动动作的控屏对象的个数N，预设启动动作用于启动多手势控屏模式；在显示屏幕上呈现N个显示子屏幕。

本申请实施例中，通过根据用户的第二图像中满足预设启动动作的控屏对象的个数确定将显示屏幕呈现为多少个显示子屏幕，基于预设启动动作开启多手势控屏模式并且只有满足预设启动动作的控屏对象才可以成为多个显示子屏幕的其中一个控制者，提升分屏的抗干扰性，示例性的，控屏对象为用户的手，如果屏幕前有四个人，但是只有三个人想参与分屏控制，只有呈现预设启动动作的手才可以参与分屏控制，避免第四个人的手对分屏控制造成干扰。

可选的，获取第一图像中N个控屏对象各自的特征信息和N个控屏对象各自的动作信息之前，本申请实施例提供的控屏方法还包括：

建立N个满足预设启动动作的控屏对象的特征信息与N个显示子屏幕的第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系；根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕，包括：根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕。

本申请实施例中，通过建立多个满足预设启动动作的控屏对象的特征信息与多个显示子屏幕之间的对应关系，并根据该对应关系和控屏对象的特征信息，确定控屏对象各自对应的显示子屏幕，实现了控屏对象对显示子屏幕的分别对应控制，提高了控屏对象对显示子屏幕的控制的准确性。

可选的，在根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕，包括：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屏操作，所述目标控屏对象为所述N个控屏对象中的任一个，所述第二对应关系包括多个动作信息和多个控屏操作的一一对应关系；根据所述目标控屏操作控制所述目标控屏对象对应的显示子屏幕。

本申请实施例中，通过确定目标控屏对象的目标控屏操作，并根据目标控屏操作对应的控屏操作控制目标控屏对象对应的显示子屏幕，实现了通过控屏对象的动作信息和特征信息，对控屏对象对应的显示子屏幕进行相应的控制。

下面介绍本申请实施例提供的控屏装置、设备、存储介质以及计算机程序产品，其内容和效果可参考本申请实施例第一方面及第一方面可选方式提供的控屏方法，不再赘述。

第二方面，本申请实施例提供一种控屏装置，包括：

第一获取模块，用于获取第一图像中N个控屏对象各自的特征信息和N个控屏对象各自的动作信息，控屏对象为第一图像中用户的身体部位，N为大于等于2的正整数；第一确定模块，用于根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕，显示子屏幕为显示屏幕的部分区域；控制模块，用于根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕。

可选的，本申请实施例提供的控屏装置，还包括：

第二获取模块，用于获取用户的第二图像；第二确定模块，用于确定第二图像中的满足预设启动动作的控屏对象的个数N，预设启动动作用于启动多手势控屏模式；切分模块，用于得到在显示屏幕上呈现的N个显示子屏幕。

可选的，本申请实施例提供的控屏装置，还包括：

建立模块，用于建立N个满足预设启动动作的控屏对象的特征信息与N个显示子屏幕的第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系；第一确定模块具体用于：根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕。

可选的，控制模块具体用于：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屏操作，目标控屏对象为N个控屏对象中的任一个，第二对应关系包括多个动作信息和多个控屏操作的一一对应关系；根据目标控屏操作控制目标控屏对象对应的显示子屏幕。

第三方面，本申请实施例提供一种设备，包括：

处理器和传输接口，传输接口，用于接收摄像头获取的用户的第一图像；处理器，用于调用存储在存储器中的软件指令以执行如下步骤：

获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；根据所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕，所述显示子屏幕为显示屏幕的部分区域；根据所述N个控屏对象各自的动作信息，控制所述N个控屏对象各自对应的显示子屏幕。

可选的，传输接口，还用于接收摄像头获取的用户的第二图像；处理器还用于：

确定第二图像中的满足预设启动动作的控屏对象的个数N，预设启动动作用于启动多手势控屏模式；得到显示屏幕上呈现的N个显示子屏幕。

可选的，处理器还用于：

建立N个满足预设启动动作的控屏对象的特征信息与N个显示子屏幕的第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系；处理器，具体用于：根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕。

可选的，处理器还用于：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屏操作，所述目标控屏对象为所述N个控屏对象中的任一个，所述第二对应关系包括多个动作信息和多个控屏操作的一一对应关系；根据所述目标控屏操作控制所述目标控屏对象对应的显示子屏幕。

第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机或处理器上运行时，使得该计算机或处理器执行如本申请实施例第一方面及第一方面可选方式提供的控屏方法。

本申请第五方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第一方面或者及第一方面可选方式提供的控屏方法。

本申请实施例提供的控屏方法、装置、设备及存储介质，通过获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；然后根据所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕，所述显示子屏幕为显示屏幕的部分区域；最后根据所述N个控屏对象各自的动作信息，控制所述N个控屏对象各自对应的显示子屏幕。。由于通过根据控屏对象的特征信息确定控屏对象对应的显示子屏幕，并根据控屏对象的动作信息，控制控屏对象对应的显示子屏幕，实现了对屏幕的分屏控制，不仅提高了屏幕利用率，而且增强了用户体验。

附图说明

图1是本申请实施例提供的示例性应用场景示意图；

图2是本申请实施例提供的另一示例性应用场景示意图；

图3是本申请一实施例提供的控屏方法的流程图；

图4是本申请实施例提供的示例性的神经网络应用架构图；

图5是本申请另一实施例提供的控屏方法的流程图；

图6是本申请又一实施例提供的控屏方法的流程图；

图7是本申请一实施例提供的控屏装置的结构示意图；

图8A是本申请一实施例提供的终端设备的结构示意图；

图8B是本申请另一实施例提供的终端设备的结构示意图；

图9是本申请实施例提供的一种示例性的控屏装置的硬件架构示意图；

图10是本申请又一实施例提供的终端设备的结构示意图。

具体实施方式

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三、第四等来描述用户图像，但这些用户图像不应限于这些术语。这些术语仅用来将用户图像彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一用户图像也可以被称为第二用户图像，类似地，第二用户图像也可以被称为第一用户图像。

随着科学技术与终端设备的发展，带有大屏幕的设备、系统等因其直观性和易用性，被越来越多的领域所使用。与此同时，对大屏幕的操控也给人们带来了相应的困扰，因此，如何更好的利用和控制大屏幕设备就变的尤为重要，通常情况下，对大屏幕的控制可以通过遥控器、按钮、手势和语音操控等方式。然而现有技术中，通过手势控制屏幕，通常是通过单人手势与大屏幕进行交互，并通过手势的动作对大屏幕进行相应的控制，造成屏幕利用率较低。为了解决上述问题，本申请实施例提供一种控屏方法、装置、设备及存储介质。

下面对本申请实施例的一示例性应用场景进行介绍。

本申请实施例可以应用于具备显示屏幕的终端设备中，终端设备例如可以是电视机、电脑、投屏设备等，本申请实施例对此不做限制，以终端设备为电视机为例，对本申请实施例中的应用场景进行介绍。图1是本申请实施例提供的示例性应用场景示意图，如图1所示，电视机10通过通用串行总线或其他高速总线12与摄像头11连接，在多个用户观看电视机时，可能每个用户想要观看的电视节目不同，或者存在多用户参与的电视游戏等，需要根据每个用户的特征信息，对电视机屏幕进行分屏，并且每个用户可以单独控制与该用户的特征信息对应的显示子屏幕，例如，如图1所示，通过摄像头11拍摄电视机10对面的用户图像或视频，经过处理和判断，将电视机10的显示屏幕分为显示子屏幕1和显示子屏幕2，其中，显示子屏幕1和显示子屏幕2可以显示不同的播放内容，且可以通过摄像头11不断获取用户图像，然后通过对用户图像的处理，分别对显示子屏幕1和显示子屏幕2进行控制，本申请实施例不限于此。另外，电视机10还可以包括视频信号源接口13、有线网络接口或无线网络接口模块14或外围设备接口15等，本申请实施例对此不做限制。

下面对本申请实施例的另一示例性应用场景进行介绍。

本申请实施例可以应用于显示设备中，图2是本申请实施例提供的另一示例性应用场景示意图，如图2所示，显示设备可以包括中央处理器、系统内存、边缘人工智能处理器核和图像内存，中央处理器与系统内存连接，中央处理器可以用于执行本申请实施例提供的控屏方法，中央处理器还可以与边缘人工智能处理器核连接，边缘人工智能可以用于实现本申请实施例提供的控屏方法中的图像处理部分，边缘人工智能处理器核与图像内存连接，图像内存可以用于存储摄像头获取的图像，摄像头与显示设备通用串行总线或其他高速总线连接。

基于此，本申请实施例提供一种控屏方法、装置、设备及存储介质。

图3是本申请一实施例提供的控屏方法的流程图，该方法可以通过本申请实施例提供的控屏装置执行，控屏装置可以是终端设备的部分或全部，例如可以是终端设备中的处理器，下面以终端设备为执行主体为例，对本申请实施例提供的控屏方法进行介绍。如图3所示，本申请实施例提供的控屏方法，可以包括：

步骤S101：获取第一图像中N个控屏对象各自的特征信息和N个控屏对象各自的动作信息，控屏对象为第一图像中用户的身体部位，N为大于等于2的正整数。

获取用户的第一图像，可以通过摄像头或图像传感器获取，摄像头可以设置在终端设备中，也可以独立于终端设备设置，并与终端设备进行有线或无线连接，本申请实施例对摄像头的型号、安装位置等不做限制，只要可以获取用户的第一图像即可。摄像头采集用户的第一图像，可以通过视频采集或图像采集等方式，本申请实施例对如何通过摄像头获取用户的第一图像的具体方式不做限制。在一种可选的情况中，对于终端设备中的处理器芯片来说，处理器芯片的传输接口接收摄像头或图像传感器获取的用户的图像也可以认为是在获取用户的第一图像，也即处理器芯片通过传输接口获取用户的第一图像。

在获取用户的第一图像之后，根据第一图像，获取N个控屏对象各自的特征信息以及N个控屏对象各自的动作信息，其中，N个控屏对象为第一图像中用户的身体部位，本申请实施例对用户的身体部位的具体部位不做限制，对第一图像中用户的身体部位的判断，可以通过设置预设身体部位实现。在一种可能的实施方式中，预设身体部位可以为人手，相应的，N个控屏对象为第一图像中的至少一只人手，N个控屏对象的特征信息为第一图像中N只人手的手部特征信息，示例性的，手部特征信息包括但不限于为手纹、手的形状、手的大小或手部肤色等。N个控屏对象各自的动作信息为第一图像中N只人手的手部动作信息。在另一种可能的实施方式中，预设身体部位可以为人脸，相应的，N个控屏对象为第一图像中的N张人脸，N个控屏对象的特征信息为第一图像中N张人脸的面部特征信息，N个控屏对象各自的动作信息为第一图像中N个人脸的面部动作信息，例如面部表情等，本申请实施例不限于此。

其中，N个控屏对象各自的特征信息用于区分N个控屏对象，示例性的，若控屏对象为人手，则人手的手部特征信息用于区分不同的人手，若控屏对象为人脸，则人脸的特征信息用于区分不同的人脸。

本申请实施例对如何根据第一图像，获取至少一个控屏对象各自的特征信息以及至少一个控屏对象各自的动作信息的具体实施方式不做限制，在一种可能的实施方式中，可以通过机器学习的方式，例如卷积神经网络(Convolutional Neural Network，CNN)模型等。示例性的，以预设用户身体部位为人手为例，通过将第一图像输入至CNN模型中，经过CNN模型的处理，获取第一图像中每只人手的手部特征信息，以及每只人手的手部动作信息。

图4是本申请实施例提供的示例性的神经网络应用架构图，如图4所示，本申请实施例提供的示例性的神经网络应用架构图可以包括应用程序入口41、模型对外接口42、深度学习结构43、设备驱动程序44、中央处理器45、图形处理器46、网络处理器47以及数字处理器48，其中，应用程序入口41，用于选择神经网络模型，模型对外接口42，用于调用选择的神经网络模型，深度学习结构43，用于通过神经网络模型对输入的第一用户图像进行处理，示例性的，深度学习结构43包括环境管理者431、模型管理者432、任务调度者433、任务执行者434和事件管理者435。其中，环境管理者431，用于控制设备相关环境的启动和关闭，模型管理者432，用于负责加载神经网络模型、卸载神经网络模型等操作，任务调度者433，用于负责管理神经网络模型以何种序列进行调度，任务执行者434用于负责执行神经网络模型的任务，事件管理者435用于负责各种事件的通知等。本申请实施例提供的神经网络应用架构不限于此。

步骤S102：根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕，显示子屏幕为显示屏幕的部分区域。

在获取到N个控屏对象各自的特征信息之后，确定N个控屏对象各自对应的显示子屏幕，在一种可能的实施方式中，获取到4个控屏对象及4个控屏对象各自的特征信息，对应的，将显示屏幕切分成4个显示子屏幕，每个显示子屏幕绑定一种控屏对象的特征信息，从而控屏对象只能控制与该控屏对象的特征信息相绑定的显示子屏幕；在一种可能的实施方式中，可以通过对每个显示子屏幕分别设置预设特征信息，然后根据N个控屏对象各自的特征信息与预设特征信息，确定N个控屏对象各自对应的显示子屏幕。例如：屏幕被切分为4个显示子屏幕，且每个显示子屏幕分别存在一一对应的预设特征信息，对控屏对象的特征信息与预设特征信息进行匹配，然后根据匹配结果确定控屏对象对应的显示子屏幕。本申请实施例对如何根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕的具体实施方式不做限制。另外，在一种可能的实施方式中，显示子屏幕可以为显示屏幕的部分区域，例如：显示屏幕切分为不同的显示子屏幕；在另一种可能的实施方式中，显示子屏幕为显示屏幕的全部区域，例如：显示屏幕为多通道的显示方式，可以实现同一显示屏幕同时输出多个不同画面的功能，并具有多通道音频输出，用户只要通过佩戴不同的眼镜及耳机就可以分别收看到两个不同节目等，本申请实施例对显示子屏幕的区域范围以及切分方式不做限制。

确定N个控屏对象各自对应的显示子屏幕，可以根据显示子屏幕的标识与控屏对象之间的标识来实现。示例性的，首先对根据预设特征信息对每个显示子屏幕进行标识，本申请实施例对显示子屏幕的具体标识方式不做限制，例如通过编码、数字、符号、文字等方式，例如，显示子屏幕1对应预设特征信息1，显示子屏幕2对应预设特征信息2，以此类推。然后检测第一图像中的N个控屏对象的特征信息，根据控屏对象的特征信息对N个控屏对象进行标识，本申请实施例对控屏对象的具体标识方式不做限制，例如，若控屏对象的特征信息与预设特征信息1匹配，则该控屏对象标识为控屏对象1，以此类推。

本申请实施例对如何对控屏对象进行标识的具体实施方式不做限制，在一种可能的实施方式中，可以通过CNN模型检测第一图像中N个控屏对象的特征信息，并根据控屏对象的特征信息对N个控屏对象进行标识。在另一种可能的实施方式中，可以通过CNN检查每个控屏对象在第一图像中的坐标信息，并根据每个控屏对象的坐标信息，在原图中将每个控屏图像裁剪下来，作为单独的图像进行处理，检测每个单独的图像中控屏对象的特征信息，并对每个单独的图像进行标识。

在对每个控屏对象的标识之后，根据显示子屏幕的标识或控屏对象与显示子屏幕的标识之间的对应关系确定每个控屏对象对应的显示子屏幕。例如：第一图像中包括3个控屏对象，分别标识为控屏对象1、控屏对象2和控屏对象3，屏幕共分为3个显示子屏幕，分别标识为显示子屏幕1、显示子屏幕2和显示子屏幕3，控屏对象1对应的显示子屏幕为显示子屏幕1，控屏对象2对应的显示子屏幕为显示子屏幕2，控屏对象3对应的显示子屏幕为显示子屏幕3，本申请实施例对比不做限制。

步骤S103：根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕。

在确定N个控屏对象各自对应的显示子屏幕之后，根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕。以上述控屏对象与显示子屏幕之间的示例性的对应关系为例进一步介绍，根据控屏对象1的动作信息控制显示子屏幕1，根据控屏对象2的动作信息控制显示子屏幕2，根据控屏对象3的动作信息控制显示子屏幕3。本申请实施例对如何根据控屏对象的动作信息控制控屏对象对应的显示子屏幕不做限制。

为了实现根据控屏对象的动作信息控制控屏对象对应的显示子屏幕，在一种可能的实施方式中，根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕，包括：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屏操作，目标控屏对象为N个控屏对象中的任一个，第二对应关系包括多个动作信息和多个控屏操作的一一对应关系；根据目标控屏操作控制目标控屏对象对应的显示子屏幕。第二对应关系包括多个动作信息和多个控屏操作的一一对应关系，其中，动作信息可以为对屏幕的控制指令，控屏操作用于对显示子屏幕的具体控制方式。然后建立预设的动作信息与控屏操作的第二对应关系，本申请实施例对多个动作信息与多个控屏操作之间的具体关系不做限制，只要能够实现根据动作信息进行该动作信息对应的控屏操作即可。例如：动作信息为手势“OK”时，对应的控屏操作为“确定”，动作信息为手势“单手指向下”，对应的控屏操作为“选择框向下”，动作信息为手势“竖大拇指”，对应的控屏操作为“返回”等。

在第二对应关系的多个动作信息中确定与目标控屏对象的动作信息相匹配的目标控屏操作，目标控屏对象为N个控屏对象中的任一个。

在N个控屏对象的动作信息中，可能存在无效动作信息，因此，需要在第二对应关系的多个动作信息中确定与目标控屏对象的动作信息相匹配的目标控屏操作，以确定是否需要对显示子屏幕进行控制或如何对显示子屏幕进行控制。具体的，可以通过神经网络模型，对目标控屏对象的动作信息与第二对应关系中的多个动作信息进行匹配，若目标控屏对象的动作信息与第二对应关系中的多个动作信息均不匹配，则目标控屏对象的动作信息为无效动作信息，若目标控屏对象的动作信息与第二对应关系中的多个动作信息中的任一动作信息相互匹配，则确定第二对应关系中与目标控屏对象的动作信息相匹配的动作信息为目标控屏操作。

最后，根据目标控屏操作对应的控屏操作控制目标控屏对象对应的显示子屏幕。

在确定目标控屏对象的目标控屏操作之后，根据第二对应关系确定目标控屏操作对应的控屏操作，然后根据目标控屏操作对应的控屏操作控制目标控屏对象对应的显示子屏幕。通过确定目标控屏对象的目标控屏操作，并根据目标控屏操作对应的控屏操作控制目标控屏对象对应的显示子屏幕，实现了通过控屏对象的动作信息和特征信息，对控屏对象对应的显示子屏幕进行相应的控制。

本申请实施例提供的控屏方法通过获取用户的第一图像，并根据第一图像，获取N个控屏对象各自的特征信息以及N个控屏对象各自的动作信息，N个控屏对象各自的特征信息用于区分N个控屏对象，然后根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕，显示子屏幕为显示屏幕的部分或全部区域，最后根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕。由于通过根据控屏对象的特征信息确定控屏对象对应的显示子屏幕，并根据控屏对象的动作信息，控制控屏对象对应的显示子屏幕，实现了对屏幕的分屏的灵活控制，不仅提高了屏幕利用率，而且增强了用户体验。

可选的，为了实现对屏幕的分屏控制，还需要启动多手势控屏模式，以根据用户需要对屏幕进行切分。图5是本申请另一实施例提供的控屏方法的流程图，该方法可以通过本申请实施例提供的控屏装置执行，控屏装置可以是终端设备的部分或全部，下面以终端设备为执行主体为例，对本申请实施例提供的控屏方法进行介绍。如图5所示，步骤S101之前，本申请实施例提供的控屏方法还可以包括：

步骤S201：获取用户的第二图像。

获取用户的第二图像，可参考步骤S101部分关于获取用户的第一图像的方式的描述，本申请实施例对此不再赘述。第二图像中包括满足预设启动动作的控屏对象。

为了节约能耗，可以在准备获取用户的第二图像时再打开摄像头开关，以获取用户的第二图像，本申请实施例对此不做限制。

步骤S202：确定第二图像中的满足预设启动动作的控屏对象的个数N，预设启动动作用于启动多手势控屏模式。

第二图像中可能存在多个控屏对象，以控屏对象为人手为例，则第二图像中可能存在多只人手，在该多只人手中，可能存在无效控屏对象，在启动多手势控屏模式时，可以通过预设启动动作的方式，筛除无效控屏对象，以实现对显示子屏幕的数量的准确判断。本申请实施例对预设启动动作的具体动作不做限制，在一种可能的实施方式中，若控屏对象为人手，则预设启动动作可以是预设手势动作，并确定第二图像中满足预设手势动作的人手个数N；在另一种可能的实施方式中，若控屏对象为人脸，则预设启动动作可以是预设人脸表情，并确定第二图像中满足预设人脸表情的人脸个数N。

另外，本申请实施例对如何确定第二图像中的满足预设启动动作的控屏对象的个数N的方式不做限制，在一种可能的实施方式中，可以通过确定第二图像中的多个控屏对象并获取该多个控屏对象的动作信息，然后判断该多个控屏对象的动作信息是否满足预设启动动作，以确定第二图像中的满足预设启动动作的控屏对象的个数N。在另一种可能的实施方式中，可以通过检测第二图像中满足预设启动动作的控屏对象，以确定第二图像中的满足预设启动动作的控屏对象的个数N。

步骤S203：在显示屏幕上呈现N个显示子屏幕。

在确定第二图像中的满足预设启动动作的控屏对象的个数N之后，在显示屏幕上呈现N个显示子屏幕，本申请实施例对如何在显示屏幕上呈现N个显示子屏幕的具体实施方式不做限制，例如将显示屏幕切分为N个显示子屏幕，本申请实施例对将显示屏幕切分为N个显示子屏幕的具体实施方式不做限制。在一种可能的实施方式中，将显示屏幕切分为N个显示子屏幕，可以将显示屏幕平均切分为N个显示子屏幕，也可以根据用户需求，对N个显示子屏幕的大小以及位置关系进行设置，本申请实施例对每个显示子屏幕的大小和位置关系等不做限制。在另一种可能的实施方式中，可以将显示屏幕分为N个多通道，通过多通道显示不同的图像等。

本申请实施例中，通过确定用户的第二图像中满足预设启动动作的控屏对象的个数，在显示屏幕上呈现多个显示子屏幕，实现了对屏幕的切分以及对多手势控屏模式的开启，在获取用户的第一图像之前，可以通过检测多手势控屏模式是否开启，进而判断是否可以对显示屏幕进行分屏控制。若多手势控屏模式未开启，则需要用户根据预设启动动作，开启多手势控屏模式，然后再对显示屏幕进行分屏控制，提高了用户分屏控制的效率。

可选的，图6是本申请又一实施例提供的控屏方法的流程图，该方法可以通过本申请实施例提供的控屏装置执行，控屏装置可以是终端设备的部分或全部，例如可以是终端设备中的处理器，下面以终端设备为执行主体为例，对本申请实施例提供的控屏方法进行介绍。如图6所示，在步骤S101之前，本申请实施例提供的控屏方法还可以包括：

步骤S301：建立N个满足预设启动动作的控屏对象的特征信息与N个显示子屏幕的第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系。

在根据第二图像中的满足预设启动动作的控屏对象的个数，将显示屏幕切分为N个显示子屏幕之后，还需要建立N个满足预设启动动作的控屏对象与N个显示子屏幕之间第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系。通过建立控屏对象的特征信息与显示子屏幕的一一对应关系，可以实现根据控屏对象的特征信息，确定控屏对象对应的显示子屏幕。

示例性的，第二图像中满足预设启动动作的控屏对象的个数为4，控屏对象分别为人手1、人手2、人手3和人手4，将显示屏幕切分为4个显示子屏幕，分别为显示子屏幕1、显示子屏幕2、显示子屏幕3和显示子屏幕4，分别获取4个控屏对象的特征信息，即，人手1的特征信息、人手2的特征信息、人手3的特征信息和人手4的特征信息，建立人手的特征信息与显示子屏幕之间的一一对应关系，例如，人手1的特征信息与显示子屏幕1对应，人手2的特征信息与显示子屏幕2对应，人手3的特征信息与显示子屏幕3对应，人手4的特征信息与显示子屏幕4对应，本申请实施例不限于此。

相应的，步骤S102可以为：

步骤S302：根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕。

本申请实施例对如何根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕的方式不做限制，在一种可能的实施方式中，可以通过获取N个控屏对象各自的特征信息，然后分别与N个满足预设启动动作的控屏对象的特征信息进行匹配，最后根据第一对应关系以及匹配结果确定N个控屏对象各自对应的显示子屏幕。

示例性的，以步骤301中满足预设启动动作的控屏对象的个数为4为例，第一图像中包括4只人手，分别为人手A，人手B，人手C和人手D，分别获取该4只人手的特征信息，并与第二图像中的人手1，人手2、人手3和人手4中的特征信息进行匹配，若经过匹配，人手A的特征信息与人手1的特征信息一致，则确定人手1的特征信息对应的显示子屏幕1为人手A对应的显示子屏幕，并通过人手A的动作信息控制显示子屏幕，以此类推，不再赘述。

本申请实施例中，通过建立多个满足预设启动动作的控屏对象的特征信息与多个显示子屏幕之间的对应关系，并根据该对应关系和控屏对象的特征信息，确定控屏对象各自对应的显示子屏幕，实现了控屏对象对显示子屏幕的分别控制，提高了控屏对象对显示子屏幕的控制的准确性。

下面介绍本申请实施例提供的控屏装置、设备、存储介质以及计算机程序产品，其内容和效果可参考本申请上述实施例提供的控屏方法，不再赘述。

本申请实施例提供一种控屏装置，图7是本申请一实施例提供的控屏装置的结构示意图，控屏装置可以是终端设备的部分或全部，下面以终端设备为执行主体为例，如图7所示，本申请实施例提供的控屏装置可以包括：

第一获取模块71，用于获取第一图像中N个控屏对象各自的特征信息和N个控屏对象各自的动作信息，控屏对象为第一图像中用户的身体部位，N为大于等于2的正整数；

第一确定模块72，用于根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕，显示子屏幕为显示屏幕的部分区域；

控制模块73，用于根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕。

在一种可选的情况中，第一确定模块和控制模块的功能也可以都是由处理模块完成的，该处理模块例如可以是处理器，第一获取模块可以是处理器的传输接口，或者也可以说第一获取模块是处理器的接收接口，此时，第一确定模块和控制模块的功能也可以都是该处理器完成的。

可选的，如图7所示，本申请实施例提供的控屏装置还可以包括：

第二获取模块74，用于获取用户的第二图像；

第二确定模块75，用于确定第二图像中的满足预设启动动作的控屏对象的个数N，预设启动动作用于启动多手势控屏模式；

切分模块76，用于得到在显示屏幕上呈现的N个显示子屏幕。示例性的，切分模块根据第二确定模块确定的满足预设启动动作的控屏对象的个数，将屏幕切分成对应个数的显示子屏幕。

在一种可选的情况中，第二获取模块和第一获取模块可以都是处理器的传输接口或者接收接口，第二确定模块和切分模块的功能可以都是由处理模块完成，该处理模块例如可以是处理器，此时，第二确定模块和切分模块的功能可以都是由处理器完成的。

可选的，如图7所示，本申请实施例提供的控屏装置还可以包括：

建立模块77，用于建立N个满足预设启动动作的控屏对象的特征信息与N个显示子屏幕的第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系；

第一确定模块72具体用于：

根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕。

可选的，控制模块73具体用于：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屏操作，目标控屏对象为N个控屏对象中的任一个，第二对应关系包括多个动作信息和多个控屏操作的一一对应关系；根据目标控屏操作控制目标控屏对象对应的显示子屏幕。

本申请所提供的装置实施例仅仅是示意性的，图7中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。

本申请实施例提供一种设备，图8A是本申请一实施例提供的终端设备的结构示意图，如图8A所示，本申请提供的终端设备包括处理器81、存储器82、收发器83，该存储器中存储有软件指令或者说计算机程序；处理器可以是芯片，收发器83实现终端设备对通信数据的发送和接收，处理器81被配置为调用存储器中的软件指令以实现上述控屏方法，其内容及效果请参考方法实施例。

本申请实施例提供一种设备，图8B是本申请另一实施例提供的终端设备的结构示意图，如图8B所示，本申请提供的终端设备包括处理器84和传输接口85，传输接口85，用于接收摄像头获取的用户的第一图像；处理器84，用于调用存储在存储器中的软件指令以执行如下步骤：获取第一图像中N个控屏对象各自的特征信息和N个控屏对象各自的动作信息，控屏对象为第一图像中用户的身体部位，N为大于等于2的正整数；根据N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕，显示子屏幕为显示屏幕的部分区域；根据N个控屏对象各自的动作信息，控制N个控屏对象各自对应的显示子屏幕。

可选的，传输接口85，还用于接收摄像头获取的用户的第二图像；处理器84还用于：确定第二图像中的满足预设启动动作的控屏对象的个数N，预设启动动作用于启动多手势控屏模式；得到显示屏幕上呈现的N个显示子屏幕。

可选的，处理器84还用于：

建立N个满足预设启动动作的控屏对象的特征信息与N个显示子屏幕的第一对应关系，第一对应关系包括控屏对象的特征信息与显示子屏幕的一一对应关系；处理器84，具体用于：根据第一对应关系和N个控屏对象各自的特征信息，确定N个控屏对象各自对应的显示子屏幕。

可选的，处理器84还用于：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屏操作，目标控屏对象为N个控屏对象中的任一个，第二对应关系包括多个动作信息和多个控屏操作的一一对应关系；根据目标控屏操作控制目标控屏对象对应的显示子屏幕。

图9是本申请实施例提供的一种示例性的控屏装置的硬件架构示意图。如图9所示，控屏装置900的硬件架构可以适用于SOC和应用处理器(application processor，AP)。

示例性的，该控屏装置900包括至少一个中央处理单元(Central ProcessingUnit，CPU)、至少一个存储器、图形处理器(graphics processing unit，GPU)、解码器、专用的视频或图形处理器、接收接口和发送接口等。可选的，控屏装置900还可以包括微处理器和微控制器MCU等。在一种可选的情况中，控屏装置900的上述各个部分通过连接器相耦合，应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线或总线等相连，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它形式的接口，本实施例对此不做限定。在一种可选的情况中，上述各部分集成在同一个芯片上；在另一种可选的情况中，CPU、GPU、解码器、接收接口以及发送接口集成在一个芯片上，该芯片内部的各部分通过总线访问外部的存储器。专用视频/图形处理器可以与CPU集成在同一个芯片上，也可以作为单独的处理器芯片存在，例如专用视频/图形处理器可以为专用图像信号处理器(image signalprocessor，ISP)。在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的系统，也叫半导体芯片，其可以是利用集成电路工艺制作在衬底(通常是例如硅一类的半导体材料)上形成的集成电路的集合，其外层通常被半导体封装材料封装。所述集成电路可以包括各类功能器件，每一类功能器件包括逻辑门电路、金属氧化物半导体(Metal-Oxide-Semiconductor，MOS)晶体管、双极晶体管或二极管等晶体管，也可包括电容、电阻或电感等其他部件。每个功能器件可以独立工作或者在必要的驱动软件的作用下工作，可以实现通信、运算、或存储等各类功能。

可选的，CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器；可选的，CPU可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。在一种可选的情况中，对于图像信号或视频信号的处理一部分由GPU完成，一部分由专用视频/图形处理器完成，还有可能由跑在通用CPU或GPU上的软件代码完成。

该装置还可以包括存储器，可用于存储计算机程序指令，包括操作系统(Operation System，OS)、各种用户应用程序、以及用于执行本申请方案的程序代码在内的各类计算机程序代码；存储器还可以用于存储视频数据、图像数据等；CPU可以用于执行存储器中存储的计算机程序代码，以实现本申请实施例中的方法。可选的，存储器可以是非掉电易失性存储器，例如是嵌入式多媒体卡(Embedded Multi Media Card，EMMC)、通用闪存存储(Universal Flash Storage，UFS)或只读存储器(Read-Only Memory，ROM)，或者是可存储静态信息和指令的其他类型的静态存储设备，还可以是掉电易失性存储器(volatilememory)，例如随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他计算机可读存储介质，但不限于此。

该接收接口可以为处理器芯片的数据输入的接口，在一种可选的情况下，该接收接口可以是移动产业处理器接口(mobile industry processor interface，MIPI)、高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)或Display Port(DP)等。

示例性的，图10是本申请又一实施例提供的终端设备的结构示意图，如图10所示，终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。可以理解的是，本实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括AP，调制解调处理器，GPU，ISP，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。在一些实施例中，终端设备100也可以包括一个或多个处理器110。其中，控制器可以是终端设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这就避免了重复存取，减少了处理器110的等待时间，因而提高了终端设备100系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，MIPI，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identitymodule，SIM)接口，和/或USB接口、HDMI、V-By-One接口，DP等，其中，V-By-One接口是一种面向图像传输开发的数字接口标准。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本申请另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备100供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks，WLAN)，蓝牙，全球导航卫星系统(global navigation satellitesystem，GNSS)，调频(frequency modulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，终端设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括GSM，GPRS，CDMA，WCDMA，TD-SCDMA，LTE，GNSS，WLAN，NFC，FM，和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

终端设备100通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备100可以通过ISP，一个或多个摄像头193，视频编解码器，GPU，一个或多个显示屏194以及应用处理器等实现拍摄功能。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得终端设备100执行本申请一些实施例中所提供的控屏方法，以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得终端设备100执行本申请实施例中所提供的控屏方法，以及各种功能应用及数据处理。

终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。其中，音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中，终端设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，OMTP)标准接口，还可以是美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

传感器180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

其中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测终端设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景等。

加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测终端设备100是否在口袋里，以防误触。

指纹传感器180H(也称为指纹识别器)，用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。另外，关于指纹传感器的其他记载可以参见名称为“处理通知的方法及终端设备”的国际专利申请PCT/CN2017/082773，其全部内容通过引用结合在本申请中。

触摸传感器180K，也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称触控屏。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在终端设备100中，不能和终端设备100分离。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种控屏方法，其特征在于，包括：

获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；

每个显示子屏幕绑定所述N个控屛对象中的一个控屏对象的特征信息；对所述每个显示子屏幕分别设置预设特征信息，然后根据所述N个控屏对象中的每一个控屏对象各自的特征信息与所述预设特征信息，确定所述N个控屏对象各自对应的所述显示子屏幕；

所述显示子屏幕为显示屏幕的部分区域；

在所述N个控屏对象的动作信息中，判断是否存在无效的动作信息，确定是否需要对所述每一个控屏对象动作信息对应的显示子屏幕进行控制；

当所述N个控屏对象的动作信息中，存在有效的动作信息，则确定与所述有效动作信息相匹配的控屏操作，根据所述控屏操作实现对所述显示子屏幕的控制。

2.根据权利要求1所述的方法，其特征在于，在所述获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息之前，所述方法还包括：

获取所述用户的第二图像；

确定所述第二图像中的满足预设启动动作的控屛对象的个数N，所述预设启动动作用于启动多手势控屛模式；

在所述显示屏幕上呈现N个显示子屏幕。

3.根据权利要求2所述的方法，其特征在于，所述获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息之前，所述方法还包括：

建立所述N个满足预设启动动作的控屏对象的特征信息与所述N个显示子屏幕的第一对应关系，所述第一对应关系包括控屛对象的特征信息与显示子屏幕的一一对应关系；

所述根据所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕，包括：

根据所述第一对应关系和所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述N个控屏对象各自的动作信息，控制所述N个控屏对象各自对应的显示子屏幕，包括：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屛操作，所述目标控屏对象为所述N个控屏对象中的任一个，所述第二对应关系包括多个动作信息和多个控屛操作的一一对应关系；

根据所述目标控屛操作控制所述目标控屏对象对应的显示子屏幕。

5.一种控屏装置，其特征在于，包括：

第一获取模块，用于获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；

第一确定模块，用于根据所述N个控屏对象各自的特征信息，以及显示子屏幕的预设特征信息，确定所述N个控屏对象各自对应的显示子屏幕，所述显示子屏幕为显示屏幕的部分区域；

控制模块，用于判断所述N个控屏对象的动作信息中，是否存在无效的动作信息，确定是否需要对所述每一个控屏对象动作信息对应的显示子屏幕进行控制；如果所述控屏对象的动作信息为有效信息，则根据所述N个控屏对象各自的动作信息，控制所述N个控屏对象各自对应的显示子屏幕。

6.根据权利要求5所述的装置，其特征在于，还包括：

第二获取模块，用于获取所述用户的第二图像；

第二确定模块，用于确定所述第二图像中的满足预设启动动作的控屛对象的个数N，所述预设启动动作用于启动多手势控屛模式；

切分模块，用于得到在所述显示屏幕上呈现的N个显示子屏幕。

7.根据权利要求6所述的装置，其特征在于，还包括：

建立模块，用于建立所述N个满足预设启动动作的控屏对象的特征信息与所述N个显示子屏幕的第一对应关系，所述第一对应关系包括控屛对象的特征信息与显示子屏幕的一一对应关系；

所述第一确定模块具体用于：

根据所述第一对应关系和所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕。

8.根据权利要求5-7任一项所述的装置，其特征在于，所述控制模块具体用于：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屛操作，所述目标控屏对象为所述N个控屏对象中的任一个，所述第二对应关系包括多个动作信息和多个控屛操作的一一对应关系；

根据所述目标控屛操作控制所述目标控屏对象对应的显示子屏幕。

9.一种设备，其特征在于，包括：处理器和传输接口，

所述传输接口，用于接收摄像头获取的用户的第一图像；

所述处理器，用于调用存储在存储器中的软件指令以执行如下步骤：

获取第一图像中N个控屏对象各自的特征信息和所述N个控屏对象各自的动作信息，所述控屏对象为所述第一图像中用户的身体部位，N为大于等于2的正整数；

每个显示子屏幕绑定所述N个控屛对象中的一个控屏对象的特征信息；对所述每个显示子屏幕分别设置预设特征信息，然后根据所述N个控屏对象中的每一个控屏对象各自的特征信息与所述预设特征信息，确定所述N个控屏对象各自对应的所述显示子屏幕；

所述显示子屏幕为显示屏幕的部分区域；

在所述N个控屏对象的动作信息中，判断是否存在无效的动作信息，确定是否需要对所述每一个控屏对象动作信息对应的显示子屏幕进行控制；

当所述N个控屏对象的动作信息中，存在有效的动作信息，则确定与所述有效动作信息相匹配的控屏操作，根据所述控屏操作实现对所述显示子屏幕的控制。

10.根据权利要求9所述的设备，其特征在于，

所述传输接口，还用于接收摄像头获取的用户的第二图像；

所述处理器还用于：

确定所述第二图像中的满足预设启动动作的控屛对象的个数N，所述预设启动动作用于启动多手势控屛模式；

得到在所述显示屏幕上呈现的N个显示子屏幕。

11.根据权利要求10所述的设备，其特征在于，所述处理器还用于：

建立所述N个满足预设启动动作的控屏对象的特征信息与所述N个显示子屏幕的第一对应关系，所述第一对应关系包括控屛对象的特征信息与显示子屏幕的一一对应关系；

所述处理器，具体用于：

根据所述第一对应关系和所述N个控屏对象各自的特征信息，确定所述N个控屏对象各自对应的显示子屏幕。

12.根据权利要求9-11任一项所述的设备，其特征在于，所述处理器还用于：

在第二对应关系中确定与目标控屏对象的动作信息相匹配的目标控屛操作，所述目标控屏对象为所述N个控屏对象中的任一个，所述第二对应关系包括多个动作信息和多个控屛操作的一一对应关系；

根据所述目标控屛操作控制所述目标控屏对象对应的显示子屏幕。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至4任一项所述的方法。