CN118092837A - 一种电子设备的显示方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种电子设备的显示方法、装置及电子设备，显示方法包括：确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；在所述当前工作模式下，确定用户注视位置的屏幕坐标；根据所述用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化；其中，所述电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏。

Description

一种电子设备的显示方法、装置及电子设备

技术领域

本申请涉及人机交互技术领域，特别涉及一种电子设备的显示方法、装置及电子设备_。

背景技术

在人机交互系统中，眼球移动可作为一种操控方式，例如外接眼球仪用于配合电子设备来实现眼动控制，眼球仪无法适用于所有电子设备，也无法适应于电子设备的状态改变，从而实现准确定位。

发明内容

有鉴于此，本申请提供一种电子设备的显示方法、装置及电子设备，其技术方案如下：

一种电子设备的显示方法，包括：

确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；

在所述当前工作模式下，确定用户注视位置的屏幕坐标；

根据所述用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；

触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化；

其中，所述电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏。

在一种的可能实现中，在所述当前工作模式下，确定用户注视位置的屏幕坐标，包括：

获取当前人脸图像，从所述人脸图像中提取第一人脸特征和第一眼球特征；

基于电子设备的工作模式的多个预测模型中，确定与所述当前工作模式相匹配的目标预测模型；

基于所述目标预测模型对第一人脸特征和第一眼球特征进行处理，得到用户注视位置的屏幕坐标。

在一种的可能实现中，当所述电子设备的当前工作模式为第一工作模式，所述预测模型输出的屏幕坐标属于第一平面，所述第一平面对应于第一工作模式下第一显示屏和第二显示屏的相对位置关系；当所述电子设备的当前工作模式为第二工作模式，所述预测模型输出的屏幕坐标属于第二平面，所述第二平面对应于第二工作模式下第一显示屏和第二显示屏的相对位置关系。

在一种的可能实现中，根据用户注视位置的屏幕坐标，确定用户所注视的目标显示屏，包括以下之一：

所述电子设备的当前工作模式为第一工作模式，基于所述用户注视位置的屏幕坐标的第一坐标值，确定目标显示屏；

所述电子设备的当前工作模式为第二工作模式，基于所述用户注视位置的屏幕坐标的第二坐标值，确定目标显示屏，其中第一坐标值与第二坐标值属于不同的屏幕坐标系。

在一种的可能实现中，所述方法还包括：

确定第一显示屏多个特征点和第二显示屏的多个特征点；

采集用户注视每个特征点时的多个第二人脸图像，从所述第二人脸图像中提取第二人脸特征和第二眼球特征；

利用所述预测模型对第二人脸特征和第二眼球特征进行处理，得到对应的特征点的预测坐标；

利用所述特征点的预测屏幕坐标和实际屏幕坐标，确定所述预测模型的参数。

在一种的可能实现中，所述第一显示屏的特征点与第一显示屏的尺寸信息相关；所述第二显示屏的特征点与第二显示屏的尺寸信息相关。

在一种的可能实现中，所述第一显示屏多个屏幕特征点至少包括：第一显示屏的四个顶点、第一显示屏的四个边的中点和第一显示屏的中心点；所述第二显示屏多个屏幕特征点至少包括第二显示屏的四个顶点、第二显示屏的四个边的中点和第二显示屏的中心点。

在一种的可能实现中，所述方法还包括：

接收针对所述目标显示屏的第二输入事件，得到控制指令；

在所述目标显示屏的用户注视位置处实施所述控制指令。

一种电子设备的显示装置，包括：

第一确定单元，用于确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；

第二确定单元，用于在所述当前工作模式下，确定用户注视位置的屏幕坐标；

第三确定单元，用于根据用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；

显示单元，用于触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化；

其中，所述电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏。

一种电子设备，包括：存储器和处理器，所述存储器中存储有可执行程序，所述处理器执行所述可执行程序以实现本申请实施例的方法的步骤。

附图说明

图1为本申请实施例的电子设备的显示方法的流程图；

图2为本申请实施例的显示方法的步骤102的流程图；

图3为本申请实施例的屏幕坐标系的示意图；

图4为本申请实施例的BOOK模式下两个显示屏的屏幕平面示意图；

图5为本申请实施例的PC模式下两个显示屏的屏幕平面示意图；

图6为本申请实施例的训练预测模型的流程图；

图7为本申请实施例的电子设备的显示装置的功能结构图；

图8为本申请实施例的电子设备的功能结构图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

首先对本申请实施例的设计思想进行简单介绍。

电子设备需要外接眼球仪实现眼动控制，眼动仪价格昂贵，且眼动仪的算法需要适应于电子设备本身的属性例如单屏/双屏，因此眼动仪无法具有适用于所有的电子设备，并且当电子设备本身的状态发生改变后，眼动仪无法做出自适应调整，从而定位不准确。

针对上述技术问题，本申请提供了一种电子设备的显示方法，电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏；该方法通过采集人脸图像，从人脸图像中提取出人脸特征和眼球特征，利用预测模型对人脸特征和眼球特征进行处理，得到眼球注视位置的屏幕坐标，进而确定用户所注视的目标显示屏。本申请能够实现通过眼动控制光标，对窗口的内容进行定位，并根据输入事件进一步控制显示内容的变化，外部输入事件可以是眼动输入，也可以是语音输入。其中的预测模型有多个，是在电子设备的不同工作模式下训练出来的，而电子设备的工作模式是由第一显示屏和第二显示屏的相对位置关系确定的。

本申请仅通过电子设备自带的摄像头和电子设备的不同工作模式下训练出的预测模型，即可实现用户眼球注视双显示屏的屏幕坐标定位，进而实现用户对显示内容的进一步隔空控制。

在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。

如图1所示，本申请实施例提供一种电子设备的显示方法，所述电子设备包括第一显示屏和第二显示屏，包括：

步骤101：确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；

示例性的，电子设备的工作模式为PC模式或BOOK模式等，PC模式时第一显示屏和第二显示屏为上下位置关系，即上下屏；BOOK模式时第一显示屏和第二显示屏为左右位置关系，即左右屏。所述第一显示屏和第二显示屏的相对位置关系可以包括第一显示屏和第二显示屏的相对方位、距离和/或角度的至少一项。

步骤102：在所述当前工作模式下，确定用户注视位置的屏幕坐标；

步骤103：根据所述用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；

步骤104：触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化。

示例性的，第一输入事件为隔空控制的光标移动、窗口移动或上下页滚动。

在实际应用中，电子设备的摄像头定时采集人脸图像，实现用户注视位置的定位，当用户视线在第一显示屏或者第二显示屏上移动，或者用户视线在两个显示屏之间移动，通过获取移动前和移动后的人脸图像，得到移动前用户注视位置屏幕坐标和移动后用户注视位置屏幕，从而实现注视点的移动。

基于上述实施例可知，本申请可以在具有双显示屏的电子设备上实现眼球定位，进而确定用户所注视的目标显示屏，从而实现目标显示屏上显示内容的隔空控制；相比现有技术方案，不仅实现了双屏眼球定位，而且具有定位精度高的优点，此外，通过一个摄像头和配套的计算机产品即可以实现眼动仪的功能，具有成本低的优势。

在本申请实施例中，如图2所示，步骤102中的在所述当前工作模式下，确定用户注视位置的屏幕坐标，包括：

步骤1021：获取当前人脸图像，从所述人脸图像中提取第一人脸特征和第一眼球特征；

其中，人脸图像可以通过电子设备自身的摄像头采集得到。人脸特征包括人脸的多个特征点的位置坐标，眼球特征包括眼球的多个特征点的位置坐标。本申请实施中，可以采用人脸特征提取模型从人脸图像中提取人脸特征和眼球特征。需要说明的是，无论用户注视第一显示屏还是第二显示屏，都是同一个摄像头采集的人脸图像。

如果电子设备上有多个摄像头，例如位于第一显示屏上方的第一摄像头，以及转轴处的第二摄像头，考虑到不同摄像头拍摄出同一人脸时，对应的人脸图像的人脸特征和眼球特征不同，因此需要针对摄像头分别训练预测模型，也可以是同时开启摄像头，第一摄像头和第二摄像头从不同角度拍摄用户注视屏幕的图像，利用第一摄像头拍摄的图像和第二摄像头拍摄的图像均作为样本，提供更多的样本来训练预测模型。在实际应用时，具体使用哪个摄像头，就调用对应摄像头的预测模型，也可以使用双摄像头和其对应的预测模型，即不同的摄像模式对应于不同的预测模型。关于摄像头的选择，根据电子设备的状态，用户的位置以及用户和显示屏的角度确定，例如电子设备处于PC模式下，选择第一摄像头的模式，电子设备处于BOOK模式下，根据用户距离电子设备的角度以及距离，确定是开启第一摄像头模式，还是第二摄像头模式，若用户距离转轴较近，可以采用第二摄像头模式，电子设备处于TENT模式下，选择第二摄像头模式。若单个摄像头出现定位不准确的情况，例如周围环境亮度不够，或者单个摄像头只能拍摄用户的局部图像，可以将第一摄像头和第二摄像头同时开启，并采用双摄像头对应的预测模型进行屏幕定位。

步骤1022：基于电子设备的工作模式的多个预测模型中，确定与所述当前工作模式相匹配的目标预测模型；

其中，每个电子设备的工作模式对应一个或多个预测模型，这些预测模型预先训练完成并存储在电子设备中。具体应用时，可以根据电子设备的工作模式，选取出目标预测模型。

步骤1023：基于所述目标预测模型对第一人脸特征和第一眼球特征进行处理，得到用户注视位置的屏幕坐标。

进一步地，当所述电子设备的当前工作模式为第一工作模式，所述预测模型输出的屏幕坐标属于第一平面，所述第一平面对应于第一工作模式下第一显示屏和第二显示屏的相对位置关系；当所述电子设备的当前工作模式为第二工作模式，所述预测模型输出的屏幕坐标属于第二平面，所述第二平面对应于第二工作模式下第一显示屏和第二显示屏的相对位置关系。

其中，第一显示屏和第二显示屏的相对位置关系可以通过两个显示屏的屏幕坐标表示，也可以通过两个显示屏的空间坐标进行表示。

示例性的，建立如图3所示的屏幕坐标系，原点为第一显示屏的左上角，行方向为x轴，列方向为y轴。图3中的xmax为行方向的像素点个数，ymax为列方向的像素点个数。

示例性的，当前工作模式为BOOK模式，第一平面由左右位置的第一显示屏的屏幕坐标和第二显示屏的屏幕坐标构成。如图4所示，若第一显示屏和第二显示屏的分辨率均为800*600(图3中xmax＝800，ymax＝600)，第一显示屏的左上角的像素坐标为(0,0)，右下角为(599,799)，第二显示屏的左上角的像素坐标为(600,0)，右下角为(1199,799)。

当前工作模式为PC模式，第二平面由上下位置的第一显示屏的屏幕坐标和第二显示屏的屏幕坐标构成。如图5所示，第一显示屏的左上角的像素坐标为(0,0)，右下角为(799,599)，第二显示屏的左上角的像素坐标为(0,600)，右下角为(799,1199)。

本申请实施例中的预测模型的输入为人脸的多个特征点的位置坐标和眼球的多个特征点的位置坐标，输出为用户眼球注视位置的屏幕坐标。而预测模型可以选取BP神经网络或卷积神经网络，本申请对预测模型结构不作限定。

本申请通过神经网络实现了人脸图像和用户眼球注视位置的屏幕坐标的映射关系，通过在电子设备不同工作模式下训练预测模型，从而在不同工作模式下能够采用不同的预测模型实现眼球注视点的定位，具有很强的灵活性。尤其是，当电子设备从第一工作模式切换到第二工作模式，用户无需进行操作，电子设备会调用不同工作模式下预测模型，从而实现自适应切换。

在本申请实施例中，步骤103中的根据用户注视位置的屏幕坐标，确定用户所注视的目标显示屏，包括以下之一：

所述电子设备的当前工作模式为第一工作模式，基于所述用户注视位置的屏幕坐标的第一坐标值，确定目标显示屏；

所述电子设备的当前工作模式为第二工作模式，基于所述用户注视位置的屏幕坐标的第二坐标值，确定目标显示屏，其中第一坐标值与第二坐标值属于不同的屏幕坐标系。

如图4所示，当所述电子设备的当前工作模式为BOOK模式，当所述用户注视位置的屏幕坐标的x坐标值属于第一行区间为[0,599]，则所述目标显示屏为第一显示屏；当用户注视位置的屏幕坐标的x坐标值属于第二行区间[600,1199]，则所述目标显示屏为第二显示屏。

如图5所示，当前工作模式为PC模式，当所述用户注视位置的屏幕坐标的y坐标值属于第一列区间[0,599]，则目标显示屏为第一显示屏；当用户注视位置的屏幕坐标的y坐标值属于第二列区间[600,1199]，则所述目标显示屏为第二显示屏。

进一步地，在一些实施例中，如图6所示，所述方法还包括：

步骤S1：确定第一显示屏多个特征点和第二显示屏的多个特征点；

步骤S2：采集用户注视每个特征点时的多个第二人脸图像，从所述第二人脸图像中提取第二人脸特征和第二眼球特征；

步骤S3：利用所述预测模型对第二人脸特征和第二眼球特征进行处理，得到对应的特征点的预测坐标；

步骤S4：利用所述特征点的预测屏幕坐标和实际屏幕坐标，计算损失值；

步骤S5：利用所述损失值更新所述预测模型的参数。

确定第一显示屏多个特征点和第二显示屏的多个特征点，是为了得到预测模型的训练样本；所述第一显示屏的特征点与第一显示屏的尺寸信息相关，所述第二显示屏的特征点与第二显示屏的尺寸信息相关。第一显示屏的尺寸越大，需要的特征点越多，而且特征点最好分布在显示屏边缘位置和中心位置，越分散越具有代表性，则训练效果越好。

优选的，所述第一显示屏多个特征点至少包括：第一显示屏的四个顶点、第一显示屏的四个边的中点和第一显示屏的中心点；所述第二显示屏多个特征点至少包括第二显示屏的四个顶点、第二显示屏的四个边的中点和第二显示屏的中心点。

对于电子设备的不同工作模式，特征点的选取方式可以相同，但是由于不同工作模式下第一显示屏和第二显示屏构成的屏幕平面不同，因此，在不同工作模式下相同特征点的屏幕坐标不同，例如若在BOOK模式下，所有特征点的坐标基于如图4所示的坐标系建立，若在PC模式下，所有特征点的坐标基于如图5所示的坐标系建立，因而训练出的预测模型不同，也就是说一种电子设备的工作模式对应一组预测模型。此外，屏幕坐标和显示屏的分辨率有关。

在步骤S2中，可以通过如下方式采集用户注视每个特征点时的多个第二人脸图像：在电子设备的工作模式固定后以及所有的特征点确定后，依次在特征点处显示特殊字符，并提示用户注视该位置，每个特征点反复操作多次(例如6次)，每次都会采集一张人脸图像。

为了不断提高预测模型的预测精度，还可以在后续使用过程中，获取用户眼球注视显示屏某个位置点时的人脸图像以及点击鼠标左键时获得的该注视点的屏幕坐标，作为新的训练样本。随着用户的使用，新的训练样本增多，可以使用新的训练样本对预测模型进一步进行训练，从而提高预测模型的准确度。

此外，为了提高得到用户眼球注视位置的屏幕坐标的预测精度，在得到用户眼球注视位置的屏幕坐标之后，所述方法还包括：利用卡尔曼滤波器对多个特征点的屏幕坐标和用户眼球注视位置的屏幕坐标进行平滑处理，得到处理后的用户眼球注视位置的屏幕坐标。

在另一些实施例中，第一显示屏和第二显示屏的相对位置关系还可以通过两个显示屏的空间坐标进行表示。具体过程为：通过电子设备的摄像头获取当前空间的图像，并通过各类识别算法确定第一显示屏的边框在空间中的位置，根据第一显示屏的边框在空间中的位置确定第一显示屏的边框在空间中的位置，进一步地，通过第一显示屏和第二显示屏的相对位置关系以及显示屏的尺寸确定第二显示屏的空间位置。空间位置适用于两个显示屏存在一定的夹角的场景，即两个显示屏不在一个平面上，例如TENT模式。

由于电子设备的摄像头能够拍摄到用户眼球注视两个显示屏时的人脸图像(包括两个用户眼球)，因此对于夹角的角度是有限制的。

基于第一显示屏和第二显示屏的相对位置关系建立空间坐标系，所述第一显示屏和的第二显示屏的特征点坐标都是空间坐标，基于空间特征点训练预测模型，从而使得预测模型能够确定注视的空间屏幕坐标点。由此进一步拓展了本申请的技术方案的应用场景。

在一些实施例中，所述方法还包括：

接收针对所述目标显示屏的第二输入事件，得到控制指令；

在所述目标显示屏的用户注视位置处实施所述控制指令。

示例性的，第二输入事件为语音控制，可以通过语音控制进行选中执行或文字编辑的操作。例如，当用户眼球注视位置为一个按钮，则用户发出“点击这里”的语音，则电子设备会进行按钮的点击操作。如果眼球注视位置为文本中某一行的某位置，则光标会移动到该位置，用户发出“选中XXX，进行加粗”的语音，则电子设备会将选中的内容加粗。

所述第二输入事件可以为手势识别，当传感器识别到用户的手势操作，根据手势的运动轨迹控制相应命令，例如光标移动到该位置，通过手势控制执行页面的放大或者缩小，或者选择一部分内容。

在另一些实施例中，电子设备本身可能是单屏设备，电子设备可能连接有外接显示屏，例如所述显示屏可能贴附于电子设备的显示屏边缘，使电子设备的摄像头能够拍摄到用户眼球注视外接显示屏时的人脸图像(包括两个用户眼球)。

当电子设备的显示屏分辨率为800*600，外接显示屏可具有800*1280的分辨率，或者600*1280的分辨率。若外接显示屏与电子设备显示屏具有不同的分辨率，可以对外接显示屏的第一分辨率(1280*720)进行调整为第二分辨率(1280*600)，所述第一分辨率和第二分辨率具有相应的映射关系。所述预测模型基于第二分辨率和电子设备的显示屏建立的屏幕平面，来预测注视坐标。

示例性的，当第二分辨率为1280*600，则显示屏的左上角的像素坐标为(0,0)，右下角的像素坐标为(799,599)，外接显示屏的左上角的像素坐标为(800,0)，右下角的像素坐标为(2080,599)。同样的，采用步骤S1-步骤S5，确定显示屏和外接显示屏的多个特征点，对预测模型进行训练，预测模型训练完成同样可以实现本申请的方法。

基于同样的发明构思，本申请实施例提供一种电子设备的显示装置，如图7所示，电子设备的显示装置200包括：

第一确定单元201，用于确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；

第二确定单元202，用于在所述当前工作模式下，确定用户注视位置的屏幕坐标；

第三确定单元203，用于根据用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；

显示单元204，用于触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化；

其中，所述电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏。

需要说明的是，本申请实施例提供的电子设备的显示装置200解决技术问题的原理与本申请实施例提供的方法相似，因此，本申请实施例提供的电子设备的显示装置200的实施可以参见本申请实施例提供的方法的实施，重复之处不再赘述。

基于同样的发明构思，本申请实施例还提供了一种电子设备，如图8所示，包括：存储器和处理器，所述存储器中存储有可执行程序，所述处理器执行所述可执行程序以实现如上所述的电子设备的显示方法的步骤。

上述处理器可以是通用处理器、数字信号处理器、专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。通用处理器可以是微处理器或者任何常规的处理器等。

由于本申请实施例所介绍的电子设备，为设置有实施本申请实施例所公开的信息处理方法的存储器的电子设备，故而基于本申请实施例所介绍的信息处理方法，本领域所属技术人员能够了解本申请实施例所介绍的电子设备的结构及变形，故而在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，实现上述任意实施例提供的电子设备的显示方法的步骤。

本实施例中的存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。上述存储介质承载有一个或者多个计算机程序，当上述一个或者多个计算机程序被执行时，实现根据本申请实施例提供的电子设备的显示方法的步骤。

应理解，本实施例中的各个方案具有上述方法实施例中对应的技术效果，此处不再赘述。

根据本申请的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。可选地，本实施例中的具体示例可以参考本申请任意实施例中所描述的示例，本实施例在此不再赘述。显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本邻域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种电子设备的显示方法，包括：

确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；

在所述当前工作模式下，确定用户注视位置的屏幕坐标；

根据所述用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；

触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化；

其中，所述电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏。

2.根据权利要求1所述的电子设备的显示方法，在所述当前工作模式下，确定用户注视位置的屏幕坐标，包括：

获取当前人脸图像，从所述人脸图像中提取第一人脸特征和第一眼球特征；

基于电子设备的工作模式的多个预测模型中，确定与所述当前工作模式相匹配的目标预测模型；

基于所述目标预测模型对第一人脸特征和第一眼球特征进行处理，得到用户注视位置的屏幕坐标。

3.根据权利要求2所述的电子设备的显示方法，当所述电子设备的当前工作模式为第一工作模式，所述预测模型输出的屏幕坐标属于第一平面，所述第一平面对应于第一工作模式下第一显示屏和第二显示屏的相对位置关系；当所述电子设备的当前工作模式为第二工作模式，所述预测模型输出的屏幕坐标属于第二平面，所述第二平面对应于第二工作模式下第一显示屏和第二显示屏的相对位置关系。

4.根据权利要求1所述的方法，根据用户注视位置的屏幕坐标，确定用户所注视的目标显示屏，包括以下之一：

所述电子设备的当前工作模式为第一工作模式，基于所述用户注视位置的屏幕坐标的第一坐标值，确定目标显示屏；

所述电子设备的当前工作模式为第二工作模式，基于所述用户注视位置的屏幕坐标的第二坐标值，确定目标显示屏，其中第一坐标值与第二坐标值属于不同的屏幕坐标系。

5.根据权利要求1所述的方法，所述方法还包括：

确定第一显示屏多个特征点和第二显示屏的多个特征点；

采集用户注视每个特征点时的多个第二人脸图像，从所述第二人脸图像中提取第二人脸特征和第二眼球特征；

利用所述预测模型对第二人脸特征和第二眼球特征进行处理，得到对应的特征点的预测坐标；

利用所述特征点的预测屏幕坐标和实际屏幕坐标，确定所述预测模型的参数。

6.根据权利要求5所述的方法，所述第一显示屏的特征点与第一显示屏的尺寸信息相关；所述第二显示屏的特征点与第二显示屏的尺寸信息相关。

7.根据权利要求5所述的方法，所述第一显示屏多个屏幕特征点至少包括：第一显示屏的四个顶点、第一显示屏的四个边的中点和第一显示屏的中心点；所述第二显示屏多个屏幕特征点至少包括第二显示屏的四个顶点、第二显示屏的四个边的中点和第二显示屏的中心点。

8.根据权利要求1所述的方法，所述方法还包括：

接收针对所述目标显示屏的第二输入事件，得到控制指令；

在所述目标显示屏的用户注视位置处实施所述控制指令。

9.一种电子设备的显示装置，包括：

第一确定单元，用于确定所述电子设备的当前工作模式，所述电子设备的当前工作模式是由第一显示屏和第二显示屏的相对位置关系确定；

第二确定单元，用于在所述当前工作模式下，确定用户注视位置的屏幕坐标；

第三确定单元，用于根据用户注视位置的屏幕坐标，确定用户所注视的目标显示屏；其中，所述目标显示屏为第一显示屏和第二显示屏的任意一个显示屏；

显示单元，用于触发所述目标显示屏的用户注视位置的第一输入事件，控制显示内容的变化；

其中，所述电子设备包括第一显示屏和第二显示屏，或者电子设备包括第一显示屏，以及外接有第二显示屏。

10.一种电子设备，包括：存储器和处理器，所述存储器中存储有可执行程序，所述处理器执行所述可执行程序以实现如权利要求1至8任意一项所述的方法的步骤。