CN111708504A - 一种扩展屏幕的显示方法 - Google Patents

Abstract

本发明公开了一种扩展屏幕的显示方法，应用于一种扩展屏幕显示系统，显示系统包括主计算装置、主显示器、输入装置、智能眼镜和视向跟踪模组，所述主计算装置与所述主显示器可通信连接，所述智能眼镜与所述主计算装置可通信连接，包括存储器、处理器和扩展显示器，所述扩展显示器用于提供扩展屏幕，该显示方法能够使得用户能够有效的在主显示屏幕和扩展屏幕之间进行多任务处理工作。

Description

一种扩展屏幕的显示方法

技术领域

本发明涉及计算领域，具体涉及一种扩展屏幕的显示方法。

背景技术

计算世界近年来飞速前进，随着计算能力的增长，对进行多任务的需求也随着增长。作为多任务的部分，用户能够在链接到计算装置的显示器上同时打开多个应用程序窗口并且在不同应用程序上工作。随着打开的应用程序越来越多，显示器显示区域不能够以尽可能大的显示窗口显示更多的应用程序窗口，如用户需要在显示器显示区域同时显示多个word文档和excel文档以同时进行多文档观看或文字交叉处理，受显示器显示区域大小的限制，这多个word文档和excel文档只能够缩小显示窗口以使得所有这些文档能够都在显示器显示区域同时被用户观看到。如此，一方面用户需要频繁的操作每个应用程序(如滚动、字体放大或缩小操作)来获取用户所需的目标内容需求，另一方面，过小的应用程序显示窗口不利于用户的操作。

在此背景下提出本发明的实施方案。

发明内容

本发明的目的是提供一种扩展屏幕的显示方法，以解决上述问题。

为上述目的，本发明提供如下技术方案：

一种扩展屏幕的显示方法，应用于一种扩展屏幕显示系统，显示系统包括主计算装置、主显示器、输入装置、智能眼镜和视向跟踪模组，所述主计算装置与所述主显示器可通信连接，所述智能眼镜与所述主计算装置可通信连接，包括存储器、处理器和扩展显示器，所述扩展显示器用于提供扩展屏幕，其特征在于，所述显示方法的包括：

步骤S10：检测在具有所述主显示器的主计算装置附近的所述智能眼镜的存在，所述主计算装置的主显示器被配置来呈现内容；

步骤S20：将所述智能眼镜可通信地连接到所述主计算装置，所述智能眼镜的扩展显示器提供的扩展屏幕为所述主显示器上的主显示屏幕的虚拟扩展屏幕，用于扩展所述主显示器的显示区域；

步骤S30：用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容，所述主计算装置将至少包含有所述需要在智能眼镜上呈现的内容的数据信息传送给所述智能眼镜，所述智能眼镜接收该数据信息，生成待呈现的内容，将待呈现的内容与所述智能眼镜上的扩展屏幕相关联；

步骤S40：视向跟踪模组检测所述智能眼镜的视向，当所述智能眼镜的视向在用户目标视向范围之内，所述智能眼镜在扩展屏幕上呈现所述待呈现的内容。

可选的，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容的实施步骤包括：

用户通过输入装置选择需要在所述智能眼镜上显示的内容，通过属性操作获取至少一个与所述智能眼镜相对应的属性值，对属性值进行选择操作后，主计算装置检测到该属性操作所选择的属性值后，将至少包含有用户选择的需要在所述智能眼镜的扩展屏幕上呈现的内容的数据信息和对应的属性值发送到所述智能眼镜上。

可选的，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容的实施步骤包括：

用户在所述主显示器上通过拖拽方式将需要在智能眼镜的扩展屏幕上显示的内容拖拽到所述主显示器的主显示屏幕区域之外。

可选的，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容的实施步骤包括：

所述主显示器被配置为具有小于所述主显示屏幕的预存放窗口，用户基于与所述主计算装置可通信连接的输入装置通过至少一次的放置操作将需要在所述智能眼镜上呈现的一个或多个内容放置在所述预存放窗口。

可选的，所述预存放窗口中单次可放置操作的内容可以是单个内容或多个内容。

可选的，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容可以是内容窗口显示的内容，或是具体应用内容对应的图标，或是内容窗口中的部分内容。

可选的，还包括：将所述扩展屏幕上的一个或多个待呈现的内容通过移除操作移出所述扩展屏幕，移出所述扩展屏幕的所述一个或多个待呈现的内容可选择性的呈现在所述主显示器或不呈现于所述主显示器。

可选的，所述视向通过使用设置于所述智能眼镜上的视向跟踪模组对所述主显示器预设的参考点进行识跟踪来计算获得。

可选的，所述视向为通过使用设置于所述智能眼镜之外的视向跟踪模组对用户佩戴所述智能眼镜的用户头部进行识别跟踪来计算获得。

可选的，所述视向通过使用设置于所述智能眼镜上的视向跟踪模组对所述主显示器预设的参考点进行识跟踪来计算获得。

本发明提供的扩展屏幕显示系统智能眼镜提供的扩展屏幕和主显示器的主显示屏幕的结合，扩展了用户通过主计算装置在进行同时打开和处理多个个应用程序窗口的任务处理时的显示屏幕，使得用户可以轻松处理多个应用程序窗口，提高用户使用计算机进行多任务处理工作的效率。

本发明实施例提供的另一种扩展屏幕的显示方法应用于扩展屏幕显示系统，能够使得用户能够有效的在主显示屏幕和扩展屏幕之间进行多任务处理工作。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明提供的一种扩展屏幕显示系统示意图。

图2为本发明提供的一种扩展屏幕的显示方法的示意图。

图3为本发明提供的另一种扩展屏幕显示系统的示意图。

图4为本发明提供的一种位置配置模式下的子扩展屏幕的示意图。

图5为本发明提供的一种具有一个子扩展屏幕的扩展屏幕的示意图。

图6为本发明提供的一种具有多个子扩展屏幕的扩展屏幕的示意图。

图7为本发明提供的主显示器上的一种预存放窗口中的内容的示意图。

图8为本发明提供的一种具有一个子扩展屏幕的扩展屏幕的示意图。

图9为本发明提供的一种视向计算方法的坐标设定示意图。

具体实施方式

图1为本发明提供的一种扩展屏幕显示系统的示意图，显示系统包括主计算装置101、主显示器102、输入装置(图中未示出)、智能眼镜90及视向跟踪模组800。主计算装置101，被配置为能够选择并执行多个交互式应用程序。主计算装置101可以是基础计算装置，例如台式计算机、膝上计算装置、平板计算装置或智能手机等移动计算装置。在本实施例中主计算装置101被配置为可选择在计算装置本地执行交互式应用程序。在另一个实施例中，主计算装置101配置为可通过本地应用程序接口使用网络如互联网来访问云服务器上的交互式应用程序。云服务器可由主计算装置101通过互联网访问点(如路由器、CPE)来访问。云服务器可包括执行多个应用程序的一个或多个服务器，例如游戏服务器、应用服务器、内容服务器等。主显示器102被配置为显示主计算装置101上的用户选择的用于执行和/或呈现的应用程序的内容。主显示器102使用有线或无线的方式可通信地连接到主计算装置101。主显示器102可以是各种类型的显示装置中的任一种，例如电视、投影仪或可用于呈现交互式应用程序内容的任何其他种类的显示屏幕。智能眼镜90包括处理器和存储器(未示出)及扩展显示器901，智能眼镜90可通信的连接到主计算装置101。在本实施例中，智能眼镜90以无线方式可通信的连接到主计算装置101，在一种可能的实施方案中，智能眼镜90还可以有线方式可通信的连接到主计算装置101。在又一种可能的实施方式中，至少两个智能眼镜设置为同时与主计算装置101可通信连接。

视向跟踪模组800被配置为用于检测用户佩戴智能眼镜90的视向，视向跟踪模组800与智能眼镜90可通信连接，将包含用户佩戴智能眼镜的视向的数据传输到智能眼镜90上，还可以是视向跟踪模组800也可以与主计算装置101可通信连接，此时其获得的用户佩戴智能眼镜的视向的数据先传送到主计算装置101，再由主计算装置101将接收到的用户佩戴智能眼镜的视向传送到智能眼镜90上。

视向跟踪模组800可以设置在智能眼镜90上，也可设置在智能眼镜90之外，用于获取用户佩戴智能眼镜的视向。

视向跟踪模组800可以是设置在智能眼镜90上的对外拍摄模组，对外拍摄跟踪模组至少包含有一个摄像头，拍摄方向背离用户眼睛方向的主显示器102所在空间的环境图像，图像处理计算后可得到以主显示器为坐标基准的用户佩戴智能眼镜90的空间坐标数据，如图9中(a)所示，视向跟踪模组800包含一个摄像头，设置在智能眼镜90上，摄像头拍摄获取主显示器102的图像，采用机器视觉方法中的单目摄像头的三维重建方法可以得到以主显示器102上的任意一点在世界坐标系OwXwYwZw下的坐标，通常Zw轴和用户直视状态下的视线(图中O1G1表示)平行，基于主显示器102的结构尺寸，可得到主显示器102上的任意一点的坐标在以主显示器的中心为坐标原点，长度方向为X轴，宽度方向为Y轴的空间坐标系OXYZ下的坐标，根据主显示器102上的不少于12个的点在世界坐标系OwXwYwZw和主显示器坐标系OXYZ下的坐标，可以得到这两个坐标系的转换矩阵，根据该转换矩阵可得到的世界坐标系OwXwYwZw的原点Ow在OXYZ坐标系下的坐标，记为[X0,Y0,Z0]，及可得到Zw轴在OXYZ坐标系下的方位角，即Zw轴分别和X轴、Y轴、Z轴的三个空间角度，记为[a1,b1,g1]。当佩戴有智能眼镜90用户头部进行转动时，原点Ow在OXYZ坐标系下的坐标[X0,Y0,Z0]也随之实时改变，将坐标[X0,Y0]作为用户佩戴智能眼镜90的视向。还可以是将方位坐标[a1,b1,g1]作为用户佩戴智能眼镜90时的视线方向矢量，当佩戴有智能眼镜90用户头部进行转动时，此视线方向矢量也随之实时改变，可得到任意转动方向上的视线方向矢量和OXYZ坐标系下的OXY平面的交点坐标，此交点坐标即为用户佩戴智能眼镜90的视向。在一种可能的实施方式中，主显示器102上设置有预设参考点，视向跟踪模组800通过对主显示器102上预设参考点的识别与跟踪来确定用户佩戴智能眼镜90的视向，该预设参考点可以是设置在主显示器102上的参考标识，如粘贴在主显示器102的非主显示屏幕区域的包含有不少于12组的特定的数字和/或图案特征的标识物、特定形状的标识物(如三角形状的物体)、可发光标识物(如红外或可见光的LED灯)等，预设参考点还可以是主显示器102的主显示屏幕上显示的以电子信息呈现的参考标识，如特定的数字和/或图案。摄像头拍摄获取包含有上述预设参考点的图片，基于预设参考点采用类似上述的方法可得到用户佩戴智能眼镜90的视向。

视向跟踪模组800还可以设置在智能眼镜90之外且能够获取到用户佩戴智能眼镜90的用户图像的任一空间位置处的对外拍摄跟踪模组，例如，图1所示中的视向跟踪模组800可以通过粘接或夹扣等方式附加在主显示器102上的主显示区域外的任何一处。视向跟踪模组800还可以设置在主显示器102附近的可获取到用户佩戴智能眼镜90的图像的任一一处空间位置，如图3所示，视向跟踪模组800设置在主显示器102的旁边。此外，视向跟踪模组800还可以是主显示器102自带的内置的摄像模组，如笔记本电脑的主显示器上的摄像头。例如，图9中(b)所示的视向跟踪模组800以粘贴方式设置在主显示器102上，包含一个摄像头，以视向跟踪模组800为参考设立世界坐标系OwXwYwZw，基于机器视觉方法可以获得智能眼镜90上的任意一点在OwXwYwZw坐标系下的坐标，将智能眼镜90上的靠近用户鼻梁处的结构件上的一点为原点，建立坐标系O9X9Y9Z9，Z9轴和用户直视状态下的视线(图中O1G1表示)平行，取智能眼镜90上的不少于12个的点在世界坐标系OwXwYwZw和智能眼镜90坐标系O9X9Y9Z9下的坐标，可以得到这两个坐标系的转换矩阵，且，根据视向跟踪模组800在主显示器102上的安装位置及主显示器102具体的结构可以计算获得视向跟踪模组800的坐标系OwXwYwZw和主显示器102的OXYZ坐标系之间的转换矩阵，根据该两个转换矩阵可得到的智能眼镜90坐标系O9X9Y9Z9的原点O9在OXYZ坐标系下的坐标，记为[X90,Y90,Z90]，及Z9轴在OXYZ坐标系下的方位角，即Z9轴分别和X轴、Y轴、Z轴的三个空间角度，记为[a90,b90,g90]。将坐标[X90,Y90]作为用户佩戴智能眼镜90的视向。还可以是，将方位坐标[X90,Y90,Z90，a9,b9,g9]作为用户佩戴智能眼镜90时的视线方向矢量，当佩戴有智能眼镜90用户头部进行转动时，此视线方向矢量也随之实时改变，可得到任意转动方向上的视线方向矢量和OXYZ坐标系下的OXY平面的交点坐标，此交点坐标即为用户佩戴智能眼镜90的视向。在一种可能的实施方式中，智能眼镜90上还可以设置有预设参考点，设置在主显示器102上的视向跟踪模组800通过对智能眼镜90上预设参考点的识别与跟踪来确定用户佩戴智能眼镜90的视向，该预设参考点可以是设置在智能眼镜90上的靠近用户鼻梁处的结构件上一个参考标识，如带有光源标识物(诸如红外或可见光的LED灯)、二维码图标、数字和/或图案标识、特定形状的标识物等，用户佩戴智能眼镜90的视向的计算同样可以采用上述基于机器视觉技术方法进行计算。

在又一种可能的实施方式中，视向跟踪模组800还包括对眼拍摄摄像模组，对眼拍摄摄像模组和对外拍摄跟踪模组共同完成用户佩戴智能眼镜90的视向的确定。对眼拍摄摄像模组具体是一种眼动跟踪模组，设置在智能眼镜90上，用于拍摄佩戴有智能眼镜90的用户的眼图。眼动跟踪模组通过拍摄用户的单眼或双眼的眼图并进行图像处理计算从而获得当前用户眼睛的注视视线方向在以智能眼镜90为参考建立的坐标系下的视线方位坐标。对外拍摄跟踪模组可以得到获得以智能眼镜90为参考建立的坐标系和主显示器102的坐标系OXYZ的转换矩阵，基于转换矩阵可以得到视线方向坐标在OXYZ坐标系下的方位坐标，记为[a91,b91,c91]，以及以智能眼镜90为参考建立的坐标系的原点在OXYZ下的坐标，记为[X01,Y01,Z01]，从而可以获得在OXYZ坐标系下的用户的视线方向矢量[X01,Y01,Z01,a91,b91,c91]，其与OXYZ坐标系下的OXY平面的交点坐标，此交点坐标即为用户佩戴智能眼镜90的视向。

图2示出了本发明提供的一种扩展屏幕的显示方法，具体包括以下步骤：

步骤S10：检测在具有主显示器102的主计算装置101附近的智能眼镜90的存在，主计算装置101的主显示器被配置来呈现内容。

步骤S20：将智能眼镜90可通信地连接到主计算装置101，智能眼镜90的扩展显示器901提供的扩展屏幕为主显示器102的主显示屏幕102A的虚拟扩展屏幕，用于扩展主显示器102的显示区域。

步骤S30：用户在主显示器102上选择需要在扩展显示器901的扩展屏幕上呈现的内容，主计算装置101将至少包含有上述需要在智能眼镜上呈现的内容的数据信息传送给智能眼镜90，智能眼镜90接收该数据信息后生成待呈现的内容，将待呈现的内容与智能眼镜90上的扩展屏幕相关联。

步骤S40：视向跟踪模组800检测智能眼镜90的视向，当智能眼镜90的视向在用户目标视向范围之内，智能眼镜90在扩展屏幕上呈现上述待呈现的内容。

下面对智能眼镜90的扩展屏幕进行说明。

智能眼镜90的扩展显示器为一种光学虚拟成像显示器，通常包括微型图像显示器件，如LCOS、OLED，成像光学元件和驱动控制器及连接结构件。图像显示器件通过成像光学元件后被投影放大的虚拟像，用户在扩展显示器的出射面能够观察到此虚拟像，图像显示器件的有效显示区域通常为矩形，该矩形区域被放大后的虚拟区域为扩展显示器所能提供的虚拟屏幕。当用户佩戴智能眼镜90时该虚拟屏幕相对用户是固定的，且在用户佩戴的任意一个状态下，如头部水平转动一个角度，向上抬头一个角度，都能观察到一个虚拟屏幕，将这些不同状态下的虚拟屏幕统称为扩展屏幕，即本发明中所述的扩展屏幕是一个或多个佩戴智能眼镜90时的头部状态下的虚拟屏幕，如，当描述扩展屏幕配置为一个子扩展屏幕时，是指只有当用户佩戴智能眼镜90且满足视向在用户目标视向范围之内的头部状态时，扩展显示器呈现的虚拟屏幕即为扩展屏幕。当描述扩展屏幕配置为多个子扩展屏幕时，是指当用户佩戴智能眼镜90时的视向在不同时间段满足用户目标视向范围之内的多个头部状态下的扩展显示器呈现的虚拟屏幕统称为扩展屏幕，每一个头部状态下的虚拟屏幕即为该状态下的子扩展屏幕。

为更好的描述本发明的实施方案，定义了“主视向范围”和“用户目标视向范围”两个术语，具体定义内容如下：

主视向范围定义为以主显示器102为参考基准的空间坐标范围，包括水平坐标范围和垂直坐标范围。如图3所示，主显示器102的主扩展屏幕102A为矩形显示区域，垂直方向高度为H1，水平方向宽度为W1，以主显示器102的主扩展屏幕102A的中心位置为原点建立空间坐标系OXYZ，H1所在的方位为空间坐标系的Y方向，W1所在的方位为空间坐标系的X方向，有主视向范围中的垂直坐标范围为[-(H1+e1)/2,(H1+e1)/2]，水平坐标范围为[-(W1+e2)/2,(W1+e2)/2]，其中e1为高度方向余量值，e1的可以是H1/2或其由用户设置的他的值，e2为宽度方向余量值，e2可以是W1/2或由用户设置的其他的值。空间坐标系的参考点除了可以是主扩展屏幕102A的中心，还可以是其他参考点，如主显示器102上的任意一个位置作为空间坐标系的参考点。

用户目标视向范围定义为智能眼镜90的扩展屏幕相对于主显示器102的空间坐标范围，配置为一个子扩展屏幕的智能眼镜90具有一个用户目标视向范围，配置为多个子扩展屏幕配置的智能眼镜相应的具有多个用户目标视向范围。

当智能眼镜的扩展屏幕配置为一个子扩展屏幕时，用户目标视向范围主要由该子扩展屏幕的位置配置模式决定，在一种可能的实施方式中，子扩展屏幕的位置配置模式为与智能眼镜90之间保持相对固定，也就是说当智能眼镜90位置发生变化时，子扩展屏幕也跟随发生变化，如图4所示，智能眼镜90配置为一个子扩展屏幕901A0，当佩戴有智能眼镜90的用户抬头向上时，用户在此向上方向上通过智能眼镜90可以看到子扩展屏幕901A0上呈现的内容，当用户低头向下时，用户在此向下方向上通过智能眼镜90可以看到子扩展屏幕901A0上呈现的内容。这种位置配置模式下，用户目标视向范围具体为主视向范围外的其他视向。在另一种可能的实施方式中，子扩展屏幕的位置模式配置为与主显示器102之间保持相对固定，也就是子扩展屏幕相对于主显示器102是固定不变的，当用户佩戴智能眼镜90并转动和/或移动头部时，子扩展屏幕始终保持与主显示器102之间相对静止，此种模式下，用户目标视向范围具体为配置的子扩展屏幕在空间坐标系OXYZ下的坐标范围。如图5所示，智能眼镜90配置为一个子扩展屏幕901A1，图5中(a)所示的子扩展屏901A1配置在主显示屏102的左侧，对应的用户目标视向范围为沿着OX方向的水平坐标范围[(Wc+W1/2+eh1),W1+eh2]，沿着OY方向的垂直坐标范围[-(Hc/2+ev1),Hc/2+ev2]，其中Wc为子扩展屏幕在X方向的长度，Hc为子扩展屏幕在Y方向的高度，eh1、eh2和ev1、ev2分别为水平方向和垂直方向的余量，其值分别可以是eh1＝Wc/2、eh2＝0、ev1＝0、ev2＝Hc/2，也可以由用户预设定。图5中(b)所示的子扩展屏幕901A1配置在主显示屏102的上侧，对应的用户目标视向范围为沿着OX方向的水平坐标范围-(Wc/2+eh1),Wc/2+eh2,z1]，沿着OY方向的垂直坐标范围[Hc+H1/2+ev1,H1/2+ev2,z2]，类似的，子扩展屏幕还可以配置在主显示屏的右侧或下侧。

当智能眼镜的扩展屏幕配置为多个子扩展屏幕时，如图6中(a)所示，智能眼镜90的扩展屏幕配置为3个子扩展屏幕，分别记为901A1、901A2和901A3，并设置该3个子扩展屏幕分别在主显示器102的左侧、右侧和下侧，且，此3个子扩展屏幕的位置模式配置为与主显示器102之间保持相对固定，此种情况下用户目标视向范围包括与子扩展屏幕901A1对应的第一目标视向范围AB1、与子扩展屏幕901A2对应的第二目标视向范围AB2和与子扩展屏幕901A3对应的第三目标视向范围AB3。第一目标视向范围AB1为沿着OX方向的水平坐标范围[(Wc+W1/2+eh1),W1+eh2]，沿着OY方向垂直坐标范围的[-(Hc/2+ev1),Hc/2+ev2]。第二目标视向范围AB2为沿着OX方向的水平坐标范围[-(W1+eh2),-(Wc+W1/2+eh1)]，沿着OY方向的垂直坐标范围[-(Hc/2+ev1),Hc/2+ev2]。第三目标视向范围AB3为沿着OX方向的水平坐标范围[-(Wc/2+eh1),Wc/2+eh2]，沿着OY方向的垂直坐标范围[-(H1/2+ev2),-(Hc+H1/2+ev1)]。需要说明的是，上述的子扩展屏幕的位置设置在主显示器102的上侧或左侧或右侧时的用户目标视向范围是在直角坐标系，这里为空间坐标系OXYZ下为参考计算的。对于主显示器102为台式显示器或笔记本电脑显示部件的情况，如图6中(b)所示，智能眼镜90的扩展屏幕配置为3个子扩展屏幕，分别记为901A4、901A5和901A6，此种情况下的用户目标视向范围包括与子扩展屏幕901A4对应的第四目标视向范围AB4、与子扩展屏幕901A5对应的第五目标视向范围AB5和与子扩展屏幕901A6对应的第六目标视向范围AB6，第四目标视向范围AB4为沿着OX方向的水平坐标范围[-(W1+eh2),-(Wc+W1/2+eh1)]，沿着OY方向的垂直坐标范围为[-(Hc/2+ev1),Hc/2+ev2]。第五目标视向范围AB5为沿着OX方向的水平坐标范围[(W1/2+eh2),W1/2+Wc+eh2]，沿着OY方向的垂直坐标范围[-(Hc/2+ev1),Hc/2+ev2]。第六目标视向范围AB6为沿着OX方向的水平坐标范围[-(Wc/2+eh1),Wc/2+eh2]，沿着OZ方向的垂直坐标范围[-(ev2),-(Hc+ev2)]。子扩展屏幕的平面也可以是和主显示器的显示平面，即OXY平面不平行，例如，当子扩展屏幕901A4和OXZ平面呈afa角时，此时，该子扩展屏幕901A4对应的第四目标视向范围AB4为沿着OX方向的水平坐标范围[-(W1+eh2),-(Wc+W1/2+eh1)]，沿着OY方向的垂直坐标范围为[-(Hc×sin(afa)/2+ev1),Hc×sin(afa)/2+ev2]，沿着OX方向的水平坐标范围[-(W1+eh2),-(Wc+W1/2+eh1)]。

用户在主显示器102上选择需要在智能眼镜90的扩展屏幕上呈现的内容这一步骤是通过与主计算装置101可通信连接的输入装置来实现的，诸如与主计算装置可通信连接的鼠标、触摸输入屏、键盘、语音控制输入装置等，还可以是主计算装置101集成的内置输入装置，例如平板电脑内置的软键盘或触摸屏、笔记本电脑自带的键盘、操作板等。用户在主显示器102上选择需要在智能眼镜上呈现的一个或多个内容，此处的内容包括主显示器102上以内容窗口形式存在的内容，还包括内容窗口中的其中一部分内容。主计算装置101响应用户的操作并将至少包含有用户选择的内容的数据信息传送给智能眼镜90，智能眼镜90接收主计算装置101传送的数据信息，生成待呈现的内容，并将待呈现的内容与智能眼镜90的扩展屏幕相关联。主显示器102上用户选择的内容并不会因为被传送给智能眼镜90而从主显示屏幕102A上移除，主计算装置101对用户选择的内容是以副本的方式可通信的传输到智能眼镜90，当视向跟踪模组800检测到智能眼镜90的视向在用户目标视向范围之内，智能眼镜90在扩展屏幕上呈现智能眼镜90生成的待呈现的内容。

主计算装置101向智能眼镜90发送数据信息，该数据信息至少包括用户选择的需要在智能眼镜90上呈现的内容，智能眼镜90接收到主计算装置101发送的数据信息生成待呈现的内容，并将生成的待呈现的内容与智能眼镜90的扩展屏幕相关联。

在一种实施方式中，智能眼镜90的扩展屏幕配置为一个子扩展屏幕901A0，当用户选择的需要在智能眼镜90上呈现的内容为主显示器102上的一个内容窗口的部分内容102p时，如图7中(a)所示的图中方框框起来的内容，主计算装置101为该部分内容配置一个内容窗口来重新生成内容102N，图7中(b)所示并根据用户的属性操作，将包含有内容102N的数据信息发送给智能眼镜90，智能眼镜90根据接收的数据信息生成待呈现的内容，并通过设置该待呈现的内容在子扩展屏幕901A0上呈现的方式将该待呈现的内容与子扩展屏幕901A0相关联。在一种可能实施的方式中，主计算装置101向智能眼镜90发送至少包含主显示器102上用户选择的部分内容102p的数据信息，智能眼镜90接收数据信息并处理，将其中包含的部分内容102p配置一个内容窗口来生成待呈现的内容，并设置该待呈现的内容在子扩展屏幕901A0上呈现。当智能眼镜90的扩展屏幕配置为具有两个子扩展屏幕，例如子扩展屏幕901A1和子扩展屏幕901A2，用户在主显示器102上分别对需要在智能眼镜90上呈现的第一内容1021和第二内容1022进行属性操作，如对第一内容1021属性操作选择“将选择内容发送到子扩展屏幕1”的属性值，主计算装置101将包括有第一内容1021和该属性值的数据信息发送到智能眼镜90，智能眼镜90接收数据信息后生成包含有第一内容1021的待呈现的内容1021n，并根据其中的属性值信息将待呈现的内容1021n与子扩展屏幕901A1相关联。用户对第二内容1022属性操作后选择“将选择内容发送到子扩展屏幕2”的属性值，主计算装置101将包含有第二内容1022和该属性值的数据信息发送到智能眼镜90，智能眼镜90接收数据信息后生成包含有第二内容1022的待呈现的内容1022n，并根据其中的属性值信息将待呈现的内容1022n与子扩展屏幕901A2相关联。当视向跟踪模组800检测到智能眼镜90的视向在子扩展屏幕901A1对应的用户目标视向范围之内，智能眼镜90向用户呈现具有待呈现的内容1021n的子扩展屏幕901A1，当用户转动和/或移动头部，视向跟踪模组800检测智能眼镜90的视向，当检测到智能眼镜90的视向在子扩展屏幕901A2对应的用户目标视向范围之内，智能眼镜90向用户呈现具有待呈现的内容1021n的子扩展屏幕901A2，当检测到智能眼镜90的视向均不在子扩展屏幕901A1对应的用户目标视向范围和子扩展屏幕901A2对应的用户目标视向范围之内时，智能眼镜90不会或停止向用户呈现任何内容。

在一种可能的实施方式中，用户在主显示器102上选择需要在智能眼镜上呈现的内容的实施步骤包括：

用户通过输入装置选择需要在智能眼镜90上显示的内容，通过属性操作获取至少一个与智能眼镜90相对应的属性内容，并对属性内容进行选择操作，主计算装置101检测到该属性的选择操作后将至少包含有用户选择的需要在智能眼镜上呈现的内容的数据信息发送到智能眼镜90上。

具体实施中，智能眼镜90的扩展屏幕可以配置为具有一个子扩展屏幕，也可以配置为具有至少两个及以上的子扩展屏幕。主计算装置101检测到智能眼镜90，与智能眼镜90之间建立可通信连接，智能眼镜90向主计算装置101发送扩展屏幕的配置信息，扩展屏幕的配置信息包括子扩展屏幕的数量及各个子扩展屏幕对应的标识。还可以是，设置用户可以在智能眼镜90上选择所需要的智能眼镜90的扩展屏幕的配置需求，智能眼镜90向主计算装置101发送扩展屏幕的配置信息。主计算装置101根据扩展屏幕的配置信息配置在主显示器102上通过属性操作可获取的属性内容，例如，对于扩展屏幕配置为具有一个子扩展屏幕的实施方式中，配置当在主显示器102上的进行属性操作时，例如鼠标右键单击操作，在主显示器102上呈现出的属性内容至少包括诸如“向扩展屏幕1发送内容”的属性值，例如，用户在主显示器102上通过鼠标左键选中一个PDF文档对应的图标，并单击鼠标右键，此时在该图标附近呈现出包含有“打开”、“新建”、“删除”、“剪切”、“复制”、“向扩展屏幕1发送内容”等属性值的属性内容，当用户选择“向扩展屏幕1发送内容”这一属性值后，主计算装置101向智能眼镜90发送该PDF文档的数据信息。对于扩展屏幕配置为具有多个子扩展屏幕的实施方式中，例如配置为3个子扩展屏幕的情况，扩展屏幕的配置信息包括子扩展屏幕的数量“3”和对应的标识，例如“子扩展屏幕1”、“子扩展屏幕2”及“子扩展屏幕3”。主显示器102上通过属性操作呈现的属性内容配置为至少包括“向子扩展屏幕1发送内容”的第一属性值、“向子扩展屏幕2发送内容”的第二属性值及“向子扩展屏幕3发送内容”的第三属性值，用户可以选择将当前选择的需要在智能眼镜90上呈现的内容发送到其中的任意一个子扩展屏幕上进行显示，如用户选择第一属性值后，智能眼镜90接收主计算装置101发送的至少包含有用户当前选择的内容的数据信息，生成待呈现的内容，并控制此待呈现的内容在子扩展屏幕1上进行显示。

需要说明的是，这里的子扩展屏幕对应的标识的具体名称没有限定，可以是其他能够标识各个子扩展屏幕的名称，同样的，对于智能眼镜90的各个子扩展屏幕对应的在主显示器102上的通过属性操作获取的属性内容中的属性值的内容名称也不做限定。在一种可能的实施方式中，主计算装置101同时与两个智能眼镜可通信连接，此种方式中，扩展屏幕的配置信息还包括智能眼镜的标识，主显示器102上呈现的属性内容中对应的属性值的内容名称包括有智能眼镜的标识，例如，“向智能眼镜A的子扩展屏幕1发送内容”、“向智能眼镜B的子扩展屏幕1发送内容”，由此来区别不同的智能眼镜上的扩展屏幕。

智能眼镜90的扩展屏幕上呈现的一个或多个内容可以通过移除操作移出扩展屏幕，移除操作可以是通过输入装置直接进行的删除操作或剪切删除或将一个或多个内容以拖拽方式移出扩展屏幕。在进行移除操作中，用户可以选择移除操作后内容呈现的方式，例如，用户选择当一个内容通过移除操作移出扩展屏幕后同时会将该被移除的内容传送回主计算装置101，若主显示器102上已存在与该内容名称相同的内容，用户还可以选择主计算装置101是否对已存在的内容进行覆盖，若主显示器102上未有与该内容名称相同的内容，用户可以选择主计算装置101是否将该内容呈现在主显示器102上。

在又一种可能的实施方式中，用户在主显示器102上选择需要在智能眼镜90上呈现的内容的具体实施步骤还可以是：

主显示器102被配置为具有小于主显示屏幕的预存放窗口，该预存放窗口记为102B；用户基于与主计算装置101可通信连接的输入装置通过放置操作将需要在智能眼镜上呈现的一个或多个内容放置在预存放窗口102B中。

如图8中(a)所示，为主显示器上的预存放窗口的示意图。主显示器102上的有效显示区域为主显示屏幕102A，预存放窗口102B为主显示屏幕102A上的一部分。

当用户选择的内容为在主显示器102上的一个或多个内容窗口时，例如一个或多个文字处理应用程序窗口，或是一个或多个具体应用内容对应的图标，例如PDF文档的图标、word文档的图标，用户可以通过操作输入装置以常规的拖拽复制或拖拽移动的方式将主显示器102上一个或多个内容放置在预存放窗口102B中。当用户选择的需要在智能眼镜90上呈现的内容为在主显示器102上的一个内容窗口中的部分内容时，用户可以通过输入装置以常规的复制或剪切操作的方式将该内容窗口中的部分内容通过粘贴操作放置在预存放窗口102B中，主计算装置101检测到放置在预存放窗口102B中的内容为一个内容窗口中的部分内容时，将创建一个内容窗口并将此部分内容以文字或图片的形式放置在所创建的内容窗口中。

在预存放窗口中用户单次可放置操作的内容的数量可以是主计算装置101预先设置的，还可以配置为由用户进行设置。单次可放置操作的内容数量可以是单个内容或多个内容。

在一种可能的实施方式中，用户选择的单次可放置操作的内容的数量为单个内容，此时如果用户在主显示器102上选择多个内容，放置操作将无效，选择的多个内容都不能放置到预存放窗口102B中，用户只能够进行选择一个内容通过放置操作放置在预存放窗口102B中，通过多次的放置操作，用户可以将多个内容放置在预存放窗口102B中。用户每一次进行放置操作后，用户选择的单个内容自适应最大化使其铺满预存放窗口102B，并覆盖之前的内容，例如，预存放窗口102B的区域限定范围为1:1的正方形窗口或为16:9的方形窗口或其他比例，此用户选择的单个内容可以自适应最大化铺满该区域限定范围，也可以是按照此用户选择的单个内容窗口预设的窗口显示比例进行最大化。

用户设置的单次可放置操作的内容的数量为多个内容时，用户选择单次放置操作对象可以为主显示器102上的一个或多个内容，该一个或多个内容将会以内容图标的方式呈现在预存放窗口中，并以用户选择的顺序依次在预存放窗口102B中排列，当用户再一次在主显示器102上选择一个或多个内容放置在预存放窗口102B中时，该次选择的一个或多个内容以将会以内容图标的方式呈现在预存放窗口102B中的已有的内容图标队列的末端，并且按照用户选择的顺序依次排列。

用户与扩展屏幕上的内容的交互操作可以通过与智能眼镜90可通信连接的一种或多种输入装置，例如手柄、手势跟踪识别装置、眼交互装置、内置于智能眼镜90的输入接口(如触屏、按键)等，与扩展屏幕上的内容进行交互操作。

用户与扩展屏幕上呈现的内容的交互还可以通过与主计算装置101可通信连接的输入装置对主显示器上预存放窗口102B中的内容进行交互操作来实现，例如，若预存放窗口102B上为一个或多个内容图标，在扩展屏幕上呈现的是该一个或多个内容图标，用户通过在预存放窗口102B上双击或单击其中的一个内容图标以使得该内容图标对应的内容窗口以最大化方式在预存放窗口102B上呈现时，在扩展屏幕上呈现的是此内容窗口；用户还可以调整预存放窗口中该内容窗口的显示尺寸(如比最大化下的显示尺寸更小的显示尺寸)，并通过双击或单击另一个内容图标以显示对应的内容窗口并调整该内容窗口的显示尺寸，此时预存放窗口102B上呈现的有多个内容图标及上述的两个内容窗口，在扩展屏幕上显示的也为多个内容图标及上述的两个内容窗口。

对于智能眼镜90的扩展屏幕配置为多个子扩展屏幕的情况，如图6中(a)所示，扩展屏幕配置为子扩展屏幕901A1、子扩展屏幕901A2和子扩展屏幕901A3，主显示器102上的预存放窗口102B根据子扩展屏幕的个数配置为具有相应数量的预存放子窗口，如图8中(b)所示，预存放窗口102B包含预存放子窗口102B1、预存放子窗口102B2和预存放子窗口102B3，预存放子窗口与子扩展屏幕一一对应。用户通过放置操作将需要在子扩展屏幕901A1上显示的内容放置在预存放子窗口102B1中，将需要在子扩展屏幕901A2上显示的内容放置在预存放子窗口102B2中，将需要在子扩展屏幕901A3上显示的内容放置在预存放子窗口102B3中。

对于在主显示器102上具有预存放窗口102B的情况，用户与扩展屏幕上的内容的交互操作还可以传输给主计算装置101，主计算装置101根据用户在与扩展屏幕上的内容的交互操作的结果变更预存放窗口102B上的内容。例如，在扩展屏幕为一个子扩展屏幕的情况下，用户在扩展屏幕上对一个内容图标进行操作以使得该内容图标对应的内容窗口以子扩展屏幕的显示尺寸在扩展屏幕上呈现，此时主计算装置101同时对预存放窗口102B中对应的该内容图标以内容窗口形式的在预存放窗口102B中全屏显示。

智能眼镜90的扩展屏幕上的一个或多个内容可以通过移除操作移出扩展屏幕，也可以通过在预存放窗口102B中将一个或多个内容通过移除操作移出预存放窗口102B。扩展屏幕和预存放窗口102B会同时响应用户在扩展屏幕上或预存放窗口102B上的移除操作。移除操作可以是通过输入装置直接进行的删除操作或剪切删除或将一个或多个内容以拖拽方式移出扩展屏幕或预存放窗口102B。在进行移除操作中，用户可以选择移除操作的方式，例如，用户选择当一个内容被移出预存放窗口102B或扩展屏幕时，该一个内容将会在主显示器102上呈现，且若主显示器102上已存在与该内容名称相同的内容，用户还可以选择替换已存在的内容；若主显示屏幕上未有与该内容名称相同的内容，用户可以选择该内容在主显示器上呈现，或选择该内容不在主显示器上呈现。

在一种可能实施的方式中，用户在主显示器102上选择需要在智能眼镜上呈现的内容的具体实施还可以通过以下步骤实现：

用户在主显示器102上通过拖拽方式将需要在智能眼镜90的扩展屏幕上显示的内容拖拽到主显示屏幕102A区域之外。

对于扩展屏幕配置为具有一个子扩展屏幕的情况，用户通过输入装置选择并拖拽需要在智能眼镜上显示的内容到主显示器102的主显示屏幕120A之外，主计算装置101将该内容发送到智能眼镜90，智能眼镜90生成待呈现的内容后在子扩展屏幕上呈现，当用户再次进行上述拖拽操作后，智能眼镜90将对新接收的内容生成待呈现的内容在子扩展屏幕上呈现，并覆盖之前子扩展屏幕上已有的待呈现的内容。对于扩展屏幕配置为具有多个子扩展屏幕的情况，例如配置为2个子扩展屏幕的情况，用户第一次通过上述拖拽操作后智能眼镜90生成的待呈现内容被配置为在第一个子扩展屏幕上呈现，用户第二次通过上述拖拽操作后智能眼镜90生成的待呈现内容被配置为在第二个子扩展屏幕上呈现，用户第三次过上述拖拽操作后智能眼镜90生成的待呈现内容将配置为在第一个子扩展屏幕上呈现并覆盖已有的显示内容。用户第四次过上述拖拽操作后智能眼镜90生成的待呈现内容将配置为在第二个子扩展屏幕上呈现并覆盖已有的显示内容。

对于智能眼镜90的扩展屏幕配置为一个子扩展屏幕的情况下，以上述拖拽方式移出主显示屏102A区域的内容将被发送到智能眼镜90，智能眼镜90生成包含有该内容的待呈现的内容，当视向跟踪模组检测到智能眼镜90的子扩展屏幕对应的视向在用户目标视向范围，在子扩展屏幕显示待呈现的内容。

智能眼镜90的扩展屏幕配置为多个子扩展屏幕的情况下，如图6中(a)所示，子扩展屏幕901A1、子扩展屏幕901A2和子扩展屏幕901A3，以上述拖拽方式移出主显示屏102A区域的内容将被发送到智能眼镜90，智能眼镜90生成包含有该内容的待呈现的内容，并将该待呈现的内容根据每一个子扩展屏幕的关联顺序与其中的一个子扩展屏幕关联，例如，将上述的待呈现的内容记为待呈现的内容A，当子扩展屏幕901A1已关联了其他的待呈现的内容，另外两个子扩展屏幕未与其他的待呈现的内容关联，此时智能眼镜90将待呈现的内容A与子扩展屏幕901A2相关联，当视向跟踪模组800检测到智能眼镜90的视向在子扩展屏幕901A2对应的用户目标视向范围，在子扩展屏幕901A2上显示待呈现的内容A。当子扩展屏幕901A1和901A2都已关联其他待呈现的内容时，待呈现的内容A将与子扩展屏幕901A3相关联，当子扩展屏幕901A1已关联有两个其他的待呈现的内容，子扩展屏幕901A2和901A3分别关联有一个其他的待呈现的内容时，智能眼镜90将待呈现的内容A与子扩展屏幕901A2相关联，且用户可选择将待呈现的内容A覆盖子扩展屏幕901A2已关联的其他的待呈现的内容，此时子扩展屏幕901A2只关联有一个待呈现的内容，用户也可选择将待呈现的内容A以并列的方式与子扩展屏幕901A2关联，此时子扩展屏幕901A2关联有两个待呈现的内容，且当视向跟踪模组800检测到智能眼镜90的视向在子扩展屏幕901A2对应的用户目标视向范围，在子扩展屏幕901A2上显示最后关联的待呈现的内容A。

需说明的是，上述被拖拽到主显示屏102A区域之外的内容并不会从主显示器102上移除。

本发明提供的扩展屏幕显示系统智能眼镜提供的扩展屏幕和主显示器的主显示屏幕的结合，扩展了用户通过主计算装置在进行同时打开和处理多个个应用程序窗口的任务处理时的显示屏幕，使得用户可以轻松处理多个应用程序窗口，提高用户使用计算机进行多任务处理工作的效率。

本发明实施例提供的另一种扩展屏幕的显示方法应用于扩展屏幕显示系统，能够使得用户能够有效的在主显示屏幕和扩展屏幕之间进行多任务处理工作。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。在本发明的描述中，还需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种扩展屏幕的显示方法，应用于一种扩展屏幕显示系统，显示系统包括主计算装置、主显示器、输入装置、智能眼镜和视向跟踪模组，所述主计算装置与所述主显示器可通信连接，所述智能眼镜与所述主计算装置可通信连接，包括存储器、处理器和扩展显示器，所述扩展显示器用于提供扩展屏幕，其特征在于，所述显示方法的包括：

步骤S10：检测在具有所述主显示器的主计算装置附近的所述智能眼镜的存在，所述主计算装置的主显示器被配置来呈现内容；

步骤S20：将所述智能眼镜可通信地连接到所述主计算装置，所述智能眼镜的扩展显示器提供的扩展屏幕为所述主显示器上的主显示屏幕的虚拟扩展屏幕，用于扩展所述主显示器的显示区域；

步骤S30：用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容，所述主计算装置将至少包含有所述需要在智能眼镜上呈现的内容的数据信息传送给所述智能眼镜，所述智能眼镜接收该数据信息，生成待呈现的内容，将待呈现的内容与所述智能眼镜上的扩展屏幕相关联；

步骤S40：视向跟踪模组检测所述智能眼镜的视向，当所述智能眼镜的视向在用户目标视向范围之内，所述智能眼镜在扩展屏幕上呈现所述待呈现的内容。

2.根据权利要求1所述的一种扩展屏幕的显示方法，其特征在于，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容的实施步骤包括：

用户通过输入装置选择需要在所述智能眼镜上显示的内容，通过属性操作获取至少一个与所述智能眼镜相对应的属性值，对属性值进行选择操作后，主计算装置检测到该属性操作所选择的属性值后，将至少包含有用户选择的需要在所述智能眼镜的扩展屏幕上呈现的内容的数据信息和对应的属性值发送到所述智能眼镜上。

3.根据权利要求1所述的一种扩展屏幕的显示方法，其特征在于，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容的实施步骤包括：

用户在所述主显示器上通过拖拽方式将需要在智能眼镜的扩展屏幕上显示的内容拖拽到所述主显示器的主显示屏幕区域之外。

4.根据权利要求1所述的一种扩展屏幕的显示方法，其特征在于，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容的实施步骤包括：

所述主显示器被配置为具有小于所述主显示屏幕的预存放窗口，用户基于与所述主计算装置可通信连接的输入装置通过至少一次的放置操作将需要在所述智能眼镜上呈现的一个或多个内容放置在所述预存放窗口。

5.根据权利要求4所述的一种扩展屏幕的显示方法，其特征在于，所述预存放窗口可配置为单次可放置操作的内容为单个内容。

6.根据权利要求1-5任意一项所述的一种扩展屏幕的显示方法，其特征在于，所述用户在所述主显示器上选择需要在所述智能眼镜上呈现的内容可以是内容窗口显示的内容，或是具体应用内容对应的图标，或是内容窗口中的部分内容。

7.根据权利要求1-5任意一项所述的一种扩展屏幕的显示方法，其特征在于，还包括：

将所述扩展屏幕上的一个或多个待呈现的内容通过移除操作移出所述扩展屏幕，移出所述扩展屏幕的所述一个或多个待呈现的内容可选择性的呈现在所述主显示器或不呈现于所述主显示器。

8.根据权利要求1-5任意一项所述的一种扩展屏幕的显示方法，其特征在于，所述视向通过使用设置于所述智能眼镜上的视向跟踪模组对所述主显示器上预设的参考点进行识跟踪来计算获得。

9.根据权利要求1-5任意一项所述的一种扩展屏幕的显示方法，其特征在于，所述视向为通过使用设置于所述智能眼镜之外的视向跟踪模组对用户佩戴所述智能眼镜的用户头部进行识别跟踪来计算获得。

10.根据权利要求1-5任意一项所述的一种扩展屏幕的显示方法，其特征在于，所述视向通过使用设置于所述智能眼镜上的视向跟踪模组对所述主显示器上预设的参考点进行识跟踪来计算获得。

Images