CN117716323A - 用于调整图形用户界面（gui）的系统和方法 - Google Patents

Abstract

提供了一种用于调整经由用户设备的显示屏显示的图形用户界面的计算机实现的系统和方法。该系统和方法允许基于相对于图形用户界面的用户观看方向来调整显示在图形用户界面上并且可在其上移动的命令输入图像的位置，从而将输入图像从第一位置移动到对应于被观看的界面部分的第二位置。该系统允许经由同一显示器同时显示多个图形用户界面，无论多个图形用户界面是否由一个或多个远程主机控制器托管。该系统允许将辅助内容添加到主要内容以便经由相同的图形用户界面与其同时显示，无论辅助内容和主要内容是否由一个或多个远程主机控制器托管。

Description

用于调整图形用户界面(GUI)的系统和方法

相关申请的交叉引用

本申请要求2022年7月25日提交的美国专利申请序列号17/87,2149、2021年12月23日提交的美国专利申请序列号17/561,261以及2021年7月27日提交的美国专利申请序列号17/443,563的优先权，所有上述优先权均通过引用以其整体并入本文。

技术领域

本公开大体上涉及包括触摸显示器的计算机图形用户界面。更具体地但非排他地，本公开涉及用于基于用户GUI观看方向来调整图形用户界面(GUI)上的用户输入图像命令和/或位置的系统和方法。更具体地但非排他地，本公开涉及用于经由诸如一个屏幕的相同显示器同时显示多个图形用户界面的系统和方法。更具体地但非排他地，本公开涉及一种用于向经由GUI显示的主要内容添加辅助内容并同时显示辅助内容的系统和方法。

背景技术

使用触摸式触摸显示器的计算机图形用户界面每天广泛地用在移动单元、平板电脑、膝上型电脑、PC和其他计算机上，用于多种目的，包括串流用于娱乐、教育或商业目的(例如包括购买的交易)的材料。触摸显示屏可以是电容式或电阻式。电阻式屏幕依赖于施加的压力，这意味着有时笔尖或其他物体可以启动系统的响应。电容式触摸屏使用电导体(而不是压力)来识别命令并做出响应。电容式触摸屏依靠特定量的电荷来获得操作系统的响应。该电荷可以由用户的裸露手指或专用的手写笔、手套等提供。

尽管普遍地方便，但触摸屏有时会带来用户交互挑战，因为屏幕常常“忙于”诸如图标和窗口的命令输入图像，并且用户经常触摸不期望的屏幕部分，从而导致他们进入不期望的窗口，因此，用户需要返回到原始页面并再次继续。

命令输入图像通常位于图形用户界面上的相同位置。

商家向用户提供图形用户界面以观看物品或服务信息并继续购买。商家提供的用户界面通常“忙于”可点击的材料和广告，因为商家总是试图吸引在线市场中潜在客户流的注意力。商家面临的挑战之一是激励用户在直播(例如体育赛事、音乐会和其他活动)期间观看广告材料。

发明内容

目的

本公开的一个目的是提供一种用于根据相对于所显示的命令输入图像和图形用户界面的用户观看方向、经由显示在图形用户界面上的命令输入图像来调整用户命令的计算机实现的系统。

本公开的一个目的是提供一种用于根据相对于所显示的命令输入图像和图形用户界面的用户观看方向、经由在图形用户界面上显示的命令输入图像来调整用户命令的方法。

本公开的一个目的是提供一种用于根据相对于图形用户界面的用户观看方向来调整显示在图形用户界面上且在其上可移动的命令输入图像的位置的计算机实现的系统。

本公开的一个目的是提供一种用于根据相对于图形用户界面的用户观看方向来调整显示在图形用户界面上且可在其上移动的命令输入图像的位置的方法。

本公开的一个目的是提供一种用于经由相同显示器同时显示多个图形用户界面的系统，其中所述多个图形用户界面由一个或多个远程主机控制器托管。

本公开的一个目的是提供一种用于经由相同显示器同时显示多个图形用户界面的方法，其中所述多个图形用户界面由一个或多个远程主机控制器托管。

本公开的一个目的是提供一种用于经由相同显示器同时显示多个图形用户界面的系统，其中所述多个图形用户界面由一个或多个远程主机控制器托管。

本公开的一个目的是提供一种用于经由相同显示器同时显示多个图形用户界面的方法，其中所述多个图形用户界面由一个或多个远程主机控制器托管。

本公开的目的是提供一种用于向经由GUI显示的主要内容添加并同时显示辅助内容的系统。

本公开的目的是提供一种用于向经由GUI显示的主要内容添加并同时显示辅助内容的方法。

概述

根据本公开的一方面，提供了一种用于根据相对于所显示的命令输入图像和图形用户界面的用户观看方向、经由显示在图形用户界面上的命令输入图像来调整用户命令的计算机实现的系统，该系统包括：图像捕获设备，用于采集用户的面部、眼睛和虹膜的实时图像；与图形用户界面和图像捕获设备进行可操作通信的控制器，该控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时向控制器提供执行计算机可实现的步骤，所述步骤包括：确定显示在图形用户界面上的命令输入图像中每一个的相应位置；从图像捕获设备接收实时采集到的用户的面部、眼睛和虹膜的图像；将图形用户界面分成其界面部分；基于实时采集的图像实时确定用户的大致眼睛朝向；确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；实时确定一个或多个被观看的界面部分是否包含一个或多个命令输入图像；其中当用户经由命令输入图像中所选定的一个输入用户命令时，处理器可执行代码的执行向控制器提供执行计算机可实现的步骤，所述步骤包括：实时确定所选定的命令输入图像是否位于一个或多个被观看的界面部分内或者是否所选定的命令输入图像没有位于一个或多个被观看的界面部分内；如果所选定的命令输入图像位于一个或多个被观看的界面部分内，则允许用户命令被处理；如果所选定的命令输入图像没有位于一个或多个被观看的界面部分内，则阻止用户命令被处理。

根据本公开的一方面，提供了一种用于基于相对于所显示的命令输入图像和图形用户界面的用户观看方向、经由显示在图形用户界面上的命令输入图像来调整用户命令的方法，该方法包括：采集用户面部、眼睛和虹膜的实时图像；确定显示在图形用户界面上的命令输入图像中的每一个的相应位置；将图形用户界面分成其界面部分；基于实时采集的图像，实时确定用户的大致眼睛朝向；确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；实时确定一个或多个被观看的界面部分是否包含一个或多个输入图像；允许用户通过命令输入图像中所选定的一个来输入用户命令；实时确定所选定的命令输入图像是否位于一个或多个被观看的界面部分内或者所选定的命令输入图像是否没有位于一个或多个被观看的界面部分内；如果所选定的命令输入图像位于一个或多个被观看的界面部分内，则允许用户命令被处理；如果所选定的命令输入图像没有位于一个或多个被观看的界面部分内，则阻止用户命令被处理。

在一个实施方式中，用户通过触摸命令经由命令输入图像中被选定的一个来输入用户命令。在一个实施方式中，用户通过点击命令经由命令输入图像中被选定的一个来输入用户命令。

在一个实施方式中，该系统还包括与控制器可操作地通信的语音输入装置，其中用户经由语音输入装置通过语音命令经由命令输入图像中被选定的一个来输入用户命令。在一个实施方式中，存储器包含注册语音命令的数据库，每个注册语音命令与命令输入图像中的相应一个相关联，其中处理器可执行代码的执行向控制器提供执行计算机可实现的步骤，所述步骤包括：通过语音输入装置接收语音命令；将语音命令与注册的语音命令进行比较；确定语音命令和注册的语音命令之间的匹配，其中该匹配指示命令输入图像中被选定的一个。

根据本公开的一方面，提供了一种用于基于相对于图形用户界面的用户观看方向来调整显示在图形用户界面上且在其上可移动的命令输入图像的位置的计算机实现的系统，所述系统包括：图像捕获设备，用于捕捉用户的面部、眼睛和虹膜的实时图像；与图形用户界面和图像捕获设备进行可操作通信的控制器，该控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时向控制器提供执行计算机可实现的步骤，所述步骤包括：确定显示在图形用户界面上的可移动的命令输入图像的第一位置；从图像捕获设备接收实时采集到的用户的面部、眼睛和虹膜的图像；将图形用户界面分成其界面部分；基于实时采集的图像实时确定用户的大致眼睛朝向；确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；将可移动的命令输入图像从第一位置移动到图形用户界面上的第二位置，其中第二位置位于一个或多个实时被观看的界面部分处。

根据本公开的一方面，提供了一种用于基于相对于图形用户界面的用户观看方向来调整显示在图形用户界面上且可在其上移动的命令输入图像的位置的方法，该方法包括：捕捉用户面部、眼睛和虹膜的实时图像；确定显示在图形用户界面上的可移动的命令输入图像的第一位置；将图形用户界面分成其界面部分；基于实时捕获的图像实时确定用户的大致眼睛朝向；确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；将可移动的命令输入图像从第一位置移动到图形用户界面上的第二位置，其中第二位置位于一个或多个实时被观看的界面部分处。

在一个实施方式中，可移动的命令输入图像允许输入一个或多个用户命令。

在一个实施方式中，可移动的命令输入图像被选择性地呈现为在图形用户界面上不可见，尽管其由用户输入命令呈现。

在一个实施方式中，可移动的命令输入图像被用户输入命令选择性地激活为可移动的，并被用户输入命令选择性地停用为不可移动的。

在一个实施方式中，用于激活可移动的命令输入图像的用户输入命令选自由触摸屏命令、语音命令、点击命令、控制台命令、键盘命令及其任意组合组成的组。在一个实施方式中，用于停用可移动的命令输入图像的用户输入命令选自由触摸屏命令、语音命令、点击命令、控制台命令、键盘命令及其任意组合组成的组。

在一个实施方式中，用于激活可移动的命令输入图像的用户输入命令包括用户观看方向命令，其中处理器可执行代码的执行向控制器提供执行计算机可实现的步骤，所述步骤包括：确定命令输入图像位于初始位置的界面部分，从而确定初始界面部分；基于实时捕获的图像实时确定用户的大致眼睛朝向；确定所确定的大致眼睛朝向和初始界面部分之间的实时相关性，从而确定用户的观看方向是否指向初始界面部分；基于存储在存储器中的预定时间帧激活输入命令图像，在该预定时间帧期间，用户观看方向指向初始界面部分。

根据本公开的一方面，提供了一种用于经由相同显示器同时显示多个图形用户界面的系统，其中所述多个图形用户界面由一个或多个远程主机控制器托管，所述系统包括：用户设备，其与一个或多个远程主机控制器可操作地通信，并且包括用于显示所述多个图形用户界面中的一个或多个的界面显示；与用户显示设备可操作地通信的系统控制器，该系统控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时向控制器提供执行计算机可实现的步骤，所述步骤包括：将界面显示分成两个或多个界面显示部分；以及选择性地允许经由两个或多个界面显示部分的相应部分同时显示两个或多个图形用户界面。

在一个实施方式中，分开步骤由系统控制器自动执行。在一个实施方式中，分开步骤包括：控制器允许用户经由用户显示设备输入命令，用于将界面显示分开。在一个实施方式中，分开步骤包括系统控制器提供要存储在用户显示设备中的应用程序，用于将界面显示分为两个或多个界面显示部分，其中系统控制器执行检测界面显示部分已经被分开的计算机可实现步骤。

在一个实施方式中，计算机可实现步骤还包括将两个或多个界面显示部分中的一个的大小调整为界面显示的完整尺寸，并且移除两个或多个界面显示部分中的剩余界面显示部分。在一个实施方式中，调整大小的步骤由系统控制器自动执行。在一个实施方式中，调整大小的步骤包括系统控制器允许用户经由用户显示设备输入命令，以将两个或多个界面显示部分中的一个的大小调整为界面显示的完整尺寸，并移除两个或多个界面显示部分的剩余界面显示部分。在一个实施方式中，调整大小的步骤包括系统控制器提供要存储在用户显示设备中的应用程序，用于将两个或多个界面显示部分中的一个的大小调整为界面显示的完整尺寸，并移除两个或多个界面显示部分中的剩余界面显示部分，其中控制器执行检测界面显示部分已经被分开的计算机可实现步骤。

在一个实施方式中，计算机可实现步骤还包括：在分开步骤之前提供界面显示以显示主图形用户界面；以及在分开步骤期间调整主图形用户界面的大小，减小其尺寸以适合两个或多个界面显示部分中的一个，从而使得主图形用户界面继续被显示。

在一个实施方式中，计算机可实现的步骤还包括选择性地允许仅来自两个或多个图形用户界面中的一个的声音经由显示设备发出。

在一个实施方式中，两个或多个图形用户界面选自由以下组成的组：视频内容、媒体内容、视频游戏内容、网页、广告网页、电子购物网页、电子银行网页、金融交易页面、浏览器页面、计算机应用程序、交互式网页、网站、社交网络、电信应用程序、视频会议应用程序及其任何组合。

在一个实施方式中，两个或多个图形用户界面中的一个包括主要内容，两个或多个图形用户界面中的另一个包括辅助内容。在一个实施方式中，计算机可实现的步骤还包括提供与主要内容的主题相关的辅助内容的主题。在一个实施方式中，计算机可实现的步骤还包括选择性地阻止广告拦截器拦截辅助内容中的广告内容。

在一个实施方式中，计算机可实现步骤还包括允许两个或多个图形用户界面中的一个或多个包括从靠近用户显示设备的地理位置的地理位置上传的内容。

在一个实施方式中，两个或多个图形用户界面中的一个包括由用户上传的主要内容，所述用户具有在系统控制器的存储器中注册的用户档案，两个或多个图形用户界面中的另一个包括广告内容和购物内容，其中购物内容允许设备用户购买商品和/或服务，其中计算机可实现的步骤还包括与托管广告内容和购物内容的远程主机控制器通信以检测是否已进行购买；确定上传与广告内容和购物内容同时显示的主要内容的用户；及向确定的用户提供奖励。

在一个实施方式中，计算机可实现步骤还包括在系统控制器的存储器中提供用户档案；允许系统用户通过显示设备在用户档案中输入命令以注册用户偏好。在一个实施方式中，计算机可实现步骤还包括基于用户偏好来分开界面显示。在一个实施方式中，计算机可实现的步骤还包括基于用户偏好选择性地允许两个或多个图形用户界面同时显示。

根据本公开的一方面，提供了一种用于经由相同显示器同时显示多个图形用户界面的方法，其中所述多个图形用户界面由一个或多个远程主机控制器托管，所述系统包括：提供用于显示所述多个图形用户界面中的一个或多个的界面显示；将界面显示分成两个或多个界面显示部分；及选择性地允许经由两个或多个界面显示部分中的相应部分同时显示两个或多个图形用户界面。

在一个实施方式中，输入命令图像选自没有限制地由以下组成的组：图像、图标、窗口、虚拟键盘、单词、符号、虚拟控制台、光标、其组合等，用于通过触摸、点击、语音命令、眼睛朝向等输入一个或多个命令。

根据本公开的一方面，提供了一种用于将辅助内容添加到主要内容以便经由相同图形用户界面与其同时显示的系统，其中主要内容和辅助内容由一个或多个远程主机控制器托管，该系统包括：用户设备，其与一个或多个远程主机控制器可操作地通信，并且包括用于显示包含同时显示的主要内容和辅助内容的图形用户界面的界面显示；与用户显示设备和一个或多个远程主机控制器可操作地通信的系统控制器，该系统控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时向系统控制器提供执行计算机可实现的步骤，所述步骤包括：确定是否正在通过界面显示显示主要内容；将辅助内容选择性添加至显示的主要内容，用于经由界面显示与其同时显示，其中添加的步骤包括以下中的至少一个：将辅助内容叠加在主要内容上；将辅助内容整合到主要内容中；以及允许辅助内容位于主要内容之下并通过其可见；以及允许用户经由用户显示设备输入命令，以经由界面显示调整辅助内容的显示。

在一个实施方式中，计算机可实现的步骤还包括将辅助内容定位在主要内容的选定部分上。在一个实施方式中，选定部分包括主要内容的背景或者主要内容的没有前台活动的区域。

在一个实施方式中，辅助内容包括选自由图像、输入命令图像、应用程序图标、界面及其任意组合组成的组的视觉表示。

在一个实施方式中，辅助内容的尺寸小于主要内容。

在一个实施方式中，可以选择性地将辅助内容添加到主要内容而不重新调整主要内容的大小。

在一个实施方式中，当辅助内容叠加在主要内容的一部分上时，辅助内容覆盖并遮蔽该部分。

在一个实施方式中，辅助内容叠加在主要内容的一部分上，辅助内容是半透明的，使得该部分透过其可见。

在一个实施方式中，调整辅助内容的显示的计算机可实现的步骤包括以下中的一个或多个：从主要内容中移除辅助内容；将辅助内容重新定位在主要内容上；将图形用户界面划分成经由界面显示并排同时显示的两个子图形用户界面，其中两个子图形用户界面之一包括主要内容，两个子图形用户界面中的另一个包括辅助内容；将主要内容与辅助内容切换；将辅助内容从覆盖和遮蔽主要内容的一部分转变为半透明，并且使该部分透过其可见；将辅助内容从半透明转变为不透明，以覆盖和遮蔽主要内容的一部分；调整辅助内容的大小；替换主要内容；及其任意组合。

在一个实施方式中，辅助内容包括托管在远程主机控制器的相应一个上的一个或多个辅助内容视觉表示。在一个实施方式中，一个或多个远程主机控制器之一托管主要内容，一个或多个主机控制器中的另一个托管辅助内容。

根据本公开的一方面，提供了一种用于将辅助内容添加到主要内容以便经由相同图形用户界面与其同时显示的计算机可实现的方法，该方法包括：提供用于显示包含同时显示的主要内容和辅助内容的图形用户界面的界面显示；确定是否主要内容正在经由界面显示显示；将辅助内容选择性添加到显示的主要内容，以便经由界面显示与其同时显示，其中添加步骤包括以下至少之一：将辅助内容叠加在主要内容上；将辅助内容整合到主要内容中；及将允许辅助内容位于主要内容之下并通过其可见；及允许用户输入计算机可实现的命令，用于调整经由界面显示的辅助内容的显示。

在该方法的一个实施方式中，调整辅助内容的显示包括选自由以下各项组成的组的计算机可实现步骤：从主要内容中移除辅助内容；将辅助内容重新定位在主要内容上；将主要内容与辅助内容切换；用辅助内容替换主要内容；调整辅助内容的大小；将图形用户界面划分成经由界面显示并排同时显示的两个子图形用户界面，其中两个子图形用户界面中的一个包括主要内容，而两个子图形用户界面中的另一个包括辅助内容；将辅助内容从覆盖并遮蔽由此叠加的主要内容的一部分的视觉表示转变为半透明，且使得该部分通过其可见，将辅助内容从半透明转变为不透明。

在阅读了以下仅参考附图以示例方式给出的本公开的说明性实施方式的非限制性描述后，本公开的其他目的、优点和特征将变得更加明显。

附图说明

在附图中：

图1是根据本公开的非限制性说明性实施方式的、用于基于用户GUI观看方向来调整在图形用户界面(GUI)上显示的用户输入图像命令的系统的示意性表示，计算机设备显示一个界面，该界面具有待由用户观看和触摸的触摸命令输入图像；

图2是根据本公开的非限制性说明性实施方式的本系统的所显示的GUI的计算机生成的笛卡尔表的示意性表示，其中命令输入图像位于GUI的一个或多个计算机生成的部分处；

图3是根据本公开的非限制性说明性实施方式的基于系统用户面部(包括轮廓、眼睛和虹膜)的捕获图像的计算机生成的笛卡尔表的示意性表示；

图4是观看计算机设备的用户头部的侧向示意图，所述计算机设备用于显示根据本公开的非限制性说明性实施方式的本系统的GUI；

图5是观看计算机设备的用户头部的俯视示意图，所述计算机设备用于显示根据本公开的非限制性说明性实施方式的本系统的GUI；

图6是观看计算机设备的用户头部的另一侧向示意图，所述计算机设备用于显示根据本公开的非限制性说明性实施方式的本系统的GUI；

图7是根据本公开的非限制性说明性实施方式的由本系统捕获的包括虹膜的用户眼睛的图像的示意图；

图8是根据本公开的非限制性说明性实施方式的图7的捕获图像的计算机生成的笛卡尔表的示意性表示；

图9是根据本公开的非限制性说明性实施方式的用户眼睛和虹膜的计算机生成的笛卡尔表与GUI的计算机生成的笛卡尔表之间的计算机生成的相关性的示意性表示，提供了眼睛观看方向和GUI的一部分或多个部分之间的几何相关性；

图10是根据本公开的非限制性说明性实施方式的用户眼睛和虹膜的计算机生成的笛卡尔表与GUI的计算机生成的笛卡尔表之间的计算机生成的相关性的另一示意性表示，提供了眼睛观看方向与GUI的一个或多个部分之间的几何相关性；

图11是根据本公开的非限制性说明性实施方式的用户眼睛和虹膜的计算机生成的笛卡尔表与GUI的计算机生成的笛卡尔表之间的计算机生成的相关性的进一步示意性表示，提供了眼睛观看方向和GUI的一部分或多个部分之间的几何相关性；

图12是根据本公开的非限制性说明性实施方式的图2的计算机生成的笛卡尔表的示意性表示，示出了命令输入图像和注册的语音命令以及由系统捕获的用户语音命令之间的关联；

图13是根据本公开的非限制性说明性实施方式的用于沿着GUI调整显示在GUI上的可移动的命令输入图像的位置的系统的GUI的计算机生成的笛卡尔表的示意性表示；

图14是根据本公开的非限制性说明性实施方式的用于基于用户眼睛的观看方向来调整用户输入图像命令的系统计算机架构的示意性表示；

图15是根据本公开的非限制性说明性实施方式的用于经由相同显示器同时显示多个图形用户界面的系统的示意性表示，在(a)中示出了运行由托管为此的程序的控制器生成的用户界面的显示器，在(b)中示出了一个界面系统，用于经由相同显示器同时显示多个图形用户界面，该界面系统被示出为经由相同的显示器运行(a)中的同一图形用户界面，同时运行由托管为此的程序的同一控制器或另一控制器生成的图形用户界面；

图16是根据本公开的非限制性说明性实施方式的本系统的所显示图形用户界面的计算机生成的笛卡尔表的示意性表示，该系统具有图形用户界面的一个或多个计算机生成的界面显示部分；

图17是根据本公开的非限制性说明性实施方式的用于经由相同显示器同时显示多个图形用户界面的系统的示意图；

图18是根据本公开的非限制性说明性实施方式的用于经由相同显示器同时显示多个图形用户界面的系统的控制器的示意性表示；

图19示出了根据本公开的非限制性说明性实施方式的具有显示图形用户界面的屏幕的显示设备，图形用户界面显示主要内容，该显示设备与系统控制器可操作地通信；

图20示出了根据本公开的非限制性说明性实施方式的图19的显示设备，其中图形用户界面已被控制器分开以提供两个界面部分，用于经由屏幕同时显示主要内容以及辅助内容；

图21示出了根据本公开的非限制性说明性实施方式的图19的显示设备，其中图形用户界面已被控制器分开以提供三个界面部分，用于经由屏幕同时显示主要内容和辅助内容以及次要辅助内容；

图22示出了根据本公开的非限制性说明性实施方式的具有与系统控制器可操作地通信的屏幕的显示设备，其经由同一屏幕在相应的界面部分中同时显示两个浏览器页面；

图23示出了根据本公开的非限制性说明性实施方式的具有与系统控制器可操作地通信的屏幕的显示设备，其在图形用户界面中显示输入命令图像；

图24是根据本公开的非限制性说明性实施方式的图9的图形用户界面的像素的计算机生成的笛卡尔表，示出了输入命令图像在笛卡尔表中的位置以及由此覆盖的像素区域；

图25示出了根据本公开的非限制性说明性实施方式的用于串流和上传视频内容的系统平台界面；

图26示出了根据本公开的非限制性说明性实施方式的图22的平台，其中在平台界面显示中串流的所选择的视频内容分别分为显示部分且同时显示主要内容和辅助内容；

图27A示出了根据本公开的非限制性说明性实施方式的分开的界面显示配置，其中其两个界面显示部分同时显示各自的内容；

图27B示出了根据本公开的非限制性说明性实施方式的分开的界面显示配置，其中其四个显示部分同时显示各自的内容；

图27C示出了根据本公开的非限制性说明性实施方式的分开的界面显示配置，其中其两个界面显示部分同时显示各自的内容；

图27D示出了根据本公开的非限制性说明性实施方式的分开的界面显示配置，其中其三个显示部分同时显示各自的内容；

图27E示出了根据本公开的非限制性说明性实施方式的分开的界面显示配置，其中其四个显示部分同时显示各自的内容；

图27F示出了根据本公开的非限制性说明性实施方式的分开的界面显示配置，其中其四个显示部分同时显示各自的内容；

图28是根据本公开的非限制性说明性实施方式的显示主要内容的界面显示的示意性表示，该界面显示被分成两个不同的可能的分开的界面配置，用于同时在主要界面显示部分中显示主要内容及在辅助显示部分中显示辅助内容；

图29是根据本公开的非限制性说明性实施方式的、用于向经由图形用户界面显示的主要内容添加辅助内容并同时显示辅助内容的系统的示意性表示；

图30是根据本公开的非限制性说明性实施方式的同时显示主要内容和辅助内容的本公开的系统的图形用户界面的示意性表示；

图31是根据本公开的非限制性说明性实施方式的同时显示主要内容和辅助内容的本公开的系统的图形用户界面的示意性表示；和

图32是根据本公开的非限制性说明性实施方式的同时显示主要内容和辅助内容的本公开的系统的图形用户界面的示意性表示。

具体实施方式

一般而言并且根据本公开的一方面，提供了一种基于相对于所显示的命令输入图像和图形用户界面的用户眼睛观看方向、经由在图形用户界面上显示的命令输入图像来调整用户命令的计算机实现的系统。该系统包括与控制器可操作地通信的图像捕获设备。图像捕获设备允许捕获用户的面部、眼睛和虹膜的实时图像。控制器与用户界面可操作地通信。

控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时向控制器提供执行计算机可实现的步骤。确定在图形用户界面上显示的每个命令输入图像的相应位置。控制器从图像捕获设备接收用户的面部、眼睛和虹膜的实时捕获的图像。图形用户界面被分成其界面部分。基于实时捕获的图像，实时确定用户的大致眼睛朝向。实时确定所确定的大致眼睛朝向与一个或多个界面部分之间的相关性，从而确定用户的观看方向和一个或多个实时观看的界面部分。控制器实时确定一个或多个观看的界面部分是否包含一个或多个命令输入图像。

当用户经由命令输入图像中选择的一个命令输入图像输入用户命令时，控制器允许实时确定所选择的命令输入图像是否位于一个或多个观看的界面部分内或者所选择的命令输入图像是否没有位于一个或多个观看的界面部分内。如果所选择的命令输入图像位于一个或多个观看的界面部分内，则控制器允许处理用户命令。如果所选择的命令输入图像没有位于一个或多个观看的界面位置内，则控制器阻止用户命令被处理。

转向图1，示出了本文提供的系统S和方法的一般操作的示意图。系统S和方法允许用户U经由其计算机设备14(诸如平板电脑、PC、膝上型电脑等)上的显示屏12来访问图形用户界面10。界面10包括多个触摸显示输入图像16i、16ii、16iv、16v、16vi、16vii、16viii，其允许用户如本领域已知的那样经由触摸来输入命令。计算机设备14包括图像捕获设备(例如相机18)，其捕捉用户的面部F、他们的眼睛E和每只眼睛E的虹膜I以及他们的手H的图像。相机18捕捉每个虹膜的位置，使得系统S可以确定用户的视野(FOV)的方向，并且更具体地确定大体的中央凹视野方向。以这种方式，本文的系统S和方法允许确定用户正在观看界面10的哪个部分P1、P2、P3。所述部分P1、P2、P3包含各自的触摸显示输入图像。例如，部分P1包含图像16i、16ii和16iii；部分P2包含图像16iv、16v和16vi；以及部分P3包含图像16vii和16viii。

该系统包括控制器C，其具有处理器可执行代码的关联存储器，处理器可执行代码在被执行时使得控制器执行如本文提供的计算机可实现步骤。控制器C与界面10和相机18可操作地通信。

相机18允许控制器确定用户的眼睛F和显示屏12之间的距离。用户的面部F不是固定的，而是不断移动的，因此，相机18正在接收用户的面部F、眼睛E和虹膜I的实时位置，因此利用该信息以及距离，帮助控制器C确定对应于通常部分P1、P2或P3的大体中央凹方向。

为了使用户U激活给定的触摸显示输入图像(例如16vii和16viii)，他们必须用他们的手指(或通过本领域已知的另一种类型的触摸命令)直接在显示屏12上触摸图像(16vii和16viii)，本文的系统S和方法实时检测到该命令。除了该触摸命令之外，通过验证是否用户的大致中央凹视场方向朝向触摸的图像所在的显示屏的部分，该方法和系统同时且实时(通过计算机可实现的步骤)验证是否用户U正在看触摸的图像16vii和16viii。在该示例中，触摸的图像16vii和16viii位于部分P3中，因此，当用户U触摸图像16vii和16viii时，系统S和方法验证用户U是否正在看部分P3并且如果是这样的话，则系统S和方法允许激活图像16vii和16viii，其中激活是对输入命令的处理。可替代地，如果用户U触摸图像16vii或16viii，但是没有正在看部分P3，则系统S和方法不允许处理输入命令。

现在转向图2，本文的系统S和方法通过计算机实现的步骤允许生成用于显示图形用户界面10’的显示屏12’的笛卡尔表20。笛卡尔表20包括定义针对每个给定像素P的多个给定坐标(Xn，Yn)的垂直Y轴和水平X轴。因此，触摸显示输入图像16A、16B和16C位于特定像素区域17A、17B和17C内，所述特定像素区域17A、17B和17C覆盖多个像素P，每个像素具有(由所述系统和方法检测的)相应的坐标。这样，显示屏12’上的每个图像(例如16A、16B和16C)的位置由本文的系统和方法确定。因此，控制器允许将图形用户界面分成其界面部分。

鉴于以高精度确定是否用户U的大致中央凹视场方向朝给定像素区域17A、17B和17C定向是过度困难的这一事实，系统和方法将笛卡尔表分为部分P-a、P-b、P-c、P-d、P-e、P-f、P-g、P-h，并确定用户U的大致中央凹视场方向是否指向前述部分中的一个或多个。给定部分P-a包含坐标(X_a’，Y_a’)至(X_a”Y_a”)内的像素P。因此，该系统和方法通过计算机可实现的步骤来确定触摸屏显示图像16A、16B和16C中的任意一个在哪些显示屏部分(P-a至P-h)中。在该示例中，图像16A在部分P-e中，图像16B在部分P-b和P-f中，并且图像16C在部分P-g和P-h中。

因此，如果用户触摸图像16A，则在允许处理输入命令之前，系统S通过由控制器C执行的计算机可实现的步骤来验证大致中央凹视场方向是否定向在部分P-e处。如果用户触摸图像16B，则系统在允许处理输入命令之前验证大致中央凹视场方向是否定向在部分P-b和P-e处。如果用户触摸图像16C，则系统在允许处理输入命令之前验证大致中央凹视场方向是否定向在部分P-g和P-h处，等等。

现在转向图3，相机18捕获用户的面部F的实时图像，控制器C生成笛卡尔表22并在表22内构建用户的面部的网格24，一般来说，生成面部轮廓26、眼睛28和每只眼睛的虹膜30。当然，用户的面部F实时移动，因为没有用户永远处于恒定的固定位置，此外，包括显示器和相机18的设备的位置也可能是恒定移动的，尤其是在诸如平板电脑、智能手机等的手持设备的情况下。因此，系统S通过计算机可实现的步骤认为相机18处于恒定的固定位置，并且相机18和面部F之间的所有相对运动被认为是面部F相对于相机18的位置的运动。因此，系统S通过控制器C实时执行的步骤连续地重新定位表22内的计算机生成的骨架网格24。因此，笛卡尔表22与相机18协同地处于固定位置，并且网格24在该固定表22内不断移动。网格24及其组成部分26、28和30的位置由表22的X坐标和Y坐标提供，因此眼睛28内每个虹膜30的相对位置可以被实时检测。

现在转向图4、图5和图6，通过控制器C执行的步骤，系统S通过相机18实时捕获的图像确定用户的面部F和位于设备14(膝上型计算机、平板电脑等)内的相机18之间的距离△(见图4)以及相机18和用户的面部F之间的相对位置(如图5和图6所示)。实际上，相机18的位置被认为是固定的，因此系统S定义垂直固定相机平面18Y(见图5)和水平相机平面18X(见图6)。系统S确定用户的面部F相对于固定平面18Y和18X的位置。确定了时间戳(例如Ti)处的实时距离△的系统S确定用户的面部F和垂直平面18Y之间的角度α以及用户的面部F和水平平面18X之间的角度β。已经确定了距离△以及时间戳Ti处的角度α和β，系统S能够在时间戳Ti处在笛卡尔表22内将用户的网格24重新定位。事实上，△、α和β不断改变，网格24在笛卡尔表22内的位置相应地被重新校准。由于先前生成了包括轮廓26、眼睛28和虹膜30的用户的面部24的骨架网格，随着在每个时间戳处接收关于△、α和β的信息，系统S通过控制器步骤实时确定眼睛28和虹膜30在网格24内的位置。在一个实施方式中，△、α和β在从初始时间戳Ti开始到最终时间戳Tii的时间梯度内被平均，因此基于前述平均值在每个时间梯度处重新校准网格24。

转向图7和图8，系统S允许相机18捕获眼睛E的图像，焦点FC位于虹膜I上。焦点FC被转换在笛卡尔表22中，其提供计算机生成版本的虹膜30上的焦点32，从而确定虹膜30相对于眼睛28的X、Y坐标，这允许确定虹膜30相对于焦点34的朝向θ。朝向θ用于确定虹膜30是否以如下方式定向：中心向前、向上、向下、向左、向右和/或其组合，例如：中心向上、中心向下、中心向左、中心向右、向上向左、向上向右、向下向左，向下向上。

因此，系统S在笛卡尔表22内构建网格24以确定轮廓26、眼睛28和虹膜30的相对位置。系统基于△、α和β实时调整表22内的网格24的位置。系统捕获虹膜的焦点FC，并将其转换为网格24内的计算机生成的版本32，以确定网格24的每只眼睛28内的每个虹膜30相对于焦点34的位置，并因此确定虹膜相对于该焦点34的朝向θ。

转向图9、图10和图11，系统S允许在笛卡尔表22(包含如上所提供的具有确定的虹膜朝向θ的网格24)和包含预定的显示(或界面)部分P’、P”和P”’的笛卡尔表20之间生成几何相关性。屏幕12’和相机18物理连接，因此屏幕12’与相机18一起被认为处于恒定的固定位置，并且因此笛卡尔表22内的网格24如前所述进行调节，同时表20中确定的界面部分P’、P”和P”’保持在固定位置。

系统S识别面部F和面部F相对于相机18的位置(α和β)之间的距离△以及虹膜I的朝向θ，并且利用该信息可以确定计算机生成的大致中央凹视场方向Φ，以便确定计算机确定的大致中央凹视场方向Φ与界面10’之间的计算机生成的对应关系，从而确定界面10’的哪些部分P’、P”、P”’在计算机生成的大致中央凹视场方向Φ上。事实上，图9、图10和图11示出了表22和表20之间的计算机生成的几何相关性。图9、图10和图11示出了基于眼睛和虹膜(分别为28和30)在表22内的计算机生成的位置的人眼E的表示。图9、图10和图11示出了计算机生成的大致中央凹视场方向Φ及其基于计算机确定的距离△、位置α和β以及虹膜朝向θ的与计算机生成的笛卡尔表20的界面的部分(P’、P”、P”’)的几何相关性的表示。

因此，当用户U触摸屏幕上的触摸显示输入图像时，在允许与触摸显示输入图像相关的输入命令被处理之前，系统S验证该触摸显示输入图像是否在落入计算机生成的大致中央凹视场方向Φ内的如本文定义的界面部分内。如果被触摸的触摸显示输入图像不在落入计算机生成的大致中央凹视场方向Φ内的界面部分内，则系统S将不允许处理与触摸显示输入图像相关联的输入命令。

事实上，上面用于命令输入图像的触摸命令可以由本领域已知的光标点击来代替。

记住以上内容，在另一个实施方式中，本文的系统S和方法允许使用语音输入命令而不是触摸屏命令。

图12示出了用于显示用户界面10’的显示屏12’的表20。输入图像16A、16B和16C位于覆盖多个像素P的特定像素区域17A、17B和17C内，其中每个像素具有相应的坐标(由系统和方法检测)。这样，每个输入图像16A、16B和16C在屏幕12’上的位置由本文的系统S和方法确定。此外，每个输入图像16A、16B和16C与显示的或用户以其他方式已知的相应单词或名称以及存储在数据库38内的预定注册语音命令36A、36B、36C相关联。用户U不触摸输入图像16A、16B和16C，而是将向诸如设备14的计算机设备的麦克风40(见图1)说出与图像16A、16B和16C相关联的名称或单词。该用户的语音命令42被捕获并被传送到处理器44，以与语音登记36A、36B、36C进行比较，以便系统识别它们之间的匹配。语音命令42与注册语音命令中给定的一个之间的匹配指示“用户U正在选择与匹配的注册语音命令相关联的输入图像16A、16B和16C”。

上述是系统允许与语音选择的输入图像相关联的命令输入被处理所需的两个步骤之一。同时，系统S将验证用户U是否正在以与上述用于图1至图11的相同的方式观看图像。因此，当用户U用声音选择屏幕上的输入图像时，在允许与输入图像相关联的输入命令被处理之前，系统验证是否该输入图像位于如本文所定义的界面部分内并且与计算机生成的大致中央凹视场方向Φ具有几何相关性。如果声音选择的输入图像不在与生成的大致中央凹视场方向Φ几何相关的界面部分内，则系统将不允许与输入图像相关联的输入命令被处理。

在另一个实施方式中，系统需要通过如本文所提供的触摸、语音命令和眼睛朝向及其组合的三个步骤的输入命令。事实上，还可以考虑使用点击输入的组合。

一般而言，根据本公开的一个方面，提供了一种用于调整显示在图形用户界面上以及可在其上移动的命令输入图像的位置的计算机实现的系统。该调整基于相对于图形用户界面的用户观看方向。图像捕获设备允许捕获用户的面部、眼睛和虹膜的实时图像。控制器与图形用户界面和图像捕获设备可操作地通信。该控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时向控制器提供执行本文中的计算机可实现的步骤。控制器确定图形用户界面上显示的可移动的命令输入图像的第一位置。控制器从图像捕获设备接收用户的面部、眼睛和虹膜的实时捕获的图像。控制器将图形用户界面分成其界面部分。控制器基于实时捕获的图像实时确定用户的大致眼睛朝向。控制器确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分。控制器将可移动的命令输入图像从图形用户界面上的第一位置移动到第二位置。第二位置位于该一个或多个实时被观看的界面部分。

现在转向图13，示出了用于显示用户界面10’的显示屏12’的表20。系统S通过控制器C提供可执行步骤，以产生输入图像44。输入图像44可在界面10’上移动到对应于大致中央凹视场方向Φ的位置。因此，系统还允许基于用户的眼睛朝向以及具体地基于Φ及其与显示(或界面)部分的几何相关性沿着屏幕调整命令输入图像的移动。如先前所解释的，系统S和方法将笛卡尔表20分成部分P-a、P-b、P-c、P-d、P-e、P-f、P-g、P-h，并且确定是否用户U的大致中央凹视场方向Φ指向一个或多个如上所述的前述部分。在这种情况下，系统S不验证正在被看的部分P-a、P-b、P-c、P-d、P-e、P-f、P-g、P-h是否包含输入图像，而是仅验证是否给定部分确实正在被看。如先前所解释的，给定部分P-a包含坐标(X_a’，Y_a’)至(X_a”Y_a”)内的像素P。这样，系统和方法通过计算机可实现的步骤来确定大致中央凹视场方向Φ指向哪些显示屏部分(P-a至P-h)，并且一旦确定了这一点，系统S就将输入图像44移动到该部分。例如，图像44最初位于部分P-e中，当用户U的大致中央凹视场方向Φ指向部分P-c时，输入图像44移动到该部分，同样，当用户U的大致中央凹视场方向Φ重新指向部分P-g时，输入图像44再次移动到该部分。因此，输入图像44沿着屏幕12’跟随用户的眼睛。这允许增强的视觉体验。输入图像44可以是光标、玩家控制台图像、多输入图像等。用户U可以通过输入命令界面(键盘、游戏机等)上的触摸命令、语音命令、点击等来经由输入图像44输入命令。

在一个实施方式中，当大致中央凹视场方向Φ指向输入图像(例如最初位于例如部分P-e(即，初始位置)中的44)并且用户提供输入命令(点击、触摸、语音、或持续凝视预定时间帧或其任意组合)时，系统S在允许命令完成之前验证部分P-e(Φ所指向的部分)是否包含输入图像44。在该示例中，输入命令允许“锁定”输入图像44，一旦以这种方式被“锁定”，输入图像44就被设置为随着眼睛移动而移动，如上文所提供的。输入图像44可以通过输入命令(点击、触摸、语音或持续凝视预定时间帧或其任意组合)“解锁”或从前述眼睛控制释放。

在一个实施方式中，“锁定”的命令输入图像44实时遵循Φ-界面部分相关性。在一个实施方式中，例如在具有各种命令(前进、后退、开火、投掷、接住、奔跑、跳跃等)的虚拟游戏机的示例中，用户将输入图像用于各种语音或以其他方式激活的输入命令。

在一个实施方式中，“锁定”的输入图像44变得不可见(根据命令或自动地)，但继续实时遵循如上所解释的Φ-界面部分相关性，并且可以自动地或者经由用户输入命令选择性地出现在屏幕上的期望位置处。

现在转向图14，示出了系统S的计算机架构的示意性表示，系统S包括与本地控制器48进行网络通信N的主控制器或服务器控制器46，本地控制器48与用户界面50通信。本地控制器48和用户界面50可以是单个集成设备52(膝上型计算机、PC、移动设备、平板电脑等)的一部分，或者可以是有线或无线通信的两个物理上分离的部件。控制器46和/或控制器48可以是整体部件，或者包括多个单独的相互通信的控制部件和本领域技术人员可以想到的架构。控制器46包括具有控制器(即处理器)可执行代码的关联存储器M，该控制器可执行代码在被执行时向控制器提供执行本文中的计算机可实现的步骤。

在系统S的实施方式中，存储器M允许注册用户ID(例如面部或眼睛的图像、指纹、语音命令等)，并且控制器将仅在用户已经输入了他们的分配的ID时仅执行本文的计算机可实现的步骤。当本文提供的输入命令涉及金融交易或其他个人数据(但不限于此)时，系统S的用户识别是方便的。

在一个实施方式中，本文的系统允许用户打开应用程序以便访问本文的系统和方法，因此，在一个示例中，用户打开通过视觉识别(面部、眼睛、虹膜)或触摸识别或指纹识别或通过语音命令或安全密码或其任意组合识别用户的系统应用程序。因此，应用程序允许访问本文中的一个或多个操作系统，例如经由眼睛朝向Φ调整和/或操作输入图像的能力、系统分割用户界面并同时显示两个或多个程序的能力、用户通过相同显示屏沿着一个界面或多个并置界面或界面部分或子界面移动输入图像(例如光标或游戏机图像)的能力，包括通过用户输入命令或通过预定的计算机可实现的步骤选择性地渲染命令输入图像可见或不可见。

一般而言并且根据本公开的一个方面，提供了一种用于经由相同显示器同时显示多个图形用户界面的系统。多个图形用户界面由一个或多个远程主机控制器托管。用户设备与一个或多个远程主机控制器可操作地通信，并且包括用于显示多个图形用户界面中的一个或多个的界面显示。系统控制器与用户显示设备可操作地通信。系统控制器具有处理器，处理器带有处理器可执行代码的关联存储器，处理器可执行代码在被执行时向控制器提供执行计算机可实现的步骤，计算机可实现的步骤包括将界面显示分成两个或多个界面显示部分以及选择性地允许经由两个或多个界面显示部分中的相应界面显示部分同时显示两个或多个图形用户界面。

参照图15，(a)中示出了托管经由网络N通信正在用户设备112上运行的程序的远程服务器10。用户设备112包括集成设备控制器(未示出)、用于显示用户界面116的设备显示屏114以及图像捕获设备118。在(b)中，示出了用于经由相同显示器同时显示多个用户界面的系统S1。系统S1包括与设备112处于网络N通信的控制器120。控制器120具有控制器可执行代码的关联存储器M1，该控制器可执行代码在被执行时允许执行将用户界面116分成或分裂成至少两个界面部分或子界面116A和116B的计算机可实现的步骤。事实上，屏幕114继续运行或显示主机服务器110的程序(在界面部分116A中)，但同时它也运行来自另一主机服务器122的程序(在界面部分116B中)。当然，在界面部分116A或116B中产生视觉显示的程序可以来自同一主机服务器(例如110或122)。在示例中，界面部分116A显示体育赛事，而与子界面116A并列的界面部分116B允许为物品124做广告。实际上，物品124可以是如上所述的输入图像，并且可以通过触摸命令、光标点击、如上所述的眼睛朝向(例如，Φ)、语音命令及其组合来操作。

在一个实施方式中，控制器120允许用户设备112从主机110和122(或者本领域技术人员可以想到的单个主机或多个主机)访问两个程序，或者控制器120经由网络N与这些主机110和122通信，以接收它们的程序数据并在分成或分割成多个部分的同一屏幕114上的单个可视显示中将该数据重新传送至设备112，以同时运行两个程序。

因此，系统S1的控制器120(即服务器、云服务器或服务器网络或数据中心等)通过计算机可实现的步骤以经由其控制器在用户设备112(例如手持平板电脑)上运行两个不同的程序，以便显示两个不同的和不相关的界面或子界面或界面部分116A和116B。控制器120可以返回至两个或多个并列的界面中的一个，并且因此运行一个程序。因此，控制器120允许同时广告或者给用户提供广告的选项或者给用户提供观看另一个同时事件或观看该同时事件的精彩部分的选项等等。

在一个实施方式中，系统S1允许用户选择在他们的显示设备屏幕114上运行多于一个程序。因此，控制器120基于X、Y笛卡尔像素表将界面116分为部分116A和116B，其中一部分像素将显示一个程序，而另一部分像素将显示另一个程序。

现在转向图16，这里的系统S1和方法通过计算机实现的步骤允许生成用于显示图形用户界面116的显示屏114的笛卡尔表T。笛卡尔表T包括为每个给定像素P定义多个给定坐标(X_n，Y_n)的垂直Y轴和水平X轴。因此，控制器允许将图形用户界面分成其界面部分，例如部分P-a、P-b、P-c、P-d、P-e、P-f、P-g、P-h。给定部分P-a包含坐标(Xa’，Ya’)到(Xa”Ya”)内的像素P。这样，该系统和方法通过计算机可实现的步骤来确定哪些显示屏部分(P-a至P-h)将显示给定程序。因此，本文的系统和方法允许图形用户界面116在这些部分的给定的一个或多个部分显示来自一个或多个主机服务器的给定程序，如先前所解释的。

当然，界面116可以被分成任意数量的部分，只要视觉上和使用上方便即可。这些部分的大小可以由控制器120、用户、程序主机及其组合来调整。因此，任何方便的比例都可以用于屏幕分割。此外，屏幕可以如图15的(b)中所示被垂直地分割，也可以被水平地分割。上述可以由控制器120、用户、程序主机及其组合来调整。

因此，在一个示例中，用户可以享受体育赛事或其他在线流媒体产品，并且可以同时观看广告，而不会中断他们的主要娱乐，因为系统S1同时运行两个界面。用户还可以经由如上所述的输入图像同时购买产品。实际上，图14的(b)中所示的双界面还可以包括如上所述的命令输入图像，诸如光标25，其如上所述的随着视场方向Φ移动，从而跨两个子界面16A和16B移动，以便用户可以通过点击、语音命令等经由光标输入命令。输入图像可以包括其他的命令输入应用程序，其不是光标，而是用于接收一个或多个输入命令的图标或窗口。

图17示出了系统S1，其包括与用户显示设备112进行远程操作通信的控制器120(例如云服务器)。还示出了数据中心126和内容分发网络(CND)128。在系统S1的通信架构内可以提供各种操作通信。

控制器120可以与数据中心126和/或CDN 128进行远程操作通信。数据中心126和CDN 128可以进行远程操作通信。数据中心126和/或CDN 28可以与用户设备112进行远程操作通信。以这种方式，控制器120可以通过直接从数据中心126和/或CDN 128接收用于显示的内容以及在控制器级别调整内容(以便将该内容传送到用户设备112，以按调整的格式显示)来调整用户设备112的图形用户界面116。应当理解，本文所指的调整是指如本文所提供的图形用户界面116的选择性分开/分割(或调整大小)。

在一个实施方式中，用户设备112直接从数据中心126和CDN 128接收内容，并且由控制器120在设备112级别调整显示的内容，以用于如本文所提供的同时显示。在一个实施方式中，用户设备112直接与数据中心126和/或CDN 128通信，以访问用于显示的内容。在另一个实施方式中，用户设备112经由控制器120与数据中心126和/或CDN 128通信，以访问用于显示的内容。

如图18所示，控制器120包括每个系统用户的用户档案130。用户可以通过经由例如识别码或如上所述的其他标识登录到控制器120来访问系统S1。在一个实施方式中，用户档案130允许注册内容流偏好，这将在本文中进一步讨论。用户档案130存储在控制器的存储器M1内，例如其数据库内。

在图19所示的一个实施方式中，用户通过他们的屏幕114观看图形用户界面116’上的主要内容。

如图20所示，屏幕114被“分割”或“调整大小”，因为图形用户界面116’被划分为(或分成)分别且同时地显示独立的主要内容和辅助内容的主要部分116A’和辅助部分116B’。该“屏幕分割”可以选择性地由控制器120调整或者由用户请求。例如，如果主要内容恰好是电视广告，则用户可以点击界面116’，并且这将调整界面116’的大小或将界面116’分割成不中断运行曾经在界面116’上运行的主要内容的主要部分116A’，同时生成辅助部分116B’，其提供例如与电视广告(主要内容)中的产品相关的购买信息。在另一示例中，控制器120界面116’生成临时输入命令图像131(见图19)，如果没有提供输入，则该临时输入命令图像131在一定时间帧之后消失。输入图像131可以指示控制器120可以在辅助屏幕部分中串流的辅助内容的类型。如果用户通过触摸、点击、语音等输入命令，则界面116’被分割或调整大小，以显示不中断地运行界面116’的主要内容的主要部分116A’和串流辅助内容的辅助部分116B’。

在一个实施方式中，辅助部分116B’对可以与主要内容相关联的产品进行广告。例如，控制器120执行识别由主机服务器110(见图15)或数据中心126(见图17)提供的主要内容内的物品(诸如图1中的124)以及经由一个或多个其他主机服务器122(如图15)或CDN128(图17)访问辅助内容的计算机可执行的步骤。在一个示例中，电影(主要内容)中的角色已经戴上帽子或者已经在钓鱼或者正在吃意大利面，控制器120允许服务器122或CDN 128在辅助部分116B’中传送与帽子、钓鱼和/或意大利面有关的广告(辅助内容)。因此，辅助内容中的广告可以与主要内容中的元素(产品、动作、场景)相关。此外，用户档案130中的信息向控制器120提供评估由服务器122或CDN 128提供的广告内容的计算机可实现的步骤，该广告内容符合通过用户的串流行为评估的用户的兴趣(即，他们串流的内容，例如，产品的类型、品牌、活动)或者他们在其用户档案130中指示为感兴趣的的用户兴趣。因此，通过串流行为或用户档案130信息来定制辅助内容以适合用户。

用户档案130中的信息可以经由系统S1提供的调查问卷来收集，以便提示用户表明他们的兴趣和偏好，或者由用户直接输入而无需提示。还可以通过基于地理、年龄组、性别和其他社会经济和文化参数聚类相似的用户档案130，由此调整用户档案130，以创建兴趣群。将被广告的辅助内容可以基于这些兴趣群，即给定用户属于给定的兴趣群，因此感兴趣辅助内容将被示出，其也可能与当前串流的主要内容相关，从而优化给定用户对于给定广告的兴趣。事实上，向内容用户做广告的各种算法已经在社交媒体中使用，类似的算法也可以在系统S中使用。

在一个实施方式中，辅助部分116B’包括输入命令图像132。输入可以通过触摸、点击、语音等来提供。在一个实施方式中，用户“喜欢”该内容并因此将该信息注册到用户档案130。在一个实施方式中，触摸或可点击命令132允许用户关闭辅助部分116B’并返回到主要内容，从而“调整”屏幕114的大小，因为仅主要部分116A’返回界面116’的完整尺寸(如图19中)。在一个实施方式中，用于返回主要内容的输入可以由主要部分116A’中的输入命令图像134提供。

在一个实施方式中，输入命令图像132允许用户访问与广告产品相关的更多信息，并且移向全部位于与主要部分116A’中的主要内容一起同时显示的辅助部分116B’内的购买页面或结账页面。

在一个实施方式中，如图21所示，提供了次要辅助部分116C’，其中用户可以观看次要辅助内容。例如，次要辅助内容可以提供与经由辅助部分116B’显示的辅助内容中广告的产品相关的购买信息。在一个实施方式中，辅助部分116B’或次要辅助部分116C’允许经由例如通信窗口136与商家通信，以接收与广告内容相关的商家信息。可以通过用户点击辅助部分116B’或者通过用户经由输入命令图像132输入其命令来生成次要辅助部分116C’。

在一个实施方式中，辅助内容不包括声音，因此，主要内容声音没有中断。在一个实施方式中，辅助内容包括声音，当系统S1运行辅助内容时，主要内容的声音被静音，用户只能在视觉上体验主要内容，因为发出的唯一声音是辅助内容的声音。

在图22所示的实施方式中，界面116”被分割成两个独立的子界面116A”和116B”，允许同时运行两个独立的浏览器或同时运行两个不同的应用程序。在这种情况下，本身没有主要内容，只是在各个部分上有多个内容。当然，更多的部分可以设置有更多的浏览器和/或应用程序。在一个实施方式中，子界面中的一个运行浏览器，另一个运行应用程序。

在一个实施方式中，当观看界面116’上的主要内容时，用户可以选择分享该主要内容，并且这将屏幕分割以产生不中断地示出主要内容的主要界面部分116A’和提供输入页面以输入电子邮件、电话号码、姓名或其他联系信息以便将主要内容与一个或多个联系人分享的辅助界面部分116B’。可以通过键盘输入、通过选择联系人列表中的姓名或者通过语音命令来输入该信息。因此，在一个实施方式中，用户档案30包含或者有权访问用户联系人列表。

用户可以点击界面16’，并且可以利用各种可能的辅助内容(诸如广告页面、浏览器页面或分享页面等)来生成输入命令图像131。

在一个实施方式中，辅助内容是社交媒体页面，通过拖放或简单地通过点击或包括语音命令、触摸命令或社交媒体页面命令的其他类似命令在社交媒体页面中分享主要内容。事实上，用户可以同时观看主要内容并在其屏幕的辅助内容部分上参与社交媒体网络，对主要内容进行评论，该主要内容可以是媒体、电影、体育赛事、新闻事件、视频游戏和其他可访问的内容。

在一个实施方式中，当如本文所提供的共享内容时，控制器120可以具有正向其发送内容的个人的用户档案130，因此在该用户正在其界面116’上观看主要内容的情况下，控制器120可以经由视觉或听觉提示或者经由发送者希望共享内容的输入命令图像131通知用户。因此，接收的个人可以请求屏幕分割或调整大小(即，界面分开)，其中他们的主要内容继续通过界面部分116A’显示，并且通过辅助部分116B’显示共享内容。

在一个实施方式中，当主要内容是广告或电视购物并且用户希望购买在主要内容中广告的给定产品时，用户输入命令允许辅助内容在本文中提供的分屏或调整大小的界面模式中同时显示，以便运行在其中可以购买广告产品的在线购物页面。

在一个实施方式中并且参照图23和图24，在界面116’上运行的主要内容包括如上所述的集成输入命令图像38，其与对应于输入命令图像138的界面116’的笛卡尔表T’内的位置L相对应。输入命令图像可以是物品，例如，足球运动员穿的鞋子或曲棍球运动员佩戴的头盔或演员正在吃的食物，或新闻程序中的计算机等。因此，当用户看到感兴趣的物品时，他们点击对应于输入命令图像138(即，用作如上所述的输入命令图像)的该物品，并且界面116’被分开、调整大小或分割，以允许与感兴趣的物品相关的辅助内容被显示在辅助部分116B’中，同时主要内容经由主要部分116A’继续被同时显示。因此，控制器120执行在笛卡尔表T’内识别对应于主要内容中的感兴趣物品的像素区域Z的计算机可实现的步骤，并因此提供像素区域Z，随着感兴趣物品的位置在主要内容的流媒体场景中实时变化，该像素区域Z一直实时变化。因此，用户在与感兴趣的物品的位置对应的位置处点击感兴趣的物品或触摸屏幕114，从而点击或触摸对应于感兴趣的物品的像素区域Z，从而输入命令以如上所解释的同时显示与感兴趣的物品相关的辅助内容。

在一个实施方式中并且参照图25和图26，系统S1提供平台P以供用户上传他们的视频内容140，以供平台P的用户们观看。因此，平台P提供主要界面116”’，其具有各种视频内容140供平台用户们观看。当用户选择给定视频140进行观看时，如图26所示，视频界面142在主要界面116”’内打开，以便串流主要内容。在主要内容的串流期间的预定点，控制器120将界面142分成主要部分142A和辅助部分142B，主要部分142A继续不间断地串流主要内容，而辅助部分142B显示诸如广告的辅助内容，然后控制器移除辅助内容以将界面142的大小调整回其原始大小。用户可以经由本文所提供的输入命令来选择访问辅助部分142B中的信息或者移动到结帐命令部分，在那里他们可以购买正在被广告的产品，在这种情况下，控制器120记录该动作，且上传了导致该购买的视频内容的用户通过积分或通过所产生的销售的百分比等在财务上得到补偿。

在一个实施方式中，平台P允许希望如本文所提供的在视频内容140被串流时做广告的广告商调整他们的广告，使得其是可点击的，因为点击输入命令将通向(例如)在辅助部分142B内的购物界面。在另一个实施方式中，上传视频内容的用户可以调整可以在辅助部分142B中显示的广告的类型，例如，他们可以请求不为某些产品做广告(酒精、肉类等)或者广告是不可点击的且仅作为信息提供。前述信息被预先存储在用户档案130内。在一个实施方式中，广告可以包括用于观看者的代码，然后观看者可以使用该代码在另一平台上购物。该代码可用于向购物者提供折扣或向内容提供商提供奖励。

屏幕配置示例，内容可以从一个子界面更改为另一个，不同的调整大小或分割的形状，用户可以在观看时选择自己喜欢的内容，调整大小可以根据用户的设备屏幕来完成。用户可以对其进行调整并将其放入档案中。

在一个实施方式中，将界面分成界面部分的步骤包括：控制器120向设备112提供要存储在其上的应用程序，该应用程序允许提示和/或无提示的用户输入，从而将界面分成其同时显示不同内容的部分。应用程序经由设备112与控制器120通信，设备112知道已经发生了分割，并且可以允许附加内容被显示在如本文所提供的附加界面部分上。因此，在这种情况下，不是控制器120分开界面，而是由控制器120提供的存储在设备112上且与其通信的应用程序分开界面。

控制器120与设备112通信并检测屏幕的尺寸、形状和配置以及其笛卡尔表T或T’中的像素，以便以合适的分屏模式调整屏幕的尺寸。根据所使用的设备，不同类型的屏幕需要不同类型的分割。例如，智能手机、平板电脑、膝上型计算机、智能电视具有不同的屏幕尺寸和不同的像素定义，这就需要不同的分屏配置。

转向图27A、图27B、图27C、图27D、图27E和图27F，分别示出了分开的界面116i、116ii、116iii、116iv、116v和116vi的非限制性示例。在该示例中，界面16i被分成方形界面部分116i-a和L形部分116i-b。界面116ii被水平和垂直地分成四个部分116ii-a、116ii-b、116ii-c和116ii-d。界面16iii被水平地分成顶部较大部分116iii-a和底部较窄部分116iii-b。界面116iv被垂直地分成主要部分16iv-a和辅助部分116iv-b，并且还水平地分开，提供次要辅助部分116iv-c。界面116v被垂直和水平地分成四个相等的正方形部分116v-a、116v-b、116v-c和116v-d。界面116vi被水平地分成顶部部分116vi-a、底部部分16vi-b以及两个垂直分开的中间部分116vi-c和116vi-d。

当然，还可以提供具有更多或更少部分的其他配置，这是本领域技术人员将容易理解的。

此外，用户可以切换各个部分显示的内容，换句话说，一个给定部分中显示的内容可以在另一给定部分中显示，反之亦然，其利用了传送到控制器120的输入命令或者由如先前所解释的存储在设备112上的应用程序提供的输入命令。用户还可以选择优选的分割模式配置。控制器120可以向用户提供界面划分配置的选择，且用户的选择被注册在他们的档案30中，使得给定用户的界面划分基于用户的偏好。

在一个实施方式中，用户设备112的广告拦截器将不会阻止辅助部分上的辅助内容(如果需要的话)。在这种情况下，主机服务器(例如图15中的110或122)经由控制器120将其内容发送到用户设备112，这允许内容绕过广告拦截器而在辅助界面部分中显示，因为是控制器120将内容发送到用户设备112，而不是主机服务器(诸如110或122)。当然，在一个实施方式中，这可以由用户配置并且可以被注册在他们的档案130中。

在一个实施方式中，系统用户可以从包括控制器120或另一主机服务器110或122、或数据中心126或CDN 128等的服务器下载或串流视频游戏。在任何情况下，控制器120与用户设备110远程且可操作地通信。在玩游戏期间，控制器120可以执行计算机可实现的步骤：如本文所提供的分开或分割屏幕界面显示，以在如本文所提供的辅助界面部分中运行广告。控制器120还可以停止游戏，暂停当前的玩耍，以将辅助界面中的辅助内容运行到他们的系统中，但是用户的设备屏幕将始终通过网络与服务器连接，使得服务器可以在玩视频游戏期间分割用户的设备屏幕或停止视频游戏以运行广告。

在一个实施方式中，如果用户不具有高速互联网连接并且需要高速互联网连接来例如下载游戏，则控制器120将执行计算机可实现的步骤：与高速互联网连接进行连接以补偿用户的连接。这可以由控制器120自动完成或者根据用户的输入命令请求来完成。因此，系统S1经由控制器120或经由如本文所提供的另一主机服务器来向用户的设备112(PC、平板电脑、智能手机等)提供高速互联网连接，以允许用户在他们的设备112上下载游戏并且当下载完成稍后玩游戏。

在一个实施方式中，控制器120与向其提供高速互联网连接的另一主机服务器连接，并且视频游戏或其他内容在用户的设备112中串流。因此，如果用户不具有高速互联网连接并且它们连接到主机服务器110，控制器120将在其数据库中下载游戏并通过用户设备112串流游戏，从而避免由于互联网连接而导致的延迟时间。控制器120自动地与提供要在设备112上玩的游戏的高速互联网连接进行连接。

当用户的设备112与控制器120连接时，控制器执行计算机可实现的步骤：经由如本文所提供的包括偏好的注册时的用户档案130，检测用户设备112的细节，例如IP、MAC地址、程序观看、屏幕尺寸、屏幕分辨率、像素、型号、制造商、位置和用户。

在一个实施方式中，当用户通过控制器120将内容上传到平台P或控制器120或另一主机服务器110、122或数据中心126时，控制器120在用户档案130中注册内容在存储器M1内的虚拟地图上起源的位置。因此，当另一用户搜索本地内容时，控制器120可以向搜索用户提供本地内容。例如，这可能便于接收本地广告。本地可以意味着在城市的相同区域内、相同的城市、县、州或省或可以由搜索用户经由输入命令来调整的可以在他们的用户档案130内的他们的偏好中注册的其他地理邻近度。在一个实施方式中，当用户上传如本文所提供的内容时，控制器120注册他们的位置，并且搜索用户的位置也由控制器120注册，控制器120可以通过预定的地理邻近度阈值来提供本地搜索结果。

在一个实施方式中，上传用户可以选择另一个领土(而不是他们的物理领土)作为他们的内容位置。

在一个实施方式中，搜索用户可以选择另一个领土(而不是他们的物理领土)作为他们的搜索位置。

现在转向图28，示出了图形用户界面160，控制器120可以将其分成例如第一分开模式配置161或第二分开模式配置162。在配置161中，界面160中所示的主要内容正在主要界面部分161A中显示，辅助内容正在辅助左带部分161B中显示。在配置162中，主要内容正在主要界面部分162A中显示，并且辅助内容正在辅助L带部分162B中显示。控制器20允许在辅助部分161B或162B中串流的广告，同时界面160的主要内容被完整地示出，不被带覆盖，而是简单地被调整大小为界面部分161A或161B。这样，广告可以与正在串流的主要内容同时串流，而不会中断或阻塞(因为其大小已调整)。在一个实施方式中，辅助内容的广告没有声音，并且不会损害主要内容的享受。

因此，本质上，控制器将广告吸收到流视频中，并且因此提供例如用于同时串流的界面模式161或162。

在一个实施方式中，控制器120与广告服务器通信，广告服务器希望在用户欣赏其他内容时将广告串流，而不是停止主要内容或者用广告将主要内容覆盖，控制器将其吸收到单帧(161或162)中以同时串流。

因此，控制器120执行计算机可实现的步骤：阻止主要内容被停止。当与广告服务器通信时，控制器120识别要在视频串流期间运行的广告内容，并且在广告即将出现并最终在广告期间阻止主要内容之前，识别广告时间戳。控制器120允许吸收广告内容并在两个或多个界面部分的分开的界面模式配置中无声地串流广告内容。

图形用户界面或GUI既是托管在服务器上以被显示的程序，又是显示本身。术语“界面”和“GUI”可以互换。界面部分或GUI部分是通过相同屏幕显示的整个GUI的一部分。然而，界面部分本身也是一个单独的GUI。界面显示是通过设备显示器(例如屏幕)显示的界面。界面显示部分是托管单独GUI的视觉框架或界面的一部分。每个界面显示部分显示其自己的GUI(即内容)。内容可以是流、视频、视频游戏或另一种交互式GUI等。本质上，屏幕的视觉显示被分成不同的显示，其具有彼此独立的相应内容，就像是具有各自屏幕的多个设备一样。然而，在这种情况下，可以通过相同屏幕观看多个内容。分开、划分或分割屏幕/界面也可以称为调整屏幕/界面的大小，其中全屏显示的主要内容被调整大小，以变得更小，从而适应具有经由同一屏幕同时显示的相应内容的另外一个或多个界面显示部分。调整大小还包括将给定的界面显示部分放大到由屏幕提供的界面显示的完整尺寸，同时移除其他部分，因此调整大小的部分变成显示其自己的唯一GUI而不是多个GUI的界面显示。当然，调整大小还包括将以全屏(界面显示)运行的主要内容的尺寸减小，以在显示的较小部分中显示，从而允许其他界面显示部分同时运行其他内容。

一般而言并且根据本公开的一个方面，提供了一种用于将辅助内容添加到主要内容以便经由相同的图形用户界面与其同时显示的计算机实现的系统和方法。主要内容和辅助内容由一个或多个远程主机控制器托管。该系统包括用户设备和系统控制器。用户设备与一个或多个远程主机控制器可操作地通信，并且包括用于显示包括同时显示的主要内容和辅助内容的图形用户界面的界面显示。系统控制器与用户显示设备和一个或多个远程主机控制器可操作地通信。系统控制器具有处理器，该处理器具有处理器可执行代码的关联存储器，该处理器可执行代码在被执行时为系统控制器提供“执行计算机可实现的步骤”。系统控制器确定是否正在通过界面显示显示主要内容，选择性地将辅助内容添加到所显示的主要内容以通过界面显示与其同时显示，并允许用户通过用户显示设备输入命令，以调整经由界面显示的辅助内容的显示。添加的步骤包括以下至少之一：将辅助内容叠加在主要内容上、将辅助内容集成到主要内容、以及允许辅助内容位于主要内容之下并透过主要内容可见。

在一个实施方式中，该系统和方法允许将辅助内容视觉表示(例如图像、输入命令图像、图标、包括聊天机器人的界面)添加到主要内容(例如流内容、视频游戏内容、网站等)。辅助内容视觉表示小于主要内容。添加辅助内容视觉表示时，没有调整主要内容的大小。辅助内容视觉表示可以叠加在主要内容上。事实上，辅助内容层可以叠加在主要内容层上。它可以集成在主要内容内(即“被吸收”)，并且它可以位于主要内容之下，即位于主要内容下方并且通过其可见。辅助内容视觉表示允许第三方商家在串流其他内容的同时选择性地做广告并与用户交互。用户可以观看体育赛事，并且可以经由辅助内容视觉表示同时接收广告信息。用户可以打开视觉表示或打开界面，以便与商家进行交易。用户经由输入命令可以通过移除辅助内容视觉表示、调整其大小、分割屏幕和本文将进一步讨论的其他动作来调整辅助内容视觉表示的显示。

参照图29，示出了托管正在经由网络N通信在用户设备212上运行的程序的远程主机控制器(例如，服务器、数据中心等)210。用户设备212包括集成设备控制器(未示出)、用于显示用户界面216的设备显示屏214以及图像捕获设备218。屏幕214和用户界面216定义界面显示。主机控制器210具有处理器可执行代码的关联存储器M2，处理器可执行代码在被执行时允许执行计算机可实现的步骤。这样，主机控制器210允许经由用户界面216串流主要内容220。这样，控制器210是根据本公开的主要内容控制器。该主要内容220可以是视频内容，例如视频游戏、电影，也可以是网站交互界面等。

图1示出了用于向经由用户界面16显示的主要内容220添加并同时显示辅助内容222的系统S2。系统S允许将辅助内容222叠加到主要内容220上和/或将辅助内容222集成到主要内容内。系统S允许将辅助内容222置于主要内容20下方，使得其透过主要内容可见。辅助内容222以包括图像、命令输入图像、图标和/或界面的视觉表示的形式提供。系统S2包括系统控制器224，其具有控制器可执行代码的关联存储器M3，该控制器可执行代码在被执行时允许执行将辅助内容222添加到主要内容220以经由界面216与其同时显示的计算机可实现的步骤。

在一个实施方式中，主控制器224与显示设备212可操作地通信，用于提供要在其上显示的辅助内容222。

在一个实施方式中，系统控制器224经由网络N与另一远程主机控制器(例如第三方服务器226)进行可操作的通信，该另一远程主机控制器与处理器可执行代码的存储器M4相关联，处理器可执行代码在被执行时允许执行计算机可实现的步骤。在一个实施方式中，第三方控制器226是商家控制器。在一个实施方式中，第三方控制器226提供辅助内容222。因此，第三方在本公开的上下文中充当辅助内容控制器226，并且将用于显示的辅助内容222发送到系统控制器224，系统控制器224将用于经由界面显示同时显示的该辅助内容222添加至主要内容220。

在一个实施方式中，主要内容控制器210经由网络通信N与系统控制器224进行可操作的通信。主要内容控制器210可以将主要内容220发送到系统控制器24以供其分析。在一个实施方式中，系统控制器224可以在主要内容直接串流到用户设备212上期间分析主要内容220。在一个实施方式中，系统控制器224可以分析直接在主要内容控制器210上的主要内容220。前述主要内容分析是计算机实现的步骤，包括以下步骤：例如，确定主要内容220是否正在被串流和经由界面显示进行显示、所显示的主要内容的类型、(通过人工智能识别)确定主要内容220的前景和背景、确定主要内容的“空点”，将主要内容分割成上文所提供的部分。在分析主要内容220之后，系统控制器224执行将辅助内容222定位在用户界面216中以与主要内容220同时显示的计算机可实现的步骤。

在一个实施方式中，远程主机控制器210是系统控制器，并且提供主要内容220和辅助内容222。在一个实施方式中，系统控制器210经由网络通信N与辅助内容控制器226可操作地通信，用于从其接收要发送到用户设备212的辅助内容，如先前所解释的。

在一个实施方式中，系统控制器包括一个或多个控制器的组件228，例如但不限于经由网络通信的各种相互操作的通信链路中的控制器210、224和226，这在上面进行了解释的并且可以被本领域技术人员所设想。应当注意，在整个公开内容中，经过必要的修改，本文中的术语“系统控制器224”可由“系统控制器组件228”和/或“系统控制器210”替代。

事实上，在本公开的上下文中可以设想各种控制器组合和组件。因此，系统控制器224只是系统S2的系统控制器的一个非限制性示例。

在一个实施方式中，主要内容220由主要内容控制器210提供，辅助内容222由辅助内容控制器226提供，其中系统控制器224允许经由界面216同时显示辅助内容222与主要内容220。

转向图29，辅助内容视觉表示222被示出为叠加在主要内容220上，甚至覆盖主要内容220的一部分。在一个实施方式中，辅助内容视觉表示222是图像、输入命令图像、图标、界面和/或其组合。在一个实施方式中，辅助内容控制器226是商家控制器，并且添加的辅助内容222提供与主要内容220(诸如电影、体育赛事、音乐会、视频游戏等)同时串流的广告。系统控制器224允许广告商在串流主要内容220期间经由诸如小图像、图标或界面之类的视觉表示进行广告。

系统控制器224执行计算机可实现的步骤：允许用户(即，观看者)经由包括通过触摸命令、光标点击、如上所述的眼睛朝向(例如Φ)、语音命令及其组合的辅助内容视觉表示222输入命令。在一个示例中，用户通过对应于相应的输入命令的在一个或多个方向上的手指触摸或对应于另一个相应的输入命令的手指敲击而移动辅助内容图像222。

包括触摸命令、光标点击、眼睛朝向命令、语音命令及其组合的这种类型的输入命令使得辅助内容视觉表示222改变位置、从视图中移除、调整尺寸(例如放大)以便更加可见或变得更小以使主要内容220更加可见、分割界面216(如上所述)、与主要内容220交换位置(即，主要内容变成辅助内容222，并且辅助内容222变成主要内容220)。在一个实施方式中，主要内容220经由输入命令而被暂停，以观看辅助内容222。在一个实施方式中，辅助内容222包括辅助界面，其允许输入命令，例如仔细查看广告物品和进行购买，如本领域已知的那样执行。

转向图30，系统控制器224允许将辅助内容视觉表示222A定位在主要内容220的空部分(即，没有任何前景动作/活动)上。在一个实施方式中，前述是经由人工智能软件计算执行的，允许系统控制器224确定主要内容220的哪个部分没有前景活动或仅包括静态图像。在一个实施方式中，系统控制器224通过AI处理在计算上区分串流的主要内容220的前景部分和背景部分。

在一个实施方式中，如图30所示，系统控制器224允许(由相同的或者不同的辅助内容控制器提供的)多个辅助内容222A和222B与主要内容220一起经由界面216同时显示。

在一个实施方式中，如图30所示，系统控制器224允许显示半透明的辅助内容视觉表示222B，尽管该辅助内容视觉表示222B叠加在主要内容220的一部分上，但并不遮挡该内容(与图29中不同)，因为其是半透明的，并且观看者可以看透图像222B，从而仍然能够看到由图像222B叠加的主要内容220的部分。在一个实施方式中，辅助内容图像22B被显示为位于主要内容220下方。实际上，图像222B位于下方的主要内容220的部分被示出为半透明的，从而表明在其下方存在可被观看的图像222B。

用户输入命令可以将辅助内容视觉表示从作为叠加图像修改为作为下层的图像(如上文所定义)，并将辅助内容视觉表示从作为半透明图像(如图30中的图像22B)修改为不透明的实体图像，其遮挡其覆盖(或叠加在上面)的主要内容220部分，如图29所示的图像222。在一个实施方式中，覆盖/叠加的辅助内容图像222、222B可以经由用户输入命令重新定位到主要内容220的“空点”，类似于图30中的图像222A。

同时显示的辅助内容可以是应用程序图标。例如，在图31中，用户界面216被示出为串流主要内容220A，并且包括应用程序图标形式的辅助内容222C，从而允许用户访问各种应用程序，例如购物应用程序或与内容相关的应用程序或用户偏好的应用程序。在一个实施方式中，作为辅助内容222C出现的应用程序的类型可以经由用户档案输入或由系统控制器224监视和注册的用户设备214的活动来预先确定。

转向图32，示出了显示主要内容220B以及辅助内容222D的界面216。在该示例中，辅助内容图像222D被集成到主要内容220B中。在一个实施方式中，图像222D例如是2-D图像或3-D图像，并且形成背景场景的一部分并且因此混合到主要内容220B中。在一个实施方式中，辅助内容图像222D在视觉上是明显的，以便不混合到主要内容220B中。在一个实施方式中，辅助内容图像222D是静态的。在一个实施方式中，辅助内容图像222D是动态的、例如移动的图像(旋转、调整大小或沿着界面216移动位置)，或者改变颜色和/或纹理的图像。经由用户输入命令(例如触摸、语音、眼睛朝向、光标点击及其组合)，辅助内容图像222D可以被替换为叠加在主要内容220B上的辅助界面图像222E，或者可以打开叠加在主要内容220B上的辅助界面图像222E。在一个实施方式中，多于一个图像222D可以看似集成到主要内容220B中。在一个示例中，用户可以将一个或多个图像222D滑动并放入辅助界面222E中。在一个示例中，图像222D是物品，并且当物品222D被放入其中时，界面222E提供物品信息并允许购买。

系统S2允许访问商家界面的各种画中画(PIP)输入命令图像，包括如本文所提供的分屏。

本文描述的各种特征可以在本公开的上下文内以多种方式组合，以便提供其他实施方式。因此，这些实施方式不是相互排斥的。此外，本文讨论的实施方式不需要包括示出和/或描述的所有特征和元件，因此也可以设想特征的部分组合。此外，还可以设想具有比所描述的实施方式更少的特征的实施方式。应当理解，本公开的应用不限于附图中示出的和上文描述的构造和部件的细节。本公开能够有其他实施方式并且能够以各种方式实践。还应当理解，本文中使用的措辞或术语是为了描述，而不是限制。因此，虽然上文已经通过其非限制性说明性实施方式提供了本公开，但是在不脱离其以及所附权利要求的范围、精神和本质的情况下，可以对其进行改进。

Claims (64)

1.一种计算机实现的系统，其用于基于相对于显示的命令输入图像和图形用户界面的用户观看方向，经由显示在图形用户界面上的命令输入图像来调整用户命令，所述系统包括：

图像捕获设备，用于捕获用户的面部、眼睛和虹膜的实时图像；

控制器，其与图形用户界面和图像捕获设备可操作地通信，所述控制器具有处理器，所述处理器具有处理器可执行代码的关联存储器，所述处理器可执行代码在被执行时向控制器提供“执行计算机可实现的步骤”，所述步骤包括：

-确定在图形用户界面上显示的每个命令输入图像的相应位置；

-从所述图像捕获设备接收用户的面部、眼睛和虹膜的实时捕获的图像；

-将图形用户界面分成其界面部分；

-基于实时捕获的图像实时确定用户的大致眼睛朝向；

-确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；和

-实时确定一个或多个被观看的界面部分是否包含一个或多个命令输入图像；

其中当用户通过命令输入图像中的选定的一个输入用户命令时，处理器可执行代码的执行向控制器提供“执行计算机可实现的步骤”，所述步骤包括：

-实时确定所选择的命令输入图像是否位于一个或多个被观看的界面部分内，或者所选择的命令输入图像是否不位于一个或多个被观看的界面部分内；

-如果所选择的命令输入图像位于一个或多个被观看的界面部分内，则允许用户命令被处理；和

-如果所选择的命令输入图像没有位于一个或多个被观看的界面部分内，则阻止用户命令被处理。

2.根据权利要求1所述的系统，其中用户通过触摸命令经由命令输入图像中的选定的一个来输入用户命令。

3.根据权利要求1所述的系统，其中用户通过点击命令经由命令输入图像中的选定的一个来输入用户命令。

4.根据权利要求1所述的系统，其中所述系统还包括与所述控制器可操作地通信的语音输入装置，其中用户经由语音输入装置通过语音命令经由命令输入图像中的选定的一个输入用户命令。

5.根据权利要求4所述的系统，其中所述存储器包含已注册语音命令的数据库，每个已注册语音命令与命令输入图像中的相应一个相关联，其中处理器可执行代码的执行向所述控制器提供“执行计算机可实现的步骤”，所述步骤包括：

通过语音输入装置接收语音命令；

将语音命令与注册的语音命令进行比较；

确定语音命令和注册的语音命令之间的匹配，其中所述匹配指示命令输入图像中选定的一个。

6.一种用于基于相对于所显示的命令输入图像和图形用户界面的用户观看方向、经由在图形用户界面上显示的命令输入图像来调整用户命令的方法，所述方法包括：

捕获用户的面部、眼睛和虹膜的实时图像；

确定图形用户界面上显示的每个命令输入图像的相应位置；

将图形用户界面分成其界面部分；

基于实时捕获的图像实时确定用户的大致眼睛朝向；

确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；

实时确定一个或多个被观看的界面部分是否包含一个或多个输入图像；

允许用户经由命令输入图像中的选定一个来输入用户命令；

实时确定所选定的命令输入图像是否位于一个或多个被观看的界面部分内，或者所选定的命令输入图像是否不位于一个或多个被观看的界面部分内；

如果所选定的命令输入图像位于一个或多个被观看的界面部分内，则允许用户命令被处理；和

如果所选定的命令输入图像没有位于一个或多个被观看的界面部分内，则阻止用户命令被处理。

7.根据权利要求6所述的方法，还包括使用户通过触摸命令经由命令输入图像中的选定一个来输入用户命令。

8.根据权利要求6所述的方法，还包括使用户通过点击命令经由命令输入图像中的选定一个来输入用户命令。

9.根据权利要求6所述的方法，还包括使用户通过语音命令经由命令输入图像中的选定一个来输入用户命令。

10.根据权利要求9所述的方法，还包括：

捕获语音命令；

将语音命令与存储在数据库内的注册语音命令进行比较；

确定语音命令和注册的语音命令之间的匹配，其中所述匹配指示命令输入图像中选定的一个。

11.一种用于基于相对于图形用户界面的用户观看方向来调整显示在图形用户界面上并且可在其上移动的命令输入图像的位置的计算机实现的系统，所述系统包括：

图像捕获设备，其用于捕获用户的面部、眼睛和虹膜的实时图像；

控制器，其与图形用户界面和图像捕获设备可操作地通信，所述控制器具有处理器，所述处理器具有处理器可执行代码的关联存储器，处理器可执行代码在被执行时向控制器提供“执行计算机可实现的步骤”，所述步骤包括：

-确定在图形用户界面上显示的可移动的命令输入图像的第一位置；

-从图像捕获设备接收用户的面部、眼睛和虹膜的实时捕获的图像；

-将图形用户界面分成其界面部分；

-基于实时捕获的图像实时确定用户的大致眼睛朝向；

-确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；和

-将可移动的命令输入图像从图形用户界面上的第一位置移动到第二位置，其中第二位置位于一个或多个实时被观看的界面部分处。

12.根据权利要求11所述的系统，其中可移动的命令输入图像允许输入一个或多个用户命令。

13.根据权利要求11所述的系统，其中可移动的命令输入图像被选择性地呈现为在图形用户界面上不可见，尽管其由用户输入命令呈现。

14.根据权利要求11所述的系统，其中可移动的命令输入图像由用户输入命令选择性地激活为可移动的，并且由用户输入命令选择性地停用为不可移动的。

15.根据权利要求14所述的系统，其中用于激活可移动的命令输入图像的用户输入命令选自由触摸屏命令、语音命令、点击命令、控制台命令、键盘命令和其任意组合组成的组。

16.根据权利要求14所述的系统，其中用于停用可移动的命令输入图像的用户输入命令选自由触摸屏命令、语音命令、点击命令、控制台命令、键盘命令和其任意组合组成的组。

17.根据权利要求14所述的系统，其中用于激活可移动的命令输入图像的用户输入命令包括用户观看方向命令，其中处理器可执行代码的执行向控制器提供“执行计算机可实现的步骤”，所述步骤包括：

-确定命令输入图像位于初始位置的界面部分，从而确定初始界面部分；

-基于实时捕获的图像实时确定用户的大致眼睛朝向；

-确定所确定的大致眼睛朝向和初始界面部分之间的实时相关性，从而确定用户的观看方向是否指向初始界面部分；和

-基于存储在存储器中的预定时间帧来激活输入命令图像，在该预定时间帧期间用户观看方向指向初始界面部分。

18.一种用于基于相对于图形用户界面的用户观看方向来调整显示在图形用户界面上并且可在其上移动的命令输入图像的位置的方法，所述方法包括：

捕获用户的面部、眼睛和虹膜的实时图像；

确定在图形用户界面上显示的可移动的命令输入图像的第一位置；

将图形用户界面分成其界面部分；

基于实时捕获的图像实时确定用户的大致眼睛朝向；

确定所确定的大致眼睛朝向和一个或多个界面部分之间的实时相关性，从而确定用户的观看方向和一个或多个实时被观看的界面部分；和

将可移动的命令输入图像从图形用户界面上的第一位置移动到第二位置，其中第二位置位于一个或多个实时被观看的界面部分处。

19.根据权利要求18所述的方法，其中可移动的命令输入图像允许输入一个或多个用户命令。

20.根据权利要求18所述的方法，其中可移动的命令输入图像被选择性地呈现为在图形用户界面上不可见，尽管其由用户输入命令呈现。

21.根据权利要求18所述的方法，其中可移动的命令输入图像由用户输入命令选择性地激活为可移动的，并且由用户输入命令选择性地停用为不可移动的。

22.根据权利要求21所述的方法，其中用于激活可移动的命令输入图像的用户输入命令选自由触摸屏命令、语音命令、点击命令、控制台命令、键盘命令和其任意组合组成的组。

23.根据权利要求21所述的方法，其中用于停用可移动的命令输入图像的用户输入命令选自由触摸屏命令、语音命令、点击命令、控制台命令、键盘命令和其任意组合组成的组。

24.根据权利要求21所述的方法，其中用于激活可移动的命令输入图像的用户输入命令包括用户观看方向命令，所述方法还包括：

确定其中命令输入图像位于初始位置的界面部分，从而确定初始界面部分；

基于实时捕获的图像实时确定用户的大致眼睛朝向；

确定所确定的大致眼睛朝向和初始界面部分之间的实时相关性，从而确定用户的观看方向是否指向初始界面部分；和

基于存储在存储器中的预定时间帧来激活输入命令图像，在该预定时间帧期间用户观看方向指向初始界面部分。

25.一种用于经由相同显示器同时显示多个图形用户界面的系统，其中所述多个图形用户界面由一个或多个远程主机控制器托管，所述系统包括：

用户设备，其与一个或多个远程主机控制器可操作地通信，并且包括用于显示多个图形用户界面中的一个或多个的界面显示；

系统控制器，其与用户显示设备可操作地通信，所述系统控制器具有处理器，所述处理器具有处理器可执行代码的关联存储器，处理器可执行代码在被执行时向控制器提供“执行计算机可实现的步骤”，所述步骤包括：

-将界面显示分成两个或多个界面显示部分；和

-选择性地允许经由两个或多个界面显示部分中的相应部分同时显示两个或多个图形用户界面。

26.根据权利要求25所述的系统，其中分开步骤由所述系统控制器自动执行。

27.根据权利要求25所述的系统，其中分开步骤包括：所述控制器允许用户经由用户显示设备输入用于分开界面显示的命令。

28.根据权利要求25所述的系统，其中分开步骤包括所述系统控制器提供要存储在用户显示设备中的应用程序，用于将界面显示分为两个或多个界面显示部分，其中所述系统控制器执行计算机可实现的步骤：检测界面显示部分已经被分开。

29.根据权利要求25所述的系统，其中计算机可实现的步骤进一步包括：

-将两个或多个界面显示部分之一的大小调整为界面显示的完整尺寸，并且移除两个或多个界面显示部分中的剩余的界面显示部分。

30.根据权利要求29所述的系统，其中调整大小的步骤由系统控制器自动地执行。

31.根据权利要求29所述的系统，其中调整大小的步骤包括：系统控制器允许用户经由用户显示设备输入命令，以将两个或多个界面显示部分之一的大小调整为界面显示的全尺寸，并去除两个或多个界面显示部分中的剩余界面显示部分。

32.根据权利要求29所述的系统，其中调整大小的步骤包括：系统控制器提供要存储在用户显示设备中的应用程序，用于将两个或多个界面显示部分之一的大小调整为界面显示的完整尺寸，并且去除两个或多个界面显示部分中的剩余界面显示部分，其中控制器执行检测界面显示部分已经被分开的计算机可实现的步骤。

33.根据权利要求25所述的系统，其中计算机可实现的步骤进一步包括：

-在分开步骤之前提供界面显示，以显示主图形用户界面；和

-在分开步骤期间调整主图形用户界面的大小，减小其尺寸以适合两个或多个界面显示部分中的一个，从而提供继续被显示的主图形用户界面。

34.根据权利要求25所述的系统，其中计算机可实现的步骤进一步包括：

-选择性地允许仅来自两个或多个图形用户界面中的一个的声音经由显示设备发出。

35.根据权利要求25所述的系统，其中两个或多个图形用户界面选自由以下各项组成的组：视频内容、媒体内容、视频游戏内容、网页、广告网页、电子购物网页、电子银行网页、金融交易页面、浏览器页面、计算机应用程序、交互式网页、网站、社交网络、电信应用程序、视频会议应用程序及其任何组合。

36.根据权利要求25所述的系统，其中两个或多个图形用户界面中的一个包括主要内容，并且两个或多个图形用户界面中的另一个包括辅助内容。

37.根据权利要求36所述的系统，其中计算机可实现的步骤进一步包括：

-提供与主要内容的主题相关的辅助内容的主题。

38.根据权利要求36所述的系统，其中计算机可实现的步骤进一步包括：

-选择性地阻止广告拦截器拦截辅助内容中的广告内容。

39.根据权利要求25所述的系统，其中计算机可实现的步骤进一步包括：

-提供两个或多个图形用户界面中的一个或多个，以包括从靠近用户显示设备的地理位置的地理位置上传的内容。

40.根据权利要求25所述的系统，其中两个或多个图形用户界面中的一个包括由具有在系统控制器的存储器中注册的用户档案的用户上传的主要内容，以及两个或多个图形用户界面中的另一个包括广告内容和购物内容，其中购物内容允许设备用户购买商品和/或服务，其中计算机可实现的步骤还包括：

-与托管广告内容和购物内容的远程主机控制器通信，以检测是否已进行购买；

-确定上传了与广告内容和购物内容同时显示的主要内容的用户；和

-向确定的用户提供奖励。

41.根据权利要求35所述的系统，其中计算机可实现的步骤进一步包括：

-在系统控制器的存储器中提供用户档案；

-使系统用户通过显示设备在用户档案中输入命令，以注册用户偏好。

42.根据权利要求41所述的系统，其中计算机可实现的步骤进一步包括：

-根据用户偏好分开界面显示。

43.根据权利要求41所述的系统，其中计算机可实现的步骤进一步包括：

-基于用户偏好，选择性地允许同时显示两个或多个图形用户界面。

44.一种用于经由相同显示器同时显示多个图形用户界面的方法，其中所述多个图形用户界面由一个或多个远程主机控制器托管，所述方法包括：

提供用于显示多个图形用户界面中的一个或多个的界面显示；

将界面显示分成两个或多个界面显示部分；和

选择性地允许经由两个或多个界面显示部分中的相应部分同时显示两个或多个图形用户界面。

45.一种用于将辅助内容添加到主要内容以便经由相同的图形用户界面与其同时显示的系统，其中主要内容和辅助内容由一个或多个远程主机控制器托管，所述系统包括：

用户设备，其与一个或多个远程主机控制器可操作地通信，并且包括用于显示包括同时显示的主要内容和辅助内容的图形用户界面的界面显示；

系统控制器，其与用户显示设备和一个或多个远程主机控制器可操作地通信，所述系统控制器具有处理器，所述处理器具有处理器可执行代码的关联存储器，处理器可执行代码在被执行时向系统控制器提供“执行计算机可实现的步骤”，所述步骤包括：

-确定是否主要内容正在经由界面显示而显示；

-将辅助内容选择性地添加至被显示的主要内容以经由界面显示与其同时显示，其中添加的步骤包括以下至少之一：将辅助内容叠加在主要内容上；将辅助内容整合到主要内容中；以及允许辅助内容位于主要内容之下并通过其可见；和

-允许用户经由用户显示设备输入命令，以调整经由界面显示的辅助内容的显示。

46.根据权利要求45所述的系统，其中计算机可实现的步骤进一步包括：

-将辅助内容定位在主要内容的选定部分上。

47.根据权利要求46所述的系统，其中选定的部分包括主要内容的背景或主要内容的没有前景活动的区域。

48.根据权利要求45所述的系统，其中辅助内容包括选自由图像、输入命令图像、应用程序图标、界面及其任意组合组成的组的视觉表示。

49.根据权利要求45所述的系统，其中辅助内容的尺寸小于主要内容。

50.根据权利要求45所述的系统，其中提供了将辅助内容选择性地添加至主要内容而不调整主要内容的大小。

51.根据权利要求45所述的系统，其中当辅助内容叠加在主要内容的一部分上时，辅助内容覆盖并遮蔽该部分。

52.根据权利要求45所述的系统，其中辅助内容被叠加在主要内容的一部分上，所述辅助内容是半透明的，使得该部分透过其可见。

53.根据权利要求45所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：从主要内容中移除辅助内容。

54.根据权利要求45所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：将辅助内容重新定位在主要内容上。

55.根据权利要求45所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：将图形用户界面分割成经由界面显示同时并排显示的两个子图形用户界面，其中所述两个子图形用户界面中的一个包括主要内容，并且两个子图形用户界面中的另一个包括辅助内容。

56.根据权利要求45所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：切换主要内容与辅助内容。

57.根据权利要求51所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：将辅助内容从覆盖和遮蔽所述部分转变为半透明的，并且使得所述部分透过其可见。

58.根据权利要求52所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：将辅助内容从半透明变换为不透明，以覆盖和遮蔽所述部分。

59.根据权利要求45所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：调整辅助内容的大小。

60.根据权利要求45所述的系统，其中调整辅助内容的显示的计算机可实现的步骤包括：替换主要内容。

61.根据权利要求45所述的系统，其中辅助内容包括托管在远程主机控制器的相应一个上的一个或多个辅助内容视觉表示。

62.根据权利要求45所述的系统，其中一个或多个远程主机控制器中的一个托管主要内容，并且一个或多个主机控制器中的另一个托管辅助内容。

63.一种用于将辅助内容添加到主要内容以便经由相同图形用户界面与其同时显示的计算机可实现的方法，所述方法包括：

提供界面显示，用于显示包含同时显示的主要内容和辅助内容的图形用户界面；

确定是否主要内容正在经由界面显示被显示；

将辅助内容选择性地添加至显示的主要内容，以经由界面显示与其同时显示，其中添加的步骤包括以下至少之一：将辅助内容叠加在主要内容上；将辅助内容整合到主要内容中；以及允许辅助内容位于主要内容之下并透过其可见；和

允许用户输入计算机可实现的命令，以调整经由界面显示的辅助内容的显示。

64.根据权利要求63所述的计算机可实现的方法，其中调整辅助内容的显示包括选自由以下各项组成的组的计算机可实现的步骤：

从主要内容中移除辅助内容；

将辅助内容重新定位在主要内容上；

切换主要内容与辅助内容；

用辅助内容替换主要内容；

调整辅助内容的大小；

将图形用户界面分割成经由界面显示同时并列显示的两个子图形用户界面，其中两个子图形用户界面中的一个包括主要内容，并且两个子图形用户界面中的另一个包括辅助内容；

将辅助内容从覆盖并遮蔽由此被叠加的主要内容的一部分的视觉表示转变为半透明，并且使得该部分透过其可见；

将辅助内容从半透明转变为不透明。