CN111868673B - 增加用户界面中的可发现性的系统和方法 - Google Patents

增加用户界面中的可发现性的系统和方法 Download PDF

Info

Publication number
CN111868673B
CN111868673B CN201880091317.7A CN201880091317A CN111868673B CN 111868673 B CN111868673 B CN 111868673B CN 201880091317 A CN201880091317 A CN 201880091317A CN 111868673 B CN111868673 B CN 111868673B
Authority
CN
China
Prior art keywords
user interface
user
selectable
interface element
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880091317.7A
Other languages
English (en)
Other versions
CN111868673A (zh
Inventor
T.万特兰德
K.佩德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111868673A publication Critical patent/CN111868673A/zh
Application granted granted Critical
Publication of CN111868673B publication Critical patent/CN111868673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本公开提供了用以提高可选择的用户界面元素的可发现性的系统和方法。具体而言，在一些实施方式中，本公开提供了智能地识别可选择的用户界面元素(例如，基于对用户界面内容的智能理解)并可视地修改这样的可选择的用户界面元素中的一个或多个以向用户指示它们是可选择的计算设备。可视修改可以突出显示或以其他方式将注意力吸引到(多个)用户界面元素，从而提高它们的可发现性。

Description

增加用户界面中的可发现性的系统和方法
技术领域
本公开总体上涉及用户界面。更具体地，本公开涉及基于例如用户对象相对于显示器的位置来智能识别和突出显示用户可选择的用户界面元素。
背景技术
计算设备(例如，智能手机)可以提供(例如，在显示屏上显示)使计算设备能够与用户交互(包括例如，从用户接收命令、向用户提供(例如，显示)信息、和/或其他功能)的用户界面。
在任何给定的时间点，用户界面可以包括多个不同的用户界面元素。作为示例，用户界面元素可以包括图标、按钮、文本元素、内容项、图片(例如，经由相机实时捕捉的图片和/或先前捕捉的图片)、横幅、标题、标头、输入域、窗口、菜单、控件、图形等。
在一些实例中，用户界面中的用户界面元素中的一些或全部可以由用户选择。作为一个示例，特定用户界面元素可以对应于实体(例如，位置、兴趣点、人、对象等)，并且用户可以选择特定用户界面元素以接收关于实体的附加信息。在其他示例中，各种其他动作可以通过用户对用户界面元素的选择而触发或者根据用户对用户界面元素的选择而产生。作为又一示例，在一些实例中，用户可以通过在显示被显示在触敏显示屏上的用户界面元素的位置处触摸或轻敲该显示屏来选择该用户界面元素。
然而，在一些实例中，哪些用户界面元素是可选择的对于用户来说可能不是显而易见的。作为一个示例，用户界面元素可以被统一呈现，而不管它们是否是可选择的。作为另一个示例，某种类型的用户界面元素可能在传统上不是可选择的，并且在没有向用户指示该类型的特定元素是可选择的情况下，用户将假设这样的特定元素不是可选择的。因此，事实上，用户可能期望触发将根据用户界面元素的选择而产生的特定动作，但没有意识到用户界面元素是可选择的。
在一个特定示例中，由计算设备提供的用户界面可以包括食物菜肴的图片，并且用户对图片的选择(例如，经由触摸输入)将使得由计算设备执行进一步的动作(例如，检索和存储烹饪该食物菜肴的食谱，使得用户稍后可以查看该食谱)。事实上，用户可能对以后烹饪该菜肴感兴趣，因此会很高兴有机会接收和存储该食谱。然而，如果用户没有意识到这样的动作经由用户界面元素的选择是可用的，那么满足用户的期望的机会将不会实现。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。
本公开的一个示例方面涉及一种计算设备。该计算设备包括一个或多个处理器、显示器以及共同存储指令的一个或多个非暂时性计算机可读介质，当该指令由一个或多个处理器执行时，使得该计算设备执行操作。该操作包括提供用于在显示器上呈现的包括多个用户界面元素的用户界面。该操作包括识别用户界面元素中可由计算设备的用户选择的一个或多个用户界面元素。该操作包括可视地修改一个或多个可选择的用户界面元素中的至少第一用户界面元素以具有闪烁外观，其中在该闪烁外观中第一用户界面元素看起来反射光。
本公开的另一个示例方面涉及一种计算机实施的方法。该方法包括由一个或多个计算设备提供用于在显示器上呈现的包括多个用户界面元素的用户界面。该方法包括由一个或多个计算设备识别用户界面元素中可由用户选择的一个或多个用户界面元素。该方法包括由一个或多个计算设备确定用户对象相对于显示器的对象位置。用户对象是位于显示器附近但没有物理地触摸显示器的手指或触笔。该方法包括由一个或多个计算设备确定用户对象的对象位置是否对应于可由用户选择的一个或多个用户界面元素中的一个。该方法包括，当对象位置对应于一个或多个可选择的用户界面元素中的第一用户界面元素时，由一个或多个计算设备可视地修改第一用户界面元素，以可视地突出显示第一用户界面元素。
本公开的另一个示例方面涉及一种装置。该装置被配置为提供用于在显示器上呈现的包括多个用户界面元素的用户界面。该装置被配置为识别用户界面元素中可由用户选择的一个或多个用户界面元素。该装置被配置为根据位于显示器附近但没有物理地触摸显示器的手指或触笔的位置来修改可选择的用户界面元素的显示。
本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些以及其他特征、方面和优点。结合在本说明书中并构成其一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
参考附图，在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：
图1描绘了根据本公开的示例实施例的示例计算系统的框图。
图2描绘了根据本公开的示例实施例的增加可选择的用户界面元素的可发现性的示例方法的流程图。
图3A和图3B描绘了根据本公开的示例实施例的基于示例计算设备的方位的示例用户界面元素的示例修改。
图4A和图4B描绘了根据本公开的示例实施例的基于示例计算设备相对于示例用户对象的方位的示例用户界面元素的示例修改。
图5描绘了根据本公开的示例实施例的增加可选择的用户界面元素的可发现性的示例方法的流程图。
图6A-图6D描绘了根据本公开的示例实施例的基于示例用户对象相对于用户界面元素的位置的示例用户界面元素的示例修改。
具体实施方式
本公开的示例方面涉及提高可选择的用户界面元素的可发现性的系统和方法。具体而言，在一些实施方式中，本公开提供了智能识别可选择的用户界面元素(例如，基于对用户界面内容的智能理解)并且可视地修改这样的可选择的用户界面元素中的一个或多个以向用户指示它们是可选择的计算设备。可视修改可以突出显示或以其他方式将注意力吸引到(多个)用户界面元素，从而提高它们的可发现性。此外，这可以在无需一直突出显示或以其他方式将注意力吸引到(多个)用户界面元素的情况下实现，从而除了在提供突出显示等时，(多个)用户界面元素的可读性等不会受到负面影响。例如，在一些实施方式中，当计算设备处于正常阅读位置时，可以在没有任何突出显示的情况下提供(多个)用户界面元素，由此用户可以消费显示在显示器上的内容，而他们的体验不受突出显示的影响，以及当计算设备从正常阅读位置向侧面倾斜时，计算设备可以在突出显示的情况下提供(多个)用户界面元素，由此用户可以在他们不太关注消费显示在显示器上的内容时识别(多个)可选择的用户界面元素。
此外，在一些实施方式中，计算设备可以基于或根据用户对象(例如，手指、触笔、面部等)相对于设备的显示器的位置和/或设备的方位(例如，相对于地面的方位和/或相对于用户对象的方位)来可视地修改用户界面元素。用户界面元素的一个示例可视修改可以包括可视地修改用户界面元素以具有闪烁外观，其中在该闪烁外观中用户界面元素看起来反射光。例如，可以基于或根据用户对象相对于设备的显示器的位置和/或设备的方位来实时更新光看起来被反射的反射位置。通过根据用户对象相对于设备的显示器的位置和/或设备的方位来改变反射位置，可以提供移动的效果。这有助于将用户的注意力集中在用户界面元素上，因为比起相对静止的图像，人类更容易注意到移动。这允许在对用户界面元素的静态内容的适应相对少的情况下将用户的注意力吸引到用户界面元素，从而允许对于给定量的用户对用户界面元素的注意力的吸引，用户更容易地查看/消费用户界面元素的静态内容。
因此，根据本公开的各方面，计算设备可以智能辨识设备屏幕上与一个或多个实体相关的内容，并且可以通知用户对应于这样的内容的用户界面元素是可选择的，以触发附加动作(例如，搜索、存储和/或通信传达与对应实体相关联的信息)。在一个特定示例中，由计算设备从用户的联系人接收的文本消息可以包括该联系人烹饪的食物菜肴的图片。计算设备的智能层可以在图片呈现在用户界面内时自动地辨识该食物菜肴并确定附加信息(例如，食物菜肴的食谱)可以被访问、存储、通信传达等。计算设备可以可视地修改食物菜肴的图片(例如，具有闪烁外观)，使得用户发现选择图片以使得访问、存储或通信传达信息(例如，食谱)的能力。以这种方式，可以增加用户对智能内容辨识和信息提供系统的访问和使用，从而增强用户满意度。此外，由于可以以这种方式简化用户对信息的访问，所以可以减少跨多个不同应用的冗余请求、查询、搜索或其他动作的数量，从而节省计算和网络资源。
更具体地，计算设备可以提供用于在显示器上呈现的包括多个用户界面元素的用户界面。例如，用户界面可以是由计算设备的应用生成的用户界面。作为示例，用户界面元素可以包括图标、按钮、文本元素、内容项、图片(例如，经由相机实时捕捉的图片和/或先前捕捉的图片)、横幅、标题、标头、输入域、窗口、菜单、控件、图形等。
作为一个示例用户界面，网络浏览器应用可以提供包括网页的用户界面，该网页包括多个用户界面元素。作为另一个示例，文本消息发送应用可以提供包括发送和/或接收到一个或多个联系人的文本消息的用户界面。作为又一个示例，相机应用可以提供描绘计算设备的相机的视场的用户界面。也可以提供许多其他且不同的用户界面。
根据本公开的另一方面，计算设备可以识别用户界面元素中可由计算设备的用户选择的一个或多个用户界面元素。例如，在一些实施方式中，计算设备可以包括用户界面管理器。在一些实施方式中，用户界面管理器可以与生成用户界面的任何组件(例如，应用)分离。用户界面管理器可以连续或周期性地分析计算设备当前显示或将要显示的用户界面，以识别可由或应该可由计算设备的用户选择的用户界面元素。
根据本公开的一方面，在一些实施方式中，识别可选择的用户界面元素中的一个或多个可以包括采用人工智能层来辨识用户界面内的实体。更具体地，在一些实施方式中，计算设备可以包括自动且智能地识别用户界面内对应于某些实体的用户界面元素(例如，某些内容项)的人工智能层。作为示例，实体可以包括位置、兴趣点、人、对象、产品(例如，服装制品、食品等)、品牌、节目内容(例如，电影)、乐队、事件、和/或其他人、地方或事物。
在一些实施方式中，人工智能层可以执行移动视觉技术以辨识被包括在用户界面中的图像中的实体，和/或执行文本辨识技术以辨识被包括在用户界面中的文本中的实体。在一些实施方式中，人工智能层可以包括一个或多个机器学习模型。作为示例，机器学习模型可以包括机器学习图像辨识模型、机器学习对象检测或辨识模型、机器学习面部检测或辨识模型、机器学习文本辨识模型和/或对辨识和理解被包括在用户界面内容中的实体有用的各种其他类型的机器学习模型。
为了提供上述概念的示例，网络浏览器应用可以提供包括网页(诸如例如，时尚杂志网页)的用户界面。用户界面管理器可以处理和管理用户界面在显示器内的呈现，包括分析用户界面以识别可由或应该可由用户选择的用户界面元素。具体而言，人工智能层可以扫描时尚杂志网页以识别对应于实体的任何内容。例如，人工智能层可以使用机器学习对象辨识模型来辨识在时尚杂志网页中描绘的某些服装制品(例如，由特定品牌制造的特定型号的手表)。用户界面管理器可以识别与所辨识的服装制品(例如，手表)相对应的用户界面元素(例如，包括手表的图片)，并且可以在时尚杂志网页呈现在用户界面中时，使得所识别的用户界面元素(例如，手表的图片或其包括手表的一部分)可由用户选择。例如，如下面将进一步描述的，选择对应于手表的用户界面元素可以导致计算设备执行各种动作，诸如例如存储关于手表的信息、将用户重定向到使得能够购买手表的购物网页、将手表钉在用户的风格板上和/或各种其他动作。
在一些实施方式中，识别可选择的用户界面元素可以包括生成用于在用户界面内呈现的附加用户界面元素和/或将某个用户界面元素变换为多个用户界面元素。为了继续上面的示例，一旦已经在被包括在时尚杂志网页中的图片中辨识出手表，如果先前不存在与图片包括手表的一部分相对应的附加用户界面元素，则计算设备可以生成这样的用户界面元素。因此，可以使用新的和/或修改的用户界面元素来使得用户能够选择被包括在更大的实体组(例如，在被包括在时尚杂志网页中的图片中辨识的六种不同的服装制品)中的某些特定实体(例如，手表)。
在一些实施方式中，识别可选择的用户界面元素可以包括访问与用户界面元素相关联的属性或参数。例如，在一些实例中，生成用户界面的组件(例如，应用)可以为被包括在用户界面中的每个用户界面元素提供属性或参数数据，包括例如指示每个用户界面元素是否可选择的数据。因此，用户界面管理器可以访问或读取该数据，以识别哪些用户界面元素是可选择的。
根据本公开的另一方面，计算设备可以可视地修改一个或多个可选择的用户界面元素中的至少第一用户界面元素。作为示例，在一些实施方式中，可由用户选择的所有用户界面元素都可以被可视地修改。在其他实施方式中，仅可选择的用户界面元素的子集可以被可视地修改(例如，基于如下所述的各种上下文数据)。
在一些实施方式中，一旦元素被加载到用户界面内(例如，一旦应用、网页等被显示加载)，计算设备就可以可视地修改一个或多个用户界面元素。在其他实施方式中，计算设备可以等到一些事件发生(诸如例如，当用户调用键盘时，当用户执行滚动动作时，当用户到达当前界面或页面的结尾时，和/或其他动作或事件)才可视地修改一个或多个用户界面元素。
根据本公开的一方面，计算设备可以执行的一个示例可视修改是可视地修改用户界面元素以具有闪烁外观，其中在该闪烁外观中用户界面元素看起来反射光。例如，闪烁外观可以可视地模仿从手表表面、水体或其他反射物品反射的太阳的外观。可视地修改用户界面元素以具有闪烁外观可以将用户的注意力吸引到用户界面元素以及它是可选择的这一事实上。
另一示例可视修改包括勾勒用户界面元素的轮廓。另一示例可视修改包括改变用户界面元素的颜色。另一示例可视修改包括通过增亮用户界面元素和/或用户界面元素周围的区域来突出显示用户界面元素。例如，用户界面元素上和/或周围的突出显示的颜色的闪光、阴影和/或纹理可以指示用户界面元素是可选择的。
根据本公开的另一方面，在一些实施方式中，可视修改可以基于设备的方位。例如，可视修改可以响应于设备的方位的改变而改变。
作为一个示例，设备的方位可以是相对于重力方向(例如，朝地面的方向)的方位。例如，在一些实施方式中，计算设备可以包括陀螺仪。陀螺仪可以提供指示设备相对于重力方向的方位的数据。陀螺仪可以包括一个或多个移动(例如，旋转)组件，或者可以仅包括静态组件。作为一个示例，陀螺仪可以包括加速度计的布置(例如，布置为在三个维度检测加速度的三个或更多个加速度计)。
作为另一个示例，设备的方位可以是相对于用户对象的方位。用户对象可以位于相对于设备的多个不同位置。作为一个示例，在一些实例中，用户对象可以悬停在显示器上方。也就是说，用户对象可以被放置在显示器附近，但是不物理地触摸显示器。
例如，用户对象可以是与用户相关联的手指或触笔。例如，手指或触笔可以位于相对于计算设备的显示器的多个不同位置，包括例如如上所述悬停在显示器上方。在一些实施方式中，计算设备可以包括RADAR感测系统。计算设备可以使用RADAR感测系统来确定用户对象(例如，手指或触笔)的对象位置。计算设备可以基于所确定的对象位置来确定计算设备相对于用户对象的方位。当这样的方位改变时，用户界面元素的可视修改可以被修改(例如，实时地)。
在另一个示例中，用户对象可以是用户的面部。在一些实施方式中，计算设备可以包括一个或多个相机。计算设备可以基于由一个或多个相机捕捉的图像来确定用户面部的面部位置。计算设备可以基于所确定的面部位置来确定计算设备相对于用户面部的方位。当这样的方位改变时，用户界面元素的可视修改可以被修改(例如，实时地)。
作为一个示例，基于设备的方位来可视地修改用户界面元素可以包括，对于具有闪烁外观的用户界面元素，至少部分基于显示器相对于用户对象的对象位置的方位来改变用户界面元素看起来反射光的反射位置。因此，在一个示例中，当设备的方位改变(例如，由于用户倾斜设备和/或在显示器周围移动她的手指)时，反射位置可以被更新，进一步给出用户界面元素闪烁发光的外观。
作为另一个示例，基于方位来可视地修改用户界面元素可以包括在某些方位而不是在其他方位可视地修改用户界面元素。因此，在一个示例中，如果用户将设备向右或向左倾斜，则用户界面对象可以被可视地修改，而如果用户将设备保持在中性(neutral)方位，则用户界面对象不被可视地修改。
在一些实施方式中，可视修改本质上可以只是暂时的。在一个示例中，一旦用户界面(例如，网页)加载，计算设备就可以短暂地(例如，一秒半)可视地修改可选择的用户界面元素(例如，辨识的产品)，然后将元素返回到中性或正常状态。这可以向用户提供哪些元素是可选择的快速指示，而不会过度破坏用户体验。
在一些实施方式中，用于用户界面元素的特定类型的可视修改可以基于或根据与这样的用户界面元素相关联的内容类型。例如，可以以第一方式修改文本元素，同时可以以第二、不同的方式修改图片或图形元素。
根据本公开的另一方面，在一些实施方式中，可视修改可以基于用户对象对计算设备的显示器的位置。作为一个示例，当用户对象悬停在用户界面元素上方时，计算设备可以可视地修改可选择的用户界面元素。因此，例如，用户可以使用她的手指悬停在设备的显示器上方。当用户的手指位于可选择的用户界面元素上方(或在其一定距离内)时，计算设备可以可视地修改这样的用户界面元素(例如，使用本文描述的可视修改中的一个或多个的任何组合)。
因此，用户可以将她的手指悬停在显示屏上方，并将她的手指移动到不同的位置以发现(例如，经由用户界面元素的最终可视修改)哪些用户界面元素是可选择的。用户对象(例如，手指)相对于显示屏的位置可以以多种方式被识别，包括例如使用相机和/或如本文其他地方描述的RADAR感测系统。
在一些实例中，计算设备可以接收来自选择用户界面元素(例如，正在被可视地修改的用户界面元素)的用户对象的用户输入(例如，用户触摸输入)。例如，触摸或轻敲输入可以用于选择用户界面元素。
在一些实施方式中，响应于用户输入，计算设备可以提供用于在显示器上呈现的第二用户界面。例如，第二用户界面可以使得用户能够对与所选择的用户界面元素相关联的信息进行搜索、存储以用于以后检索、或者通信传达。
因此，本公开的各方面提供了与各种实体相关联的信息的简化搜索、存储和检索。具体而言，当与本文描述的人工智能层组合时，本公开提供了一种整体系统，该系统自动且智能地识别用户界面内对应于某些实体的内容，并且使用本文描述的可视修改技术，主动地提醒用户关于选择与这样的内容/实体相对应的用户界面元素以执行高级信息处理过程的能力。
本公开的系统和方法提供了多个技术效果和益处。作为一个示例，技术效果和益处，通过简化信息存储和检索过程，可以减少跨多个不同应用的冗余请求、查询、搜索或其他动作的数量，从而节省计算和网络资源。具体而言，继续针对时尚杂志网页的以上示例，如果用户对购买手表感兴趣，则用户可以发现对应于手表的用户界面元素(例如，作为这样的界面元素的可视修改的结果)，并且利用少量输入，接收关于手表的附加信息。这与先前的系统形成对比，在先前的系统中，用户可能需要执行对手表的网络搜索，由于网络搜索的不精确性质和/或用户缺乏手表产品名称的明确知识，这可能包括搜索查询和结果的几次不同迭代。这些冗余和/或无效的搜索增加了网络流量，并且消耗了设备和服务器资源。通过提供简化和可发现的信息检索系统，本公开的系统和方法消除了这样的冗余和/或无效的搜索，因此节省了处理、内存和网络带宽资源。
现在参考附图，将进一步详细讨论本公开的示例实施例。
示例设备和系统
图1描绘了根据本公开的示例实施例的示例计算系统的框图。该系统包括执行本公开的各方面的计算设备102。计算设备102可以通过网络130通信地耦合到服务器计算设备150。
计算设备102可以是任何形式的设备，诸如移动计算设备(例如，智能手机、平板电脑、能够被穿戴的计算设备(例如，嵌入一副眼镜、腕带、项链等中的计算设备)、手持计算设备等)，嵌入车辆、家用电器或其他系统中的计算设备，智能扬声器，膝上型计算机，桌上型计算机，游戏控制台等。
计算设备102包括一个或多个处理器104和存储器106。一个或多个处理器104可以是任何形式的处理设备，包括例如处理单元、微处理器、控制器、微控制器、专用集成电路等。存储器106可以包括任何非暂时性计算机可读介质中的一种或多种，包括例如RAM(例如，DRAM)、ROM(例如，EEPROM)、光学存储装置、磁性存储装置、闪存、固态存储装置、硬盘、或它们的一些组合。存储器106可以存储指令108的一个或多个集合，当该指令108被计算设备102执行时，使得计算设备102执行与本公开一致的操作。
计算设备102还可以包括网络接口118和显示器110。网络接口118可以实现通过网络130的通信。网络接口118可以包括用以提供网络化通信的任何数量的组件(例如，收发器、天线、控制器、卡等)。
显示器110可以包括不同类型的显示组件，诸如例如，发光二极管显示器(例如，有机发光二极管显示器)、液晶显示器(例如，薄膜晶体管液晶显示器)、薄膜二极管显示器等。在一些实施方式中，显示器110也可以是触敏的。例如，显示器110可以是电容式触摸屏、电阻式触摸屏或其他触敏技术。因此，在一些实施方式中，显示器110可以充当或作为触敏组件112。在其他实施方式中，计算设备102可以具有与显示器110分离且不同的附加或替代触敏组件112。例如，触敏组件112可以是触摸板等。
在一些实施方式中，计算设备102还可以包括陀螺仪114。陀螺仪114可以提供指示设备102相对于重力方向(例如，朝地面)的方位的数据。陀螺仪114可以包括一个或多个移动(例如，旋转)组件，或者可以仅包括静态组件。作为一个示例，陀螺仪114可以包括加速度计的布置(例如，布置为在三个维度检测加速度的三个或更多个加速度计)。
在一些实施方式中，计算设备102还可以包括无线电检测和测距(RADAR)感测系统116。计算设备102可以使用RADAR感测系统116来确定用户对象(例如，手指或触笔)的对象位置。例如，RADAR感测系统116可以发射和接收无线电波，以确定计算设备102附近的对象的距离、角度或速度。
在一些实施方式中，RADAR感测系统116可以通过以宽波束发射电磁波来工作。波束内的对象散射这种能量，将一部分反射回RADAR天线。反射信号的属性(诸如能量、时间延迟和频率偏移)捕捉关于对象的特性和动态的丰富信息，包括尺寸、形状、方位、材料、距离和速度。
在一些实施方式中，RADAR感测系统116可以跟踪和辨识由手指和手的精细运动表达的动态手势。为了用单芯片传感器实现这一点，在一些实施方式中，不同于传统的雷达传感器，RADAR感测系统116不需要大带宽和高空间分辨率。具体而言，在一些实施方式中，RADAR感测系统116的基本感测原理可以通过提取接收到的信号随时间的细微改变而依赖于运动分辨率。通过处理这些时间信号变化，RADAR感测系统116可以在其领域内区分复杂的手指移动和变形的手形状。
在一些实施方式中，RADAR感测系统116可以包括超紧凑型8mm×10mm封装的传感器和天线阵列，并且可以在60-GHz ISM频带中进行操作。可以使用的两种示例调制架构是调频连续波(Frequency Modulated Continuous Wave，FMCW)RADAR和直接序列扩频(Direct-Sequence Spread Spectrum，DSSS)RADAR。这两者都可以将整个RADAR系统集成到封装中，包括在没有移动部件的情况下实现3D跟踪和成像的多个波束形成天线。在其他实施方式中，RADAR感测系统116可以具有与上述那些示例不同的设计和/或操作原理。
在一些实施方式中，计算设备102可以包括一个或多个相机120。例如，相机120可以包括前置相机、后置相机、广角相机和/或配置。相机120可以包括可见光谱相机、红外相机、或捕捉图像的其他形式的设备。计算设备102可以执行各种图像处理和/或计算机视觉技术，以理解或处理所捕捉图像的内容。
在一些实施方式中，计算设备102可以包括用户界面管理器122，其控制或管理用户界面在显示器110上的呈现，包括例如如呈现用户界面、修改用户界面、接收针对用户界面的用户输入等的任务。在一些实施方式中，用户界面管理器122可以被包括在生成用户界面的应用中。在其他实施方式中，用户界面管理器可以与生成用户界面的任何组件(例如，应用)分离。在一些实施方式中，用户界面管理器122可以是计算设备102的操作系统的一方面或组件。
根据本公开的一方面，在一些实施方式中，用户界面管理器122可以连续或周期性地分析计算设备102当前显示或将要显示的用户界面，以识别可由或应该可由计算设备102的用户选择的用户界面元素。例如，用户界面管理器122可以执行下面参考图2和图5描述的方法200和500的步骤中的一些或全部。
此外，在一些实施方式中，计算设备102可以包括人工智能层124。人工智能层124可以辨识用户界面内的实体。更具体地，在一些实施方式中，人工智能层124可以自动且智能地识别用户界面内对应于某些实体的用户界面元素(例如，某些内容项)。作为示例，实体可以包括位置、兴趣点、人、对象、产品(例如，服装制品、食品等)、品牌、节目内容(例如，电影)、乐队、事件、和/或其他人、地方或事物。
在一些实施方式中，人工智能层124可以执行移动视觉技术以辨识被包括在用户界面中的图像中的实体，和/或执行文本辨识技术以辨识被包括在用户界面中的文本中的实体。在一些实施方式中，人工智能层124可以包括一个或多个机器学习模型。作为示例，机器学习模型可以包括机器学习图像辨识模型、机器学习对象检测或辨识模型、机器学习面部检测或辨识模型、机器学习文本辨识模型和/或对辨识和理解被包括在用户界面内容中的实体有用的各种其他类型的机器学习模型。在一些实施方式中，这些机器学习模型可以包括人工神经网络。示例人工神经网络包括前馈神经网络、递归神经网络和卷积神经网络。神经网络可以是深度神经网络。
在一些实施方式中，人工智能层124可以被包括在生成用户界面的应用中。在其他实施方式中，人工智能层124可以与生成用户界面的任何组件(例如，应用)分离。在一些实施方式中，人工智能层124可以是计算设备102的操作系统的一方面或组件。
用户界面管理器122和人工智能层124中的每一个都可以包括用于提供期望功能的计算机逻辑。用户界面管理器122和人工智能层124中的每一个都可以以控制通用处理器的硬件、固件和/或软件来实施。例如，在一些实施方式中，用户界面管理器122和人工智能层124中的每一个都包括存储在存储设备上、加载到存储器中并且由一个或多个处理器执行的程序文件。在其他实施方式中，用户界面管理器122和人工智能层124中的每一个都包括计算机可执行指令的一个或多个集合，该指令被存储在有形的计算机可读存储介质中，诸如RAM硬盘或者光学或磁性介质。
在一些实施方式中，计算设备102可以通过网络130通信地连接到服务器计算设备150。服务器计算设备150可以包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何形式的处理设备，包括例如处理单元、微处理器、控制器、微控制器、专用集成电路等。存储器154可以包括任何非暂时性计算机可读介质中的一种或多种，包括例如RAM(例如，DRAM)、ROM(例如，EEPROM)、光学存储装置、磁性存储装置、闪存、固态存储装置、硬盘、或它们的一些组合。存储器154可以存储指令156的一个或多个集合，当该指令156被服务器计算设备150执行时，使得服务器计算设备150执行与本公开一致的操作。
服务器计算设备150还可以包括网络接口159。网络接口159可以实现通过网络130的通信。网络接口159可以包括用以提供网络化通信的任何数量的组件(例如，收发器、天线、控制器、卡等)。
网络130可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)、或它们的一些组合，并且可以包括任何数量的有线或无线链路。通常，可以使用各种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)，经由任何类型的有线和/或无线连接来承载服务器计算设备150和计算设备102之间的通信。服务器计算设备150可以通过发送和接收数据通过网络130与计算设备102通信。
此外，被描述为存储在服务器计算设备150处或由服务器计算设备150执行的任何过程、操作、程序、应用或指令可以改为全部或部分地存储在计算设备102处或由计算设备102执行，反之亦然。
示例方法
图2描绘了根据本公开的示例实施例的增加可选择的用户界面元素的可发现性的示例方法200的流程图。
在202处，计算设备可以提供用于在显示器上呈现的包括多个用户界面元素的用户界面。例如，用户界面可以是由计算设备的应用生成的用户界面。作为示例，用户界面元素可以包括图标、按钮、文本元素、内容项、图片(例如，经由相机实时捕捉的图片和/或先前捕捉的图片)、横幅、标题、标头、输入域、窗口、菜单、控件、图形等。
作为一个示例用户界面，网络浏览器应用可以提供包括网页的用户界面，该网页包括多个用户界面元素。作为另一个示例，文本消息发送应用可以提供包括发送和/或接收到一个或多个联系人的文本消息的用户界面。作为又一个示例，相机应用可以提供描绘计算设备的相机的视场的用户界面。也可以提供许多其他且不同的用户界面。
在204处，计算设备可以识别用户界面元素中可由计算设备的用户选择的一个或多个用户界面元素。例如，在一些实施方式中，计算设备可以包括用户界面管理器。在一些实施方式中，用户界面管理器可以与生成用户界面的任何组件(例如，应用)分离。用户界面管理器可以连续或周期性地分析计算设备当前显示或将要显示的用户界面，以识别可由或应该可由计算设备的用户选择的用户界面元素。
根据本公开的一方面，在一些实施方式中，在204处识别可选择的用户界面元素中的一个或多个可以包括采用人工智能层来辨识用户界面内的实体。更具体地，在一些实施方式中，计算设备可以包括自动且智能地识别用户界面内对应于某些实体的用户界面元素(例如，某些内容项)的人工智能层。作为示例，实体可以包括位置、兴趣点、人、对象、产品(例如，服装制品、食品等)、品牌、节目内容(例如，电影)、乐队、事件、和/或其他人、地方或事物。
在一些实施方式中，人工智能层可以在204处执行移动视觉技术以辨识被包括在用户界面中的图像中的实体，和/或执行文本辨识技术以辨识被包括在用户界面中的文本中的实体。在一些实施方式中，人工智能层可以包括一个或多个机器学习模型。作为示例，机器学习模型可以包括机器学习图像辨识模型、机器学习对象检测或辨识模型、机器学习面部检测或辨识模型、机器学习文本辨识模型和/或对辨识和理解被包括在用户界面内容中的实体有用的各种其他类型的机器学习模型。
在一些实施方式中，在204处识别可选择的用户界面元素可以包括生成用于在用户界面内呈现的附加用户界面元素和/或将某个用户界面元素变换为多个用户界面元素。因此，可以使用新的和/或修改的用户界面元素来使得用户能够选择被包括在更大的实体组中的某些特定实体。
在一些实施方式中，在204处识别可选择的用户界面元素可以包括访问与用户界面元素相关联的属性或参数。例如，在一些实例中，生成用户界面的组件(例如，应用)可以为被包括在用户界面中的每个用户界面元素提供属性或参数数据，包括例如指示每个用户界面元素是否可选择的数据。因此，用户界面管理器可以访问或读取该数据，以识别哪些用户界面元素是可选择的。
在206处，计算设备可以可视地修改一个或多个可选择的用户界面元素中的至少第一用户界面元素。作为示例，在一些实施方式中，在206处，可由用户选择的所有用户界面元素都可以被可视地修改。在其他实施方式中，在206处，仅可选择的用户界面元素的子集可以被可视地修改(例如，基于如本文其他地方描述的各种上下文数据)。
在一些实施方式中，在206处，一旦元素被加载到用户界面内(例如，一旦应用、网页等被显示加载)，计算设备就可以可视地修改一个或多个用户界面元素。在其他实施方式中，计算设备可以等到一些事件发生(诸如例如，当用户调用键盘时，当用户执行滚动动作时，当用户到达当前界面或页面的结尾时，和/或其他动作或事件)才可视地修改一个或多个用户界面元素。
计算设备可以在206处执行的一个示例可视修改是可视地修改用户界面元素以具有闪烁外观，其中在该闪烁外观中用户界面元素看起来反射光。例如，闪烁外观可以可视地模仿从手表表面、水体或其他反射物品反射的太阳的外观。可视地修改用户界面元素以具有闪烁外观可以将用户的注意力吸引到用户界面元素以及它是可选择的这一事实上。
另一示例可视修改包括勾勒用户界面元素的轮廓(例如，使用比先前使用的更粗或更暗的轮廓或阴影框)。另一示例可视修改包括改变用户界面元素的颜色。另一示例可视修改包括通过增亮用户界面元素和/或用户界面元素周围的区域来突出显示用户界面元素。例如，用户界面元素上和/或周围的突出显示的颜色的闪光、阴影和/或纹理可以指示用户界面元素是可选择的。
根据本公开的另一方面，在一些实施方式中，在206处执行的可视修改可以基于设备的方位。例如，可视修改可以响应于设备的方位的改变而改变。
作为一个示例，基于设备的方位来可视地修改用户界面元素可以包括，对于具有闪烁外观的用户界面元素，至少部分基于设备的方位来改变用户界面元素看起来反射光的反射位置。因此，在一个示例中，当设备的方位改变时，反射位置可以被更新，进一步给出用户界面元素闪烁发光的外观。
作为另一个示例，基于方位来可视地修改用户界面元素可以包括在某些方位而不是在其他方位可视地修改用户界面元素。因此，在一个示例中，如果用户将设备向右或向左倾斜，则用户界面对象可以被可视地修改，而如果用户将设备保持在中性方位，则用户界面对象不被可视地修改。
在一些实施方式中，设备的方位可以是相对于重力方向(例如，朝地面的方向)的方位。作为一个示例，图3A和图3B描绘了根据本公开的示例实施例的基于示例计算设备相对于重力方向的方位的示例用户界面元素的示例修改。
具体而言，在图3A中，移动计算设备302具有第一方位(例如，稍微向左倾斜)。计算设备302正在显示用户界面304。用户界面304包括多个不同的用户界面元素。作为示例，用户界面304包括用户界面元素306。用户界面元素306是食物菜肴的图片。用户界面元素306可由用户选择(例如，以接收关于食物菜肴的附加信息)。
为了向用户提醒用户界面元素306是可选择的这一事实，计算设备302可以可视地修改用户界面元素306。具体而言，计算设备302可以修改元素306以具有闪烁外观，其中在该闪烁外观中用户界面元素306看起来反射光。
具体而言，计算设备302可以基于设备302的方位来确定反射位置308。反射位置308可以是元素306被修改以看起来最能反射光的位置。因此，例如，元素306可以被修改为在反射位置308处具有闪烁或眩光。
可以修改元素306的一些或全部。例如，如图3A所示，只有一部分被可视地修改为具有闪烁。然而，在其他实例中，整个元素306可以被修改为具有闪烁。例如，整个元素306可以闪烁，但是该闪烁在反射位置308处可以是最亮的。
根据本公开的一方面，当设备302的方位改变时，元素306的可视修改可以随着时间改变。具体而言，在图3B中，设备302的方位已经改变，使得设备稍微向右倾斜。结果，可视修改可以改变。具体而言，当设备302的方位改变时，计算设备302可以改变闪烁外观的反射位置。例如，在图3B的设备方位，反射位置已经移动到新的位置310。
作为一个示例，当设备302的方位从图3A改变到图3B时，反射位置可以从图3A中的位置308滑动到图3B中的位置310。同样，如果设备302的方位返回到图3A的方位，则反射位置可以滑动回到位置308。因此，可以基于设备相对于地面的方位来实时更新反射位置，从而使得用户界面元素闪烁发光。
再次参考图2，作为基于设备的方位在206处执行的修改的另一个示例，设备的方位可以是相对于用户对象的方位。用户对象可以位于相对于设备的多个不同位置。作为一个示例，在一些实例中，用户对象可以悬停在显示器上方。也就是说，用户对象可以被放置在显示器附近，但是不物理地触摸显示器。
例如，用户对象可以是与用户相关联的手指或触笔。例如，手指或触笔可以位于相对于计算设备的显示器的多个不同位置，包括例如如上所述悬停在显示器上方。在一些实施方式中，计算设备可以包括RADAR感测系统。计算设备可以使用RADAR感测系统来确定用户对象(例如，手指或触笔)的对象位置。计算设备可以基于所确定的对象位置来确定计算设备相对于用户对象的方位。当这样的方位改变时，用户界面元素的可视修改可以被修改(例如，实时地)。
在另一个示例中，用户对象可以是用户的面部。在一些实施方式中，计算设备可以包括一个或多个相机。计算设备可以基于由一个或多个相机捕捉的图像来确定用户面部的面部位置。计算设备可以基于所确定的面部位置来确定计算设备相对于用户面部的方位。当这样的方位改变时，用户界面元素的可视修改可以被修改(例如，实时地)。
图4A和图4B描绘了根据本公开的示例实施例的基于示例计算设备相对于示例用户对象的方位的示例用户界面元素的示例修改。
具体而言，在图4A中，移动计算设备402具有相对于用户手指408的位置的第一方位。计算设备402正在显示用户界面404。用户界面404包括多个不同的用户界面元素。作为示例，用户界面404包括用户界面元素406。用户界面元素406是食物菜肴的图片。用户界面元素406可由用户选择(例如，以接收关于食物菜肴的附加信息)。
为了向用户提醒用户界面元素406是可选择的这一事实，计算设备402可以可视地修改用户界面元素406。具体而言，计算设备402可以修改元素406以具有闪烁外观，其中在该闪烁外观中用户界面元素406看起来反射光。
具体而言，计算设备402可以基于设备402相对于手指408的方位来确定反射位置410。反射位置410可以是元素406被修改以看起来最能反射光的位置。因此，例如，元素406可以被修改为在反射位置410处具有闪烁或眩光。
可以修改元素406的一些或全部。例如，如图4A所示，只有一部分被可视地修改为具有闪烁。然而，在其他实例中，整个元素406可以被修改为具有闪烁。例如，整个元素406可以闪烁，但是该闪烁在反射位置410处可以是最亮的。
根据本公开的一方面，当设备402相对于手指408的方位改变时，元素406的可视修改可以随时间改变。具体而言，在图4B中，手指408的位置已经改变，从而导致设备402相对于手指408的方位的改变。结果，可视修改可以改变。具体而言，当设备402的方位改变时，计算设备402可以改变闪烁外观的反射位置。例如，在图4B的设备方位，反射位置已经移动到新的位置412。
作为一个示例，当设备402对手指408的方位从图4A改变到图4B时，反射位置可以从图4A中的位置410滑动到图4B中的位置412。同样，如果设备402的方位返回到图4A的方位，则反射位置可以滑动回到位置410。因此，可以基于设备相对于手指408的方位来实时更新反射位置，从而使得用户界面元素406闪烁发光。
再次参考图2，在一些实施方式中，在206处执行的可视修改本质上可以只是暂时的。在一个示例中，一旦用户界面(例如，网页)加载，计算设备就可以短暂地(例如，一秒半)可视地修改可选择的用户界面元素(例如，辨识的产品)，然后将元素返回到中性或正常状态。这可以向用户提供哪些元素是可选择的快速指示，而不会过度破坏用户体验。
在一些实施方式中，在206处用于用户界面元素的特定类型的可视修改可以基于或根据与这样的用户界面元素相关联的内容类型。例如，可以以第一方式修改文本元素，同时可以以第二、不同的方式修改图片或图形元素。
图5描绘了根据本公开的示例实施例的增加可选择的用户界面元素的可发现性的示例方法500的流程图。
在502处，计算设备可以提供用于在显示器上呈现的包括多个用户界面元素的用户界面。例如，用户界面可以是由计算设备的应用生成的用户界面。作为示例，用户界面元素可以包括图标、按钮、文本元素、内容项、图片(例如，经由相机实时捕捉的图片和/或先前捕捉的图片)、横幅、标题、标头、输入域、窗口、菜单、控件、图形等。
作为一个示例用户界面，网络浏览器应用可以提供包括网页的用户界面，该网页包括多个用户界面元素。作为另一个示例，文本消息发送应用可以提供包括发送和/或接收到一个或多个联系人的文本消息的用户界面。作为又一个示例，相机应用可以提供描绘计算设备的相机的视场的用户界面。也可以提供许多其他且不同的用户界面。
在504处，计算设备可以识别用户界面元素中可由计算设备的用户选择的一个或多个用户界面元素。例如，在一些实施方式中，计算设备可以包括用户界面管理器。在一些实施方式中，用户界面管理器可以与生成用户界面的任何组件(例如，应用)分离。用户界面管理器可以连续或周期性地分析计算设备当前显示或将要显示的用户界面，以识别可由或应该可由计算设备的用户选择的用户界面元素。
根据本公开的一方面，在一些实施方式中，在504处识别可选择的用户界面元素中的一个或多个可以包括采用人工智能层来辨识用户界面内的实体。更具体地，在一些实施方式中，计算设备可以包括自动且智能地识别用户界面内对应于某些实体的用户界面元素(例如，某些内容项)的人工智能层。作为示例，实体可以包括位置、兴趣点、人、对象、产品(例如，服装制品、食品等)、品牌、节目内容(例如，电影)、乐队、事件、和/或其他人、地方或事物。
在一些实施方式中，人工智能层可以在504处执行移动视觉技术以辨识被包括在用户界面中的图像中的实体，和/或执行文本辨识技术以辨识被包括在用户界面中的文本中的实体。在一些实施方式中，人工智能层可以包括一个或多个机器学习模型。作为示例，机器学习模型可以包括机器学习图像辨识模型、机器学习对象检测或辨识模型、机器学习面部检测或辨识模型、机器学习文本辨识模型和/或对辨识和理解被包括在用户界面内容中的实体有用的各种其他类型的机器学习模型。
在一些实施方式中，在504处识别可选择的用户界面元素可以包括生成用于在用户界面内呈现的附加用户界面元素和/或将某个用户界面元素变换为多个用户界面元素。因此，可以使用新的和/或修改的用户界面元素来使得用户能够选择被包括在更大的实体组中的某些特定实体。
在一些实施方式中，在504处识别可选择的用户界面元素可以包括访问与用户界面元素相关联的属性或参数。例如，在一些实例中，生成用户界面的组件(例如，应用)可以为被包括在用户界面中的每个用户界面元素提供属性或参数数据，包括例如指示每个用户界面元素是否可选择的数据。因此，用户界面管理器可以访问或读取该数据，以识别哪些用户界面元素是可选择的。
在506处，计算设备可以确定用户对象相对于显示器的对象位置。对象位置可以是三维空间中的位置。可替代地，对象位置可以是相对于显示屏的X、Y坐标的二维空间中的位置(例如，与对象位置最接近匹配的显示屏的X、Y坐标)。
作为示例，用户对象可以是用户的手指、由用户控制的触笔、用户的面部和/或其他用户对象。例如，用户对象可以位于显示器附近但不物理地触摸显示器(即，悬停在显示器上方)。
在一个示例中，在506处确定对象位置可以包括使用RADAR感测系统来确定对象位置。在另一个示例中，在506处确定对象位置可以包括分析由计算设备的一个或多个相机捕捉的图像以确定对象位置。
在508处，计算设备可以确定对象位置是否对应于可选择的用户界面元素中的一个。例如，在一些实施方式中，对象位置可以被投影到显示屏上，以确定对象位置是否对应于可选择的用户界面元素中的一个(例如，被投影的对象位置是否和与元素中的一个相关联的边界区域重叠)。
如果在508处确定对象位置不对应于可选择的用户界面元素中的一个，则方法500可以返回到506并再次确定对象位置。然而，如果在508处确定对象位置不对应于可选择的用户界面元素中的一个，则方法500可以前进到510。
在510处，计算设备可以可视地修改对象位置所对应的用户界面元素。本文描述的任何不同的可视修改可以在510处被执行。
在一个示例中，用户可以使用她的手指悬停在设备的显示器上。当用户的手指位于可选择的用户界面元素上方(或在其一定距离内)时，计算设备可以可视地修改这样的用户界面元素(例如，使用本文描述的可视修改中的一个或多个的任何组合)。
在514处，计算设备可以确定用户是否选择了在510被可视地修改的用户界面元素。如果在514处确定用户没有选择该用户界面元素，则方法500可以返回到506并再次确定对象位置。然而，如果在514处确定用户选择了该用户界面元素，则方法500可以前进到516。
在516处，计算设备可以提供使得用户能够搜索、存储和/或通信传达与用户界面元素相关联的信息的新的用户界面。
图6A-图6D描绘了根据本公开的示例实施例的基于示例用户对象相对于用户界面元素的位置的示例用户界面元素的示例修改。
首先参考图6A，计算设备602正在显示用户界面604。用户界面604包括多个用户界面元素，包括例如用户界面元素606、608和610。用户将她的手指保持在对象位置612处。对象位置612不对应于任何用户界面元素。
现在参考图6B，用户已经移动她的手指以改变对象位置612。在图6B中，对象位置612确实对应于用户界面元素610。具体而言，作为示例，对象位置612在用户界面604上的投影在与用户界面元素610相关联的区域内。结果，计算设备602可以可视地修改用户界面元素610。例如，如图6B所示，元素610已经被可视地修改为具有更粗的轮廓。
现在参考图6C，用户再次移动她的手指以改变对象位置612。在图6C中，对象位置612对应于用户界面元素608。具体而言，作为示例，对象位置608在用户界面604上的投影在与用户界面元素608相关联的区域内。结果，计算设备602可以可视地修改用户界面元素608。例如，如图6C所示，元素608已经被可视地修改为具有更粗的轮廓。值得注意的是，元素610不再具有更粗的轮廓。
现在参考图6D，用户再次移动她的手指以在用户界面元素608的位置处按压显示器，从而选择用户界面元素608。结果，计算设备在显示器上提供了附加的或修改的用户界面614。附加的用户界面614可以使得用户能够搜索、存储和/或共享关于用户界面元素608的信息(例如，关于其相关联的实体，诸如食物菜肴“肉菜饭”)。
因此，用户可以将她的手指悬停在显示屏上，并将她的手指移动到不同的位置，以发现(例如，经由用户界面元素的最终可视修改)哪些用户界面元素是可选择的。用户对象(例如，手指)相对于显示屏的位置可以以多种方式被识别，包括例如使用相机和/或如本文其他地方描述的RADAR感测系统。
附加公开
本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的动作和发送到这样的系统和从这样的系统发送的信息。基于计算机的系统的固有灵活性允许各种各样可能的配置、组合、以及组件之间的任务和功能的划分。例如，本文讨论的过程可以使用单个设备或组件或者组合地工作的多个设备或组件来实施。数据库和应用可以在单个系统上实施，也可以跨多个系统而分布。分布式组件可以顺序或并行操作。
尽管已经针对本发明的各种具体示例实施例详细描述了本主题，但是每个示例都是以解释的方式提供的，而不是对本公开的限制。本领域的技术人员在理解了前述内容后，可以容易地产生这样的实施例的变更、变化和等同物。因此，本主题公开不排除包括对本主题的这样的修改、变化和/或添加，这对于本领域的普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，本公开旨在覆盖这样的变更、变化和等同物。
具体而言，尽管图2和图5出于说明和讨论的目的分别描绘了以特定顺序执行的步骤，但是本公开的方法不限于特定示出的顺序或布置。方法200和500的各种步骤可以以各种方式省略、重新排列、组合和/或适配，而不脱离本公开的范围。

Claims (18)

1.一种计算设备，包括：
一个或多个处理器；
显示器；以及
一个或多个非暂时性计算机可读介质，共同存储指令，其中所述指令在由所述一个或多个处理器执行时使得所述计算设备执行操作，所述操作包括：
提供用于在所述显示器上呈现的包括多个用户界面元素的用户界面；
使用一个或多个机器学习模型辨识用户界面内的可选择实体来连续地识别所述用户界面元素中可由所述计算设备的用户选择的一个或多个用户界面元素，定义为属于预定的实体集合；
确定用户对象相对于显示器的对象位置，其中所述用户对象包括位于所述显示器附近但不物理地触摸所述显示器的手指或触笔；
确定用户对象的对象位置是否对应于可由用户选择的一个或多个用户界面元素中的一个；以及
当对象位置对应于可由用户选择的一个或多个用户界面元素中的第一用户界面元素时，可视地修改一个或多个所识别的可选择的用户界面元素中的至少第一用户界面元素以具有指示第一用户界面元素可由用户选择的修改的外观，而不可视地修改不可由用户选择的其他用户界面元素，以便可视地区分可由用户选择的一个或多个用户界面元素和不可由用户选择的其他用户界面元素，并且其中可视地修改至少第一用户界面元素包括基于与第一用户界面元素相关联的内容类型来实施特定类型的可视修改。
2.根据权利要求1所述的计算设备，其中，所述操作还包括：
确定所述计算设备相对于与所述计算设备的用户相关联的用户对象的方位；
其中，可视地修改所述第一用户界面元素以具有所述修改的外观的操作包括：
至少部分基于所述计算设备相对于所述用户对象的方位，确定所述第一用户界面元素内的反射位置；以及
可视地修改所述第一用户界面元素以具有闪烁外观，其中在所述闪烁外观中所述第一用户界面元素看起来在所述第一用户界面元素内的所述反射位置处反射光。
3.根据权利要求2所述的计算设备，其中，所述用户对象包括位于所述显示器附近但不物理地触摸所述显示器的手指或触笔。
4.根据权利要求2或3所述的计算设备，其中，所述计算设备还包括：
RADAR感测系统，感测所述用户对象的对象位置；
其中，确定所述计算设备相对于所述用户对象的方位的操作包括确定所述计算设备相对于由所述RADAR感测系统感测的所述对象位置的方位。
5.根据权利要求2或3所述的计算设备，其中：
所述用户对象包括所述用户的面部；
所述计算设备还包括捕捉图像的一个或多个相机；
所述操作还包括基于由所述一个或多个相机捕捉的所述图像来确定所述用户的面部的面部位置；并且
确定所述计算设备相对于所述用户对象的方位的操作包括确定所述计算设备相对于所述用户的面部的面部位置的方位。
6.根据权利要求1所述的计算设备，其中：
所述计算设备还包括陀螺仪；
所述操作还包括基于由所述陀螺仪产生的数据来确定所述计算设备的方位；并且
可视地修改所述第一用户界面元素以具有所述修改的外观的操作包括：
至少部分基于所述计算设备的方位来确定所述第一用户界面元素内的反射位置；以及
可视地修改所述第一用户界面元素以具有闪烁外观，其中在所述闪烁外观中所述第一用户界面元素看起来在所述反射位置处。
7.根据权利要求1、2、3或6中任一项所述的计算设备，还包括，在可视地修改所述第一用户界面元素之后，
接收来自选择所述第一用户界面元素的所述用户对象的用户触摸输入；以及
响应于所述用户触摸输入，提供用于在所述显示器上呈现的第二用户界面，其中，所述第二用户界面使得所述用户能够对与所述第一用户界面元素相关联的信息进行搜索、存储或通信传达中的一个或多个。
8.一种计算机实施的方法，包括：
由一个或多个计算设备提供用于在显示器上呈现的包括多个用户界面元素的用户界面；
由所述一个或多个计算设备使用一个或多个机器学习模型辨识用户界面内的可选择实体来连续地识别所述用户界面元素中可由用户选择的一个或多个用户界面元素，定义为属于预定的实体集合；
由所述一个或多个计算设备确定用户对象相对于所述显示器的对象位置，其中，所述用户对象包括位于所述显示器附近但不物理地触摸所述显示器的手指或触笔；
由所述一个或多个计算设备确定所述用户对象的对象位置是否对应于可由所述用户选择的所述一个或多个用户界面元素中的一个；以及
当所述对象位置对应于所述一个或多个可选择的用户界面元素中的第一用户界面元素时，由所述一个或多个计算设备可视地修改所述第一用户界面元素以可视地突出显示所述第一用户界面元素，而不可视地修改不可由用户选择的其他用户界面元素，以便可视地区分可由用户选择的一个或多个用户界面元素和不可由用户选择的其他用户界面元素，并且其中可视地修改至少第一用户界面元素包括基于与第一用户界面元素相关联的内容类型来实施特定类型的可视修改。
9.根据权利要求8所述的计算机实施的方法，其中，由所述一个或多个计算设备确定所述用户对象的对象位置是否对应于可由所述用户选择的所述一个或多个用户界面元素中的一个包括由所述一个或多个计算设备确定所述手指或所述触笔是否正悬停在可由所述用户选择的所述一个或多个用户界面元素中的一个上方。
10.根据权利要求8或9所述的计算机实施的方法，其中，由所述一个或多个计算设备可视地修改所述第一用户界面元素以可视地突出显示所述第一用户界面元素包括由所述一个或多个计算设备暂时可视地修改所述第一用户界面元素以可视地突出显示所述第一用户界面元素。
11.根据权利要求8或9所述的计算机实施的方法，其中，由所述一个或多个计算设备可视地修改所述第一用户界面元素以可视地突出显示所述第一用户界面元素包括由所述一个或多个计算设备根据所述显示器相对于所述用户对象的对象位置的方位来可视地修改所述第一用户界面元素。
12.根据权利要求11所述的计算机实施的方法，其中，由所述一个或多个计算设备根据所述显示器相对于所述用户对象的对象位置的方位来可视地修改所述第一用户界面元素包括：
由所述一个或多个计算设备可视地修改所述第一用户界面元素以具有闪烁外观，其中在所述闪烁外观中所述第一用户界面元素看起来反射光；
其中，所述第一用户界面元素看起来反射光的反射位置至少部分基于所述显示器相对于所述用户对象的对象位置的方位。
13.根据权利要求8或9所述的计算机实施的方法，其中，由所述一个或多个计算设备可视地修改所述第一用户界面元素以可视地突出显示所述第一用户界面元素包括：
由所述一个或多个计算设备确定与所述第一用户界面元素相关联的第一内容类型；以及
由所述一个或多个计算设备根据从分别与多个不同的内容类型相关联的多个不同的可用修改类型选择的第一修改类型来可视地修改所述第一用户界面元素。
14.根据权利要求8或9所述的计算机实施的方法，其中，由所述一个或多个计算设备确定所述用户对象相对于所述显示器的对象位置包括由所述一个或多个计算设备从RADAR感测系统接收描述所述用户对象相对于所述显示器的对象位置的RADAR数据。
15.根据权利要求8或9所述的计算机实施的方法，还包括：
由所述一个或多个计算设备接收来自选择所述第一用户界面元素的所述用户对象的用户触摸输入；以及
响应于所述用户触摸输入，由所述一个或多个计算设备提供用于在所述显示器上呈现的第二用户界面，其中，所述第二用户界面使得所述用户能够存储与所述第一用户界面元素相关联的信息以用于以后检索。
16.一种装置，被配置为：
提供用于在显示器上呈现的包括多个用户界面元素的用户界面；
识别所述用户界面元素中可由用户选择的一个或多个用户界面元素的子集，其中可选择的用户界面元素的子集是基于与用户界面元素相关联的上下文数据并且使用一个或多个机器学习模型辨识用户界面内的可选择实体来识别的；以及
根据位于所述显示器附近但不物理地触摸所述显示器的手指或触笔的位置来修改可选择的用户界面元素的子集的显示，而不修改不可由用户选择的其他用户界面元素的显示，以便可视地区分可由用户选择的一个或多个用户界面元素和不可由用户选择的其他用户界面元素，并且其中修改可选择的用户界面元素的子集的显示包括基于与可选择的用户界面元素的子集相关联的内容类型来实施特定类型的可视修改。
17.根据权利要求16所述的装置，其中，所述装置被配置为，在存在第一条件的情况下，显示所述一个或多个可选择的用户界面元素而不进行修改，以及在不存在所述第一条件的情况下，根据位于所述显示器附近但不物理地触摸所述显示器的所述手指或触笔的位置来实时修改可选择的用户界面元素的显示，所述第一条件是所述装置的中性方位。
18.根据权利要求16或17所述的装置，其中，所述装置被配置为针对文本用户界面元素以第一方式并且针对图片或图形元素以不同的第二方式可视地修改可选择的用户界面元素的子集。
CN201880091317.7A 2018-03-15 2018-08-21 增加用户界面中的可发现性的系统和方法 Active CN111868673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/921,724 US10877643B2 (en) 2018-03-15 2018-03-15 Systems and methods to increase discoverability in user interfaces
US15/921,724 2018-03-15
PCT/US2018/047214 WO2019177656A1 (en) 2018-03-15 2018-08-21 Systems and methods to increase discoverability in user interfaces

Publications (2)

Publication Number Publication Date
CN111868673A CN111868673A (zh) 2020-10-30
CN111868673B true CN111868673B (zh) 2023-10-31

Family

ID=63586894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091317.7A Active CN111868673B (zh) 2018-03-15 2018-08-21 增加用户界面中的可发现性的系统和方法

Country Status (4)

Country Link
US (1) US10877643B2 (zh)
EP (1) EP3765949A1 (zh)
CN (1) CN111868673B (zh)
WO (1) WO2019177656A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD900862S1 (en) * 2018-03-20 2020-11-03 Zume Pizza, Inc. Display screen with graphical user interface
US11379551B2 (en) * 2019-03-26 2022-07-05 University Of Southern California Latency minimization in mobile applications
US11741191B1 (en) 2019-04-24 2023-08-29 Google Llc Privacy-sensitive training of user interaction prediction models
US11562051B2 (en) 2019-04-25 2023-01-24 Motorola Mobility Llc Varying computing device behavior for different authenticators
US11093659B2 (en) * 2019-04-25 2021-08-17 Motorola Mobility Llc Controlling content visibility on a computing device based on wearable device proximity
US11455411B2 (en) 2019-04-25 2022-09-27 Motorola Mobility Llc Controlling content visibility on a computing device based on computing device location
US11082402B2 (en) 2019-04-25 2021-08-03 Motorola Mobility Llc Controlling computing device virtual private network usage with a wearable device
KR102263159B1 (ko) * 2019-07-30 2021-06-10 엘지전자 주식회사 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104024023A (zh) * 2011-09-03 2014-09-03 大众汽车有限公司 用于尤其在机动车中提供用户界面的方法和设备
CN105393246A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 用属性组选择和编辑视觉元素
CN107209637A (zh) * 2014-11-21 2017-09-26 雷诺两合公司 图形界面以及用于在触摸选择所显示元素期间管理所述图形界面的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058902B2 (en) 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US20060246955A1 (en) * 2005-05-02 2006-11-02 Mikko Nirhamo Mobile communication device and method therefor
US8026920B2 (en) * 2005-09-13 2011-09-27 Microsoft Corporation Extensible visual effects on active content in user interfaces
US8538376B2 (en) * 2007-12-28 2013-09-17 Apple Inc. Event-based modes for electronic devices
US20100057675A1 (en) 2008-08-27 2010-03-04 Microsoft Corporation Search Provider Recommendation
JP5501992B2 (ja) * 2010-05-28 2014-05-28 パナソニック株式会社 情報端末、画面部品表示方法、プログラム、及び記録媒体
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US9360991B2 (en) * 2011-04-11 2016-06-07 Microsoft Technology Licensing, Llc Three-dimensional icons for organizing, invoking, and using applications
US9058716B2 (en) * 2011-06-06 2015-06-16 Bally Gaming, Inc. Remote game play in a wireless gaming environment
EP2801017A4 (en) * 2012-01-03 2015-11-25 Intel Corp METHOD FOR FACILITATING THE USE OF SELECTING ELEMENTS ON TOUCH SCREENS
WO2014100953A1 (en) 2012-12-24 2014-07-03 Nokia Corporation An apparatus and associated methods
US9524036B1 (en) * 2013-03-11 2016-12-20 Amazon Technologies, Inc. Motions for displaying additional content
US9710130B2 (en) 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
US9280214B2 (en) * 2013-07-02 2016-03-08 Blackberry Limited Method and apparatus for motion sensing of a handheld device relative to a stylus
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US20150294220A1 (en) * 2014-04-11 2015-10-15 Khalid Ragaei Oreif Structuring data around a topical matter and a.i./n.l.p./ machine learning knowledge system that enhances source content by identifying content topics and keywords and integrating associated/related contents
KR102314274B1 (ko) * 2014-08-18 2021-10-20 삼성전자주식회사 컨텐츠 처리 방법 및 그 전자 장치
WO2016086306A1 (en) * 2014-12-03 2016-06-09 University Of British Columbia Flexible transparent sensor with ionically-conductive material
US11009939B2 (en) 2015-09-10 2021-05-18 Verizon Media Inc. Methods and systems for generating and providing immersive 3D displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104024023A (zh) * 2011-09-03 2014-09-03 大众汽车有限公司 用于尤其在机动车中提供用户界面的方法和设备
CN105393246A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 用属性组选择和编辑视觉元素
CN107209637A (zh) * 2014-11-21 2017-09-26 雷诺两合公司 图形界面以及用于在触摸选择所显示元素期间管理所述图形界面的方法

Also Published As

Publication number Publication date
US20190286298A1 (en) 2019-09-19
WO2019177656A1 (en) 2019-09-19
EP3765949A1 (en) 2021-01-20
CN111868673A (zh) 2020-10-30
US10877643B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
CN111868673B (zh) 增加用户界面中的可发现性的系统和方法
US11599148B2 (en) Keyboard with touch sensors dedicated for virtual keys
CN107391004B (zh) 用户界面的基于控制物品的控制
US20190294241A1 (en) Method and apparatus for user interface using gaze interaction
US10067634B2 (en) Approaches for three-dimensional object display
JP6201058B2 (ja) 三次元オブジェクト表示のためのアプローチ
US9367951B1 (en) Creating realistic three-dimensional effects
US20130254648A1 (en) Multi-user content interactions
US9367124B2 (en) Multi-application content interactions
US9389703B1 (en) Virtual screen bezel
US20130249937A1 (en) Structured lighting based content interactions
US20130254646A1 (en) Structured lighting-based content interactions in multiple environments
US20220157028A1 (en) Mobile device image item replacements
CN109196577A (zh) 用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备
JP2015516629A (ja) 多様な環境における構造化照明ベースのコンテンツ対話
WO2013142625A2 (en) Structured lighting-based content interactions in multiple environments
Ewerling A novel processing pipeline for optical multi-touch surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant