CN115003394A - 显示器具有可选择图标的控制器 - Google Patents

显示器具有可选择图标的控制器 Download PDF

Info

Publication number
CN115003394A
CN115003394A CN202180009164.9A CN202180009164A CN115003394A CN 115003394 A CN115003394 A CN 115003394A CN 202180009164 A CN202180009164 A CN 202180009164A CN 115003394 A CN115003394 A CN 115003394A
Authority
CN
China
Prior art keywords
display
game content
controller
game
content window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180009164.9A
Other languages
English (en)
Inventor
T·J·斯波福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN115003394A publication Critical patent/CN115003394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明描述了一种用于在控制器的显示器上浮出可选择元素以及与视频游戏相关联的游戏内容的控制器系统。在一个示例中，用户可在该显示器上提供触摸输入，并且作为响应，正在呈现该游戏内容的游戏内容窗口可缩放和/或移动到该显示器上的新位置，以便在该显示器上创建空间用于在所缩放和/或重新定位的游戏内容窗口之外呈现一个或多个可选择元素。所浮出的元素可以是可选择的以使得执行与游戏有关的动作。以这种方式，该可选择元素不会遮挡该游戏内容，并且该用户可与呈现在该显示器上的该游戏内容和该可选择元素两者进行交互。

Description

显示器具有可选择图标的控制器
相关申请的交叉引用
本PCT申请要求2021年2月11日提交的名称为“CONTROLLER HAVING DISPLAY WITHSELECTABLE ICONS”的美国专利申请序列号17/174232的优先权，该申请要求2020年2月14日提交的名称为“CONTROLLER HAVING DISPLAY WITH SELECTABLE ICONS”的共同待审且共同转让的美国临时专利申请序列号62/977049的优先权，这些专利申请中的每个专利申请的全部内容以引用方式并入。
背景技术
手持控制器在一系列架构中使用，以例如向本地或远程计算设备提供输入。例如，在游戏行业中使用手持控制器来允许玩家与执行游戏应用程序的个人计算设备、游戏机、游戏服务器、手持控制器本身等进行交互。尽管当前的手持控制器提供了一系列功能，但进一步的技术改进可增强这些控制器提供的用户体验。
附图说明
参考附图描述了具体实施方式。在这些图中，参考标号的最左边数字标识首次出现该参考标号的图。在不同图中相同或类似的参考标号指示类似或相同的物件。
图1示出了具有触敏显示器的示例性手持控制器的前视图以及与该手持控制器进行交互以浮出一个或多个可选择元素的用户。
图2示出了用于响应于在控制器的显示器上提供的触摸输入而在该显示器上浮出一个或多个可选择元素并且不遮挡正在游戏内容窗口内显示的游戏内容的示例性过程。
图3示出了图1的手持控制器的前视图，其示出了呈现在显示器上的内容和一个或多个菜单。
图4示出了图1的手持控制器的前视图和与该手持控制器进行交互的用户。在一些情况下，该用户可在显示器上触摸或执行某些手势以浮出一个或多个菜单。
图5示出了图1的手持控制器的前视图，其示出了呈现在显示器上的内容和一个或多个菜单。
图6示出了图1的手持控制器的前视图和与该手持控制器进行交互的用户。在一些情况下，该用户可在显示器上触摸或执行某些手势以浮出一个或多个菜单。
图7示出了图1的手持控制器的前视图，其部分地示出了一个或多个前表面控件和显示器。
图8示出了图1的手持控制器的俯视图，其部分地示出了一个或多个顶表面控件。
图9示出了图1的手持控制器的后视图，其部分地示出了一个或多个后表面控件。
图10示出了图1的手持控制器的示例性功能部件。
具体实施方式
如上所述，手持控制器在一系列环境中使用，并且包括一系列功能。一些传统的手持控制器包括可由用户操作的有限控件。传统的手持控制器还可提供很少的定制。
本文描述了具有各种控件以经由正在执行的视频游戏应用程序参与视频游戏，和/或以控制其他类型的应用程序和/或程序的手持控制器。在一些情况下，手持控制器可包括用于控制在手持控制器本身上运行的游戏或应用程序的控件(例如，在控制器上基本上整装的独立手持游戏系统)。在一些情况下，手持控制器可包括用于控制远程设备(例如，电视、音频系统、个人计算设备、游戏机等)的控件。
手持控制器可包括一个或多个控件，包括手持控制器的外壳的前表面上的一个或多个前表面控件。这些前表面控件可包括一个或多个操纵杆、方向键(D-pad)、触控板、轨迹球、按钮或其他例如可由操作手持控制器的用户的拇指控制的控件。在一些具体实施中，手持控制器可包括位于手持控制器的外壳的顶表面上的一个或多个顶表面控件。这些顶表面控件可称为“扳机”、“按块”等，并且可由用户的一根或多根手指(诸如中指、食指等)控制。在一些情况下，手持控制器包括可由用户的左手的一根或多根手指和/或右手的一根或多根手指操作的一个或多个顶表面控件。此外，手持控制器可包括一个或多个背表面控件。在一些情况下，背表面控件可包括可由用户的左手和/或用户的右手操作的一个或多个控件。手持控制器的前部还可包括呈现内容的显示器。
本文所述的手持控制器可提供方便的触及以用于调整设置或执行与由手持控制器控制或操作的应用程序(诸如视频游戏应用程序)相关联的命令或动作。在此类情况下，手持控制器可提供增加的功能或为用户提供定义、定制、增强以及/或者改善他们的游戏体验的能力。例如，显示器可被配置为呈现包括可由用户选择的图标或元素的各种用户界面(UI)或菜单。用户可选择某些图标以用于执行与视频游戏有关的动作。这些动作可至少部分地由手持控制器和/或通信地耦接到手持控制器的主机PC、服务器和/或计算设备来执行。
在例示性示例中，在执行视频游戏期间，包括手持控制器的控制器系统可使得与视频游戏相关联的游戏内容呈现在该控制器的显示器上的游戏内容窗口内。游戏内容窗口可跨越整个显示屏(例如，在全屏模式下)或显示屏的一部分，但不是全部。通常，用户可通过操作控制器的控件(例如，前表面控件、顶表面控件、后表面控件等)与游戏内容窗口内的游戏内容进行交互。例如，用户可操作一个或多个前表面控件(例如，操纵杆、D-pad、触控板等)来控制虚拟角色的移动、用虚拟武器开枪等。
控制器的显示器可以是触敏的，并且用户可在显示器上提供触摸输入以便浮出一个或多个可选择元素(例如，图标)，可选择这些可选择元素以执行与游戏有关的动作。例如，用户可触摸或轻击触敏显示器上的任何地方，或者用户可在显示器上执行特定手势，诸如轻扫手势，以在显示器上浮出可选择元素。当响应于用户提供触摸输入而在显示器上呈现可选择元素时，游戏内容窗口可被重新定位和/或缩放其尺寸以便为出现在显示器上的可选择元素腾出空间。以这种方式，可选择元素可呈现在重新定位的和/或缩放的游戏内容窗口之外(例如，下方、上方、旁边等)。在例示性示例中，如果用户在显示器的底部边缘沿向上方向执行轻扫手势，则游戏内容窗口可从显示器上的当前位置向上挪动到新位置，并且可选择元素可呈现在重新定位的游戏内容窗口下方。以这种方式，游戏内容不会被响应于触摸输入而出现在显示器上的可选择元素遮挡。游戏内容窗口的这种重新定位可通过与游戏内容相关联的长宽比小于显示器的长宽比来实现。例如，具有16:9长宽比的游戏内容可在具有16:10长宽比的显示器上呈现。以这种方式，至少在一些情况下，呈现游戏内容的游戏内容窗口可缩小并且呈现在显示器的一部分但不是全部上。此外，如本文所述，游戏内容窗口可动态地缩放或调整尺寸。游戏内容窗口还可在显示器上被动态地重新定位，以便在显示器上创建用于呈现增强内容(诸如本文所述的可选择元素)的空间。当用户选择可选择元素中的一个可选择元素时，可执行各种动作，诸如允许用户调整控制器的设置、捕获游戏内容的静止图像以及/或者与正在玩相同的视频游戏、但使用不同的控制器的朋友/玩家开始聊天会话的动作。这样，可不牺牲游戏体验的质量来提高用户的游戏体验(例如，不遮挡具有增强内容的游戏内容)。
本公开提供对本文所公开的系统和方法的结构、功能、制造以及用途的原理的全面理解。附图中示出了本公开的一个或多个示例。本领域的普通技术人员将理解，本文具体描述并在附图中示出的系统和方法是非限制性实施方案。结合一个实施方案示出或描述的特征可与其他实施方案的特征组合，包括系统与方法之间的特征。此类修改和变化旨在包括在所附权利要求的范围内。
图1示出了示例性控制器100的前视图以及与手持控制器100进行交互以浮出一个或多个可选择元素104的用户102。如果控制器100由用户102的手操作，则可认为该控制器为手持的，无论整个控制器100是否由用户102的手支撑或在用户的手中。然而，根据本文所述的各种实施方案，术语“设备”、“手持设备”、“手持游戏设备”、“手持控制台”、“手持游戏机”、“控制器”和“手持控制器”在本文中可互换地用来描述任何设备，比如控制器100。
控制器100可包括触敏的显示器106。显示器106可表示任何合适类型的显示器，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器等。显示器106的触摸感测技术可以是任何合适类型的触摸感测技术，诸如电容式、电阻式、红外、表面声波(SAW)等。通常，包括控制器100的控制器系统的逻辑(硬件、软件和/或固件)可被配置为处理指示在显示器106上提供的触摸输入的数据，以确定靠近显示器106和/或在其上的一个对象(例如，一根手指)或多个对象(例如，多根手指)的存在或接触、该对象的存在和/或接触的位置、该对象做出的手势(例如，轻扫手势、捏合手势、张开手势、双击手势、触摸并按住手势等)。
图1示出了用户102与显示器106进行交流或进行交互以便在显示器106上浮出一个或多个可选择元素104(例如，图标)。例如，在第一时间或实例108(1)，游戏内容窗口112可呈现在显示器106上。游戏内容可显示在游戏内容窗口112内。图1示出了在游戏内容窗口112内显示的虚拟环境或游戏世界。通常，用户102可操作控制器100的控件来控制视频游戏的方面，诸如在游戏内容窗口112内显示的视频游戏世界中移动玩家控制的角色。例如，控制器100的D-pad、操纵杆和/或触控板可用于在视频游戏中移动玩家控制的角色，并且游戏内容窗口内的游戏内容可因用户102操作控制器100的控件而改变(例如，在屏幕上移动)。
此外，如图1所示，用户102可触摸显示器106以及/或者执行特定手势(例如，在显示器106的底部边缘110处向上轻扫)，并且本文所公开的控制器系统的处理器可接收该触摸输入的指示(例如，有关用户102的手指从底部边缘110向显示器106的中心轻扫的指示)。响应于接收该指示，处理器可使得游戏内容窗口112从在时间108(1)在显示器106上的当前位置移动到在时间108(2)在显示器106上的新位置。例如，图1示出了响应于在时间108(1)在显示器106上提供的触摸输入，游戏内容窗口112在时间108(1)与时间108(2)之间向上挪动。游戏内容窗口112的这种重新定位可通过与游戏内容相关联的长宽比小于显示器106的长宽比来实现。例如，游戏内容可与16:9的长宽比相关联，而显示器106可具有16:10的长宽比。以这种方式，游戏内容窗口112可缩小并且呈现在显示器106的一部分但不是全部上，从而允许窗口112在显示器106上重新定位。附加地或另选地，游戏内容窗口112的尺寸可以是可缩放的。因此，响应于在时间108(1)在显示器106上提供的触摸输入，窗口112可在时间108(1)与时间108(2)之间缩放到较小尺寸的游戏内容窗口。图1示出了游戏内容窗口112在时间108(1)最初呈现在显示器106的中心部分的示例，在这种意义上，游戏内容窗口112的中心与显示器106的中心同心或以其他方式重合。此外，在图1的示例中，游戏内容窗口112在时间108(1)显示在显示器106的一部分而非全部上。因此，在一些实施方案中，显示器106上的游戏内容窗口112的上方和下方可能存在空白空间。然而，应当理解，全屏游戏内容窗口112可在时间108(1)显示，使得窗口112跨越显示器106的整个区域。此外，游戏内容窗口112不必在时间108(1)呈现在显示器106的中心。相反，窗口112最初可显示在显示器106的顶部、底部、左边或右边。
通过在时间108(2)重新定位和/或缩小游戏内容窗口112，在显示器上创建额外的空间用于呈现增强内容，诸如图1所示的可选择元素104(1)-(5)。在该示例中，可选择元素104(1)-(5)呈现在显示器106上重新定位的和/或缩放的游戏内容窗口112下方。例如，可选择元素104(1)-(5)可沿着显示器106的底部边缘110呈现在菜单中。然而，应当理解，一个或多个可选择元素104可呈现在重新定位的和/或缩放的窗口112之外的任何地方，只要可选择元素104不遮挡或阻挡游戏内容窗口112内的游戏内容。这允许用户102保持专注于玩视频游戏而不妨碍用户102查看游戏内容的能力，因为游戏内容没有被元素104中的任一个元素遮挡。在图1所示的另选示例中，用户102可在显示器106的顶部边缘向下轻扫，这可使得游戏内容窗口112向下挪动并且可选择元素104(1)-(5)或不同的可选择元素104沿着显示器106的顶部边缘出现。换句话说，本文所公开的控制器系统可基于轻扫手势的方向和/或位置来确定向哪个方向移动窗口112，并且/或者该系统可基于轻扫手势的方向和/或位置即时确定哪些可选择元素104浮出在显示器106上。因此，用户102可使他/她自己熟悉可通过从底部向上轻扫、从顶部向下轻扫、从左边向右边轻扫或从右边向左边轻扫来浮出的特定元素104。在其他具体实施中，可在显示器106上浮出预定义的一组可选择元素104，而无论用户102提供的触摸输入的类型(例如，轻击显示器106上的任何地方可浮出元素104(1)-(5))。
图1所示的示例性元素104(1)-(5)是可选择的，并且在选择元素104中的一个元素时，可执行对应的动作，该动作以某种方式与视频游戏有关。例如，相机图标形式的第一可选择元素104(1)在被选择时可使得在游戏内容窗口112内呈现的游戏内容的静止图像被捕获。又如，第二可选择元素104(2)和第三可选择元素104(3)在被选择时可开始与用户102的特定玩家或朋友聊天。例如，元素104(2)可与第一玩家相关联，并且元素104(3)可与第二玩家相关联。因此，用户102在游戏过程中可选择与哪个玩家聊天。图1描绘了用户102选择元素104(2)，这可使得呈现对话框以允许用户102输入消息(例如，通过对着控制器100的麦克风说话，在呈现在显示器106的底部的虚拟键盘上打字等)，并且该消息可被发送到其他玩家，用于在其他玩家正在用来玩相同视频游戏的不同控制器上显示该消息。又如，聊天气泡形式的第四可选择元素104(4)在被选择时可使得启动聊天应用程序，该聊天应用程序可用于开始与用户102希望与之聊天的任何玩家或玩家组聊天。又如，设置图标形式的第五可选择元素104(5)在被选择时可允许用户102调整控制器100的设置，诸如启用哪些控件，或者重新配置控件以及它们如何映射到游戏输入等。这些仅仅是示例，并且可呈现其他类型的增强内容，并且可显示任意数量的可选择元素104，诸如单个元素104、少于五个元素104或超过五个元素104。
本文所述的过程在逻辑流程图中被示为框的集合，该逻辑流程图表示一系列操作，其中一些或全部操作可以硬件、软件、固件或它们的组合来实现(在本文中有时被称为“逻辑”)。在软件的情境中，框可表示存储在一个或多个计算机可读介质上的计算机可执行指令，当被一个或多个处理器执行时，该计算机可执行指令对处理器进行编程以执行所叙述的操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。除非特别指出，否则描述框的顺序不应理解为限制。可以任何顺序和/或并行地组合任意数量的所描述的框来实现该过程或另选过程，并且并非所有框都需要被执行。
图2示出了用于响应于在控制器100的显示器106上提供的触摸输入而在显示器106上浮出一个或多个可选择元素并且不遮挡正在游戏内容窗口112内显示的游戏内容的示例性过程200。在一些情况下，过程200可由控制器100和/或通信地耦接到控制器100的远程设备来执行。
在202处，如本文所公开的，控制器系统的处理器可使得在控制器100的显示器106上的游戏内容窗口112内呈现游戏内容。这方面的示例在图1中的时间108(1)处示出。如本文所述，显示器106可以是触敏显示器，并且游戏内容可与视频游戏相关联。视频游戏可作为独立游戏系统在控制器100上执行，或在控制器100外部的连接设备上执行，诸如PC、游戏机、服务器计算机等。窗口112可以在显示器106上以任何合适的尺寸和位置呈现在显示器106上，诸如在显示器106的中心以跨越整个显示器106或显示器106的大部分但并非显示器106的全部的尺寸。
在204处，处理器可确定是否已经在显示器106上提供了触摸输入，诸如在游戏内容窗口112内呈现游戏内容期间。例如，处理器可接收在显示器106上提供了触摸输入的指示。例如，用户102可触摸显示器106，使得在框204处，该指示(例如，触摸数据，诸如来自显示器堆叠中的电容阵列的电容数据)被处理器接收。如果在框204处没有提供触摸输入，则过程200可遵循从框204的“否”路线回到框202，其中游戏内容继续呈现在游戏内容窗口112内。如果处理器接收到在显示器106上提供了触摸输入的指示，则过程200可遵循从框204到框206的“是”路线。尽管触摸输入被描述为用于在显示器106上浮出可选择元素的一个示例性触发器，但也设想了其他示例性触发器，诸如游戏中事件的发生、用户说出并且由控制器100的麦克风捕获的语音输入等。
在206处，处理器可响应于接收到触摸输入的指示，使得游戏内容窗口112缩放到较小尺寸的游戏内容窗口并且/或者从在显示器106上的当前位置移动到在显示器106上的新位置作为重新定位的游戏内容窗口112。这方面的示例在图1中的时间108(2)处示出，其中窗口112已在显示器106上向上挪动并且缩放到稍微较小尺寸的窗口112。应当理解，窗口112可从其当前位置沿任何合适的方向(例如，向上、向下、向左、向右或其组合)重新定位。在一些情况下，在框206处窗口112在显示器106上移动或挪动的方向是预先确定的(例如，任何触摸输入都可使得窗口112向上挪动或向下挪移)。在一些具体实施中，在框206处窗口112在显示器106上移动或挪动的方向不是预先确定的，而是基于在显示器106上提供的触摸输入的类型和/或方向即时(或动态地)确定的。这在框208处示出，因为处理器可确定在显示器106的特定位置或区(例如，底部边缘、顶部边缘等)在特定方向(例如，向上方向、向下方向等)提供了特定手势类型(例如，轻扫手势)。这可以在框208处借助于指示手势类型、手势方向和/或显示器106上的提供手势的位置或区的触摸输入指示来确定。因此，在框208处，处理器可基于触摸输入手势的类型和/或方向动态地确定在框206处将游戏内容窗口112定位在何处(例如，通过向上、向下等移动窗口112)。
在210处，处理器可使得一个或多个可选择元素104在显示器106上呈现在游戏内容窗口112之外(例如，沿着显示器106的边缘)，跟之前相比现在窗口112的尺寸较小并且/或者在不同的位置。如本文所述，可选择元素104可以是可选择的以使得执行与视频游戏有关的一个或多个对应的动作。例如，在其他可能的动作中，用户102可通过选择可选择元素104来开始聊天会话，或者用户102可截屏正在呈现的游戏内容，以便用户102可与朋友共享游戏的静止图像，或者用户102可调整控制器100的设置。在一些情况下，在框210处呈现在窗口112之外的特定元素104是预先确定的(例如，任何触摸输入都可使得显示预定义的一组元素104)。在一些具体实施中，呈现的元素104可能不是预先确定的，而且一组一个或多个可选择元素104可基于在显示器106上提供的触摸输入的类型和/或方向即时(或动态地)确定。这在框208处示出，因为处理器可确定在显示器106的特定方向(例如，向上方向、向下方向等)和/或在特定位置或区(例如，底部边缘、顶部边缘等)处提供了特定手势类型(例如，轻扫手势)。因此，在框208处，处理器可基于触摸输入手势的类型和/或方向动态地确定在框210处呈现的一组可选择元素104(例如，通过向上、向下等移动窗口112)。即，从显示器106的底部边缘向上轻扫可使得第一组元素104浮出在显示器106上，从显示器106的顶部边缘向下轻扫可使得第二组元素104浮出在该显示器上，从显示器106的左边缘向右轻扫可使得第三组元素104浮出在显示器106上，并且从显示器106的右边缘向左轻扫可使得第四组元素104浮出在显示器106上。在其他实施方案中，特定手势类型可与特定的一组元素104或图标相关联，诸如响应于显示器106上的触摸或轻击而显示第一组元素104、响应于在显示器106上做触摸并按住手势而显示第二组元素104、响应于轻扫手势而显示第三组元素104等。
在212处，处理器可确定是否已经选择了可选择元素104。换句话说，处理器可接收有关在显示器106上的可选择元素104的位置处(或显示器106上显示可选择元素104的位置)提供了第二触摸输入的第二指示。如果没有选择元素104，则过程200可遵循从框212到框214的“否”路线。在214处，如果自在框210处最初显示可选择元素104以来没有发生超时，则过程200可遵循从框214起的“否”路线以继续在游戏内容窗口112之外显示可选择元素104。如果已经发生超时214，则过程200可遵循从框214到框216的“是”路线，此时可选择元素104从显示器106移除，并且游戏内容窗口112在显示器106上恢复到其原始尺寸和/或位置，并且过程200可从框202迭代。
如果在框212处，由处理器接收到有关在显示器106上的元素104的位置处提供了第二触摸输入的第二指示而选择了元素104，则过程200可遵循从框212到框218的“是”路线。在218处，处理器可使得执行与选择的元素104对应的动作，诸如开始聊天会话、捕获呈现在显示器106上的游戏内容的静止图像、调整控制器100的设置等。
在某种情况下，菜单可呈现在显示器的各个部分上，或者在显示器上的各个位置处。例如，菜单可沿着显示器的顶部边缘、显示器的底部边缘、显示器的左边缘和/或显示器的右边缘呈现。在每个菜单内可以是可选择图标，当选择这些图标时，使得一个或多个动作被执行。附加地或另选地，在一些情况下，选择图标可使得将呈现一个或多个子菜单。这些子菜单可提供进一步的选项或动作供用户选择。
图3示出了控制器100的前视图，其示出了内容300和一个或多个菜单302(1)和302(2)被呈现在显示器106上。呈现在显示器106上的内容300可对应于至少部分地由控制器100操作的游戏的游戏环境内的内容。例如，内容300可包括游戏内的场景或关卡。然而，内容300可包括能够被显示的任何其他形式的内容(例如，视频、流等)。
菜单302(1)和302(2)被示出为沿着显示器106的顶部边缘和底部边缘显示。菜单302(1)和302(2)可被认为是显示在显示器106上的第一菜单(例如，菜单可包括第一菜单(菜单302(1))和第二菜单(菜单302(2)))。如图所示，菜单302(1)可在显示器106的左手侧与显示器106的右手侧之间横跨或沿着显示器106的顶部边缘水平地延伸。菜单302(2)可在显示器106的左手侧与显示器106的右手侧之间横跨或沿着显示器106的底部边缘水平地延伸。如本文所讨论的，基于在显示器106上的特定部分或任何地方接收到触摸输入，菜单302(1)和/或302(2)可呈现在显示器106上，并且/或者用户可利用前表面控件中的一个或多个前表面控件来使得菜单302(1)和302(2)(例如，触控板、按钮等)显示，并且/或者菜单302(1)和302(2)可在游戏过程中持续地显示。在一些实施方案中，用户可通过在用户设置或设备设置中设置偏好来配置菜单302(1)和302(2)将如何被显示(例如，响应于触摸显示器106、在游戏过程中的所有时间等)，以及/或者在显示器106的何处呈现菜单302(1)和302(2)。
在一些情况下，用户可在显示器106的各个部分上按压或触摸来浮出第一菜单302(1)和/或第二菜单302(2)。例如，用户可在显示器106顶部边缘上/沿着该显示器的顶部边缘提供触摸输入以呈现第一菜单302(1)。在显示器106顶部边缘上/沿着该显示器的顶部提供触摸输入可使得第一菜单302(1)沿着显示器106的顶部边缘和/或沿着显示器106的底部边缘浮出。在一些情况下，用户可在显示器106的底部边缘上/沿着该显示器的底部边缘提供触摸输入以浮出第一菜单302(1)。在其他示例中，用户可在显示器106上的任何地方提供触摸输入以浮出第一菜单302(1)。类似地，在一些情况下，用户可在显示器106的左边缘或右边缘上/沿着该显示器的左边缘或右边缘提供触摸输入以呈现第二菜单302(2)。在显示器106的左边缘或右边缘上/沿着该显示器的左边缘或右边缘提供触摸输入可使得第二菜单302(2)沿着显示器106的左手侧边缘和/或沿着显示器106的右手侧边缘浮出。在一些情况下，用户可在显示器106上的任何地方提供触摸输入以浮出第二菜单302(2)。第一菜单302(1)和/或第二菜单302(2)可一次呈现一个或者可同时显示。例如，显示器106可一次仅呈现第一菜单302(1)或第二菜单302(2)中的一者，或者可同时在显示器106上呈现第一菜单302(1)和第二菜单302(2)两者。在一些情况下，(第一菜单中的)第一菜单302(1)可沿着显示器106的顶部边缘呈现，(第一菜单中的)第二菜单302(1)可沿着显示器106的底部边缘呈现，(第二菜单中的)第三菜单可沿着显示器106的左边缘呈现，并且(第二菜单中的)第四菜单可沿着显示器106的右边缘呈现。
菜单302(1)和302(2)被示出为覆盖在(例如，在顶部、在前部等)呈现在显示器106上的内容300上。在一些实施方案中，菜单302(1)和302(2)可阻挡在显示器106上可查看的内容300的部分。在一些实施方案中，菜单302(1)和302(2)可以是半透明的以允许菜单图标后面的内容300的一些可见度。结合菜单302(1)和302(2)显示内容300可准许用户在内容300内交互，同时还与菜单302(1)和302(2)进行交互。
菜单302(1)和302(2)可包括表示各种动作的图标，当选择这些图标时，其由控制器100和/或通信地耦接的计算设备(例如，游戏机)执行。每个图标可与对应的动作相关联。在这个意义上，用户可选择图标来使得相关联的动作被执行。例如，菜单302(1)被示出为包括图标304(1)并且菜单302(2)被示出为包括图标304(2)。图标304(1)可沿着显示器106的顶部边缘水平地延伸，并且图标304(2)可沿着显示器106的底部边缘水平地延伸。图标304(1)和304(2)可包括表示当图标304(1)和/或304(2)被选择时执行的相关联动作的标记或符号。例如，用户可在图标304(1)和304(2)上按压或触摸来使得相关联的动作被执行。
在一些情况下，与图标304(1)和304(2)相关联的动作可以是不影响被控制的游戏或应用程序的动作。换句话说，与图标304(1)和304(2)相关联的动作可以在游戏或应用程序的外部或作为其辅助(例如，不是游戏控件)或作为游戏环境的辅助，并且可能不会影响或使得在游戏本身内执行动作。例如，图标304(1)和304(2)可与以下各项相关联：打开与朋友的聊天框或通信界面、调整控制器设置、捕获显示器106的屏幕截图、打开/关闭控制器100的电源、搜索网络、寻找朋友、切换用户、使用耳机、网络连接、电池寿命和/或录制音频。然而，这些动作中的至少一些动作仍然可以某种方式与视频游戏有关，即使它们不直接影响视频游戏。例如，与也正在玩相同视频游戏的朋友的聊天会话可被认为是与该视频游戏有关的动作，即使它不控制该视频游戏本身的方面。虽然已经描述了几个示例，但是菜单302(1)和/或302(2)可分别包括其他图标304(1)和/或304(2)。在一些情况下，图标304(1)和/或304(2)中的每个图标可分别呈现在框、容器或其他区域306(1)和306(2)中。
虽然菜单302(1)和302(2)被示出为分别具有一定数量的图标304(1)和304(2)，但是菜单302(1)和302(2)可包括比如图所示的更多或更少的图标。另外，菜单302(1)和302(2)可包括和如图所示的不同或相似数量的图标，并且/或者菜单302(1)和302(2)可包括彼此不同或相似数量的图标。例如，菜单302(1)可包括两个图标并且菜单302(2)可包括三个图标。在一些情况下，图标304(1)和304(2)(或区域306(1)和306(2))可均等地分布在显示器106上(例如，等距间隔)。此外，图标304(1)和304(2)可沿着顶部边缘和底部边缘(例如，Y轴)在显示器106上居中。另外，尽管菜单302(1)和302(2)被示出为呈现在显示器106的特定部分上，但菜单302(1)和302(2)可呈现在显示器106上的其他地方。另外，在一些情况下，菜单302(1)可呈现在显示器106上，而菜单302(2)不呈现在显示器106上，或者菜单302(2)可呈现在显示器106上，而菜单302(1)不呈现在显示器106上。
如上所述，用户可触摸图标304(1)和304(2)来使得对应的动作被执行。例如，如果用户希望获得呈现在显示器106上的内容300的屏幕截图(例如，捕获静止图像)，则用户可触摸对应的图标(例如，相机图标)。在用户触摸该图标时，控制器100或通信地耦接的计算设备(例如，游戏机)可使得捕获内容300的屏幕截图。作为另一个示例，如果用户希望与他或她的朋友进行对话(例如，在玩视频游戏时)，则用户可触摸对应的图标(例如，对话气泡图标)。这时，控制器100或通信地耦接的计算设备可使得对话框浮出在显示器106上，用户可在该对话框中打字。在一些情况下，在选择第一菜单302(1)内的图标304(1)(例如，对话气泡图标)时，用户可选择哪个朋友将参与对话，并且随后，对话框可被呈现在显示器106上。反过来，用户可参与他或她的朋友的对话。例如，用户可为他们的朋友录制音频或者在对话框中打字。这样，图标304(1)和304(2)中的每个图标可与由控制器100和/或通信地耦接的设备可执行的对应的动作相关联。例如，该动作可包括获得显示器的屏幕截图(例如，捕获游戏的环境)、浮出社交功能(例如，与朋友聊天)、调整控制器设置(例如，布局、配置等)、启用麦克风(例如，录制音频)或寻找朋友。可基于用户正在玩的游戏或在显示器106上显示的内容300来确定图标304(1)和304(2)。在一些情况下，用户可定制哪些图标被填充在菜单302(1)和/或302(2)内，并且/或者菜单302(1)和/或302(2)可被填充有预先确定的图标。在一些情况下，用户可滚动菜单302(1)和302(2)的图标304(1)和304(2)来查看附加的图标，诸如使用轮播图具体实施(例如，在显示器106上使用侧向手指轻扫手势左右滚动)。
在一些情况下，用户可在将控制器100的左手柄308和/或右手柄310握在用户手中时访问菜单302(1)和302(2)。例如，用户的左手指和/或右手指可分别到达菜单302(1)和302(2)的图标304(1)和/或304(2)。然而，在一些情况下，用户可将他或她的手从左手柄308和/或右手柄310移除以便于访问菜单302(1)和/或302(2)。然而，在一些情况下，用户可使用前表面控件中的一个或多个前表面控件(例如，触控板、D-pad、按钮等)来滚动图标304(1)和304(4)。如果用户不希望将他/她的手从手柄308和手柄310移除以便选择图标304，则这可能是有用的。选择图标304的方式可由用户通过在用户设置或设备设置中设置偏好来配置。
在用户已经选择图标之后或者在执行相关联的动作之后，第一菜单302(1)和/或第二菜单302(2)可从显示器106移除。附加地或另选地，在用户在游戏内按压按钮(例如，开枪、移动操纵杆等)时，第一菜单302(1)和/或第二菜单302(2)可被移除。在其他情况下，用户可在显示器106上、第一菜单302(1)和/或第二菜单302(2)之外(例如，显示器106的中心)提供触摸输入。在这个意义上，当用户返回游戏时，第一菜单302(1)和/或第二菜单302(2)可从显示器106移除。然而，用户可通过提供如上所述的触摸输入来重新浮出第一菜单302(1)和/或第二菜单302(2)。在一些情况下，当用户在游戏环境内进行交互时，第一菜单302(1)和/或第二菜单302(2)可保持显示。
图4示出了用户102在显示内容400(例如，视频游戏的游戏内容)时与显示器106进行交流或进行交互来浮出菜单。例如，在第一时间或实例402(1)，用户102可沿着显示器106的顶部边缘和/或在该显示器的顶部边缘上触摸或按压。如上所述，显示器106可以是触敏的，用于检测沿着顶部边缘和/或在顶部边缘(和/或显示器106的其他区域)上的触摸输入。显示器106可包括被配置为检测触摸输入在显示器106上的存在和位置的部件。在一些情况下，用户102可沿着显示器106的顶部边缘和/或在该显示器的顶部边缘上提供具有阈值力大小的按压。附加地或另选地，在一些情况下，用户102可能必须提供持续一定量的时间(例如，两秒)的触摸输入。附加地或另选地，用户102可在显示器106上提供手势以浮出菜单。例如，用户102可将他们的手指从显示器106的顶部边缘向中心轻扫。
无论提供的触摸输入的具体形式如何，显示器106都可浮出或呈现菜单。例如，如图所示，响应于触摸输入，在第二时间或实例402(2)，显示器106可沿着显示器106的顶部边缘呈现菜单302(1)。如先前图3中所讨论的，响应于用户102沿着显示器106的顶部边缘提供触摸输入，显示器106可呈现菜单302(1)。即，沿着顶部边缘提供触摸输入可使得菜单302(1)沿着显示器106的顶部边缘呈现。换句话说，在一些情况下，显示器106可在接收到的触摸输入的位置处或靠近该位置呈现菜单。
在一些情况下，显示器106还可响应于接收到沿着显示器106的顶部边缘的触摸输入而呈现菜单302(2)。即，尽管图4示出了菜单302(1)浮出，但还可或另选地浮出菜单302(2)。例如，菜单302(1)和302(2)可一起浮出。附加地或另选地，在一些情况下，菜单302(2)可响应于用户102沿着显示器106的底部边缘和/或在该显示器的底部边缘上提供触摸输入而显示。在这个意义上，菜单302(1)和302(2)可经由在顶部边缘处/沿着顶部边缘和/或在底部边缘处/沿着底部边缘接收到的触摸输入一起浮出，或者菜单302(1)和302(2)可经由分别在顶部边缘处/沿着顶部边缘和/或在底部边缘处/沿着底部边缘接收到的相应输入来单独浮出。用户仍然可在顶部边缘处/沿着顶部边缘提供第一触摸输入用于浮出菜单302(1)，然后可在底部边缘处/沿着底部边缘提供第二触摸输入用于浮出菜单302(1)，反之亦然。在此类情况下，显示器106可同时呈现菜单302(1)和302(2)。如上所述，菜单302(1)和302(2)中的一者或两者可响应于用户在显示器106上触摸显示器106的任何地方而显示，或者菜单302(1)和302(2)可一直呈现或响应于事件(例如，游戏中的事件、在特定时间等)呈现。
在菜单302(1)和/或302(2)显示之后，用户102可与图标304(1)和/或304(2)进行交互来使得某些动作被执行。例如，如图所示，在时间402(2)，用户可按压与打开或参与和他或她的朋友的对话相关联的图标(例如，对话气泡图标)。响应于选择该图标，显示器106可呈现用于参与和他或她的朋友的对话的对话框。在一些情况下，在做出图标的选择之后，和/或在显示器106上没有接收到触摸输入的一段时间之后(例如，在超时之后)，菜单302(1)和/或302(2)可消失或被移除而不再呈现在显示器106上。与上述示例一致，在按压对话气泡图标之后，菜单302(1)可消失并且显示器106可呈现对话框。附加地或另选地，菜单302(1)(或菜单302(2))可在显示器106在菜单302(1)(或图标304(1))之外接收到触摸输入时消失。例如，用户102可在显示器106的中心/在该显示器的中心处提供触摸输入，这可使得菜单302(1)消失。此外，在一些情况下，用户102可按压前表面控件中的一个或多个前表面控件(例如，左操纵杆、右操纵杆、左触控板、右触控板等)来从显示器106移除菜单302(1)。
在一些情况下，不同于在显示器106上提供触摸输入以浮出可选择元素和/或菜单302(1)和/或302(2)，用户102可按压控制器100的按钮或说出语音命令(例如，“[唤醒词]，菜单”)来浮出菜单302(1)和/或302(2)。在菜单302(1)和/或302(2)浮出之后，用户102可向图标304(1)和/或304(2)提供触摸输入来选择动作，或者可使用前表面控件中的一个或多个前表面控件来切换或滚动图标304(1)和/或304(2)。在从显示器106移除菜单302(1)和/或302(2)之后，用户102可再次在显示器106的部分上提供触摸输入来浮出菜单302(1)和/或302(2)。
图5示出了控制器100的前视图，其示出了内容500和一个或多个菜单502(1)和502(2)被呈现在显示器106上。呈现在显示器106上的内容500可对应于至少部分地由控制器100操作的游戏的游戏环境内的内容。例如，内容500可包括游戏内的场景或关卡。然而，内容500可包括能够被显示的任何其他形式的内容(例如，视频、流等)。
菜单502(1)和502(2)被示出为沿着显示器106的左手边缘(或左手侧)和右手边缘(或右手侧)显示。菜单502(1)和502(2)可被认为是显示在显示器106上的第二菜单(例如，这些菜单可包括第一菜单(菜单502(1))和第二菜单(菜单502(2)))。上文关于图3和图4所讨论的菜单302(1)和302(2)可被认为是第一菜单。然而，在一些情况下，菜单302(1)可被认为是第一菜单，菜单302(2)可被认为是第二菜单，菜单502(1)可被认为是第三菜单，并且/或者菜单502(2)可被认为是第四菜单。
如图所示，菜单502(1)可在显示器106的底部与显示器106的顶部之间沿着显示器106的左手侧竖直地延伸。菜单502(2)可在显示器106的底部与显示器106的顶部之间沿着显示器106的右手侧竖直地延伸。如本文所讨论的，基于在显示器106上的特定部分接收到触摸输入，菜单502(1)和/或502(2)可呈现在显示器106上，并且/或者用户可利用前表面控件中的一个或多个前表面控件来使得菜单502(1)和502(2)(例如，触控板、按钮等)显示。在一些实施方案中，菜单502(1)和502(2)中的一者或两者可在游戏过程中一直显示或响应于事件(例如，游戏中的事件、在特定时间等)显示。
菜单502(1)和502(2)被示出为覆盖在(例如，在顶部、在前部等)呈现在显示器106上的内容500上。菜单502(1)和502(2)可阻挡在显示器106上可查看的内容500的部分。例如，在玩游戏时，显示器106可呈现与视频游戏的环境相关联的各种内容。例如，如果用户希望更换武器，则用户可在显示器106的左手侧和/或右手侧提供触摸输入。这时，第二菜单502(1)和/或第二菜单502(2)可在显示器106上浮出。显示器106因此可显示与游戏的环境相关联的内容以及第二菜单502(例如，用于允许用户更换武器)。在此类情况下，第二菜单502可占据显示器102的一部分(例如，沿着左手侧和/或沿着右手侧)。在一些实施方案中，菜单图标可以是半透明的，使得菜单图标后面的内容500至少部分可见。结合菜单502(1)和502(2)显示内容500可准许用户在内容500内交互，同时还与菜单502(1)和/或502(2)进行交互。
菜单502(1)和502(2)可包括表示各种动作的图标，当选择这些图标时，其由控制器100和/或通信地耦接的计算设备(例如，游戏机)执行。每个图标可与对应的动作相关联。在这个意义上，用户可选择图标来使得相关联的动作被执行。例如，菜单502(1)被示出为包括图标504(1)并且菜单502(2)被示出为包括图标504(2)。图标504(1)可沿着显示器106的左边缘竖直地延伸，并且因此，在用户握住左手柄308时，用户102的左拇指可能可访问图标504(1)。同样，图标504(2)可沿着显示器106的右边缘竖直地延伸，并且因此，在用户握住右手柄310时，用户102的右拇指可能可访问图标504(2)。图标504(1)和504(2)可包括表示当图标504(1)和504(2)被选择时执行的相关联动作的标记或符号。例如，用户可在图标504(1)和504(2)上按压或触摸来使得相关联的动作被执行。
在一些情况下，与图标504(1)和504(2)相关联的动作可以是影响被控制或被执行的视频游戏或应用程序的动作。换句话说，与图标504(1)和504(2)相关联的动作可用于控制视频游戏的一个或多个方面，或者可修改正在玩的视频游戏的方面。因此，可选择图标504(1)和504(2)以使得执行与视频游戏更直接有关的动作，而可选择上文所讨论的图标304(1)和304(2)以使得执行与视频游戏关系较小的动作(例如，调整控制器设置、与其他玩家聊天、获得游戏内容的屏幕截图等)。例如，图标504(1)和504(2)可与以下各项相关联：武器开枪、更换武器、移动玩家控制的角色、打开或查看与视频游戏相关联的地图(例如，虚拟游戏世界的地图)、暂停游戏、定位或查看目标、改变相机角度、改变游戏内用户的角色的服装或盔甲、传送、修复、升级健康状况等。这些图标504(1)和504(2)可被认为是快捷功能(例如，游戏控件)，并且用户可触摸可选择图标来在视频游戏内执行动作。当被执行时，与图标504对应的动作可在游戏内执行并且可反映在内容500内。在这个意义上，可通过选择图标504(1)和504(2)来执行的动作可包括游戏内的动作或可通过游戏执行的动作(例如，更换武器)。菜单302(1)和302(2)是在视频游戏的外部或作为其辅助的动作(例如，聊天框)，与此相比，菜单502(1)和502(2)可与在游戏内执行的动作相关联。也就是说，如本文其他地方所述，与菜单302相关联的动作仍然可被认为与视频游戏有关；只是关系较小。换句话说，与本文所述的图标或可选择元素相关联的动作以某种方式与视频游戏相关联，而不是与视频游戏无关，这可能是与视频游戏或正在玩游戏的视频游戏平台完全无关的电子邮件或文本消息的通知的情况。虽然已经描述了几个示例，但是菜单502(1)和/或502(2)可分别包括其他图标504(1)和/或504(2)用于提供额外的游戏控件。在一些情况下，图标504(1)和/或504(2)中的每个图标可分别呈现在框、容器或其他区域506(1)和506(2)中。
虽然菜单502(1)和502(2)被示出为分别具有一定数量的图标504(1)和504(2)，但是菜单502(1)和502(2)可包括比如图所示的更多或更少的图标。附加地，菜单502(1)和502(2)可包括和如图所示的不同或相似数量的图标，并且/或者菜单502(1)和502(2)可包括彼此不同或相似数量的图标。例如，菜单502(1)可包括两个图标并且菜单502(2)可包括三个图标。在一些情况下，图标504(1)和504(2)(或区域506(1)和区506(2))可均等地分布在显示器106上(例如，等距间隔)。此外，图标504(1)和504(2)可沿着顶部边缘和底部边缘(例如，X轴)在显示器106上居中。附加地，尽管菜单502(1)和502(2)被示出为呈现在显示器106的特定部分上，但菜单502(1)和502(2)可呈现在显示器106上的其他地方。另外，在一些情况下，菜单502(1)可在没有菜单502(2)的情况下呈现在显示器106上，反之亦然。然而，显示器106可结合菜单502(1)和502(2)来呈现菜单302(1)和302(2)。附加地或另选地，显示器106可结合菜单502(1)和502(2)中的一个或多个菜单来呈现菜单302(1)和302(2)中的一个或多个菜单。
菜单502(1)和502(2)可在游戏过程中一直呈现在显示器106上，或者菜单502(1)和502(2)可响应于用户输入和/或响应于某些事件(例如，游戏中的事件、在特定时间等)浮出。在一些情况下，游戏内容窗口112可被缩放和/或被重新定位，而不是覆盖游戏内容500，如本文所述，以适应显示器106的侧面区域或区域506(1)和506(2)来在游戏内容窗口112之外呈现菜单502(1)和502(2)，而不遮挡游戏内容112。同样，这对于游戏内容500与小于显示器106的长宽比的长宽比相关联是可行的，以便在调整呈现游戏内容的游戏内容窗口112的尺寸时保持游戏内容的保真度。
在菜单502(1)和502(2)在显示器106上浮出的情况下，用户可在图标504上触摸或按压以使得动作被执行。例如，用户可选择与武器开枪、更换武器等相关联的图标504(例如，枪图标)。在用户按压该图标504时，控制器100或通信地耦接的计算设备(例如，游戏机)可打开允许用户在可用武器中进行选择的子菜单(或者使得将打开子菜单)。例如，如果动作是更换武器，则用户可滚动各种武器(例如，弓箭、手枪等)并且选择所需武器，并且游戏内用户的角色的武器可更新。作为另一个示例，如果用户希望查看游戏的地图(例如，关卡、场景等)，则用户可选择对应的图标(例如，地图图标)。这时，控制器100或通信地耦接的计算设备可使得将呈现弹出窗口以及/或者将更新内容500以显示地图。用户然后可与地图交互来查看目的地、设置目标等。此外，如果用户希望治愈他们的角色(例如，施用药水、休息等)，则用户可选择对应的图标(例如，健康图标)。这样，图标504(1)和504(2)中的每个图标可与由控制器100和/或通信地耦接的设备可执行的对应的动作相关联。这些仅仅是可由第二菜单502的图标504执行的示例性动作类型。
可基于用户正在玩的游戏或者正在显示的内容500来确定从可用图标504的较大超集中呈现哪些图标504(1)和504(2)。例如，基于正在玩的特定游戏，可显示某些图标来使得将执行与特定游戏相关联的动作。即，知道游戏将允许确定与该游戏相关联的动作，并且对应地填充菜单502(1)和502(2)。在一些情况下，用户可定制哪些图标被填充在菜单502(1)和/或502(2)内，并且/或者菜单502(1)和/或502(2)可被填充有预先确定的图标。在一些情况下，用户可滚动菜单502(1)和502(2)的图标504(1)和504(2)用于查看附加的图标。
在一些情况下，用户可在将左手柄308和/或右手柄310握在用户手中时访问菜单502(1)和502(2)。例如，用户的左手指和/或右手指可分别到达菜单502(1)和502(2)的图标504(1)和/或504(2)。然而，在一些情况下，用户可将他或她的手从左手柄308和/或右手柄310移除以便于访问菜单502(1)和/或502(2)。然而，在一些情况下，用户可使用前表面控件中的一个或多个前表面控件(例如，触控板)来滚动图标504(1)和504(4)。分别沿着显示器106的左侧和右侧定位菜单502(1)和502(2)允许图标504(1)位于用户的左拇指的范围内并且图标504(2)位于用户的右拇指的范围内。因此，用户可能够在不将他/她的手从手柄308和手柄310移除的情况下选择图标504。在一些具体实施中，为了避免由无意触摸造成图标504的虚假输入，压力传感器可与图标504相关联，以便注册用于在按压的力大小满足(例如，达到或超过、严格超过等)阈值的情况下选择图标504的输入事件。可为此目的在显示器106的左边缘和/或右边缘处利用任何合适类型的压力传感器，包括但不限于力感测电阻器(FSR)、力感测电容器(FSC)、压电压力传感器、测力传感器、应变仪等。
图6示出了在显示游戏内容600时用户102与控制器100和显示器106进行交流或进行交互来浮出菜单。例如，在第一时间或实例602(1)，用户102可沿着显示器106的左边缘和/或在该显示器的左边缘上触摸或按压。如上所述，显示器106可以是触敏的，用于检测沿着左边缘和/或在左边缘(和/或显示器106的其他区域)上的触摸输入。显示器106可包括被配置为检测触摸输入在显示器106上的存在和位置的部件。在一些情况下，用户102可沿着显示器106的左边缘和/或在该显示器的左边缘上提供具有阈值力大小的按压。附加地或另选地，在一些情况下，用户102可能必须提供持续一定量的时间(例如，两秒)的触摸输入。附加地或另选地，用户102可在显示器106上提供手势以浮出菜单。例如，用户102可将他们的手指从显示器106的(左)边缘向显示器106的中心轻扫。
无论提供的触摸输入的具体形式如何，显示器106都可浮出或呈现菜单。例如，如图所示，响应于触摸输入，在第二时间或实例602(2)，显示器106可沿着显示器106的左边缘呈现菜单502(1)。如先前图5中所讨论的，响应于用户102沿着显示器106的左边缘提供触摸输入，显示器106可呈现菜单502(1)。即，沿着左边缘提供触摸输入可使得菜单502(1)沿着显示器106的左边缘呈现。换句话说，在一些情况下，显示器106可在接收到的触摸输入的位置处或靠近该位置呈现菜单。
在一些情况下，显示器106还可响应于接收到沿着显示器106的左边缘的触摸输入而呈现菜单502(2)。即，尽管图6示出了菜单502(1)浮出，但还可浮出菜单502(2)。例如，菜单502(1)和502(2)可一起浮出。附加地或另选地，在一些情况下，菜单502(2)可响应于用户102沿着显示器106的右边缘和/或在该显示器的右边缘上提供触摸输入而显示。在这个意义上，菜单502(1)和502(2)可经由在左边缘处/沿着左边缘和/或在右边缘处/沿着右边缘接收到的触摸输入一起浮出，或者菜单502(1)和502(2)可经由分别在左边缘处/沿着左边缘和/或在右边缘处/沿着右边缘接收到的相应输入来单独浮出。用户仍然可在左边缘处/沿着左边缘提供第一触摸输入用于浮出菜单502(1)，然后可在右边缘处/沿着右边缘提供第二触摸输入用于浮出菜单502(2)，反之亦然。在此类情况下，显示器106可同时呈现菜单502(1)和502(2)。
在菜单502(1)和/或502(2)显示之后，用户102可与图标504(1)和/或504(2)进行交互来使得某些动作被执行。例如，在602(2)处，用户可触摸图6所示的菜单502(1)中的与更换武器(例如，武器图标)、查看地图(例如，地图图标)相关联的图标，或各个图标504中的任一个图标。例如，如果用户要触摸武器图标，则显示器106可呈现菜单或其他形式的界面，以允许用户102在可用武器中切换和/或选择。在一些情况下，在做出武器的选择之后或者在选择武器图标之后，菜单502(1)和/或502(2)可消失或被移除而不再呈现在显示器106上。与上述示例一致，在触摸武器图标之后，菜单502(1)可消失并且显示器106可呈现菜单用于选择武器。附加地或另选地，菜单502(1)(或菜单502(2))可在显示器106在菜单502(1)(或图标504(1))之外接收到触摸输入时消失。例如，用户102可在显示器106的中心提供触摸输入，这可使得菜单502(1)消失。此外，在一些情况下，用户102可按压前表面控件中的一个或多个前表面控件(例如，左操纵杆、右操纵杆、左触控板、右触控板等)来从显示器106移除菜单502(1)。
在一些情况下，不同于在显示器106上提供触摸输入以浮出菜单502(1)和/或502(2)，用户102可按压控制器100的按钮或说出语音输入(例如，“[唤醒词]，控件”)来浮出菜单502(1)和/或502(2)。在菜单502(1)和/或502(2)浮出之后，用户102可向图标504(1)和/或504(2)提供触摸输入来选择动作，或者可使用前表面控件中的一个或多个前表面控件来切换或滚动图标504(1)和/或504(2)。在一些情况下，菜单502(1)和502(2)中的一者或两者可在游戏过程中一直呈现或响应于事件(例如，游戏中的事件、在特定时间等)而呈现。在从显示器106移除菜单502(1)和/或502(2)之后，用户106可再次提供输入(例如，在显示器106的部分上的触摸输入)来浮出菜单502(1)和/或502(2)。在一些具体实施中，在显示器106上没有检测到触摸输入的情况下经过一段时间之后(例如，在超时之后)，菜单502(1)和/或502(2)从显示器106消失。另外，尽管没有示出，但显示器106可结合或协同菜单502(1)和502(2)来呈现菜单302(1)和302(2)。在此类情况下，用户可向菜单的相应图标提供触摸输入来使得相关联的动作被执行。
本文所述的元素、图标和/或菜单可为操作手持控制器100的用户102提供增加的输入。例如，显示器106可被配置为浮出元素、图标104和/或菜单(例如，第一菜单302和/或第二菜单502)以向用户提供附加的输入，而不是在控制器100上包括附加的按钮(例如，在显示器106之外)。这样，本文所述的手持控制器100允许不同的布置或功能来修改控制器100的配置以满足不同应用程序(例如，游戏作品)、用户等的需要。至少有时在继续用双手在相应手柄308、310(例如，当图标沿着显示器106的左边缘和/或右边缘呈现时)上握住控制器100时，可选择元素或图标可由用户方便地访问，诸如左手和/或右手的手指和/或拇指。
图7示出了图1的手持控制器的前视图，其部分地示出了一个或多个前表面控件和显示器106。控制器100可包括具有前表面704的控制器主体702。控制器主体702还可包括背表面(或背部)、顶表面(或顶边，或顶部)、底表面(或底边，或底部)、左表面(或左边，或左部)，和右表面(或右边，或右部)。因此，控制器主体702可为长方体。与顶表面、底表面、左表面和右表面相比，前表面704和背表面可为相对较大的表面。
如图7所示，控制器主体702的前表面704可包括被配置为接收用户的输入的多个控件。由控件生成的触摸数据可用于检测操作控制器100的用户的手指的存在、位置和/或手势。在一些情况下，控制器主体702的前表面704可包括一个或多个前表面控件，在一些情况下，这些前表面控件可由操作控制器100的用户的一个或多个拇指控制。这些前表面控件可包括一个或多个触控板、轨迹球、操纵杆、方向键(例如，D-pad)、按钮等，如下面更详细地描述。例如，前表面704可包括可由用户的左拇指控制的左操纵杆706、左触控板708和/或左D-pad 710。在一些实施方案中，前表面704可包括可由左拇指控制的附加的左按钮，诸如按钮712和按钮714。前表面704还可包括可由用户的右拇指控制的右操纵杆716、右触控板718和/或一个或多个右按钮720(1)-(4)(例如，X按钮、Y按钮、A按钮和B按钮)。在一些实施方案中，前表面704可包括可由右拇指控制的附加的右按钮，诸如按钮722和按钮124。然而，前部704可包括其他控件，诸如倾斜按钮、扳机、旋钮、滚轮和/或轨迹球，并且该多个控件可被配置为接收来自用户的拇指和/或手指的任意组合的输入。在控制器100包括扳机的情况下，扳机可为被配置为被推离控制器100和被拉向控制器100的多方向扳机。此外，控制器100可包括被配置为被推动和/或拉动的拨片、面板或翼部。这些面板可用于向控制器100提供附加的游戏控制，诸如在赛车游戏中换档(例如，推下可降档并且拉起可升档)。
在一些实施方案中，触控板708和718为四边形触控板。例如，触控板708和718可为大致正方形的触控板。此外，四边形触控板708和718可具有圆角。另外，如图7所示，每个触控板708和718的直侧边在控制器主体702的前表面704上与控制器主体702的中心中的显示器106的侧(例如，左和右)边对齐(例如，平行)。与圆形触控板相比，四边形触控板708和718在可由用户的手指(例如，拇指)触及的转角处提供额外空间。因此，由于由触控板708和718所提供的额外区域，四边形触控板708和718可能比圆形触控板更符合人体工程学。例如，触控板708和718的四边形形状可赋予用户在控制器100上重新定向他/她的手并且仍然用他/她的拇指触及触控板708和718的能力。附加地或另选地，用户可选择以略不同的方式抓握控制器主体702，使得触控板(例如，触控板708和718)的转角被像触控板的北、南、东和西部分(例如，像菱形触控板)一样使用。
控制器100还可包括左手柄308右手柄310，用户可通过它们分别经由用户的右手和左手握住控制器100。如图所示，左手柄308可设置在控制器主体702的左手侧，并且右手柄310可设置在控制器主体702的右手侧。将左手柄308握在左手中可提供对左操纵杆706、左触控板708和/或左D-pad的触及。将右手柄310握在右手中可提供对右操纵杆716、右触控板718和/或一个或多个右按钮720的触及。
显示器106可位于控制器主体702的中心内。显示器106可设置在左手柄308与右手柄310之间，在控制器主体702的中心内。如本文所详细讨论的，显示器106可呈现与由控制器100控制或操作的游戏或其他应用程序相关联的内容。例如，显示器106可呈现由控制器100操作或控制的游戏的游戏环境。显示器106还可呈现可由用户选择的各种UI和/或包括图标或其他元素的菜单。显示器106可对触摸输入敏感和做出响应。在一些情况下，显示器106可包括被配置为检测触摸输入的存在和位置以执行一个或多个动作的触摸传感器。此外，当控制器100在用户的左手和/或右手中被握住时，显示器106的全部或部分可由用户触及(例如，可到达)。
图8示出了控制器100的顶视图，示出了控制器主体702的顶部800。顶部800可包括一个或多个左扳机802和/或一个或多个右扳机804。在一些情况下，一个或多个左扳机802和/或一个或多个右扳机804中的每一者可沿着控制器主体702的顶部800定位。在控制器100由用户握持时，一个或多个扳机802和/或一个或多个右扳机804可在正常操作期间由用户的食指控制。顶部800可附加地或另选地包括按钮806(或可由用户的手指控制的其他附加输入控件)。在一些情况下，顶部800可包括用于检测手指在控件上的存在、位置和/或手势的触摸传感器。另外，顶部800可包括用于将控制器100通信地耦接到外部设备(例如，充电器、游戏机、显示器、计算设备等)的接收器，诸如有线通信接口(例如，端口、插头、插孔等)。
图9示出了控制器100的后视图，示出了控制器主体702的背部900。一个或多个左扳机802和一个或多个右扳机804在图9的后视图中也是可见的，左手柄308和右手柄310也是如此。控制器主体702的背部900还可包括一个或多个左控件902和/或一个或多个右控件904，在控制器100被握持在用户的手中时，这些控件可在正常操作期间由用户的食指或中指方便地操纵。一个或多个左控件902和/或一个或多个右控件904可为触敏的以识别一个或多个手指在控件上的存在、位置和/或手势。
图10示出了控制器100的示例性计算部件。如图所示，控制器100包括一个或多个输入/输出(I/O)设备1002，诸如上述控件(例如，操纵杆、触控板、触发器等)、潜在的任何其他类型的输入或输出设备。例如，I/O设备1002可包括一个或多个麦克风以接收音频输入，诸如用户语音输入。在一些具体实施中，一个或多个相机或其他类型的传感器(例如，惯性测量单元(IMU))可用作输入设备以接收手势输入，诸如手持控制器100的运动。在一些实施方案中，可以键盘、小键盘、鼠标、触摸屏、操纵杆、控制按钮等的形式提供附加的输入设备。输入设备还可包括控制机构，诸如用于增大/减小音量的基本音量控制按钮，以及电源和复位按钮。
同时，输出设备可包括显示器、发光元件(例如，LED)、产生触觉的振动器、扬声器(例如，头戴式耳机)等。还可存在简单的光元件(例如，LED)来指示状态(例如，当电源开启时)和/或控制器的功能(例如，模式)。尽管已经提供了一些示例，但是控制器可另外地或另选地包括任何其他类型的输出设备。
在一些情况下，一个或多个输出设备的输出可基于由输入设备中的一个或多个输入设备接收到的输入。例如，控件的选择可导致位于该控件附近(例如，下方)或任何其他位置的振动器输出触觉响应。在一些情况下，输出可至少部分地基于触摸传感器(诸如与控件相关联的触摸传感器)上的触摸输入的特性而改变。例如，在触摸传感器上的第一位置处的触摸输入可导致第一触觉输出，而在触摸传感器上的第二位置处的触摸输入可导致第二触觉输出。此外，触摸传感器上的特定手势可导致特定的触觉输出(或其他类型的输出)。例如，在控件上的轻扫手势可导致第一类型的触觉输出，而在控件上的轻击(由触摸传感器检测的)可导致第二类型的触觉输出，而用力按压控件可导致第三类型的触觉输出。另外，某些控件或控件的部分可基于接收到的输入而被照亮。
另外，控制器100可包括一个或多个通信接口1004，以促进到网络和/或一个或多个远程系统和/或设备1005(例如，执行应用程序的主机计算设备、游戏机等)的无线连接。通信接口1004可实现各种无线技术中的一种或多种无线技术，诸如Wi-Fi、蓝牙、射频(RF)等。应当理解，控制器100还可包括物理端口，以促进与网络、连接的外围设备或与其他无线网络通信的插入式网络设备的有线连接。
在所示的具体实施中，控制器100还包括一个或多个处理器1006和计算机可读介质1008。在一些具体实施中，处理器1006可包括中央处理单元(CPU)、图形处理单元(GPU)、CPU和GPU两者、微处理器、数字信号处理器或本领域已知的其他处理单元或部件。另选地或除此之外，本文所述的功能可至少部分地由一个或多个硬件逻辑部件执行。例如但不限于，可使用的例示性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统系统(SOC)、复杂的可编程逻辑器件(CPLD)等。另外，处理器1006中的每个处理器可拥有自己的本地存储器，这些存储器也可存储程序模块、程序数据和/或一个或多个操作系统。
计算机可读介质1008可包括采用用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性存储器和非易失性存储器、可移动介质和不可移动介质。这种存储器包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储设备、RAID存储系统，或可用于存储所需信息并可由计算设备访问的任何其他介质。计算机可读介质1008可被实现为计算机可读存储介质(“CRSM”)，该CRSM可以是处理器1006可访问以执行存储在计算机可读介质1008上的指令的任何可用物理介质。在一种基本的具体实施中，CRSM可包括随机存取存储器(“RAM”)和闪存存储器。在其他具体实施中，CRSM可包括但不限于只读存储器(“ROM”)、电可擦除可编程只读存储器(“EEPROM”)或可用于存储所需信息并可由处理器1006访问的任何其他有形介质。
若干模块诸如指令、数据存储等可存储在计算机可读介质1008内并且被配置为在处理器1006上执行。一些示例性功能模块被示为存储在计算机可读介质1008中并在处理器1006上执行，但是相同的功能可另选地采用硬件、固件或片上系统(SOC)来实现。
操作系统模块1010可被配置为管理在手持控制器100内并耦接到该手持控制器的硬件，以有利于其他模块。另外，计算机可读介质808可存储网络通信模块1012，该网络通信模块使手持控制器100能够经由通信接口1004与一个或多个其他设备1005(诸如执行应用程序(例如游戏应用程序)的个人计算设备)、游戏机、远程服务器等进行通信。计算机可读介质1008还可包括游戏会话数据库1014，以存储与在控制器或与控制器耦接的计算设备上执行的游戏(或其他应用程序)相关联的数据。计算机可读介质1008还可包括设备记录数据库1016，该设备记录数据库存储与控制器所耦接的设备(诸如个人计算设备、游戏机、远程服务器等)相关联的数据。计算机可读介质1008还可存储将控制器配置为用作游戏控制器的游戏控制指令1018，以及将手持控制器100配置为用作其他非游戏设备的控制器的通用控制指令1020。
在一些情况下，图10中所示的一些或所有部件(软件)可在作为包括控制器的控制器系统1007的一部分的另一计算设备1005上实现。在此类情况下，本文所述的过程和/或功能可由其他计算设备1005和/或控制器100实现。作为示例，控制器100可耦接到相同环境中的主机PC或控制台、计算设备/服务器，并且向计算设备1005提供指示在控制器100处接收到的按压、选择等的数据。例如，控制器100可将指示在显示器106处接收到的触摸输入的数据传输到计算设备1005，并且计算设备1005可确定在控制器100上的何处接收到触摸输入。计算设备1005然后可使得相关联的动作被执行。例如，计算设备1005可使得在显示器106上浮出或显示菜单。附加地或另选地，计算设备可接收指示选择菜单中的一个菜单内的图标的数据。如上所述，这些图标可与某些动作相关联并且计算设备1005可执行这些动作。例如，在用户选择与参与和一个或多个朋友的对话相关联的图标的情况下，计算设备可从控制器接收文本数据和/或音频数据并且将这些数据提供给由用户的朋友操作的设备。计算设备1005因此可帮助促进或执行由用户选择的功能或动作。然而，虽然描述了一些场景，但控制器100和计算设备1005可相互通信地耦接以发送和接收数据，使得控制器100、计算设备1005和/或控制器系统的其他设备1007可执行本文所述的操作和过程。
示例性条款
1.一种控制器系统，所述控制器系统包括：一个或多个处理器；和包括显示器的控制器，所述显示器是触敏的并且被配置为向所述一个或多个处理器提供指示有关在所述显示器处接收到的触摸输入的触摸数据，并且其中所述显示器被配置为沿着所述显示器的顶部边缘或底部边缘中的至少一者显示菜单，其中所述菜单包括与以下操作中的至少一种相关联的一个或多个可选择图标：调整所述控制器的设置；捕获呈现在所述显示器上的内容；或建立与一个或多个设备的通信链接。
2.根据条款1所述的控制器系统，其中所述菜单至少部分地基于在所述显示器的所述顶部边缘或所述底部边缘中的至少一者处或沿着所述显示器的所述顶部边缘或所述底部边缘中的至少一者接收到触摸输入而显示。
3.根据条款1所述的控制器系统，其中所述菜单包括沿着所述显示器的所述顶部边缘显示的第一菜单，其中所述显示器被配置为沿着所述显示器的所述底部边缘显示第二菜单，并且其中存在以下情况中的至少一种：所述第一菜单和所述第二菜单至少部分地基于在所述显示器的所述顶部边缘处或沿着所述显示器的所述顶部边缘接收到触摸输入而显示；或者所述第一菜单和所述第二菜单至少部分地基于在所述显示器的所述底部边缘处或沿着所述显示器的所述底部边缘接收到触摸输入而显示。
4.根据条款1所述的控制器系统，其中：所述一个或多个可选择图标中的各个图标与动作相关联，并且至少部分地基于接收到对所述一个或多个可选择图标的选择，所述一个或多个处理器被配置为使得所述动作被执行。
5.根据条款1所述的控制器系统，其中：所述一个或多个可选择图标沿着所述显示器的所述顶部边缘或所述底部边缘中的至少一者水平地间隔开。
6.根据条款1所述的控制器系统，其中：在所述菜单显示之后，所述菜单至少部分地基于以下情况中的至少一种被移除而不再显示在所述显示器上：接收到对所述一个或多个可选择图标的选择；在所述显示器上的所述菜单的区域之外接收到触摸输入；或者接收到指示有关对所述控制器的一个或多个控件的选择或移动的数据。
7.一种控制器系统，所述控制器系统包括：一个或多个处理器；和包括显示器的控制器，所述显示器是触敏的并且被配置为向所述一个或多个处理器提供指示有关在所述显示器处接收到的触摸输入的触摸数据，并且其中所述显示器被配置为沿着所述显示器的左边缘或右边缘中的至少一者显示菜单，其中所述菜单包括与至少部分地由所述控制器操作的游戏的一个或多个控件相关联的一个或多个可选择图标。
8.根据条款7所述的控制器系统，其中：所述菜单至少部分地基于在所述显示器的所述左边缘或所述右边缘中的至少一者处或沿着所述显示器的所述左边缘或所述右边缘中的至少一者接收到触摸输入而显示。
9.根据条款7所述的控制器系统，其中所述菜单包括沿着所述显示器的所述左边缘显示的第一菜单，其中所述显示器被配置为沿着所述显示器的所述右边缘显示第二菜单，并且其中存在以下情况中的至少一种：所述第一菜单和所述第二菜单至少部分地基于在所述显示器的所述左边缘处或沿着所述显示器的所述左边缘接收到触摸输入而显示；或者所述第一菜单和所述第二菜单至少部分地基于在所述显示器的所述右边缘处或沿着所述显示器的所述右边缘接收到触摸输入而显示。
10.根据条款7所述的控制器系统，其中：所述一个或多个可选择图标中的各个图标与动作相关联，并且至少部分地基于接收到对所述一个或多个可选择图标的选择，所述一个或多个处理器被配置为使得所述动作被执行。
11.根据条款7所述的控制器系统，其中：所述一个或多个可选择图标沿着所述显示器的所述左边缘或所述右边缘中的至少一者竖直地间隔开。
除非另外指明，否则说明书和权利要求书中所使用的表达数量、属性、条件等的所有数字在所有情况下均应理解成由术语“约”修饰。因此，除非有相反的说明，否则说明书和所附权利要求中列出的数值参数均为近似值，这些近似值可根据本公开寻求获得的所需特性而变化。至少并且在不试图限制权利要求范围的等同原则的应用的情况下，每个数值参数均应该至少根据所报告的有效数字的数值并通过应用普通的舍入技术来解释。当需要进一步澄清时，术语“约”具有在其与所述数值或范围结合使用时本领域的技术人员合理地赋予它的含义，即表示比所述值或范围稍微大或稍微小如下范围：在所述值的±20％的范围内；在所述值的±19％的范围内；在所述值的±18％的范围内；在所述值的±17％的范围内；在所述值的±16％的范围内；在所述值的±15％的范围内；在所述值的±14％的范围内；在所述值的±13％的范围内；在所述值的±12％的范围内；在所述值的±11％的范围内；在所述值的±10％的范围内；在所述值的±9％的范围内；在所述值的±8％的范围内；在所述值的±7％的范围内；在所述值的±6％的范围内；在所述值的±5％的范围内；在所述值的±4％的范围内；在所述值的±3％的范围内；在所述值的±2％的范围内；或在所述值的±1％的范围内。
虽然本文单独描述了各种示例和实施方案，但可对这些示例和实施方案进行组合、重新布置和修改以实现本公开范围内的其他变型形式。此外，尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但应当理解，所附权利要求书中定义的主题不必限于所描述的具体特征或动作。相反，具体特征和动作被公开为实施权利要求书的说明性形式。

Claims (20)

1.一种控制器系统，所述控制器系统包括：
一个或多个处理器；和
控制器，所述控制器包括显示器，所述显示器是触敏的；
非暂态计算机可读介质，所述非暂态计算机可读介质存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下各项的动作：
使得在所述显示器上的游戏内容窗口内呈现游戏内容，所述游戏内容与视频游戏相关联；
接收有关在所述游戏内容窗口内呈现所述游戏内容期间在所述显示器上提供了触摸输入的指示；以及
响应于所述指示的所述接收：
使得所述游戏内容窗口从所述显示器上的当前位置向上挪动到所述显示器上的新位置，作为重新定位的游戏内容窗口；以及
使得在所述显示器上的所述重新定位的游戏内容窗口下方呈现一个或多个可选择元素，其中可选择所述一个或多个可选择元素以使得执行与所述视频游戏有关的一个或多个对应的动作。
2.根据权利要求1所述的控制器系统，其中所述指示的所述接收包括接收有关在所述显示器上提供了轻扫手势并且所述轻扫手势在所述显示器的底部边缘以向上方向提供的指示。
3.根据权利要求1所述的控制器系统，其中所述使得呈现所述一个或多个可选择元素包括使得沿着所述显示器的底部边缘呈现多个可选择元素的菜单。
4.根据权利要求1所述的控制器系统，其中所述一个或多个可选择元素与以下操作中的至少一种相关联：
调整所述控制器的设置；
捕获在所述显示器上的所述重新定位的游戏内容窗口内呈现的所述游戏内容的静止图像；或者
开始与正在使用不同控制器玩所述视频游戏的玩家的聊天会话。
5.根据权利要求1所述的控制器系统，其中：
所述动作还包括，响应于所述指示的所述接收，使得所述游戏内容窗口缩放到较小尺寸的游戏内容窗口；并且
所述一个或多个可选择元素呈现在被缩放到所述较小尺寸的游戏内容窗口的所述重新定位的游戏内容窗口下方。
6.根据权利要求1所述的控制器系统，其中所述游戏内容的第一长宽比小于所述显示器的第二长宽比。
7.根据权利要求1所述的控制器系统，其中：
所述显示器位于所述控制器的控制器主体的前表面上，在所述前表面的中心处；并且
所述控制器还包括设置在所述控制器主体的所述前表面上的所述显示器之外的控件，所述控件包括操纵杆或方向键(D-pad)中的至少一者。
8.一种方法，所述方法包括：
使得在控制器的显示器上的游戏内容窗口内呈现游戏内容，所述显示器包括触敏显示器，并且所述游戏内容与视频游戏相关联；
由处理器接收有关在所述显示器上提供了触摸输入的指示；
响应于所述指示的所述接收：
使得所述游戏内容窗口执行以下操作中的至少一种：
缩放到较小尺寸的游戏内容窗口；或者
从所述显示器上的当前位置向上移动到所述显示器上的新位置，作为重新定位的游戏内容窗口；以及
使得在所述显示器上的所述较小尺寸的游戏内容窗口或所述重新定位的游戏内容窗口之外呈现一个或多个可选择元素，其中可选择所述一个或多个可选择元素以使得执行与所述视频游戏有关的一个或多个对应的动作。
9.根据权利要求8所述的方法，其中，响应于所述指示的所述接收：
所述游戏内容窗口从所述当前位置向上或向下移动到所述新位置；并且
所述一个或多个可选择元素呈现在所述显示器上的所述重新定位的游戏内容窗口下方或上方。
10.根据权利要求9所述的方法，其中：
所述指示的所述接收包括接收有关在所述显示器上提供了轻扫手势的指示；
所述方法还包括由所述处理器确定所述轻扫手势是在所述显示器的底部边缘以向上方向提供还是在所述显示器的顶部边缘以向下方向提供；并且
所述游戏内容窗口至少部分地基于所述确定而向上或向下移动。
11.根据权利要求8所述的方法，其中所述使得呈现所述一个或多个可选择元素包括使得沿着所述显示器的边缘呈现多个可选择元素的菜单。
12.根据权利要求8所述的方法，还包括：
由处理器接收有关在所述显示器上的所述一个或多个可选择元素中的可选择元素的位置处提供了第二触摸输入的第二指示；以及
使得执行与所述可选择元素对应的动作，其中所述动作包括以下操作中的至少一种：
调整所述控制器的设置；
捕获在所述较小尺寸的游戏内容窗口或所述重新定位的游戏内容窗口内呈现的所述游戏内容的静止图像；或者
开始与正在使用不同控制器玩所述视频游戏的玩家的聊天会话。
13.根据权利要求8所述的方法，其中所述游戏内容的第一长宽比小于所述显示器的第二长宽比。
14.一种控制器系统，所述控制器系统包括：
一个或多个处理器；
控制器，所述控制器包括显示器，所述显示器是触敏的；
非暂态计算机可读介质，所述非暂态计算机可读介质存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下各项的动作：
使得在所述显示器上的游戏内容窗口内呈现游戏内容，所述游戏内容与视频游戏相关联；
接收有关在所述显示器上提供了触摸输入的指示；
响应于所述指示的所述接收：
使得所述游戏内容窗口执行以下操作中的至少一种：
缩放到较小尺寸的游戏内容窗口；或者
从所述显示器上的当前位置向上移动到所述显示器上的新位置，作为重新定位的游戏内容窗口；以及
使得在所述显示器上的所述较小尺寸的游戏内容窗口或所述重新定位的游戏内容窗口之外呈现一个或多个可选择元素，其中可选择所述一个或多个可选择元素以使得执行与所述视频游戏有关的一个或多个对应的动作。
15.根据权利要求14所述的控制器系统，其中，响应于所述指示的所述接收：
所述游戏内容窗口从所述当前位置向上或向下移动到所述新位置；并且
所述一个或多个可选择元素呈现在所述显示器上的所述重新定位的游戏内容窗口下方或上方。
16.根据权利要求15所述的控制器系统，其中：
所述指示的所述接收包括接收有关在所述显示器上提供了轻扫手势的指示；
所述动作还包括确定所述轻扫手势是在所述显示器的底部边缘以向上方向提供还是在所述显示器的顶部边缘以向下方向提供；并且
所述游戏内容窗口至少部分地基于所述确定而向上或向下移动。
17.根据权利要求14所述的控制器系统，其中所述使得呈现所述一个或多个可选择元素包括使得沿着所述显示器的边缘呈现多个可选择元素的菜单。
18.根据权利要求14所述的控制器系统，其中所述一个或多个可选择元素与以下操作中的至少一种相关联：
调整所述控制器的设置；
捕获在所述较小尺寸的游戏内容窗口或所述重新定位的游戏内容窗口内呈现的所述游戏内容的静止图像；或者
开始与正在使用不同控制器玩所述视频游戏的玩家的聊天会话。
19.根据权利要求14所述的控制器系统，其中所述游戏内容的第一长宽比小于所述显示器的第二长宽比。
20.根据权利要求14所述的控制器系统，其中：
所述显示器位于所述控制器的控制器主体的前表面上，在所述前表面的中心处；并且
所述控制器还包括设置在所述控制器主体的所述前表面上的所述显示器之外的控件，所述控件包括操纵杆或方向键(D-pad)中的至少一者。
CN202180009164.9A 2020-02-14 2021-02-12 显示器具有可选择图标的控制器 Pending CN115003394A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062977049P 2020-02-14 2020-02-14
US62/977,049 2020-02-14
US17/174,232 US11638868B2 (en) 2020-02-14 2021-02-11 Controller having display with selectable icons
US17/174,232 2021-02-11
PCT/US2021/017959 WO2021163563A1 (en) 2020-02-14 2021-02-12 Controller having display with selectable icons

Publications (1)

Publication Number Publication Date
CN115003394A true CN115003394A (zh) 2022-09-02

Family

ID=77272306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180009164.9A Pending CN115003394A (zh) 2020-02-14 2021-02-12 显示器具有可选择图标的控制器

Country Status (6)

Country Link
US (1) US11638868B2 (zh)
EP (1) EP4069385A4 (zh)
JP (1) JP2023514103A (zh)
KR (1) KR20220138377A (zh)
CN (1) CN115003394A (zh)
WO (1) WO2021163563A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11541305B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Context-sensitive remote eyewear controller
US11964197B2 (en) * 2021-09-16 2024-04-23 Voyetra Turtle Beach, Inc. Video game controller with performance tracking

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US20060111180A1 (en) 2004-11-25 2006-05-25 Zeroplus Technology Co., Ltd. Touch-control game controller
US8932124B2 (en) 2006-08-31 2015-01-13 Cfph, Llc Game of chance systems and methods
US7924271B2 (en) 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8932135B2 (en) 2007-04-19 2015-01-13 Adam W. Coe Game controller
US20090205878A1 (en) 2008-01-08 2009-08-20 David Taylor Touchpad for providing touch stick functionality in a game controller for providing relative and absolute position input
US8754746B2 (en) 2009-11-16 2014-06-17 Broadcom Corporation Hand-held gaming device that identifies user based upon input from touch sensitive panel
US9950256B2 (en) 2010-08-05 2018-04-24 Nri R&D Patent Licensing, Llc High-dimensional touchpad game controller with multiple usage and networking modalities
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
US10328344B2 (en) * 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
KR102220085B1 (ko) * 2013-10-18 2021-02-26 삼성전자주식회사 멀티윈도우 운용 방법 및 이를 지원하는 전자 장치
US20170197144A1 (en) 2014-03-13 2017-07-13 Shalong Maa Mobile Computing Device
EP3242731B1 (en) 2015-01-09 2019-03-06 Ironburg Inventions Controller for a games console
US10427035B2 (en) 2015-06-09 2019-10-01 Microsoft Technology Licensing, Llc Game controller with removable trigger accessory
US11154772B2 (en) 2015-12-31 2021-10-26 The Bearded Bear, LLC Handheld controller grip attachment

Also Published As

Publication number Publication date
US11638868B2 (en) 2023-05-02
WO2021163563A1 (en) 2021-08-19
US20210252387A1 (en) 2021-08-19
EP4069385A4 (en) 2024-02-21
KR20220138377A (ko) 2022-10-12
EP4069385A1 (en) 2022-10-12
JP2023514103A (ja) 2023-04-05

Similar Documents

Publication Publication Date Title
TWI536246B (zh) 呈現視覺介面內容的系統及其方法
US8113954B2 (en) Game apparatus, storage medium storing game program and game controlling method for touch input monitoring
US8323104B2 (en) Hand-held game apparatus and game program
JP4134008B2 (ja) 画像処理装置および画像処理プログラム
JP5374170B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US20100214234A1 (en) Apparatus and method for touch screen user interface for handheld electronic devices part I
JP2006146556A (ja) 画像表示処理プログラムおよび画像表示処理装置
JP2006034754A (ja) タッチパネルを用いたゲーム装置およびゲームプログラム
JP6228267B2 (ja) ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム
US11638868B2 (en) Controller having display with selectable icons
KR20140058860A (ko) 다수의 사용자를 위한 터치 테이블 탑 디스플레이장치
JP2010029711A (ja) タッチパネルを用いたゲーム装置およびゲームプログラム
JP2016120039A (ja) ゲームプログラム
JP5705894B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP7427635B2 (ja) 情報処理方法、プログラム、情報処理装置
US20240149147A1 (en) Virtual button charging
US20140340324A1 (en) Handheld electronic devices
JP2022073995A (ja) 情報処理方法、プログラム、情報処理装置
JP2022073994A (ja) 情報処理方法、プログラム、情報処理装置
KR20180103366A (ko) 반응형 유저 인터페이스 제공 장치 및 방법
JP2018038829A (ja) ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination