CN103620544B - 提供附加3d用户接口的计算机外围显示器和通讯装置 - Google Patents

提供附加3d用户接口的计算机外围显示器和通讯装置 Download PDF

Info

Publication number
CN103620544B
CN103620544B CN201180070009.4A CN201180070009A CN103620544B CN 103620544 B CN103620544 B CN 103620544B CN 201180070009 A CN201180070009 A CN 201180070009A CN 103620544 B CN103620544 B CN 103620544B
Authority
CN
China
Prior art keywords
additional
user
communications device
visual
additional communications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180070009.4A
Other languages
English (en)
Other versions
CN103620544A (zh
Inventor
谭明亮
约翰·威尔逊
帕特里克·哈恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Razer Asia Pacific Pte Ltd
Original Assignee
Razer Asia Pacific Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Razer Asia Pacific Pte Ltd filed Critical Razer Asia Pacific Pte Ltd
Publication of CN103620544A publication Critical patent/CN103620544A/zh
Application granted granted Critical
Publication of CN103620544B publication Critical patent/CN103620544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于提供视觉用户环境的系统，包括：处理单元，内存，主要显示装置，用于提供主要视觉界面;以及用于提供附加视觉界面的附加通讯装置。在实施例中，附加显示装置用于呈现准3D或3D图像。一种方法，可包括：检测对应于与应用程序方面关联的附加视觉内容的附加内容事件;以及选择性地转移附加内容通知和附加视觉内容中的一种到该附加通讯装置，其中该附加内容事件对应于应用程序安装序列、应用程序事件、与应用程序互动的用户熟练度的指示、具远程系统的通讯会议以及预设视觉序列中的一种，该预设视觉序列在应用程序安装或应用程序执行的期间被自动选择来呈现给用户。

Description

提供附加3D用户接口的计算机外围显示器和通讯装置
技术领域
本发明主要涉及一种用户接口架构，包括主要用户接口以及附加或次要用户界面。更特别的是，本发明的方面涉及计算机系统以及方法，在该计算机系统以及方法中，主要显示装置提供主要视觉界面给应用程序，以及附加通讯装置提供附加视觉界面以跟与主要视觉界面相关的附加讯息通信。在一些实施例中，该附加通讯装置产生3D或准3D图像。
背景技术
近十年来，电子游戏已越来越受到欢迎。随着时间的过去某些类型的电子游戏更是呈现出特别强大的市场增长，例如基于互联网的大型多人在线(Massively MultiplayerOnline MMO)游戏。MMO游戏一般涉及互动在线环境或平台(通常被称为虚拟或在线“世界”)，数百，甚至数千名用户可以同时进入该互动在线环境或平台。MMO游戏能够让玩家通常以实时或接近实时的方式在大规模的基础上彼此合作和/或竞争。著名的MMO游戏一个例子为魔兽世界J(暴雪娱乐，欧文，CA)。
在互动的在线环境中，特定的MMO参与者，游戏者，玩家或用户通常通过化身或游戏人物来表现。用户在虚拟环境下通过发布或产生特殊类型的对应于化身动作的指令来导航。在虚拟环境下或通过虚拟环境移动虚拟角色时，该用户可以探索虚拟环境。用户通过在虚拟环境下与虚拟角色或人物互动可以与其他玩家和/或非玩家角色(NPCs)进行互动，例如，透过合作，竞争或打斗。用户也可以用预定的讯息功能与其他玩家互动，这样产生用户间的通讯，例如被呈现在呈现屏幕的通知。
在游戏过程中，游戏相关的图形信息(例如在特定游戏环境内的场景，以及人物化身在该场景的互动)，游戏详述(例如化身和/或NPC状态或属性，或虚拟环境地图)，以及用户对用户的讯息被呈现在用户的呈现屏幕。能够产生对应以用户与互动在线环境或「世界」的互动的增加的复杂性与图形的详述以及纯粹大量信息导致讯息量增加，该信息在游戏过程中被呈现在用户的呈现屏幕。此外，在任何特定时间，参与特定MMO游戏中的玩家数量的增加，加上选项和/或玩家化身和/或NPCs之间互动机会的数量的增加，通常导致被提供在用户呈现屏幕的信息过量或超量。
由于游戏相关数据或信息日益增加的量可以被呈现或提供给用户，因此呈现屏幕出现不必要的杂乱或混乱，而呈现屏幕的多个部份造成视觉分心。很不幸地，典型计算机呈现屏幕的尺寸通常不够高效或有效率地容纳或呈现所有在游戏中用户可能觉得有用的需要的和想要的数据或信息。因此，需要改进系统、装置方法和/或技术来将游戏相关的信息呈现给用户。
三维(3D)显示器或准3D显示器因增加用户的游戏体验而日益受到欢迎。多种类型的3D显示器或全息(holographic)显示器可以用来呈现游戏相关信息。然而，3D显示器的应用或使用有着许多的限制、问题和/或缺点。这些包括通常与传输/接收3D影像关联或需要传输/接收3D影像的大量的数据，以及在3D显示器的实际执行上其相对较高水平的复杂性，这些可对游戏系统的表现和/或价格都产生不利的影响。
因此需要一种改进的及和或改良的系统、装置、方法和/或技术，以在游戏过程中，将通讯信息提供给玩家。另外，需要一种改良的装置和技术，例如可加强用户游戏体验的简化或更有效的3D信息显示装置和技术。
发明内容
根据本发明的一方面，一种方法是通过计算机或电子系统或装置，直接给提供用户对应于应用程序的视觉环境，该计算机或电子系统或装置具有处理单元；内存；用于提供主要视觉界面的主要显示装置；以及用于提供附加视觉界面的附加通讯装置，该附加通讯装置与该主要显示装置分离。该方法包括检测检测对应于与应用程序的方面关联的附加视觉内容的附加内容事件；以及选择性地将附加内容通知和附加视觉内容中的一种转移到该附加通讯装置，其中该附加内容事件对应于应用程序安装序列、应用程序事件、与应用程序互动的用户熟练度的指示、具远程系统的通讯会议以及预设视觉序列中的一种，该预设视觉序列在应用程序安装或应用程序执行的期间被自动选择来呈现给用户。
上述程序可以进一步包括：从云计算机系统、远程服务器、远程数据库与本地媒体库中的至少一个取回附加视觉内容；以及使用该附加视觉界面呈现该附加视觉内容。在一些实施例中，将附加视觉内容转移到该附加通讯装置包括：执行附加视觉内容的直接内存访问(DMA)转移，从该计算机系统转移到该附加通讯装置。
根据本发明的一个方面的方法，可以进一步包括：在应用程序执行期间在正在执行的基础上产生主要视觉内容，该主要视觉内容对应于当前应用程序执行状态；以及将主要视觉内容输出到该主要显示装置。其中该主要视觉内容提供用户与应用程序互动的视觉讯息的主要来源。在不同的实施例中，在正在执行的基础上将主要视觉内容输出到该主要显示装置是在转移附加视觉内容到附加通讯装置的过程中以实质无中断的方式发生的。
根据本发明的一个方面的方法，也可以包括：使用该附加通讯装置呈现该第一附加视觉内容：以及通过该主要显示装置避免呈现该第一附加视觉内容。该第一附加视觉内容是通过该附加通讯装置呈现而不是通过该主要显示装置呈现，通过增加该主要显示装置呈现的视觉信息量和视觉细节量中的至少一个，可以增加该主要显示装置呈现主要视觉内容的程度。
附加内容事件能够对应于视觉内容以实质上立即呈现或延缓呈现给用户。在不同的实施例中，该附加视觉内容可包括一组预设的视觉序列，其中该预设的视觉序列中的每个预定义视觉序列对应于与用户与应用程序的互动对应的预定的类型的应用程序结果。
根据本发明的一个方面，具有远程系统的通讯会议对应于预录制讯息与实时声音和/或视觉聊天会议请求的一种的通讯。该预录制讯息对应于与该远程系统有关的远程用户的讯息，应用程序升级以及应用程序外挂中的一种。
根据本发明的一个方面的方法，也可以包括：接收来自该远程系统的通讯；响应接收于远程系统的通讯而产生附加通讯通知；以及在该计算系统处于网络通讯能够发生的在线模式时或在该计算系统处于网络通讯没有发生的离线模式时，使用该附加通讯装置呈现附加视觉内容。产生附加通讯通知包括改变图形组件的呈现状态，图像组件通过与该附加通讯装置分离的主要显示装置和能够显示的用户输入装置中的一种呈现。
附加通讯装置也可包括照明装置，根据本发明的一个方面的方法也可以包括以对应于该附加内容事件的方式改变该照明装置的照明状态。例如以提供指示预定的应用程序事件发生和与该应用程序互动的用户熟练度程度的方式，选择性地产生视觉信号。
附加通讯装置也包括一组附加输入装置。例如一组附加输入装置可包括：一组传感器，该传感器用于检测邻近该附加通讯装置的空间区域中的用户距离，用户出现，用户移动和用户姿势中的一种。附加内容事件能够对应于该组附加输入装置中的附加输入装置产生的信号。
在某些实施例中，应用程序包括:电子游戏，例如单机游戏或互动的电子游戏对应于策略游戏，战略游戏，冒险游戏，视觉小说，互动影像，动作冒险游戏，角色扮演游戏，导航游戏，格斗游戏，第一个人游戏，第三个人游戏，赛车游戏，教育游戏，训练游戏，模拟游戏，迷宫游戏，拼图游戏，益智问答游戏，桌上游戏，卡片游戏，博奕游戏，音乐游戏，舞蹈游戏，体育游戏，练习游戏，以及社交游戏中的至少一种。在某些实施例中，该应用程序对应于MMO游戏。
根据本发明的一个方面的方法，可包括：确定一组预设类型的应用程序结果中第一预设类型的应用程序结果是否在应用程序执行期间已经发生；以及响应第一预定类型的应用程序结果的发生，转移一组预设视觉序列中的第一预定视觉序列到该附加通讯装置。例如，第一预定类型的应用程序结果对应于电子游戏事件，结果，条件、场景或处境，对应于用户过渡到下一个游戏等级，用户与非玩家角色互动以及用户与远程用户互动中的一种。
根据本发明的一个方面的方法，也可包括：产生附加通讯装置配置界面，附加通讯装置配置界面包括响应用户输入以选择性将视觉讯息的类型定义为转移到该附加通讯装置的附加视觉内容的一组图形控制。。该方法可以进一步包括：基于针对该附加通讯装置配置界面的用户输入来确定该主要视觉内容中的视觉讯息量与大量视觉细节量中的至少一种。
根据本发明的一个方面的方法，可包括：在缺少计算系统识别该附加通讯装置的初始化程序时，避免将附加视觉内容转移到该附加通讯装置，以及可进一步包括：在缺少计算系统辨识该附加通讯装置的初始化程序时，将附加视觉内容输出到该主要显示装置，而不是将附加视觉内容转移到该附加通讯装置。
执行一组附加通讯装置初始化操作来响应使处理单元与该附加通讯装置之间能够进行信号通讯的耦合的初始检测，其中该组附加通讯装置初始化操作包括：自动地将附加通讯装置固件从内存转移到该附加通讯装置。在许多实施例中，多个附加通讯初始操作与外围装置计数程序关联发生。
根据本发明的一个方面，一种用于给用户提供对应于应用程序的视觉环境的系统，该视觉环境包括：主要视觉界面以及附加视觉界面，该主要视觉界面提供用户与应用程序互动的视觉讯息的主要来源，该系统包括：处理单元；与该处理单元耦合的主要显示装置；与该主要显示装置分离且与该处理单元耦合的附加通讯装置，该附加通讯装置包括用于输出具至少二个空间维度特性的图像的显示装置；以及耦合于该处理单元的一组内存，该组内存储存程序指令，该程序指令包括：应用程序的一部份，用于对与应用程序执行相关的主要视觉内容的产生以及将该主要视觉内容转移到该主要显示装置进行管理；附加通讯管理器，用于管理附加通讯操作，该附加通讯操作包括：确定附加内容事件是否已经发生；以及响应附加内容事件的发生，选择性地将附加内容通知及附加视觉内容的群组中的一个转移到该附加通讯装置，其中其中该附加内容事件对应于应用程序安装序列，应用程序事件的发生，与该应用程序互动的用户熟练度的等级指令，具远程系统的通讯会议和预设视觉序列中的一种，预设视觉序列包括：在应用程序安装期间或应用程序执行期间被自动选择呈现给用户的视频数据或动画数据。该系统可以进一步包括附加视觉内容可以被需要或取回的本地附加讯息来源与远程附加讯息来源中的至少一个。
在不同的实施例中，附加通讯装置用于输出具有3D或准3D特性的图像;以及主要显示装置用于输出2D准3D及3D特性中的一种图像。
根据本发明的一个方面视觉环境包括：一组用户可选择的图形元素，该图形元素用于控制附加通讯装置操作的多个方面来响应用户输入，其中该应用程序以及该附加通讯管理器中的至少一个用于管理该组用户可选择的图形元素的视觉呈现。。该组内存进一步储存程序指令，该程序指令包括：用于产生配置界面的附加通讯装置配置模块，特定类型的视觉内容通过该配置界面能被选择性地识别为该附加通讯装置呈现的附加视觉内容来响应用户输入。
在某些实施例中，至少该应用程序的一部份与该附加通讯管理器由本地计算机系统执行。在其他实施例中，该附加通讯管理器由本地计算机系统执行，以及至少该应用程序的一部份由用于与本地计算机系统进行网络通讯的远程计算机系统执行。(例如电子游戏服务器或电子游戏云端)
在许多实施例中，该附加通讯装置包括直接内存访问(DMA)控制。该附加通讯装置可以不包括用于储存附加视觉内容的帧缓存器。
附加通讯装置可以包括：用于输出对应于附加内容事件的照明信号的照明装置。例如，该照明装置用于输出照明信号，该照明信号提供可供用户选择的附加视觉内容和预定应用程序事件的发生中的一种指示，和提供应用程序互动的用户熟练度的等级的指示。
附加通讯装置可以附加地或择一地包括一组附加输入组件，该组附加输入组件用于检测邻近该附加通讯装置的空间区域中的用户距离，用户出现，用户移动与用户姿势中的一种。
所述系统可以包括:对应于该处理单元的第一通讯接口(例如第一USB接口)，以及对应于该附加通讯装置的第二通讯接口(例如作为第二USB接口)。以该第一与第二通讯接口的方式，该处理单元与该附加通讯装置可以选择地或具选择性地耦合。
根据本发明的附加通讯装置用于取回附加通讯装置初始化操作有关的附加通讯装置固件。该附加通讯装置初始化操作与外围装置的计数程序关联执行。(例如USB计数程序)。
本发明的一个方面的系统的某些实施例中，该系统包括与该处理单元耦合的能够显示的用户输入装置，该能够显示的用户输入装置与该附加通讯装置分离并包括：一组用户可选择的图形组件，该组用户可选择的图形组件用于控制附加通讯装置操作的多个方面来响应用户输入，且该组用户可选择的图形组件可通过该主要显示装置和该能够显示的用户输入装置中的至少一个来呈现。
附图说明
发明的实施例将在后面结合附图加以描述，其中
图1A为本发明实施例的用户接口架构的方块图。
图1B为本发明另一实施例的用户接口架构的方块图。
图2A为本发明实施例的主要显示装置与附加通讯装置，和主要视觉界面的部份和附加视觉界面的部分的示意图。
图2B为本发明实施例的主要显示装置，附加通讯装置与能够呈现用户输入的装置，和主要视觉界面的部份和附加视觉界面的部分，以及输入装置视觉接口的示意图。
图3为本发明实施例的计算机系统或计算机装置方块图。
图4A为本发明实施例的附加通讯装置的部分的示意图。
图4B为本发明实施例的附加通讯装置的方块图。
图4C为本发明实施例的附加通讯装置的方块图。
图5A为本发明实施例的具代表性的附加通讯装置配置界面的示意图。。
图5B为本发明实施例的具代表性的目标应用事件发生和/或每分钟的事件(EPM)配置界面的示意图。
图6为本发明实施例的呈现附加讯息方法的流程图。
具体实施方式
一般情况下，用户接口可以包括硬件、软件(例如对应于一个或多个固件，装置驱动器，操作系统，以及应用程序)，已产生的视觉结构(例如图形，图形部分，视觉环境或场景和/或角色化身)，已产生的影响(例如光效或声音)和/或已通讯的信息(例如通知或留言)，以促进或实现用户与一个或多个自动的、计算机化的电子系统或装置和/或该系统或装置的其他用户互动。
本发明的不同实施例针对用户接口架构，在该用户接口结构中计算机或电子系统或装置用于提供1)主要用户接口界面，该主要用户接口能使用户与一个或多个应用程序和/或其他用户互动；以及2)附加、补充、附属或第二用户界面，其补充、加强或进一步促进与该主要用户接口界面，该应用程序和/或其他用户的互动。一般来说，附加用户接口界面用于呈现附加信息的特定形式给该用户。附加信息可以包括一个或多个附加视觉内容，信号或数据；附加声音内容、信号或数据；以及附加内容通知或警报，其给该用户提供指示，该附加内容可用于呈现或可选择呈现。本发明实施例同时针对特殊附加用户接口界面装置及方法的结构或功能的方面，通过该装置与某些类型的信息，信号或数据通讯的方法。
该主要用户接口包括主要视觉界面，以及该附加用户接口包括附加视觉界面，该附加视觉界面与该主要视觉界面分离或区别于该主要视觉界面。因此，本发明的实施例给用户提供包括主要视觉界面以及附加视觉界面的视觉环境。在多个实施例中，该主要视觉界面用于提供，呈现或输出主要视觉信息、内容或数据，该主要视觉信息、内容或数据根据一组本地和/或远程应用程序的当前执行状态或背景动态地或逐步地更新(例如在实时、接近实时、准实时、同步或一般同步方式)。例如，应用程序执行状态可响应本地和/或远程用户与一组对应的本地和/或远程应用程序的互动(例如针对用户输入)而发展。该主要视觉界面提供的主要视觉信息能够视觉地指示或对应于当前的应用程序执行背景和一个或多个用户在任何特定时间的当前状况或状态。
该附加视觉界面用于选择性地提供或呈现特定类型的附加视觉讯息，内容或数据，该附加视觉讯息，内容或数据可关联于、相关于或支持应用程序主题或应用程序执行。例如，附加视觉信息可包括数据，当该主要视觉界面在应用程序执行期间被逐步地更新时，该数据维持不变或可以被选择性地取回、产生、呈现、中断或召回。在部分实施例中，附加视觉信息包括可在应用程序执行之前或之后呈现的数据，例如在应用程序安装序列期间呈现。取决于实施例的详述，附加视觉信息可对应：1)与应用程序相关联的事件的年代表、述事或序列；2)与应用程序相关联的一个或多个视觉或图形元素、对象、符号、结构或实体或目目标表现(例如游戏人物或目标);3)接收自其他用户的信息或数据；和/或4)其他信息。该附加视觉界面可以加强或有利于用户与该主要视觉界面、应用程序和/或其他用户的互动，从而在应用程序执行期间加强用户的视觉体验。在一些实施例中，该附加视觉界面包括3D或准3D界面。
为了简洁的目的以及有助于了解，本发明的多个实施例是针对计算机或电子游戏用户接口架构。在这些实施例中，应用程序包括对应于计算机或电子游戏程序指令(例如，单人游戏或单机计算机计算机游戏，或多人计算机游戏，例如，交互式在线游戏，其在某些实施例可以为MMO游戏，MMO游戏可涉及数十、数百或甚至数千用户、玩家或参与者)。另外或可选地，应用程序可以包括对应于用户对用户留言或通讯的程序指令；用户与虚拟世界或虚拟社会的互动；用户教育/训练；或其他应用。本发明所提供的实施例，并不排除在此描述想要得到的特定的基本结构和/或操作的原则的应用。
以下结合图1A至6描述本发明呈现的实施例用于解决与传统用户接口有关联的一个或多个上述问题。在以下的描述中，相似或类似的标号指示相似或类似的组件。此外，特定图中所示的特定标号的列举，可指示同样示出该标号的其他图的相同的构思。
在本发明中，术语集合被定义为元素的非空有限组织，该元素数学上呈现至少1的基数(例如在此定义的集合可对应于单集合或单元素集合或多元素集合)，符合于已知的数学定义(例如以一种方式对应于数学逻辑导论：数字、集合与功能，第11章:有限集合的性质(例如第140页所示)PeterJ.Eccles所著，康桥大学出版(1998))。一般而言，集合中的元素可以包括或者是根据构思下的集合类型的系统、仪器、装置、结构、对象、信号、功能或功能性程序或的数值。
架构概述
图1A为本发明实施例的用户接口架构10的方块图。在实施例中，该用户接口架构10包括：至少一个计算机或电子系统或装置(例如桌面计算机、笔记本电脑、云计算机装置、游戏控制台或移动式计算机、游戏或通讯装置)100，通过1)可通过本地和/或远程处理系统102执行的程序指令；以及2)用于从一个或多个体接收输入和/或提供输出给一个或多个体的外围装置，给用户提供主要用户接口和附加用户接口。外围装置包括用于提供主要视觉界面400的主要显示装置150以及用于提供至少一个附加视觉界面450的附加通讯装置300，下面进行进一步的描述。
在某些实施例中，该外围装置可以进一步包括一个或多个计算机鼠标170；键盘172；游戏控制装置175例如游戏杆、游戏垫或其他型式的控制(例如呈现、动作、位置、方向或姿势感应控制)；视频摄影机175；麦克风176；以及一组扬声器178。在本领域技术人员的理解方式下，该计算机系统100与特定外围装置之间的耦合可以是无线或基于有线的。在某些实施例中，该附加通讯装置300包括摄影机375。该附加通讯装置300也可以包括麦克风，麦克风可以与该摄影机375组合或整合。依据实施例详述，本发明的实施例的用户接口架构10的计算机系统或计算机装置100可以是单机系统或装置或网络系统或装置，该单机系统或装置或网络系统或装置被耦合于至少一个通讯媒介20，例如局域网(LAN)、广域网(WAN)、互联网和/或云计算机架构。
图1B为本发明其他实施例的用户接口架构10的方块图。在一个实施例中，用户接口架构10包括至少一个计算机或电子系统或装置100，该计算机或电子系统或装置100与对应于云端计算机基础设施20的程序执行云40耦合。该计算机或电子系统或装置100包括用于提供主要视觉界面400的主要显示装置150以及用于提供附加视觉界面450的附加通讯装置300。特定计算机或电子系统或装置100可以包括，例如，与该主要显示装置150与该附加通讯装置300耦合以及用于与该应用执行云通讯的桌面计算机104或云端游戏装置106。根据实施例详述，涉及云端游戏装置106的实施例可以包括游戏控制器108。此外，特定计算机或电子系统或装置100可以包括一组扬声器或耳机178。
代表性的主要和附加用户接口及装置的方面
图2A条为本发明实施例的主要显示装置150以及附加通讯装置300的示意图。该主要显示装置150可以是，例如，用于呈现、输出、呈现或产生影像、图形以及文字的信息、信号或数据2D或3D的显示装置(例如装置可以在二或多个空间维度中呈现视觉信息，如具有二维特性的图像)。在代表性的实施中，该主要显示装置150可以是计算机或电视显示装置(例如计算机屏幕、平板电视或其他形式的视觉信息显示装置)。
该附加通讯装置300包括用于呈现、输出、呈现或产生影像、图形或文字的信息、信号或数据的附加显示装置350。如下进一步所说的，在许多实施例中，该附加显示装置350用于产生3D或准3D图像。该附加通讯装置300也可以包括或关联于如下进一步所说的用于输出对应于用户表现等级和/或应用程序通知、条件或事件的照明信号的照明装置310。此外，该附加通讯装置300可包括一组用于输出声音信号的扬声器320和/或一组传感器、感应装置或感应组件，如邻近该附加通讯装置300的检测用户出现、移动和/或姿势的一个或多个接近、出现、移动和/或用户追踪或监视传感器330。最后，该附加通讯装置300包括至少一个能够实现与计算机系统100的组件的通讯(例如信号或数据转移或交换)的用户接口耦合或端口340(例如，USB连接端口和/或其他形式的通讯接口)。在一些实施例中，该附加通讯装置300为计算机外围装置或形成计算机外围装置的部分，该计算机外围装置通过此用户接口耦合，可被选择性地耦合到至少一个主要或主机系统、装置或处理器102。该附加通讯装置300的每个组件可以被加载或耦合到常见基座或支持结构302的接口。
图2A为本发明实施例的由该主要显示装置的产生的典型主要视觉界面400以及由该附加通讯装置300产生的附加视觉界面450的补充说明部分。在图2A中，该主要视觉界面400以及该附加视觉界面450均用于呈现关于计算机游戏的代表性的方面的视觉信息。
本发明的多个实施例中，主要视觉界面400和/或附加视觉界面450可分别用于呈现对应于计算机或电子游戏或游戏环境的实质上任何类型的主要或附加视觉内容，例如，游戏或游戏环境，该游戏或游戏环境对应于或被分类成一个或多个策略游戏、战略游戏、冒险游戏、视觉小说、互动电影、动作冒险游戏、角色扮演游戏、导航游戏、格斗游戏、第一个人(例如第一人射击游戏)游戏、第三个人(第三人射击游戏)游戏、车辆(例如赛车)游戏、教育游戏、训练游戏、模拟(例如生活场景、建筑、商业、飞机、航空或其他任何形式的模拟)游戏、迷宫游戏、拼图游戏、益智问答游戏、桌上游戏(例如跳棋，象棋或麻将)、卡片游戏、博奕游戏、音乐游戏、舞蹈游戏、体育游戏、活动游戏，以及宴会游戏和/或其他任何形式的游戏。
本发明的实施例可以提供对应于特定形式的单机或多人计算机或电子游戏用户接口架构10。为简单和清楚的目的，此处描述的部分针对提供对应于交互式多人游戏如MMO游戏的主要视觉界面以及附加视觉界面的用户接口架构10的实施例。MMO游戏可以是，例如，大型多人在线角色扮演游戏(MMORPG)、大型多人在线实时战略(MMORTS)游戏、大型多人在线第一人射击(MMOFPS)游戏、大型多人在线社交游戏(MMOSG)、大型多人在线体育竞技游戏(MMOSG)或其他形式的大型多人在线游戏。尽管如此，发明的实施例可用于提供对应于任何形式的单机或多人计算机或电子游戏的主要视觉界面及附加视觉界面。
该主要视觉界面400提供主要的看得见的界面，玩游戏通过该主要的看得见的界面发生，也就是通过实时、接近实时、同时、实质上或接近同时或逐步的用户与该游戏的互动和玩游戏的用户响应提升通过该主要的看得见的界面发生。换句话说，该主要视觉界面400提供视觉信息或内容的主要来源，通过该主要来源在游戏程序执行期间本地和/或远程游戏玩家输入的结果被传达给用户。该主要视觉界面因此提供或呈现作为有利于用户玩游戏或使用户能够玩游戏的用户视觉题材的主要来源的视觉信息信号或数据(例如影像、图像基础、图形、符号和/或文字内容)。主要视觉内容可以包括对应于叙述(例如关于故事情节)和/或虚拟世界或环境(例如虚拟景观)的影像剪辑、图像和/或图形动画、渲染或场景；一个或多个游戏相关人物的部分，例如一组人物化身，该组人物化身可对应于用户用户化身402a、其他游戏玩家的化身404、406、和/或非玩家角色(NPC)化身；人物状态信息(例如人物力量或能量等级)；虚拟环境中的一个或多个物体410；多个用户可选择的图形玩游戏控制420(例如按钮、动作键或动作杆)以控制游戏游玩的局面；和/或其他虚拟信息。
在某些实施例中，该主要视觉界面400可包括一组用户可选择的视觉或图形附加通讯装置控制430(例如按钮、弹出菜单和/或其他图形组件)以建立和/或控制附加通讯装置操作的方面，例如下面进一步说明的第一、第二及第三图形附加通讯装置控制器的430a-c。该主要显示装置150在窗口152中呈现视觉信息，并在玩游戏期间，持续地或逐步地更新该窗口的内容，例如采用与对应于一个或多个玩家的输入、命令或动作同步或几乎同步的方式，令本领域的一般技术人员容易理解。
在不同实施例中，该附加视觉界面450提供或呈现的附加视觉内容可包括与游戏的多方面相关或对应于游戏的多方面的影像、图形和/或文字信息、信号或资料，并且附加视觉内容作为主要视觉内容或主题事件的附加、补充、对应或配套的视觉内容或主题事件。一般来说，在用户与该应用程序互动期间例如在用户积极参与玩游戏的游戏会议期间，主要视觉内容比附加视觉内容更新更频繁和/或更持续。例如，在典型状态下，在所有游戏游玩期间，所有主要视觉界面的更新或刷新循环或操作胜过所有附加视觉界面的更新或刷新循环或操作。
根据本发明实施例，由附加通讯装置300所提供的附加视觉界面450与由主要显示装置150所提供的该主要视觉界面400的组合可协同促进或加强玩游戏和/或该用户的游戏相关体验。另外，这个组合可以帮助有利用该主要视觉界面400。更特别地，主要视觉内容或主题事件通过附加通讯装置300的主要显示装置150呈现并且附加视觉内容或主题事件通过附加通讯装置300预定、选择、程序化及可选呈现，可以使主要视觉界面400保持可用于呈现使用户能够动态、同时或几乎同时与游戏互动的信息的程度增加或最大化。
通过该附加视觉界面450呈现特定类型的附加视觉内容(例如游戏相关信息、信号或数据)，例如可以与玩游戏异步呈现的一个或多个类型的信息，以及将该信息、信号或数据从该主要视觉界面400排除或省略，可以使主要视觉界面400呈现或可呈现的活动游戏区域的量增加或最大化，例如，通过增加主要显示装置的可见区域或可见量，主要视觉内容在该主要显示装置的可见区域或可见量中呈现给用户。因此，通过该附加视觉界面450通过该主要视觉界面400呈现特定形式的附加视觉内容，可以增加该主要视觉界面400传达或可以传达视觉内容(例如主要视觉内容)给该用户的程度。使用该附加通讯装置300呈现特定附加视觉内容以及避免使用该主要显示装置150呈现附加视觉内，可以使通过该主要视觉界面400传达给该用户的视觉信息量和/或视觉细节的量或水平增加或最大化。
本发明部分实施例可包括一个或多个用户输入装置如键盘、小型键盘、鼠标、游戏杆或游戏控制，键盘、小型键盘、鼠标、游戏杆或游戏控制包括或附带一组用户输入组件，例如按键或按钮，以及显示组件，如LCD或LED(例如有机LED(OLED))组件。如下面进一步详细描述的，该用户输入装置可配合地、可选择地或可程序化地提供与该主要显示装置150和/或该附加显示装置300呈现的视觉内容相关的特定视觉内容。
图2B为本发明实施例的形成用户接口架构10的部件的主要显示装置150、附加通讯装置300以及能够显示的用户输入装置180的示意图。在实施例中，能够显示的用户输入装置180包括用户输入装置，例如具有多个按键或按钮182的键盘或小型键盘，在可选择、可程序化、动态、具变化或可修饰的基础下，至少一部分按键或按钮用于传输或输出光学信号。该光学信号可对应于或包括影像、图样、图像、符号和/或文字。该能够显示的用户输入装置180可另外包括一个或多个其他形式的显示装置或组件184，例如，可以触控的LCD或LED显示器(例如OLED显示器)。
在代表性的实施例中，能够显示的用户输入装置180可对应于，包括或基于一个或多个类型的装置，该装置描述于提交于2011年1月4日名称为"用于能够呈现的键盘、小型键盘、或其他用户输入装置的光学传输的键盘组件"(委任文件号码RAZ-P034WO)的专利合作条约(PCT)申请和/或提交于2011年1月4日名称为"使用能够呈现的键盘、小型键盘和/或其他用户输入装置管理、选择及更新视觉接口内容的系统及方法"的PCT申请，上述所列的专利申请均作为申请的参考数据。同时或可选地，在代表性的实施方式中，能够显示的用户输入装置180可对应于、包括或基于由俄罗斯莫斯科Lebedev艺术工作室所开发的OptimusMaximus，Optimus Popularis，Optimus Tactus，Optimus Mini Three或OptimusAux键盘(www.artlebedev.com)。
该能够显示的用户输入装置180的部分可以选择性地提供输入装置视觉界面440，输入装置视觉界面440提供用户可选择的视觉内容，该视觉内容可包括视觉内容是基于、代表或对应特定主要视觉界面内容。例如，在代表性的实施例中，输入装置视觉界面440可呈现，显示或输出一组视觉或图形附加通讯控制432，该视觉或图形附加通讯控制432可包括一个或多个用户可选择的(a)图形控制430a-c，该图形控制430a-c与由该主要视觉界面400呈现或可呈现的上述用户可选择图形附加通讯装置控制的430a-c视觉上相同、基本上相同、类似或相当(b)有别于由该主要视觉界面400呈现一次或多次的图形附加通装置控制430a-c的图形控制430d-f。
对用户选择特定的由输入装置视觉界面440呈现的视觉附加通讯装置控制430a-f进行响应，例如，由于用户选择或压下呈现视觉指示或传达附加通讯装置配置或控制操作的图像、图形、符号和/或文字的按键或按钮182，对应于该被选择的视觉控制430a-f的一组附加通讯装置配置或控制操作可以被发起或执行。
依据实施例的详述，通过该输入装置视觉界面440提供的视觉内容，可以是或不包括由主要视觉界面400呈现一次或多次的特定视觉内容。例如，在某些实施例，主要视觉界面内容的特定类型，如针对管理附加通讯装置配置和/或操作的一个或多个视觉附加通讯装置控制430a-c，可通过输入装置视觉界面440被选择地或程序化地指定为作为视觉附加通讯装置控制430a-c重复显示。另外或可选地，某些视觉附加通讯装置控制430d-f以预定、可选择或程序化的方式由该输入装置视觉界面440专门地呈现一次或多次。
在不同实施例中，该附加通讯装置300可通讯、呈现或输出附加主题事件、信息、信号或数据，如以下的用户与游戏，例如MMO或其他形式游戏互动之前、期间、关连或之后的一个或多个：
(a)游戏安装期间的声音和/或视觉信息，例如游戏叙述或年代表；
(b)来自其他用户、游戏操作厂商或第三方预录制的留言，可包括一个或多个预录制的声音和/或视觉讯息、图像序列、图形动画、游戏元素、对象或人物(例如用户化身)与文字；
(c)来自其他用户实时或接近实时的声音和/或视觉留言(例如对应于"实时聊天"模式)，可包括一个或多个实时声音和/或影像、游戏元素、对象或人物(例如用户化身)和文字；
(d)对应于留言的通知或提醒(例如与用户相关的在电子邮件中的新的或未读的讯息)；
(e)声音和/或视觉信息，例如涉及步及或有关游戏组件、对象或人物(例如该用户的化身402a)的特定的动画序列和/或照明信号，其中该信息可以被呈来响应某些类型的应用程序场景、情势、事件、条件或结果(例如游戏事件如一类游戏战争；游戏产物如用户表现等级阈值，或人物的胜利、受伤或死亡的获得;用户得到技能或一件装备；或用户进入下一个游戏等级)；
(f)与用户有关或用户关注的游戏人物的视觉表现，该视觉表现可包括该游戏人物当前装备（如服装或盔甲）的叙述或描写；
(g)游戏人物的状态和/或分析的视觉表现；
(h)游戏人物的装备及/或技巧列表的视觉表现;
(i)可获得目标，装备或物资的视觉表现，例如通过装备军械库、供货商店与拍卖获得；
j)对应于其他玩家或非玩家角色的人物(例如人物化身404、406)，以及对应于属性、规定、技能等级、结盟或状态的可能的指示的文字和/或声音信息；
(k)关于对立团体或派系的声音和/或视觉信息，例如派系的历史、状态、标志或呈现；
(l)联盟或对立人物、团体或派系的通知；
(m)联盟人物处于危险或需要协助的警告指示；
(n)战门或袭击邀请；
(0)声音和/或视觉的战略指导或建议；
(p)游戏空间、环境或版图部分的地图，根据该游戏中人物(例如该用户的角色402a)的位置或场所，可以动态地，定期地地或选择性地更新；
(q)社区消息信息(例如定期更新的社区消息即时动态)；
(r)对应于游戏背景、策略、场景、情势、等级转换或结果的预定(例如由游戏制造商提供)的影像剪辑、图形序列或动画序列；
(s)对应于软件升级或游戏相关公告或游戏制造商或第三者的提议的预定的影像剪辑或动画序列;以及
(t)用户截屏呈现或管理。
附加的用户接口以及附加通讯装置的方面
一般来说，主要用户接口可包括该主要视觉界面400和主要声音接口，通过该声音接口，可以输出与游戏方面同步或配合的游戏相关的声音信号。该主要声音接口可包括，例如，与该计算机系统100耦合以及与声音子系统(例如声卡)相关的一组扬声器178。
附加用户接口可包括该附加视觉界面450以及附加声音接口，通过该附加声音接口对应于附加视觉信息的附加声音信号被呈现或输出。在许多实施例中，附加声音接口的一个或多个部份可通过该主要声音接口的部分来提供或支持，因此一组共同或共享的声音资源，包括该电脑的声音子系统的部份及耦合于该电脑的声音子系统的部份的一组扬声器178，能够让主要声音信息及附加声音信息通过共同声音途径选择地地或同时地输出。该附加声音接口可另外或可选地包括该附加通讯装置的一组扬声器320，该扬声器320可以以与玩游戏同步或不同步的方式输出特定类型的声音信号或信息。
如上面指出的，在一些实施例，其附加通讯装置300包括照明装置310，照明装置310可形成该附加视觉界面的部分。该照明装置310可以选择性地呈现或输出照明信号，该照明信号对应于或指示一个或多个用户表现等级和/或游戏相关条件或事件的特定类型的发生。该照明装置310可包括照明设备312例如主动和/或被动的光源，该光源用于选择性地输出符合特定的光学波长、波长光谱和/或照明模式(例如空间和/或暂时性的照明模式)的照明信号。
在不同的实施例中，响应游戏应用程序和/或与游戏应用程序相关的程序指令(例如外挂或外插到该游戏应用程序的程序指令)产生的照明命令，该附加通讯装置300可选择性地呈现或输出具有特定的视觉特征照明信号，以指示下列一个或多个的:
(a)来自该用户结盟的玩家的留言;
(b)来自与该用户对抗的玩家的留言(例如对立或对抗的玩家);
(c)实时聊天请求;
(d)对应于应用程序执行(例如游戏事件如危险警告或同盟玩家的协助请求)或用户性能指标目标或阈值完成(例如目标游戏分数、每分钟目标游戏(EPM)阈值或目标速度、发动机RPM数值或通过赛车游戏的多个竞争者)的特定类型的预定的或用户指定的目标事件或条件的发生，该特定类型的预定的或用户指定的目标事件或条件的发生可在交互式游戏中指示或对应于用户熟练度的等级;
(e)危险级数或协助请求通知;
(f)更新的社区消息或网站内容的有效性;以及
(g)软件或固件更新的有效性。
该照明设备312可包括一个或多个光学信号产生或传播组件或光源，例如LED，光带或光栅，背光装置、光管和/或光纤。根据实施例详述，LED可包括一个或多个(a)单色LED;(b)可调式三色LED;(c)OLED;和/或(d)特征LED,其中特定类型的LED可空间性地组织作为LED阵列。该照明装置310可一进步包括电子电路(例如微控制器或驱动芯片)，该电子电路耦合于光学信号组件或光源，该光学信号组件或光源用于通过该组件启动、调整、发送或终止光学信号的传输或输出来响应与MMO游戏程序执行相关的照明控制命令或信号的。在代表性的实施方式中，该照明装置310以一种或多种方式描述于申请号为12/655,992，题目为"一种利用照明作为视觉性指示动作/每分钟信息的系统与方法"于2010年1月12日提交的美国专利中，在这里全部纳入作为参考。
在特定的实施例中，该附加通讯装置300进一步包括或关联于一组传感器、感应装置或感应组件330，该组传感器、感应装置或感应组件330用于感应或检测接近(例如在一个空间之前、邻近和/或上面)该附加通讯装置300的用户出现、移动和/或姿势。该组传感器330可包括，例如，一个或多个光学(例如红外线)或超音波装置；和/或被装载于或与特定附加通讯装置位置或地点相关的一个或多个摄影机或用户图像扫描或图像捕捉装置。该感应装置可以有预定的、用户可调整或自动地调整的方位，该方位对与该附加通讯装置300的部分关联的感应位置、地区或区域进行定义。响应由该组传感器330检测到的用户出现、移动或姿势，该附加通讯装置300可选择性地执行一种或多种类型的的操作，如下列所述:
(a)开放或关闭该附加显示装置350；
(b)开放或关闭该附加通讯装置扬声器320；
(c)启动、暂停、倒带或终止影像、动画或留言的呈现或播放;以及
(d)启动、暂停或终止实时聊天口
典型计算机系统实施的方面
图3为本发明实施例的计算机或电子系统或装置100的方块图。在实施例中，计算机系统100包括处理单元110；一组内存200；至少一个数据储存单元120;网络接口单元130，该网络接口单元130耦合于计算机网络，例如局域网(LAN)、广域网(WAN)和/或互联网20;耦合于至少一个主要显示装置150的图形单元140;以及输入/输出(I/O)接口单元160，该接口单元160耦合于附加通讯装置300与多个外围装置，如一个或多个鼠标170、键盘172、游戏控制装置174(例如游戏杆或游戏垫)、影像摄影机175、一组扬声器178与麦克风176。该外围装置可另外或可选地包括一个或多个能够显示的用户输入装置180，例如能够显示的键盘、能够显示的鼠标或能够显示的游戏控制器。该计算机系统100另外包括至少一个总线190(例如PCI基础总线)，该总线190与每个计算机系统组件耦合以有利于控制信号与数据的通讯或交换。
该处理单元110包括一个或多个用于执行储存程序指令的指令处理装置(例如至少一个微处理器和/或微控制器)。该组内存200包括一个或多个类型的易失性和/或非易失性内存，例如寄存器组、用于储存程序指令和资料的一个或多个缓冲器、随机访问内存(RAM)以及只读内存(ROM)。该数据存储单元130包括一个或多个类型的固定和/或可擦除的数据存储装置或组件和对应的其存储媒介。例如，该数据存储单元130可以包括硬盘驱动、DVD或CD-ROM装置，和/或USB闪存装置。该数据存储单元130的部分和/或该组内存200可形成一个或多个计算机可程序化或可读取媒体于指令组，以有利于附加通讯装置操作符合本发明的实施例的其余部分的地方。
该网络接口单元130可包括网络通讯接口，例如用于工作在符合标准网络信息的传送协议的以太网接口。在许多实施例中，该图形单元140可包括图形处理器，该图形处理器通过该主要显示装置150用于执行图像或场景(例如MMO游戏场景)。该I/O接口单元160可包括一组标准接口或端口，例如USB端口，串行端口和/或其他形式的I/O通讯接口，该组组标准接口或端口有利于信号转移到耦合于该计算机系统100的输入和/或输出装置(例如计算机系统外围装置)，包括该附加通讯装置300。该计算机系统100因此可作关于该附加通讯装置300的主机系统。
在某些实施例中，该计算机系统100可为客户端系统，该客户端系统根据客户端服务器计算机架构及对应于客户端服务器通讯协议和一个或多个服务器30或服务器群通讯。在其他实施例中，该计算机系统100的一个或多个部分可形成云计算机装置，该云计算机装置用于与应用执行云40进行通讯。可选地，该计算机系统100可为对等系统，该对等系统根据端对端计算机协议与其他计算机系统或计算机装置通讯。又可选地，该计算机系统100可以为隔离或单机系统。在许多实施例中，该组内存200包括操作系统210，一组装置驱动器220，应用程序240(例如游戏或其他形式的应用程序，其可为单机、隔离或非网络的程序或网络程序如游戏客户端)，附加通讯装置配置模块242，媒体库250以及附加通讯内存260。该组驱动装置220可包括至少一个该处理单元110可执行的附加驱动装置222以有利于附加通讯操作符合本发明的特定实施例。
该组内存200可进一步包括目标应用事件发生/用户执行模块245，该目标应用事件发生/用户执行模块245可管理一个或多个(a)一组预定的或可选择的目标应用事件、结果、成果、条件、情节或情势是否发生的决定;(b)用户是否满意指示、对应或预计对应于用户与应用程序互动的熟练度的一组性能指目标决定或估算；以及(c)产生和/或转移信号到有利于提供附加视觉内容给该用户附加通讯装置300，以便指示目标应用程序事件和/或性能指目标满意度是否已经发生。在某些实施例中，该目标应用事件发生/用户执行模块245的一个或多个部分能够由外挂的套件提供。
在某些实施例中，该组内存200可进一步包括附加固件内存230。该附加固件内存230可包括附加通讯装置300可执行的固件，当被执行时，该固件使该附加通讯装置能够呈现附加信息给用户。在某些实施例中，该固件可以通过与附加通讯装置初始程序有关的该附加通讯装置300选择或自动下载或取回(例如涉及USB装置计数程序)，通过该固件该计算机系统100初始化地辨识该附加通讯装置300的呈现、配置和/或能力。本发明关于该附加固件模块230的进一方面详细说明于下。
该组内存200也可包括一组附加通讯支持模块246。一般来说，附加通讯支持模块246可包括程序指令，该程序指令用于支持特定类型的附加信息的产生、接受或取回。在某些实施例中，该附加通讯支持模块246可关联于或包括一组应用程序外挂244，该应用程序外挂244可选择性地、定期地或间歇性地从一组本地或远程附加信息资源接收或取回附加信息。附加信息来源可以是，例如，用于储存文字留言、影像留言、影像剪辑或动画序列、应用程序更新和/或其他信息的本地数据存储单元120和/或服务器或远程数据库。
附加通讯操作可涉及附加信息以这里描述的一种或多种方式转移到附加通讯装置300、附加通讯装置300以这里描述的一种或多种方式提供附加信息和/或以这里描述的一种或多种方式从附加通讯装置300接收信号的管理。根据实施例的详述，特定附加通讯操作可被对应于应用程序240，附加通讯装置配置模块242，外挂244，目标游戏事件或结果发生/EPM模块245，附加通讯支持模块246以及附加装置驱动器222的一个或多个部分的程序指令所促进，管理或执行。
在一些实施例中，在一组内存200中的用于促进、管理或执行附加通讯操作的程序指令可被定义为附加通讯管理器。附加通讯管理器可包括对应于应用程序240，附加通讯装置配置模块242，外挂244，目标游戏事件或结果发生/EPM模块245，附加通讯支持模块246以及该附加装置驱动器222的一个或多个部分的程序指令。
根据实施例详述，该组内存200中驻留程序指令的部份相对于一种考察中的计算机或电子系统或装置100可以是本地的或远程的。例如，应用程序和附加通讯管理器的一个或多个部分可驻留于本地计算机系统100或被本地计算机系统100执行。可选地，附加通讯管理器可以驻留于本地计算机或电子系统或装置100或被本地计算机或电子系统或装置100执行以及应用程序的一个或多个部分可驻留于远程系统或被远程系统执行，例如用于与该本地系统进行网络通讯的游戏服务器或游戏云端。因此，在不同的实施例中，与附加通讯管理器关联的一个或多个本地和/或远程应用程序，以响应本地应用程序执行状态、远程应用程序执行状态、本地用户与应用程序的互动和/或远程用户与应用程序的互动的方式，自动地将附加内容通知和/或附加内容转移到该附加通讯装置300。典型附加通讯装置实施例的方面
图4A为本发明实施例的附加通讯装置300a的部分示意图。如上所述，该附加通讯装置300可包括附加显示装置350，该附加显示装置350由基座或支撑结构302所支撑。在许多实施例中，该基座或支持结构302从该主要显示装置150脱离或分离或相对于该主要显示装置150独立设置。根据实施例详述，本发明的附加显示装置350用于提供具有2D和/或3D特性的图像。在一些实施例中，该附加显示装置350用于提供具有3D、全息、测定体积、准3D、准全息或准测定体积特性的图像。
在实施例中，该显示装置350包括显示单元、模块或设备352；屏幕360；外壳364；以及位于该显示设备352与该屏幕360之间的一组光学组件358。该显示单元352可包括LCD和/或其他形式的显示单元(例如LED基础的显示器，如OLED基础的显示器，例如，弹性OLED，该LCD和/或其他形式的显示单元用于提供、产生或输出光学信号(例如对应于附加视觉信息)。该显示单元352包括输出表面354，输出表面354用于输出与在该输出表面354和该屏幕360之间延伸的一组光学路径370a-b相关的光学信号。
该屏幕360可包括具有观看表面362的材料，该观看表面362用于接收该显示单元352输出的光学信号，且进一步用于定向（重定向）至少某些与第二组光学路径372a-b相关的光学信号，该第二组光学路径372a-b提供或定义对应于该附加通讯装置300的观测角378。在某些实施例中，该屏幕360包括聚合物材料片，例如聚碳酸酯片，该显示单元352输出的光学信号在该聚碳酸酯片被引导或投射。
因为反射涂料涂在该屏幕360上，反射材料整合于该屏幕360，和/或呈现屏材料的固有光学特性，该屏幕360可以至少部份反射。该屏幕360具有大致长方形、椭圆形或其他形式的形状，以及该观看表面362可以是平的或弯曲的。在某些实施例中，该屏幕360用于放大接收自该显示单元352的图像，例如，根据约1.1-2.5的预定的放大系数放大(例如约1.2-2.0的放大系数)。
该外壳364用于支撑该屏幕360的多个部分。在许多实施例中，该外壳364包围或实质包围该屏幕360的多个部分。例如，该外壳364可以是圆柱体、椭圆体、长方体或其他不同形状(例如多面体)的结构，该屏幕360可置于该圆柱体、椭圆体、长方体或其他不同形状(例如多面体)的结构中(例如该屏幕360的一个或多个边界、边缘或边线可以被安装或黏附于该外壳364的一个或多个内表面)。在实施例中，第二组光学路径372a-b的部分延伸到该外壳364，该外壳364的合适的部分应该为至少一般地光学透明，从而避免不需要或不利的光学信号量的衰减畸变或扭曲。该观看外罩364的部分因此可由实质透明材料如聚合物(例如塑胶或另外材质的塑料)所组成。
该外壳364可以由该附加通讯装置的基座302所支撑或支持，这样该观看外壳364延伸超过该基座302或在该基座302上面。在许多实施例中，该屏幕360的部分超过该基座302或在该基座302上面。例如，该屏幕360可由该外壳364支撑，因此该整体屏幕360可如图4A所示的方式全部或大体上超过该基座302或在该基座302上面。此外，该显示单元352的部分可位于该显示装置基座302的内部。例如，在某些实施例中该整体显示单元352可全部或大体上设置于该基座302的内部。因此，该基座302可包括开口304，通过开口304光学信号可沿着第二组光学路径370a-b从该显示单元352传播到该屏幕360。在实施例中，该屏幕360全部或大体全部在该基座302上面，且该显示单元352位于或大体位于该基座302的里面，沿着第二组光学路径372a-b从观测者位置的望远镜接收对应于图像的光学信号，从该显示单元352引导或投射到该屏幕360的图像呈现出像是在空间中漂浮一样。此实施例因此能够以简单、具成本效益的方式，将准3D图像呈现给该用户。
该显示单元352及该屏幕360可以设置成与彼此或与一组平面或表面形成特定的角度。例如，该显示单元352可设置成与第一平面P1形成第一角度θ1，第一平面P1平行于该基座302的底部表面；以及该屏幕360设置成与第二平面P2形成第二角度θ2，第二平面P2平行于该第一平面P1。该第角度θ1和/或第二角度θ2可被选择来支持预期的视角，在该视角内该附加通讯装置所输出的附加视觉信息可很容易被该用户观看到。
位于该显示单元的输出表面354以及该屏幕360之间的一组光学组件358可包括菲涅耳透镜或其他形式的组件。通过影响或限定第一组光学路径370a-b的范围，该光学组件358用于定义或限定对应于该附加显示装置300的观看角度。
图4B为本发明实施例的附加通讯装置300的方块图。在实施例中，附加通讯装置300包括耦合于显示单元352的控制单元380、一组照明设备312、一组扬声器320以及至少一个标准外围装置接口340如USB接口。在特定实施例中，该控制单元380包括微控制器，该微控制器用于充当与主计算机系统或计算机装置100关联的目标系统或装置，该附加通讯装置300可耦合于主计算机系统或计算机装置100。该微控制器可包括指令处理器382(例如处理核心)，直接内存访问(DAM)控制器384，晶上内存386，特定的显示装置输出来源388如一组显示单元输出来源，以及一组I/O来源390(例如标准微处理器外围)。在不同的实施例中，该控制单元380可以是微处理器、单芯片系统(SoC)或可配置/可编程逻辑装置例如现场可编程门阵列(FPGA)。
在某些实施例中，该显示单元352可以是LCD单元(例如记忆基础的LCD模块，该记忆基础的LCD模块耦合于由该微控制380提供的一组LCD输出来源)。该组照明设备312可包括一个或多个LED、灯条或用于输出光学信号的其他形式的装置，且形成由该附加通讯装置300所附带的照明装置310的部分。该扬声器320可包括一个或多个用于输出声音信号的设备。
在实施例中，其中该控制单元380包括微控制以及附加信息转移通过USB接口340产生，主计算机系统100对该附加通讯装置300及其性能认证涉及包含一组USB计数程序的附加通讯装置初始化程序。为了促进附加通讯装置初始化操作，该微控制器用于(例如开机引导序列的部份)工作于驱动固件更新(DFU)模式(例如通过执行用于支持USB基础的应用内编程(IAP)能力的DFU驱动器)。将一组USB计数程序与微控制的DFU模式操作联合，该主计算机系统100可将在该主计算机系统的附加固件内存230中的固件图像下载到在该微控制器的晶上内存386内的固件起始位置。该固件下载后，该微控制器可将执行控制转移到驻留于该固件起始地址的初始固件程序指令，在这之后，该微控制器可管理或执行符合于本发明实施例的附加信息呈现操作。
按照上述观点，在某些实施例，该控制单元380不需要包括程序指令例如附加通讯装置固件驻留的非易失性内存或晶外内存。相反，每当该附加通讯装置300经由该计算机系统100第一次认证或初始化时，附加通讯装置固件可被下载到该控制单元380。该实施例可提供简单化的、降低成本的附加通讯装置的设计。
图4C为本发明再实施例的附加通讯装置300的方块图，其中该附加通讯装置300包括摄影机375以及可能的相关麦克风(例如与该摄影机整合的麦克风)，该麦克风用于捕捉围绕该附加通讯装置的环境部分的声音和/或视觉信号(例如对应于用户的实时聊天声音和/或视觉信号)。在部分比实施例中，该附加通讯装置300可包括晶外内存392，捕捉声音和/或视觉信号向外转移到该附加通讯装置300之前驻留在该晶外内存392。
用户可配置/可选择的附加通讯装置操作的方面
计算机系统100可包括多个附加通讯装置控制组件，该附加通讯装置控制组件用于使用户能够对特定的附加通讯装置操作进行管理、控制、规格化或选择。该控制组件可包括一组或多组键盘按键或按钮；一个或多个鼠标或游戏控制器按钮；附带于该附加通讯装置300的一组传感器340；以及一组GUI组件，如以与图2A与2B所指的相同、类似或大致类似的方式，由该主要视觉界面400呈现的图形附加通讯装置控制430a-c和/或由能够显示的用户输入装置180呈现的图形附加通讯装置控制430a-f，。
由该主要视觉界面400所呈现的图样式附加通讯装置控制430a-c可以最小压缩的方式在该主要视觉界面400呈现，这能最低限度地中断，重迭或遮蔽该主要视觉界面400呈现的信息。例如，图形附加通讯装置控制430a-c呈现在该主要视觉界面的外围的特定位置(例如在活动游戏区域的外围部份)。在某些实施例中，一个或多个图形附加通讯装置控制430a-f可另外或可选地由能够显示的用户输入装置180的部分来呈现。
在某些实施例中，附加通讯装置控制组件可对应于配置控制或内容呈现控制。响应安装控制的用户选择时，附加通讯装置配置模块242可建立或取回附加通讯装置配置参数，以及将这些参数存储在该附加通讯内存260中。在响应内容呈现控制的用户选择时，应用程序240、外挂244或附加通讯支持模块246可将附加内容转移到该附加通讯装置300进行初始化(例如根据一个或多个安装参数)。特定附加通讯装置控制组件、附加通讯装置配置接口以及附加内容呈现操作的代表性观点将详细描述于下面相关的电子游戏(例如MMO游戏)以便于理解。
图2A展示了可在主要视觉界面400的部件中呈现的多个代表性图形附加通讯装置控制430a-c。如图2B指出，一个或多个的图形附加通讯装置控制430a-c可另外或可选地由能够显示的用户输入装置180呈现。在代表性的实施例中，第一控制430a可对应于附加通讯装置配置功能、操作或程序;第二控制430b可对应于留言和/或实时聊天功能;以及第三控制的430c可对应于游戏环境地图或导航协助呈现功能。根据实施例细节，多个图形附加通讯装置控制430a-f可包括对应于另外和/或其他接口或功能的控制组件430d-f。
附加通讯装置配置的方面
响应第一控制430a的用户选择，该附加通讯装置配置模块242可产生视觉或图形安装接口，该视觉或图形安装接口呈现于该主要视觉界面400部分之中或覆盖在该主要视觉界面400部分的上面。该接口包括一组图形组件，该组图形组件响应用户输入以定义或选择附加通讯装置配置参数，该安装程序240、外挂244和/或附加通讯支持模块246以及该附加通讯装置300根据附加通讯装置配置参数工作以提供或呈现附加信息给该用户。
图5A为本发明实施例的具代表性的附加通讯装置配置接口500的示意图。在实施例中，该附加通讯装置配置接口500包括图形窗口510，图形窗口510用于呈现多个文字叙述符与相关的图形控制组件，例如单选按钮520、按钮530以及文字框或列表框540。在代表性的实施例中，如图5A所示，该配置接口500可包括多个使能内容控制，例如单选按钮520，单选按钮520响应用户输入以建立附加内容呈现参数，该参附加内容呈现数选择性地使该附加通讯装置对呈现的附加内容能够控制或促进该附加通讯装置对呈现的附加内容的控制，该附加内容包括下面一个或多个：
(a)留言/实时聊天内容，留言/实时聊天内容可包括文字留言、一组图像、影像留言和/或串流影像；
(b)自动选择的内容，可包括影像剪辑、动画或图像序列，应用程序240例如游戏应用响应一个或多个预定的游戏事件、结果、发生、条件、场景或情景如用户转移到新的或下一个游戏等级，自动地选取该影像剪辑、动画或图像序列来呈现；
(c)对应于游戏组件、对象或人物的信息，例如对应于用户所选择的人物状态和/或能力信息(例如化身402-406或NPC)，其中该信息可以包括该游戏组件、对象或人物的文字以及可能的视觉呈现；
(d)地图及和或导航协助内容，包括用户选择的游戏环境地图的呈现，以及一个或多个导航协助，例如导航箭头；
(e)与人物有关的反馈(例如关于游戏人物如化身402-406或NPC)，包括视觉动画序列，该视觉动画序列响应在游戏中事件或条件的特定类型的发生而被呈现，例如用户在游戏战争中胜利、用户获得物品或技巧或化身能量等级达到一个或多个级数(例如紧急低能量阈值或峰值能量级数)；以及
（f）对应于目标游戏事件或结果的特定形式的发生或用户获得对应于用户执行或用户技巧等级的一个或多个EPM阈值的通知。
该配置接口500也可包括一个或多个图形按钮530例如按钮530a，该按钮530a响应用户输入的以确定或选择对应于一个或多个游戏人物例如用户的化身402的动画序列(例如，该动画序列可驻留在该数据存储单元120，随着用户选择该动画序列，该附加通讯装置配置模块242可以将动画序列转移到该媒体库250)；和/或按钮530b，该按钮530b响应用户输入通过有关的，第二的或额外的配置接口建立目标游戏事件的发生和/或EPM参数。
图5B为本发明实施例的具代表性的目标应用事件、成果、结果、条件、场景或情势发生和/或EPM配置接口600的示意图。在实施例中，该配置接口600包括图形窗口610，图形窗口610提供多个GUI组件，GUI组件有利于用户配置特定事件的发生和/或EPM参数。
在典型的实施例中，配置接口600可包括一组文字框620a-e，该组文字框620a-e可接收用户输入以定义特定类型的游戏事件、结果或条件的一组目标值或阈值，例如第一累积敌人派遣目标；第二累积敌人派遣目标；每次战斗目标敌人派遣的平均数量；混战攻击有效的目标；输入装置EPM阈值；和/或其他目标或阈值。该配置接口600可进一步包括一组检查框622，该组检查框622响应用户输入以识别一组输入装置(例如键盘、鼠标和/或游戏控制器或操纵杆)，从而EPM数据可被计算、确定或监测。
该配置接口600可进一步包括一组颜色选择接口630a-e，颜色选择接口630a-e响应用户输入以建立对应于每个目标游戏事件和/或EPM阈值的照明颜色；以及一组照明效果单选按钮640a-e，单选按钮640a-e响应用户输入以定义照明效果，例如对应于每个目标游戏事件或EPM阈值的闪烁或消退消退。
如图5A进一步指出，该配置接口500可另外包括一组图形控制，例如单选按钮520，该单选按钮520响应用户输入以配置一种提供或呈现附加内容通知或警报的方式，例如，对用户选择对应于"持续照明"的单选按钮520进行响应，附加内容通知可以持续或不变的光学信号的方式呈现给用户（例如，响应该附加通讯装置接收到附加内容通知或警报，通过该照明装置310的部分输出的光学信号)。对用户选择对应于"闪烁"的单选按钮520进行响应，附加内容通知以闪烁或闪光的光学信号的方式呈现给用户。该配置接口500可进一步包括一组输入的文字框或列表框540a，b，对指定在特定时间段内通知用户附加内容存在或有效的次数的用户输入进行响应。例如，随着附加内容通知的产生，一个或多个照明装置312每60秒闪烁5次以通知用户附加内容可以让用户选择或观看。
该配置接口500可一进步包括一个或多个图形控制，例如响应用户输入以选择一组操作的单选按钮520，该组操作被执行来响应附加通讯装置传感器330产生的信号。操作可包括响应第一组传感器330检测到用户接近、出现、移动或姿态而选择性地转变或切换该附加通讯装置300的操作状态(例如开机、待机或关机状态)；和/或响应通过第二组传感器330检测到用户接近、出现、移动或姿态而选择性地转变或切换控制讯息、影像或动画播放(例如暂停、重新开始、倒带和/或终止播放)。
如上所述，附加通讯参数可以储存于该附加通讯内存260。在一些实施例中，应用程序240可自动地取回或参照默认值或与附加通讯初始程序关联的附加通讯装置参数的最新设置，或跟随附加通讯装置参数的最新变化或更新(例如由于用户与配置接口500互动)。
在多数实施例中，用户选择或激活对应于特定类型的视觉内容的特定的配置接口控制将引起附加视觉界面450呈现该视觉内容。因此，响应用户输入，附加通讯管理器可选择性地确定或指定从主要视觉界面400省略或排除的视觉内容的类型和/或转到（重新转到）该附加视觉界面450的视觉内容的类型。在该实施例中，该配置接口500有利于用户定制主要和附加或第二视觉接口内容，这样用户可选择性地减少或消除不需要的主要视觉界面杂乱和/或主要视觉界面的部分动态或逐步地呈现或提供更新的游戏内容的程度增加或最大化。在某些实施例中，基于针对配置接口500的用户输入，应用程序或一组相关的应用指令(例如外挂244或附加通讯支持模块246)可适应地调整或确定主要视觉内容的数量或主要视觉界面细节的等级，主要视觉内容的数量或主要视觉界面细节的等级在应用程序执行期闷，被传达给或可传达给用户。在某些实施例中，在附加通讯装置配置接口500内的特定使能内容图形控制的用户非选择、取消选择或取消激活，将引起主要显示装置150呈现对应于该图形控制的附加视觉内容。
附加信息呈现的方面
应用程序240、外挂244、目标应用事件发生/用户执行模块245和/或附加通讯支持模块246可对将附加信息转移到该附加通讯装置300进行发起或管理。附加信息可包括附加内容或附加内容通知/警报，其中附加内容可包括附加视觉内容和/或附加声音内容。在一些实施例中，对应于附加视觉内容的附加声音内容通过主要声音接口呈现给用户，以及与附加通讯装置的呈现的附加视觉内容同步。附加声音内容可另外或可选地通过附加声音接口的部分如该附加通讯装置的扬声器320呈现给用户。附加内容通知或警报可包括通知用户附加内容可用或可选择来呈现的留言或信号。
计算机系统的特定的低或较低的层级的方面-附加通讯装置数据或信号的转移可通过附加装置驱动器222管理或控制。例如，该附加通讯驱动器222可适当地组织或格式化附加内容如影像或动画数据，并将其储存于该附加通讯内存260。该附加装置驱动器222可与该附加通讯装置300通讯以有利于被组织的附加内容转移到该附加通讯装置300。在某些实施例，该附加装置驱动器222可捕捉整个画面的数据(例如从图形画面缓冲器捕捉)；根据适于特定通讯接口(例如USB接口)的格式来组织(例如打包)已捕捉的数据；将已组织的数据储存于该附加通讯内存260；以及通过DMA操作，引导该附加通讯装置300取回和呈现该数据。
典型的附加通讯装置数据转移协议的方面
在不同的实施例，一种或多种类型的附加内容可从本地主计算机、游戏云端、游戏服务器和/或远程数据库取得或取回。已取得或取回的附加内容可通过本地主计算机或本地云端游戏装置处理，因此RGB格式的附加视觉内容被产生于或转移至分别对应于该本地计算机或云端游戏装置的本地内存(例如影像内存如画面缓冲器)。该本地内存的内容可以一段一段地读取以及被直接DMA转移到该附加通讯装置的附加显示装置350。
在实施例中，其中该附加通讯装置的控制单元380包括微控制器或由微控制器执行，该直接DMA转移不需要将进来的附加视觉内容存储到离晶内存中，因此在该附加通讯装置300中不需要编译码器以及画面缓冲器来处理进来的附加视觉内容。此外，此实施例需要提供附加通讯装置功能的微处理器来源的量被明显地减少或最小化，且不需要对应的应用空间。此实施例因此使用简单或不贵的微控制器，和/或能够使用微控制器来源来处理其他任务(例如获取或处理已感应的环境信号)。
附加内容和/或附加内容通知转移的方面
在不同的实施例，附加内容或附加内容通知可以被转移到该附加通讯装置300来响应特定形式的附加内容事件的发生。一般来说，附加内容可对应延迟的附加内容或立即的附加内容。迟缓的附加内容包括声音和/或视觉内容，可以被延迟呈现直到产生或接收到呈现该内容的用户输入请求。例如，延缓的附加内容可包括新的、近期的或先前接收以及还未被呈现的内容，例如接收自其他用户的一个或多个预录制的声音和/或视觉留言；实时聊天会议请求;或关于软件更新，第三方外挂、网站内容更新、在线社区新闻或其他形式的消息的留言。
立即附加内容包括需要或期望立即、经常或持续的呈现给用户的声音和/或视觉内容，也响应a)对应于用户输入请求呈现附加内容的附加输入事件；和/或b)产生于应用程序或外挂指令执行的自动的附加内容事件。可产生附加输入事件来响应特定形式的用户输入，例如用户选择在该主要视觉界面400中的图形控制、用户选择键盘键或键序列或以该附加通讯装置300所附带的特定传感器330检测的用户动作。
以下为参考图2A和/或2B代表性的例子，其中a)该主要视觉界面400显示一组图形附加通信装置控制430a-c，图形附加通信装置控制430a-c包括对应于留言及/或即时聊天功能的第二控制430b以及对应于地图呈现/导航功能的第三控制430c;以及b)该附加通讯装置300包括至少一个照明装置330，照明装置330用于以某种方式输出光学信号来指出等待讯息或实时聊天要求的存在；且可能进一步包括传感器330，传感器330用于检测对应于用户动作的用户输入。
应用程序240例如游戏客户端或有关的外挂244通过产生一组转到主要用户接口和/或该附加用户接口的对应的通知或警报可通知用户延迟的附加内容存在或可用。尤其是，应用程序240响应一个近期出现或之前出现，以及现在等候的预录制的留言或即时聊天请求，应用程序240可产生转到该主要视觉界面400的附加内容通知以引起该主要视觉界面400和/或能够显示的用户输入装置180改变第二控制430b呈现的方式，例如，通过警报或变化该第二控制430b的外观(例如以定期闪烁或颜色变化的方式)。另外或可选地，该应用程序240可产生附加内容通知到该附加通讯装置300以引起由该照明装置所附带的一个或多个照明设备312输出光学信号来指出延迟留言或实时聊天请求的存在。若延迟的留言或实时聊天请求存在，为了响应用户选择该第二控制430b(例如以鼠标点击，或用户选择适当的能够显示的用户输入装置180的能够呈现的按键或按钮182)，该应用程序240或有关的外挂244可取回或访问留言或实时聊天图像数据(例如可被储存于该媒体库250或该附加通讯内存260的留言或实时聊天图像数据)，以及发起将图像数据转移到该附加通讯装置300。该附加通讯装置300可以避免中断、重迭或掩盖由该主要视觉界面400呈现的信息的方式，对应地显示一组或一序列留言或实时通讯图像。在不同的实施例，该应用240或外挂244能通过该主要声音接口，以同步于该附加通讯装置呈现的留言或实时聊天图像的方式，输出留言或实时聊天声音信号。特定的留言功能，例如暂停、重新开始、快转、倒带或删除可由额外的控制组件实施，例如由键盘所附带的特定按键或按钮，由该主要视觉界面400所呈现的图形组件和/或由该附加通讯装置300所附带的传感器。
在部分实施例，为了响应用户选择该第二控制430b，该应用程序240或有关的外挂244的可产生或呈现留言选择界面(例如留言的图形菜单)，该留言选择界面标志或列出可用的未读的和/或先前呈现的留言给用户选择。根据实施例详述，该留言选择界面能由该主要视觉界面400，该附加视觉界面和/或输入装置视觉界面440的部分呈现(例如留言选择界面的部份可通过能够呈现的输入装置180的LCD或OLED装置184呈现)。为了响应用户选择未读的或先前呈现的留言，该应用程序240或外挂244可取回或访问对应于该选择的留言的数据，以及发起将留言数据转移到该附加通讯装置300。根据实施例细节，该留言数据可被存储在或取自远程来源(例如服务器)或本地来源(例如该数据存储单元120或该组内存200)。该附加通讯装置300可连续地输出对应于该已选择留言的内容的附加声音和/或视觉信息、信号或资料。
在部分实施例，一旦应用程序执行已经发起以及该应用程序240已经产生该主要视觉界面的部分，无论游戏是否还在进行，游戏相关应用程序240或有关的外挂244可管理或引导将该附加声音和/或视觉内容的识别、取回以及呈现给用户。在此实施例，该附加通讯装置300可在游戏过程中或游戏外，呈现附加内容给用户。例如，在玩期间、当游戏已经开始或重新开始和/或游戏会议之后，该附加通讯装置300以与上述的相同或类似的方式呈现该附加留言内容给该用户。
另外或可选地，应用程序240或相关的外挂244可管理或引导附加声音和/或视觉内容在1)远程附加内容可接收自远程来源的在线模式，(例如以网络通讯的方式)；和/或2)储存在该数据存储单元120和/或一组内存200中的本地附加内容可被取回的脱机模式被识别、取回或呈现。
为响应用户选择第三控制430c，该游戏客户端240或相关外挂244可确定或取回与当前游戏空间或环境地图关联用户的虚拟位置；识别或取回基于该用户虚拟位置的相应游戏空间或环境地图(例如从本地或远程数据库)；以及发起将对应于该地图的图像数据转移到该附加通讯装置300。该附加通讯装置300可显示该地图图像数据，当用户连续玩游戏时，该地图图像数据以避免中断，重迭或覆盖主要视觉界面400呈现的信息的方式可持续显示。在某些实施例，该游戏客户端240或外挂244可一次或多次地(再)确定该用户的与该地图或地图区域关联的虚拟位置(例如在自动的基础或相应随后的用户选择该第三控制430c)，以及基于用户虚拟位置的改变将更新的地图数据转移到该附加通讯装置300。该游戏客户端240或外挂244可终止该附加通讯装置的地图呈现操作来响应预定类型的用户输入，例如，双击或双指敲击于该第三控制430c或该附加通讯装置的传感器330检测到的移动或姿势。
另外，游戏客户端240可自动地选择或识别直接呈现给用户的附加内容，以及产生自动的附加内容事件作为特定执行状态、情势或条件的结果。例如，若用户已经成功地过渡到下一个游戏等级或环境，该游戏客户端240可自动地识别影像或动画序列(例如部分驻留在该数据储存单元120或该媒体库250中的影像或动画序列)，该影像或动画序列提供有关该游戏等级或考察环境的信息，以及该游戏客户端240可产生对应的自动附加内容事件以发起将该影像或动画序列转移到该附加通讯装置300的初始以及将附加内容呈现给该用户。
如上述所指，外挂244也可以自动化地选择，识别或产生直接地或立即地呈现给该用户的附加内容。例如，目标游戏事件发生/用户执行模块245可监视或决定目标游戏事件是否已经发生和/或监视或确定当前或最近用户EPM计数，以及在目标游戏事件已经发生和/或目前EPM计算满足EPM阈值条件时，产生适当自动的附加内容事件到该附加通讯装置300(例如如上所述的由配置接口600指定)。该自动的附加内容事件可包括一组附加通讯装置命令或指令，例如一个或多个照明命令，该照明命令引导该附加通讯装置300去以对应该目标游戏事件的发生和/或该EPM阈值条件的满足的方式呈现或输出照明信号(例如通过激活或调整特定照明设备312的输出的方式)。
典型的附加通讯装置程序的方面
第6图为本发明实施例的呈现附加讯息方法700的流程图。在实施例，该方法700包括第一方法部分702涉及计算机系统的附加通讯装置300的初始化，例如通过计数程序，该计数程序发生来响应用户在该附加通讯装置300与该计算机系统100之间建立的激活通信链接(例如以USB耦合插件的方式)。第二方法部分704涉及在该计算机系统100发起应用程序执行。第三方法部分706涉及应用程序在该主要显示装置150产生或呈现主要视觉界面400的部分，以及可能在能够显示的用户输入装置180产生或呈现输入装置视觉界面440的部分。第四方法部分710涉及应用程序动态或逐步地更新该主要视觉界面400的部分以及可能输入装置视觉界面440的部分，其建立在应用程序执行状态和/或应用程序内容的进化的基础上。依据实施例细节，该应用程序内容的进化发生来响应本地用户输入和/或接收自远程服务器30的通讯(例如响应引导到该服务器30或由该服务器30处理的远程用户输入)。
第五方法部分720涉及确定新的或下一个附加内容相关事件是否请求考察。如果否，该方法700可回到该第四方法部分710。若新的或下一个附加内容相关事件需要考察，第六方法部分730涉及确定附加通讯装置安装事件是否对应于附加通信装置配置事件。若是，第七方法部分732涉及执行附加通讯装置配置操作。
若该附加内容相关事件是附加通讯装置配置事件以外的事件，第八方法部分740涉及确定考察中的附加内容相关事件是否对应于与用户请求呈现附加内容关联的附加输入事件。若否第九方法部份750涉及决定附加内容事件是否对应于可延迟的内容或需要立即、必需立即或持续呈现予用户的内容。
若附加内容事件对应于可延迟的内容，第十方法部份752涉及通过一个或多个主要用户接口(例如该主要视觉界面400)、该附加用户接口(例如该附加视觉界面450)以及输入装置视觉界面440产生或提供附加内容通知或警报，从而通知用户新的或未读的用户可选择附加内容呈现或可用。第十一方法部份754涉及取回、队列或储存对延迟的附加内容的引用。第十一方法部份754之后，该方法700可返回到该第四方法部份710。
假设关联于该第八方法部份740考察的附加内容相关事件为指示用户选择特定附加内容事件的附加输入事件，第十二方法部份760涉及确定对应于特定附加内容的先前的附加内容通知或警报是否已经产生。若是，第十三方法部份762涉及中止或重设该附加内容通知。
第十三方法部份762或第九方法部份750之后，立即附加内容事件已经发生，第十四程序部分770涉及访问(例如取回或下载)以及适当地格式化考察的附加内容，以及第十五方法部分772涉及至少将附加视觉内容转移到该附加通讯装置300。该第十五程序部分772也可涉及将附加声音内容转移到该主要声音接口和/或该附加声音接口，例如，以能够与附加通讯装置300呈现附加视觉内容同步的方式。最后，第十六方法部分774涉及以该附加通讯装置300呈现附加内容给用户，之后其方法700可返回第四方法部分710。
在上述的方式，本发明所述的不同实施例用于解决先前的至少一个缺点。此实施例意在被权利要求涵盖，并非用以限制到特定形式或所述部分的排列，且基于本发明所揭露的，本领领域的技术人员很容易做出各种改变和/或修改，其也落入权利要求所保护的范围。

Claims (64)

1.一种通过计算机系统给用户提供对应于应用程序的视觉环境的方法，该计算机系统包括用于提供附加视觉界面的附加通讯装置，该附加通讯装置与主要显示装置分离，该方法包括：
检测对应于与应用程序关联的附加视觉内容的附加内容事件；
选择性地将附加内容通知和附加视觉内容中的一种转移到该附加通讯装置，
其中该附加内容事件对应于应用程序事件、与应用程序互动的用户熟练度的指示、具远程系统的通讯会议以及视觉序列中的一种，该视觉序列在应用程序安装或应用程序执行的期间被自动选择来呈现给用户，
其中所述附加通讯装置包括外壳、基座、至少部分置于所述基座中的显示单元、以及安装在所述外壳内的屏幕，其中所述屏幕包括反射材料，并且其中所述显示单元输出与第一组光学路径相关的第一组光学信号；
使用所述屏幕反射所输出的第一组光学信号作为与第二组光学路径相关的第二组光学信号，
其中所述第二组光学路径定义观测角。
2.如权利要求1所述的方法进一步包括:
从云计算机系统、远程服务器、远程数据库与本地媒体库中的至少一个取回附加视觉内容；以及
使用该附加视觉界面呈现该附加视觉内容。
3.如权利要求1所述的方法，其中选择性地将附加视觉内容转移到该附加通讯装置的步骤包括：执行附加视觉内容的直接内存访问(DMA)转移，从该计算机系统转移到该附加通讯装置。
4.如权利要求1所述的方法进一步包括：
在应用程序执行期间在正在执行的基础上产生主要视觉内容，该主要视觉内容对应于当前应用程序执行状态；以及
将主要视觉内容输出到该主要显示装置。
5.如权利要求4所述的方法，其中该主要视觉内容提供让用户与应用程序互动的视觉讯息的主要来源。
6.如权利要求4所述的方法，其中在正在执行的基础上将主要视觉内容输出到该主要显示装置是将附加视觉内容转移到附加通讯装置的过程中以实质无中断的方式发生的。
7.如权利要求4所述的方法，该附加视觉内容包括第一附加视觉内容，该方法进一步包括：
使用该附加通讯装置呈现该第一附加视觉内容：以及
通过该主要显示装置避免呈现该第一附加视觉内容。
8.如权利要求7所述的方法进一步包括：因通过主要显示装置避免呈现该第一附加视觉内容而增加该主要显示装置呈现该主要视觉内容的程度。
9.如权利要求8所述的方法，其中增加主要显示装置呈现主要视觉内容的程度包括增加该主要显示装置呈现的视觉信息的量和视觉细节的量中的至少一个。
10.如权利要求1所述的方法，其中该附加通讯装置包括:用于呈现对应至少两个空间维度的图像的附加显示装置，以及其中该方法进一步包括：使用该附加显示装置呈现对应至少两个空间维度的附加视觉内容。
11.如权利要求1所述的方法，其中该附加通讯装置包括：用于产生具有3D或准3D特性的图像的附加显示装置，以及其中该方法进一步包括：使用该附加显示装置呈现具有3D或准3D特性的附加视觉内容。
12.如权利要求1所述的方法，其中该附加内容事件选择性地对应于实质上立即呈现或延缓呈现给用户的视觉内容。
13.如权利要求1所述的方法，其中该附加内容事件对应于用户选择图形控制，该图形控制通过与该附加通讯装置分离的主要显示装置和能够显示的用户输入装置的其中一个呈现。
14.如权利要求1所述的方法，其中该附加内容事件对应于关于视觉导航辅助的用户位置的自动测定。
15.如权利要求1所述的方法，其中该附加视觉内容包括一组预设的视觉序列，其中该预设的视觉序列中的每个预定义视觉序列对应于与用户与应用程序的互动对应的预定的类型的应用程序结果。
16.如权利要求1所述的方法，其中具有远程系统的通讯会议对应于预录制讯息与实时交谈会议请求中的一种通讯。
17.如权利要求16所述的方法，该预录制讯息对应于与该远程系统有关的远程用户的讯息，应用程序升级以及应用程序外挂中的一种。
18.如权利要求1所述的方法，进一步包括：
接收来自该远程系统的通讯；以及
产生附加通讯通知来响应该接收自远程系统的通讯。
19.如权利要求18所述的方法，进一步包括在该计算机系统处于网络通讯能够发生的在线模式时，使用该附加通讯装置呈现附加视觉内容。
20.如权利要求18所述的方法，进一步包括在该计算机系统处于网络通讯没有发生的离线模式时，使用该附加通讯装置呈现附加视觉内容。
21.如权利要求18所述的方法，其中产生附加通讯通知包括改变通过与该附加通讯装置分离的主要显示装置和能够显示的用户输入装置中的一种呈现的图形元素的呈现状态。
22.如权利要求1所述的方法，其中该附加通讯装置配备有照明装置，以及其中该方法进一步包括以对应于该附加内容事件的方式改变该照明装置的照明状态。
23.如权利要求22所述的方法，其中改变该照明装置的照明状态包括：以提供指示预定的应用程序事件发生和与该应用程序互动的用户熟练度程度的方式，选择性地产生视觉信号。
24.如权利要求1所述的方法，其中该附加通讯装置配置有一组用于检测用户输入的附加输入装置，其中该附加内容事件对应于由该组附加输入装置中的附加输入装置所产生的信号。
25.如权利要求24所述的方法，其中该组附加输入装置包括：一组传感器，该传感器用于检测邻近该附加通讯装置的空间区域中的用户距离、用户出现、用户移动和用户姿势中的一种。
26.如权利要求1所述的方法，其中该应用程序包括电子游戏。
27.如权利要求26所述的方法，其中该应用程序对应于策略游戏，战略游戏，冒险游戏，视觉小说，互动影像，动作冒险游戏，角色扮演游戏，导航游戏，格斗游戏，第一个人游戏，第三个人游戏，赛车游戏，教育游戏，训练游戏，模拟游戏，迷宫游戏，拼图游戏，益智问答游戏，桌上游戏，卡片游戏，博奕游戏，音乐游戏，舞蹈游戏，体育游戏，练习游戏，以及社交游戏中的至少一种。
28.如权利要求26所述的方法，其中该应用程序对应于由单用户游戏与互动游戏组成的群组中的一种。
29.如权利要求26所述的方法，其中该应用程序对应于MMO游戏。
30.如权利要求15所述的方法进一步包括：
确定一组预设类型的应用程序结果中第一预设类型的应用程序结果是否在应用程序执行期间已经发生；以及
响应第一预定类型的应用程序结果的发生，将一组预设视觉序列中的第一预定视觉序列转移到该附加通讯装置。
31.如权利要求30所述的方法，其中应用程序结果的第一预定类型对应于电子游戏事件。
32.如权利要求31所述的方法，其中该电子游戏事件对应于用户过渡到下一个游戏等级、用户与非玩家角色互动以及用户与远程用户互动中的一种。
33.如权利要求4所述的方法，进一步包括：产生附加通讯装置配置界面，附加通讯装置配置界面包括响应用户输入以选择性将视觉讯息的类型定义为转移到该附加通讯装置的附加视觉内容的一组图形控制。
34.如权利要求33所述的方法，进一步包括：基于针对该附加通讯装置配置界面的用户输入来确定该主要视觉内容中的视觉讯息量与视觉细节量中的至少一种。
35.如权利要求1所述的方法，进一步包括:在缺少计算机系统识别该附加通讯装置的初始化程序时，避免将附加视觉内容转移到该附加通讯装置。
36.如权利要求35所述的方法，进一步包括:在缺少计算机系统辨识该附加通讯装置的初始化程序时，将附加视觉内容输出到该主要显示装置，而不是将附加视觉内容转移到该附加通讯装置。
37.如权利要求1所述的方法，进一步包括：执行一组附加通讯装置初始化操作来响应使处理单元与该附加通讯装置之间能够进行信号通讯的耦合的初始检测，其中该组附加通讯装置初始化操作包括：自动地将附加通讯装置固件从内存转移到该附加通讯装置。
38.如权利要求37所述的方法，其中执行一组附加通讯初始化操作与外围装置计数程序相关联发生。
39.一种用于给用户提供对应于应用程序的视觉环境的系统，该视觉环境包括：主要视觉界面以及附加视觉界面，该主要视觉界面提供用户与应用程序互动的视觉讯息的主要来源，该系统包括：
与主要显示装置分离且与处理单元耦合的附加通讯装置，该附加通讯装置包括：
外壳；
基座；
至少部分置于所述基座中的显示单元，所述显示单用于输出与第一组光学路径相关的第一组光学信号；以及
安装在所述外壳内的屏幕，其中所述屏幕包括反射材料，所述屏幕用于反射所输出的第一组光学信号作为与第二组光学路径相关的第二组光学信号，其中所述第二组光学路径定义观测角；以及
附加通讯管理器，用于管理附加通讯操作，该附加通讯操作包括：
确定附加内容事件是否已经发生；以及
响应附加内容事件的发生，选择性地将附加内容通知及附加视觉内容的群组中的一个转移到该附加通讯装置，
其中该附加内容事件对应于应用程序事件、与该应用程序互动的用户熟练度的等级指令、具远程系统的通讯会议和视觉序列中的一种，所述视觉序列包括：在应用程序安装期间或应用程序执行期间被自动选择呈现给用户的视频数据或动画数据。
40.如权利要求39所述的系统，进一步包括本地附加讯息来源与远程附加讯息来源中的至少一个。
41.如权利要求39所述的系统，其中该应用程序的一部份与该附加通讯管理器各自通过本地计算机系统执行。
42.如权利要求39所述的系统，其中该附加通讯管理器由本地计算机系统执行，以及该应用程序的一部份由用于与本地计算机系统进行网络通讯的远程计算机系统执行。
43.如权利要求39所述的系统，其中该附加通讯装置的显示装置用于输出具有3D或准3D特性的图像。
44.如权利要求43所述的系统，其中该主要显示装置用于输出具有准3D或3D特性的图像。
45.如权利要求39所述的系统，其中该附加通讯装置包括直接内存访问(DMA)控制。
46.如权利要求39所述的系统，其中该附加通讯装置不包括用于储存附加视觉内容的帧缓存器。
47.如权利要求39所述的系统，其中该附加通讯管理器用于管理附加通讯操作，该附加通讯操作进一步包括:确定附加内容事件是否对应于必须立即呈现给用户的附加视觉内容。
48.如权利要求39所述的系统，其中该附加通讯管理器用于管理附加通讯操作，该附加通讯操作进步包括:确定附加内容事件是否对应于被延缓直到接收到将对应于该附加视觉内容的附加内容通知转移到附加通讯装置之后的用户输入才呈现给用户的附加视觉内容。
49.如权利要求39所述的系统，其中该附加视觉内容包括：一组预设视觉序列，该组预设视觉序列的每个预设视觉序列对应于由用户与该应用程序互动而导致的应用程序结果的预定类型。
50.如权利要求49所述的系统，其中该附加通讯管理器用于管理附加通讯操作，该附加通讯操作进一步包括：
决定应用程序结果的一组的预定类型中的应用程序结果的第一预定类型是否已经在应用程序执行期间发生；以及
响应该应用程序结果的第一预定类型的发生，将该组预定义视觉序列中的第一预定义视觉序列转移到该附加通讯装置。
51.如权利要求50所述的系统，其中该应用程序结果的第一预定类型对应于电子游戏事件。
52.如权利要求51所述的系统，其中该电子游戏事件对应于用户过渡到下一个游戏等级，用户与非玩家角色互动以及用户与远程用户互动中的一种。
53.如权利要求39所述的系统，其中该附加视觉内容对应于关于视觉导航辅助的虚拟用户位置、实时交谈会议请求以及预录制讯息中的一种。
54.如权利要求39所述的系统，其中该视觉环境进一步包括：一组用户可选择的图形元素，该图形元素用于控制附加通讯装置操作的多个方面来响应用户输入，其中该应用程序以及该附加通讯管理器中的至少一个用于管理该组用户可选择的图形元素的视觉呈现。
55.如权利要求39所述的系统，其中一组内存进一步储存程序指令，该程序指令包括：用于产生配置界面的附加通讯装置配置模块，特定类型的视觉内容通过该配置界面能被选择性地识别为该附加通讯装置呈现的附加视觉内容来响应用户输入。
56.如权利要求39所述的系统，其中该附加通讯装置进步包括：一组附加输入组件，该组附加输入组件用于检测邻近该附加通讯装置的空间区域中的用户距离，用户出现，用户移动与用户姿势中的一种。
57.如权利要求39所述的系统，其中该附加通讯装置进一步包括用于输出对应于附加内容事件的照明信号的照明装置。
58.如权利要求57所述的系统，其中该照明装置用于输出照明信号，该照明信号提供可供用户选择的附加视觉内容和预定应用程序事件的发生中的一种指示，和提供应用程序互动的用户熟练度的等级的指示。
59.如权利要求39所述的系统，其中该附加通讯装置用于取回与附加通讯装置初始化操作有关的附加通讯装置固件。
60.如权利要求59所述的系统，其中该附加通讯装置初始化操作与外围装置的计数程序关联执行。
61.如权利要求39所述的系统，进一步包括：与该处理单元耦合的第一通讯接口；以及与该附加通讯装置耦合的第二通讯接口，该第一通讯接口可选择性地耦合到该第二通讯接口，以在该处理单元与该附加通讯装置之间能够选择性耦合。
62.如权利要求61所述的系统，其中该第一通讯接口与该第二通讯接口均包USB接口。
63.如权利要求39所述的系统，进一步包括：与该处理单元耦合的能够显示的用户输入装置，能够显示的用户输入装置与该附加通讯装置分离并包括：一组用于传送对应于图形图像的光学信号的用户可选择的输入组件。
64.如权利要求63所述的系统，进一步包括：一组用户可选择的图形组件，该组用户可选择的图形组件用于控制附加通讯装置操作的多个方面来响应用户输入，且该组用户可选择的图形组件可通过该主要显示装置和该能够显示的用户输入装置中的至少一个来呈现。
CN201180070009.4A 2011-04-13 2011-04-13 提供附加3d用户接口的计算机外围显示器和通讯装置 Active CN103620544B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/032294 WO2012141693A1 (en) 2011-04-13 2011-04-13 Computer peripheral display and communication device providing an adjunct 3d user interface

Publications (2)

Publication Number Publication Date
CN103620544A CN103620544A (zh) 2014-03-05
CN103620544B true CN103620544B (zh) 2017-02-15

Family

ID=47009602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180070009.4A Active CN103620544B (zh) 2011-04-13 2011-04-13 提供附加3d用户接口的计算机外围显示器和通讯装置

Country Status (6)

Country Link
US (1) US9959008B2 (zh)
EP (1) EP2697720B1 (zh)
KR (1) KR101659424B1 (zh)
CN (1) CN103620544B (zh)
TW (2) TWI482081B (zh)
WO (1) WO2012141693A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520741B2 (en) 2011-11-14 2022-12-06 Scorevision, LLC Independent content tagging of media files
US10798468B2 (en) 2015-03-20 2020-10-06 Scorevision, LLC Method and system for presenting game-related information
US11998828B2 (en) 2011-11-14 2024-06-04 Scorevision, LLC Method and system for presenting game-related information
US9050530B2 (en) * 2011-12-29 2015-06-09 Zynga Inc. Apparatus, method and computer readable storage medium for collecting doobers in an electronic game
US9348430B2 (en) 2012-02-06 2016-05-24 Steelseries Aps Method and apparatus for transitioning in-process applications to remote devices
JP5632541B2 (ja) * 2012-06-21 2014-11-26 グリー株式会社 ゲーム制御方法、ゲームサーバ、及びプログラム
US8984080B1 (en) 2013-04-09 2015-03-17 Kabam, Inc. Facilitating user configured assistance requests through a chat in a virtual space
US9332043B1 (en) 2013-04-12 2016-05-03 Kabam, Inc. System and method for facilitating user interaction with a virtual space through a graphical chat interface
US9600474B2 (en) * 2013-11-08 2017-03-21 Google Inc. User interface for realtime language translation
JP6412708B2 (ja) * 2014-04-01 2018-10-24 株式会社ソニー・インタラクティブエンタテインメント プロセッシングシステムおよびマルチプロセッシングシステム
EP2930641B1 (en) * 2014-04-07 2019-04-03 Nxp B.V. Method of Programming a Smart Card, Computer Program Product and Programmable Smart Card
US10022619B2 (en) * 2014-04-18 2018-07-17 Sony Interactive Entertainment, LLC System and method for multi-player video gaming
US10579212B2 (en) 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
US10565219B2 (en) 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
KR20160024552A (ko) 2014-08-26 2016-03-07 삼성전자주식회사 입자로 구성된 변형체를 모델링하는 방법 및 장치
KR102217749B1 (ko) 2014-08-29 2021-02-19 삼성전자 주식회사 전자 장치 및 이의 기능 실행 방법
US20160100465A1 (en) * 2014-10-07 2016-04-07 Logitech Europe S.A. System and method for software and peripheral integration
WO2016060475A1 (en) * 2014-10-15 2016-04-21 Samsung Electronics Co., Ltd. Method of providing information using plurality of displays and ultrasound apparatus therefor
US10108322B2 (en) * 2015-01-02 2018-10-23 Kaltura, Inc. Dynamic video effects for interactive videos
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
KR102433879B1 (ko) * 2015-08-21 2022-08-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
CN105389080A (zh) * 2015-10-14 2016-03-09 联想(北京)有限公司 一种电子设备及信息处理方法
CN105635840A (zh) * 2015-12-19 2016-06-01 天脉聚源（北京）科技有限公司 显示互动信息的方法和装置
US11045737B2 (en) 2016-06-13 2021-06-29 Sony Interactive Entertainment LLC In-game location based game play companion application
US11278807B2 (en) * 2016-06-13 2022-03-22 Sony Interactive Entertainment LLC Game play companion application
US11148049B2 (en) 2016-06-29 2021-10-19 Razer (Asia-Pacific) Pte. Ltd. Data providing methods, data providing systems, and computer-readable media
US10452414B2 (en) * 2016-06-30 2019-10-22 Microsoft Technology Licensing, Llc Assistive technology notifications for relevant metadata changes in a document
SG11201901521WA (en) * 2016-09-01 2019-03-28 Razer Asia Pacific Pte Ltd Methods for emulating a virtual controller device, emulators, and computer-readable media
US10798043B2 (en) * 2016-09-26 2020-10-06 Facebook, Inc. Indicating live videos for trending topics on online social networks
WO2018074037A1 (ja) * 2016-10-21 2018-04-26 株式会社Ｍｙｔｈ 情報処理システム
US10525355B2 (en) * 2016-11-01 2020-01-07 Htc Corporation Method, device, and non-transitory computer readable storage medium for interaction to event in virtual space
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3494458B1 (en) * 2016-12-14 2021-12-01 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus
US10423212B2 (en) * 2017-06-02 2019-09-24 Apple Inc. Techniques for adjusting computing device sleep states using onboard sensors and learned user behaviors
US11185786B2 (en) 2018-08-21 2021-11-30 Steelseries Aps Methods and apparatus for monitoring actions during gameplay
KR102022604B1 (ko) * 2018-09-05 2019-11-04 넷마블 주식회사 주변 오디오를 시각적 표현하는 인터페이스에 기초하여 게임 서비스를 제공하는 게임 서비스 제공 서버 및 방법
US11071914B2 (en) 2018-11-09 2021-07-27 Steelseries Aps Methods, systems, and devices of providing portions of recorded game content in response to a trigger
KR102170825B1 (ko) * 2019-01-03 2020-10-27 주식회사 엔씨소프트 게임 제어 장치 및 방법
CN110456631B (zh) * 2019-08-19 2022-12-09 哈尔滨工业大学 行星探测捕获制动与器器分离物理跟踪装置与方法
US11285382B2 (en) * 2019-11-06 2022-03-29 Niantic, Inc. Player density based region division for regional chat
US11432034B2 (en) 2020-08-08 2022-08-30 Haystack TV, Inc. Dynamic context-based video streaming overlay generation
CN113559495B (zh) * 2021-08-03 2023-11-10 腾讯科技(成都)有限公司 虚拟对象释放技能的方法、装置、设备及存储介质
CN114344910A (zh) * 2021-12-09 2022-04-15 广东能龙教育股份有限公司 一种成语消除关卡制作方法及系统、控制装置、存储介质
TWI816410B (zh) * 2022-05-26 2023-09-21 大陸商美律電子(深圳)有限公司 應用程式畫面導航方法及終端裝置
KR20240001897A (ko) * 2022-06-28 2024-01-04 주식회사 신인류콘텐츠 컨텐츠 기반의 가변 라이트 제어 시스템 및 그 방법
KR102572990B1 (ko) * 2022-10-18 2023-08-31 소라피리협동조합 에듀테인먼트 콘텐츠 제공 플랫폼 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958089A (zh) * 2009-07-14 2011-01-26 上海信颐电子科技有限公司 触摸智能一体机

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952312B2 (en) * 2002-12-31 2005-10-04 3M Innovative Properties Company Head-up display with polarized light source and wide-angle p-polarization reflective polarizer
US20080214273A1 (en) 2004-09-21 2008-09-04 Snoddy Jon H System, method and handheld controller for multi-player gaming
TWM265865U (en) 2004-11-05 2005-05-21 Inventec Appliances Corp Mobile phone device with network camera function
US20060284847A1 (en) 2005-06-17 2006-12-21 Logitech Europe S.A. Keyboard with programmable keys
US20070015580A1 (en) 2005-07-18 2007-01-18 Hunter Wesley K Mobile terminals for supplementing game module resources and methods and computer program products for operating the same
TWM298849U (en) 2006-04-04 2006-10-01 Globlink Technology Inc Multifunctional Internet telephony
TW200741520A (en) 2006-04-21 2007-11-01 Kye Systems Corp Computer input device with wireless Voice over Internet Protocol (VoIP)
JP4671196B2 (ja) * 2006-10-31 2011-04-13 株式会社スクウェア・エニックス ネットワークゲームシステム、ネットワークゲーム用端末装置、ゲーム画面の表示方法、並びにプログラム及び記録媒体
US20080261685A1 (en) 2006-11-28 2008-10-23 Aristocrat Technologies Australia Pty Ltd Gaming apparatus and method involving secondary display
US20080205874A1 (en) 2007-02-23 2008-08-28 Landy Chen Wide coverage image capturing and standable web phone
AU2008319421B2 (en) * 2007-11-01 2012-11-15 Bally Gaming, Inc. Gaming system having graphical user interface for configuration of wagering games
US8068710B2 (en) 2007-12-07 2011-11-29 Qualcomm Mems Technologies, Inc. Decoupled holographic film and diffuser
US20100138780A1 (en) 2008-05-20 2010-06-03 Adam Marano Methods and systems for using external display devices with a mobile computing device
GB2466497B (en) * 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
US20100279769A1 (en) * 2009-04-13 2010-11-04 Chira Kidakam Game controller with display screen
US20110248958A1 (en) * 2010-04-08 2011-10-13 Qualcomm Mems Technologies, Inc. Holographic based optical touchscreen
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958089A (zh) * 2009-07-14 2011-01-26 上海信颐电子科技有限公司 触摸智能一体机

Also Published As

Publication number Publication date
TW201539314A (zh) 2015-10-16
KR101659424B1 (ko) 2016-09-23
WO2012141693A1 (en) 2012-10-18
US20140143687A1 (en) 2014-05-22
US9959008B2 (en) 2018-05-01
EP2697720B1 (en) 2023-02-22
KR20140043344A (ko) 2014-04-09
EP2697720A4 (en) 2015-10-14
TW201250577A (en) 2012-12-16
EP2697720A1 (en) 2014-02-19
TWI482081B (zh) 2015-04-21
CN103620544A (zh) 2014-03-05
TWI536253B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN103620544B (zh) 提供附加3d用户接口的计算机外围显示器和通讯装置
JP6373920B2 (ja) シミュレーションシステム及びプログラム
JP6306442B2 (ja) プログラム及びゲームシステム
WO2019155889A1 (ja) シミュレーションシステム、処理方法及び情報記憶媒体
CN108686374A (zh) 游戏系统
JP2016189999A (ja) プログラム及びゲームシステム
US11130059B2 (en) Game system and method of providing information related to match-up game
JP7367915B2 (ja) プログラム、情報処理方法、および、情報処理装置
WO2022257653A1 (zh) 虚拟道具的显示方法、装置、电子设备及存储介质
US20240013502A1 (en) Storage medium, method, and information processing apparatus
JP2019139424A (ja) シミュレーションシステム及びプログラム
JP2009070076A (ja) プログラム、情報記憶媒体及び画像生成装置
US20220297006A1 (en) Program, method, and terminal device
JP2020018745A (ja) ゲームシステム及びプログラム
JP6785325B2 (ja) ゲームプログラム、方法、および情報処理装置
US20220355188A1 (en) Game program, game method, and terminal device
CN109416614A (zh) 应用程序控制程序、应用程序控制方法以及应用程序控制系统
JP2004298305A (ja) 画像生成情報、情報記憶媒体及び画像生成装置
JP2023101706A (ja) ゲームシステム、プログラム及びゲーム提供方法
JP2020179184A (ja) ゲームプログラム、方法、および情報処理装置
US20210001234A1 (en) Game system and game provision method
JP6622832B2 (ja) プログラム及びゲームシステム
JP5479503B2 (ja) プログラム、情報記憶媒体及び画像生成装置
Çatak et al. A guideline study for designing virtual reality games
US20220355200A1 (en) Game program, game method, and information terminal device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant