CN103357177B - 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用 - Google Patents

使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用 Download PDF

Info

Publication number
CN103357177B
CN103357177B CN201310103965.9A CN201310103965A CN103357177B CN 103357177 B CN103357177 B CN 103357177B CN 201310103965 A CN201310103965 A CN 201310103965A CN 103357177 B CN103357177 B CN 103357177B
Authority
CN
China
Prior art keywords
hand
held device
view
virtual environment
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310103965.9A
Other languages
English (en)
Other versions
CN103357177A (zh
Inventor
Y·朱
J·R·斯塔福
S·奥斯曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103357177A publication Critical patent/CN103357177A/zh
Application granted granted Critical
Publication of CN103357177B publication Critical patent/CN103357177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/403—Connection between platform and handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/632—Methods for processing data by generating or executing the game program for controlling the execution of the game in time by branching, e.g. choosing one of several possible story developments at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用。提供用于使用户能使用手持设备与交互式应用相接口的方法和系统。根据本发明的实施例，在显示器上呈现交互式应用的主视频流。同时，将该交互式应用的数据供应传输到手持装置。在手持装置上处理该数据供应以便产生在该手持装置上呈现的辅助视频流。在呈现辅助视频流的同时在手持装置上接收交互式输入。该交互式输入被应用于设置虚拟标签，该虚拟标签定义当交互式应用的状态达到预定配置时将要被呈现到显示器上的事件以便由交互式应用触发该虚拟标签的执行。

Description

使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
本申请是申请号为2011103085898、题目为“使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用”的中国专利申请的分案申请。
技术领域
本发明涉及允许与交互式应用进行交互的方法和系统。
背景技术
不断增长的视频游戏行业涉及到便携式手持装置的使用。这样的手持装置的例子包括专用的游戏装置，例如由SonyComputerEntertainment公司和其他公司出品的那些装置，以及诸如智能电话、PDA、数字多媒体播放器等的其他类型的便携式装置。随着这样的便携式装置的计算能力的提高，便携式装置处理日益复杂的程序和任务的能力也随着提高了。
例如，现在的便携式装置可包括集成到单个装置中的几个不同类型的硬件。许多这样的装置可包括彩色的显示器、相机、扬声器和诸如按钮、触摸屏或手写笔的输入机构。
正是在这样的背景下产生了本发明的实施例。
发明内容
本发明的实施例提供用于使交互式应用能够利用手持装置的资源的方法和系统。应理解可以本发明可以多种方式实现，例如进程、装置、系统、在计算机可读介质上的方法或设备。下面讨论本发明的几个创造性实施例。
在一个实施例中，提供了用于使用户能够使用手持装置与交互式应用接口的方法。根据该方法，通过将交互式应用的主视频流从主处理接口传输到显示器来呈现该交互式应用的状态。在主处理接口附近检测手持装置的存在。将交互式应用的数据供应从主处理接口传输到手持装置。在手持装置上处理该数据供应以便产生交互式应用的辅助视频流。接着，该辅助视频流被呈现在该手持装置上。在手持装置上呈现交互式应用的辅助视频流的同时在手持装置上接收交互式输入。该交互式输入被应用于设置虚拟标签，所述虚拟标签定义将要被呈现到显示器的事件。当交互式应用的状态达到预定配置时，将由该虚拟标签定义的事件呈现到显示器以便由交互式应用触发该虚拟标签的执行。
在一个实施例中，所呈现的辅助视频流产生与所呈现的交互式应用的主视频流相同的图像。
在一个实施例中，辅助视频流是主视频流的压缩版本。
在一个实施例中，所呈现的辅助视频流最初产生与所呈现的交互式应用的主视频流相同的图像。随后，所呈现的辅助视频流基于所接收的交互式输入产生与所呈现的主视频流不同的图像。
在一个实施例中，虚拟标签的设置包括设置在交互式应用的虚拟空间内具有位置的对象。以及，所述事件的呈现包括当交互式应用的状态呈现包含该对象的位置的区域时在该位置处呈现该对象。
在一个实施例中，从由文本、音频、视频、项目或人物组成的组中选择由虚拟标签指定的对象。
在一个实施例中，虚拟标签的设置包括设置在交互式应用的虚拟时间轴内具有时间印记的对象。以及，所述事件的呈现包括当交互式应用的状态达到近似或等于所述虚拟标签的时间印记的时间点时呈现该对象。
在一个实施例中，所呈现的主视频流指示在交互式应用的虚拟空间内的第一位置；以及所呈现的辅助视频流指示在交互式应用的虚拟空间内的第二位置。
在一个实施例中，所呈现的主视频流指示在交互式应用的虚拟时间轴内的第一位置；以及所呈现的辅助视频流指示在交互式应用的虚拟时间轴内的第二位置。
在一个实施例中，所呈现的辅助视频流提供交互式应用的虚拟空间的地图。在一个实施例中，在该地图中的位置的选择使得能对在手持装置上所呈现的所选择的位置的视图进行访问。在一个实施例中，该地图包括在虚拟空间中的一个或多个对象的表示，所述交互式输入能够控制对象。在一个实施例中，一个或多个对象包括交互式应用的人物，所述交互式输入能够确定将要被所述人物执行的动作定。在许多实施例中，动作可以是在交互式应用的环境中人物可以执行的任何类型的动作。
在一个实施例中，动作是从由移动、攻击动作和防守动作组成的组中选择的。
在一个实施例中，交互式输入包括当被呈现到手持装置上时在该地图上绘制的手势输入。
在一个实施例中，在控制台装置处接收来自控制器装置的控制器输入。以及应用该控制器输入修改交互式应用的状态。在一个实施例中，所述交互式输入是通过手持装置的触摸屏接口接收的。
从下面结合附图以举例的方式说明本发明的原理的详细描述中，本发明的其他方面将是显而易见的。
附图说明
通过参考下面结合附图的描述，可以更好地理解本发明，其中：
图1示出根据本发明实施例的用于与交互式应用接口的系统。
图2示出根据本发明实施例的用于存储和检索虚拟标签的系统。
图3示出根据本发明实施例的用于提供与交互式应用的交互的系统。
图4示出根据本发明实施例的用于提供与交互式游戏的交互的系统。
图5示出根据本发明实施例的用于使交互式应用能够利用手持装置的资源的系统。
图6示出根据本发明实施例的用于与交互式程序相接口的控制器。
图7示出根据本发明实施例的示例的便携式手持装置的前视图。
图8示出根据本发明实施例的显示便携式装置的组件的框图。
图9示出根据本发明实施例的交互式环境。
图10示出根据本发明实施例的交互式环境。
图11示出根据本发明实施例的交互式环境。
图12示出根据本发明实施例的说明交互式游戏中场景的示意图。
图13A、13B和13C示出根据本发明实施例的各种风格的游戏玩法。
图14示出根据本发明实施例的交互式环境。
图15示出根据本发明实施例的交互式环境。
图16示出根据本发明实施例的交互式环境。
图17示出根据本发明实施例的虚拟空间的坐标系。
图18示出根据本发明实施例的说明用于设置虚拟标签的用户接口的一连串动作。
图19示出根据本发明实施例的交互式环境。
图20示出根据本发明实施例的交互式环境。
图21示出根据本发明实施例的交互式环境。
图22示出根据本发明实施例的可以用于执行和呈现交互式应用的硬件和用户接口。
图23示意性地示出 娱乐装置的整体系统结构，其为根据本发明实施例的、可兼容以用于将控制装置和手持装置与在基本计算装置上执行的计算机程序相接口的控制台。
具体实施方式
下面的实施例描述用于使交互式应用能够利用手持装置的资源的系统的方法和设备。在本发明的一个实施例中，提供用于将交互式应用的主视频流呈现到显示器的主处理接口。第一用户查看在该显示器上所呈现的主视频流并且通过操作与主处理接口通信的控制器装置进行交互。同时，第二用户在同一交互式环境中操作手持装置。该手持装置在与显示主视频流的显示器分开的该手持装置的显示器上呈现交互式应用的辅助视频流。由此，下面将描述根据本发明实施例的方法和设备。
但可以在没有这些具体细节的一些和全部的情况下实施本发明，这对本领域技术人员而言是显而易见的。在其他实例中，为了避免不必要的混淆本发明，没有描述公知的处理操作。
参考图1，显示了根据本发明实施例的用于与交互式应用接口的系统。主处理器12执行交互式应用10。主处理接口14使交互式应用10的状态能够被呈现到显示器18。这是通过将交互式应用10的主视频流从主处理接口14发送到显示器18来完成的。在本发明的一些实施例中，主处理接口14和主处理器12可以是同一装置（例如计算机或控制台系统）的部分。在其他实施例中，主处理接口14和主处理器12可以是直接连接或经由网络连接的分开的装置（例如分开的计算机或控制台系统）的部分。显示器18可以是各种类型的显示器的任何一个，例如电视、显示器、投影仪和可被用于可视化地显示视频流的任何其他类型的显示器。
控制器20被提供用于与交互式应用10相接口。控制器包括用于接收来自用户24的输入的输入机构22。输入机构22可包括各种类型的输入机构的任何一个，例如按钮、操纵杆、触控板、运动传感器或可接收用于与交互式应用10交互的来自用户24的输入的任何其他类型的输入机构。控制器20与主处理接口14通信。在一个实施例中。该通信是无线的；在又一个实施例中，该通信发生在有线连接上。控制器20将输入数据传输到主处理接口14，主处理接口14进而可处理该输入数据并且将产生的数据传输到交互式应用10，或者简单地直接将该输入数据转发到交互式应用10。输入数据被应用于直接地影响交互式应用的状态。
交互式应用10的数据供应被提供给手持装置28。手持装置28提供接口，通过该接口另一个用户与交互式应用10相接口。在一个实施例中，手持装置28与主处理接口14进行无线通信。在又一个实施例中，手持装置28与主处理接口14通过有线连接进行通信。手持装置28接收数据供应26，并且该手持装置28上的处理器32处理该数据供应26以生成交互式应用10的辅助视频流34。该辅助视频流34被呈现到在该手持装置中包含的显示器36上。
在多个实施例中，辅助视频流34可提供与主视频流16相同的图像，或者可与主视频流在不同程度上不同，包括完全不同于所呈现的主视频流16。例如，在一个实施例中，辅助视频流34在一段时间提供与主视频流16相同的图像，然后转变到不同的图像。可由从手持装置28接收的输入触发该转变。在下面的进一步的细节中解释了在显示器36上所呈现的辅助视频流34的另外的示例性实施例。用户30查看在显示器36上的辅助视频流34并且通过被包含在手持装置28中的输入机构38提供输入来与其交互。输入机构38可包括各种输入机构的任何一个，例如按钮、触摸屏、操纵杆、轨迹球、键盘、手写笔或可被包含在手持装置中的任何其他类型的输入机构。这样，用户30与所呈现的辅助视频流34进行交互以便经由输入机构38提供交互式输入40。由处理器32处理该交互式输入40以便确定虚拟标签数据42。虚拟标签数据42通过主处理接口14被传输到交互式应用10。虚拟标签数据42可被存储为虚拟标签，并且包括定义当交互式应用10的状态达到某个预定配置以由该交互式应用19触发虚拟标签的执行时将要被交互式应用10呈现的事件的信息。在不同的实施例中，虚拟标签的内容可以不同，并且可能与对象、项目、人物、动作和由交互式应用10呈现到显示器18的其他类型的事件有关。
尽管在本说明书中所讨论的实施例包括使用控制器20的用户24，和使用手持装置28的用户30，但可以考虑有各种配置的用户。例如，在其他实施例中，有一个或多个使用控制器的用户，和一个或多个使用手持设备的用户。或者在其他实施例中，没有使用控制器的用户，但至少有一个使用手持设备的用户。
参考图2，显示了根据本发明实施例的用于存储和检索虚拟标签的系统。手持装置用户30采用手持装置28来生成标签数据42。在一个实施例中，标签图形用户接口（GUI）模块50被包含在手持装置中，用于给用户30提供GUI，所述GUI用于接收用户30提供的用于生成标签数据42的交互式输入。在多个实施例中，标签GUI50可包括任何一种特征，包括可选择的菜单选项、在显示器上绘制的触摸屏输入的跟踪、基于触摸屏手势或可选择的输入的运动，或可用于使用户30能够提供交互式输入以生成标签数据42的任何其他类型的GUI元素或特征。
在一个实施例中，标签数据42被传输到交互式应用10。由被包含在交互式应用中的标签模块60接收标签数据42。在一些实施例中，交互式应用10立即应用该标签数据来呈现由该标签数据定义的事件。例如，标签数据可定义将要所呈现的对象或者影响已经由交互式应用呈现的现有对象。这样，由标签数据定义的事件被交互式应用所使用，其产生包含该事件的交互式应用的经更新的状态。如图1所示，该经更新的状态被呈现于在显示器18上显示的主视频流16中。
在一些实施例中，标签数据42定义事件，所述事件不是立即可应用的，但将会在交互式应用10的状态达到特定配置时变为由该交互式应用10可应用。例如，在一个实施例中，由标签数据42定义的事件可指定将要被呈现在交互式应用10的虚拟空间内的特定位置处的对象。因此，当交互式应用10的状态达到使交互式应用10呈现包含由标签数据定义的位置的区域的配置时，交互式应用10将应用该标签数据以呈现对象。在又一个实施例中，标签数据42可包括时间印记，所述时间印记指定事件应该在交互式应用10的虚拟时间轴中发生的时间。因此，当交互式应用10的状态达到所指定的时间，将触发由标签数据42定义的事件的执行，其结果是包含所呈现的事件的交互式应用10的经更新的状态。
标签模块60可以将标签数据本地存储为标签。标签模块60也可以将标签数据存储在标签仓库52中。标签仓库52可位于交互式应用10本地，或通过网络54（例如互联网）连接到交互式应用10。标签仓库52存储标签56以用于以后的检索。每个标签56可包括定义将要被交互式应用10呈现的事件的各种数据。该数据可包括定义在交互式应用的虚拟空间内的位置的坐标数据、定义在交互式应用的虚拟时间轴中的时间的时间数据（或时间印记）、文本、图形数据、对象或项目数据、人物数据，以及可以定义或影响在交互式应用10内的事件或对象的其他类型的数据。
标签仓库52可被配置为接收来自多个用户的标签数据，从而聚集来自与同一交互式应用交互的用户的标签。用户可以与交互式应用10的同一会话或同一实例交互，或者与同一交互式应用10的不同会话或不同实例交互。在一个实施例中，交互式应用10的标签模块60从标签仓库52检索标签数据。这可以基于交互式应用的状态的当前位置58来执行。在一些实施例中，当前位置58可以是在交互式应用的虚拟空间的地理位置或者在交互式应用的虚拟时间轴内的时间位置。由于当前位置58基于交互式应用的状态中的变化（例如，基于对交互式应用10的输入）而改变，因此标签模块60从标签仓库52连续检索与当前位置58相关的标签数据。这样，交互式应用10的用户将享受与由来自多个其他用户的所生成标签数据影响的交互式应用10的交互式体验。
在另一个实施例中，将标签数据42直接从手持装置28传输到标签仓库52。这可以在向交互式应用10传输标签数据42之外发生，或者替换向交互式应用10传输标签数据42。
参考图3，显示了根据本发明实施例的用于提供与交互式应用的交互的系统。如图所示，交互式应用10运行于计算机70上。计算机70可以是任何一种类型的计算装置，例如服务器、个人计算机、游戏控制台系统，或者能够执行交互式应用的任何其他类型的计算装置。计算机70将交互式应用10的输出作为主视频流提供给显示器18，以便可视化地呈现交互式应用10以用于交互；以及将来自交互式应用10的音频输出作为主音频流提供给扬声器19以提供用于交互的音频。
计算机70还包括无线收发器76，以实现与外部组件的通信。在所示的实施例中，无线收发器76实现与由用户24操作的控制器20和由用户30操作的便携式装置28的无线通信。用户24和30分别通过操作控制器20和便携式装置28向交互式应用10提供输入。用户24查看在显示器18上显示的主视频流，从而操作控制器20的输入机构22以提供影响交互式应用10的状态的直接输入来与交互式应用交互。
同时，该交互式应用10的数据供应是由交互式应用10的游戏输出模块72产生的，并且被传输到运行在便携式装置28上的从属应用80。更具体地，将数据供应从计算机70的无线收发器76传送到便携式装置的无线收发器78，并且由从属应用80的从属输入模块82接收该数据供应。由从属应用80处理该数据供应以便生成被呈现到便携式装置28的显示器36上的辅助视频流。用户30查看显示器36，以及通过操作便携式装置28的输入机构38提供输入来与辅助视频流交互。从属应用80处理该输入以便生成由从属应用80的从属输出模块84传送到交互式应用10的游戏输入模块74（经由便携式装置28的收发器78和计算机70的收发器76）的数据。
在本发明的多个实施例中，从属应用80可被配置为提供不同类型的交互接口以用于用户30与其进行交互。例如，在一个实施例中，在便携式装置28的显示器36上显示的辅助视频流可提供与在显示器18上显示的主视频流的图像相同的图像。在其他实施例中，在便携式装置28的显示器36上显示的图像可以是在显示器18上示出的图像的修改版本。在其他实施例中，在便携式装置28上显示的图像可能与在显示器18上示出的图像完全不同。
根据本发明一个实施例，参考图4，显示了用于提供与交互式游戏的交互的系统。游戏引擎90持续执行以确定交互式游戏的当前状态。游戏引擎90为视频呈现器92提供主视频流91，视频呈现器92在显示器18上呈现主视频流91。该主视频流91包括代表交互式游戏当前状态的视频数据，当其被呈现在显示器18上时，提供交互式游戏的可视化表示以用于交互。
游戏引擎90还为游戏输出模块72提供数据。在一个实施例中，游戏输出模块72包括音频/视频（AV）供应生成器94，其基于接收自游戏引擎的数据生成发送到手持装置28的AV数据供应95。该AV数据供应95可以包括能够被手持装置28利用以生成图像的数据，所述图像与显示在显示器18上的图像相同或实质相似。例如，在一个实施例中，AV数据供应95包括压缩的、较低分辨率的、较低帧速率的或其他较低带宽版本的呈现在显示器18上的主视频流。通过利用较低带宽，AV数据供应95更容易传输，尤其是通过通常比有线传输技术带宽能力低的无线传输技术。此外，由于手持装置的较小的显示器36的分辨率通常低于显示器18，从而不需要主视频流91中提供的所有数据，所以AV数据供应95可以这样配置为利用较少的带宽。
游戏输出模块72还可以包括游戏数据生成器96，其基于接收自游戏引擎的数据生成发送给手持装置28的游戏数据供应97。游戏数据供应97可以包括各种类型的关于交互式游戏的状态的数据。在手持装置28，AV数据供应95和游戏数据供应97由从属输入处理器82接收，其首先处理这些数据供应。从属应用引擎98在手持装置28上执行，以便为用户30提供交互式接口。从属应用引擎98基于数据供应生成辅助视频流99。辅助视频流99由从属视频呈现器100呈现在手持装置28的显示器36上。
用户30在显示器36上查看所呈现的辅助视频流，并且通过手持装置28的各种输入机构提供直接输入102来与所显示的图像进行交互。直接输入102的例子包括按钮输入104、触摸屏输入106和操纵杆输入108，其他类型的输入也可以包括在直接输入102中。直接输入102由直接输入处理器110处理，以用于从属应用引擎98。基于被处理的直接输入以及计算机70提供的数据供应，从属应用引擎98更新其执行状态，所述执行状态然后在显示器36所呈现的辅助视频流99中体现。从输出生成器84基于从属应用引擎98的状态生成从属数据85，并且为交互式游戏的游戏输入模块74提供从属数据85。从属数据85可以包括各种类型的数据，例如可以被游戏引擎90利用以影响其执行状态的数据，或者标签数据；当游戏引擎的状态达到特定配置时，标签数据影响游戏引擎的状态。
根据本发明一个实施例，参考图5，显示了用于使交互式应用90能够利用手持装置28的资源的系统。如图所示，交互式应用或游戏引擎90生成请求120，以利用手持装置28的资源。该请求120发送到运行在手持装置28上的从属应用80。该从属应用80处理请求120，以确定利用手持装置28的什么资源。手持装置的资源可以是包括在手持装置28中的任何装置或功能。例如，手持装置28的资源可以包括手持装置的处理能力，包括其处理器和存储器。手持装置28的资源还可以包括装置、传感器和硬件，诸如相机、运动传感器、麦克风、生物信号传感器、触摸屏或其他包括在手持装置中的硬件。
基于请求120，从属应用80启动硬件或传感器124的操作或检测。根据硬件124的性质，操作手持装置28的用户30可以在不同程度上控制所述硬件。例如，如果硬件124是相机，那么用户30可以控制相机的方位和方向。然而，如果硬件是手持装置28的处理器或存储器，用户30就只能很少的或不能直接控制该硬件的操作。在一个实施例中，硬件124的操作生成原始数据，所述原始数据由从属应用80的原始数据处理器126处理。对原始数据的处理产生处理过的数据122，所述处理过的数据122发送给交互式应用90。这样，交互式应用90就接收到了响应其初始的请求120的处理过的数据122。
本领域的技术人员可以理解可以提供许多示例，其中，如现在所描述的，交互式应用90利用手持装置28的资源。在一个实施例中，交互式应用90利用手持装置的处理资源，例如其处理器和存储器，以卸载交互式应用90对于一个或多个任务的处理。在另一个实施例中，交互式应用90利用手持装置28的相机以捕获视频或静态图片。在一个实施例中，该交互式应用90利用手持装置28的麦克风以捕获交互式环境中的音频。在另一个实施例中，交互式应用90利用手持装置28的运动传感器以接收来自用户的基于运动的输入。在其他实施例中，交互式应用90可以利用包括在手持装置28中的其他任何资源。
根据本发明一个实施例，参考图6，其中显示了用于与交互式程序相接口的控制器。该控制器20用于与计算机或主处理接口（例如个人电脑、游戏控制台、或者那些执行或呈现或表现交互式应用的其他类型的计算装置）进行接口。控制器20可以通过有线或无线连接与计算机通信。在其他实施例中，交互式应用可以由计算装置执行，所述计算装置可以经网络访问，所述网络例如局域网、广域网、因特网以及其他类型的网络。在这些实施例中，由控制器检测到的输入通过网络被发送到交互式应用。来自控制器的输入可以首先被本地装置接收，所述本地装置处理输入，并且将包含该输入的数据或基于该输入的数据传输到执行交互式应用的网络装置。利用控制器20的硬件，例如定向垫（directionalpad）130、操纵杆132、按钮134和触发器136，用户通过控制器20向交互式应用提供输入。该控制器20还可以包括电极138a和138b，用于检测来自用户的生物电信号。可以处理该生物电信号以确定作为交互式程序输入的生物数据。
根据本发明一个实施例，参考图7，其中显示了示例便携式手持装置28的前视图。手持装置28包括用于显示图形的显示器140。在本发明的实施例中，显示器140用于实时显示交互内容。在本发明的各种实施例中，显示器140可以包含各种显示技术，例如触敏技术。手持装置28包括用于帮助音频输出的扬声器142。扬声器142的音频输出可以包括与交互内容有关的任何声音，例如人物声音、背景声音、配音音频（soundtrackaudio）、来自远程用户的声音或任何其他类型的声音。
手持装置28包括按钮144和定向垫146，其作为用于接收来自便携式装置用户的输入的输入机构。在本发明的实施例中，任何其他不同类型的输入机构都可以包括在手持装置28中。输入机构的其他例子可以包括手写笔、触摸屏、键盘、小型键盘、触摸板、轨迹球、操纵杆、触发器、或任何有助于接收用户输入的其他类型的输入机构。
提供前视相机148用于捕获便携式手持装置28的用户的图像和视频，或者在便携式装置28前面的其他对象或场景的图像和视频。虽然图中没有显示，但还可以包括后视相机，以捕获手持装置28后面的场景的图像和视频。另外，包括麦克风150以捕获来自周围区域的音频，例如便携式装置28的用户发出的声音或话语，或者其他便携式装置28在使用中所处的交互式区域的声音。
提供左电极152a和右电极152b，以检测来自用户握住手持装置的左右手的生物电信号。当用户握住手持装置28时，左和右电极152a、152b分别与用户的左右手接触。在本发明其他各种实施例中，包括在手持装置中、用于检测来自用户的生物数据的电极可以具有各种其他配置。
根据本发明的一个实施例，参考图8，其中显示了便携式装置10的组件的框图。便携式装置10包括用于执行程序指令的处理器160。为了存储目的，提供存储器162，可以既包括易失性存储器又包括非易失性存储器。包括显示器164，其提供用户可以查看的可视化接口。提供电池166，作为便携式装置10的电源。运动检测模块168可以包括任何类型的运动敏感的硬件，例如磁力计170、加速计172和陀螺仪174.
加速计是一种用于测量加速度和重力感应反作用力的装置。单轴和多轴模型可以用来检测加速度在不同方向上的大小和方向。加速计用于感受倾斜、振动和冲击。在一个实施例中，使用三个加速计172以提供地心引力的方向，其为两个角度（世界空间纵向和世界空间横向（world-spacepitchandworld-spaceroll））提供了绝对参考。
磁力计测量控制器附近的磁场的强度和方向。在一个实施例中，在控制器内部使用三个磁力计170，确保为世界空间偏航角提供绝对参考。在一个实施例中，磁力计被设计为跨越±80微特斯拉的地磁场。磁力计会被金属影响，并且提供与实际偏航单调的偏航测量。磁场可能由于环境中的金属而扭曲，其造成偏航测量的扭曲。如果需要，该扭曲可以通过使用来自其他传感器例如陀螺仪或相机的信息来校准。在一个实施例中，结合使用加速计172和磁力计170以获取便携式装置28的倾角和方位。
陀螺仪是用于基于角动量原理测量或保持方位的装置。在一个实施例中，三个陀螺仪174基于惯性传感，提供关于在各个轴（x，y和z）运动的信息。陀螺仪帮助检测快速旋转。但是，如果绝对参考不存在，陀螺仪会随时间漂移。这就需要周期性的重置陀螺仪，其可以通过使用其他可用信息来完成，例如基于对象视觉跟踪的位置/方位确定、加速计、磁力仪等。
提供相机176以捕获真实环境的图像和图像流。在便携式装置28中可以包括不止一台相机，包括后视相机（当用户查看便携式装置的显示器时，其背向用户）和前视相机（当用户查看便携式装置的显示器时，其朝向用户）。另外，便携式装置可以包括深度相机178，用于检测在真实环境中对象的深度信息。
便携式装置10包括用于提供音频输出的扬声器180。而其，可以包括麦克风182以捕获来自真实环境的音频，包括来自周围环境的声音、用户的话语等。便携式装置28包括触觉反馈模块184以向用户提供触觉反馈。在一个实施例中，触觉反馈模块184能够引起便携式装置28的运动和/或震动，从而向用户提供触觉反馈。
提供LED186作为便携式装置28的状态的视觉指示器。例如，LED可以指示电池电量、上电等。提供读卡器188以使便携式装置28能够从存储卡中读取信息并且向存储卡写入信息。包括USB接口190，作为用于实现与外围设备连接的、或与其他装置（例如其他便携式装置、计算机等）连接的接口的示例。在便携式装置28的各种实施例中，为了使便携式装置28具有更大的连接性，可以包括各种接口。
包括WiFi模块192以能够通过无线网络技术连接因特网。而且，便携式装置28包括蓝牙模块194用于实现与其他设备的无线连接。还可以包括通信链路196用于连接其他设备。在一个实施例中，该通信链路196利用红外传输进行无线通信。在其他实施例中，通信链路196可以利用各种无线或有线传输协议来与其他装置通信。
包括输入按钮/传感器198以向用户提供输入接口。可以包括各种输入接口，例如按钮、触摸板、操纵杆、轨迹球等。便携式装置28可以包括超声波通信模块200，用于通过超声波技术帮助与其他装置通信。
包括生物传感器202以便能够检测来自用户的生理数据。在一个实施例中，该生物传感器202包括一个或多个干电极用于通过用户的皮肤来检测用户的生物电信号。
前述的便携式装置28的组件只是作为可以包括在便携式装置28中的示例组件被描述。在本发明的各种实施例中，该便携式装置28可以或可以不包括上述各种组件中的一些组件。便携式装置28的实施例还可以包括这里没有描述的、但本领域公知的、用于帮助本发明各个方面目的的其他组件。
本领域技术人员可以理解，在本发明的各种实施例中，前述手持装置可以与显示在显示器上的交互式应用结合使用，以提供各种交互功能。以下提供的示例实施例只是例子，目的并非限制。
根据本发明的一个实施例，参考图9，其中显示了交互式环境。控制台或计算机70执行交互式应用，交互式应用生成呈现在显示器18上的主视频流。如图所示，所呈现的主视频流描述了场景210，其可以包括人物212，对象214，或任何其他由交互式应用描述的项目。用户24查看显示器18上的场景210，并且通过操作控制器20与交互式应用交互。控制器20使用户24能够直接影响交互式应用的状态，其继而被更新并且通过呈现在显示器18上的主视频流体现。
同时，在交互式环境中，另一个用户30查看并且操作手持装置28。手持装置28从计算机70接收辅助或从属视频流，该视频流然后被呈现在手持装置28的显示器36上。通过手持装置28的放大视图216可见，所呈现的辅助视频流描述了场景218，其与显示器18上主视频流呈现的场景相同或实质相似。用户30查看场景218并且能够通过手持装置的各种输入机构与场景218交互，例如通过触摸屏或激活其他诸如按钮、操纵杆或运动传感器的输入机构来提供输入。
在本发明各种实施例中，在手持装置28上实现的具体交互功能可以变化。例如，用户可以在手持装置28上记录辅助视频流。被记录的辅助视频流可以上传到网站以与他人共享。或者在一个实施例中，用户可以通过轻拍对象来选择对象，例如当对象214显示在显示器36上时，轻拍对象214对其选择。对对象214的选择可以继而使用户30能够执行关于对象214的一些功能，例如修改对象，移动对象，添加包含描述性或其他种类信息的标签，等等。
在一个实施例中，手持装置28的显示器36上显示的场景218将与显示器18上显示的场景210相同，直到用户30提供一些类型的输入，例如触摸手持装置28的触摸屏或按下手持装置28的按钮可以发生。这时，由于用户30提供的交互式输入与用户24和场景210之间发生的交互互相独立，所以在手持装置28上呈现的辅助视频流将不再与显示器18上呈现的主视频流描述相同的场景，而是与主视频流描述的场景背离。
例如，在一个实施例中，触摸或轻敲手持装置的显示器36造成场景218定格或暂停，这样可以使用户30能够执行与场景218的交互操作。同时，随着用户24操作控制器20或以其他方式与场景210交互，显示器18显示的场景210继续发展。在另一个实施例中，场景218不定格，而是基于用户30提供的输入，改变场景218表现的角度或查看点。在一个实施例中，用户30提供的输入包括手势输入，其当用户30在显示器28上移动手指时被检测。在又一个实施例，显示在手持装置28的显示器36上的场景218与显示在显示器18上的场景210之间的差异可以包括各种其他类型的改变。例如，场景218可以在外形、颜色、照明或其他视觉方面不同于场景210。在一个实施例中，场景218与场景210之间的外形的不同可以表现为场景218的外形突出了场景中的某些特征。例如，在诸如第一人称射击类游戏的交互式游戏的背景中，场景218可以描述基于红外照明、UV照明、夜视或其他类型的改变了视觉模式的视图。在其他实施例中，场景218可以相对于场景210减速或加速。在另一些实施例中，在场景210中不可见的信息可能在场景218中可见。该类信息可以包括文本信息、标记或指示器、颜色方案、突出显示、或向查看场景218的用户30提供信息的其他描绘。
根据本发明的一个实施例，参考图10，其中显示了一个交互式环境。如图所示，计算机70配置为向显示器18呈现交互式应用的主视频流。呈现主视频流的结果就是在显示器18描述了场景220。用户24查看场景220，并且操作控制器20以向交互式应用提供输入。在一个实施例中，控制器与计算机70无线通信。同时，第二个用户30查看在手持装置28的显示器36上的相关场景222。如图示实施例所示，场景222包括菜单，该菜单包括可选择图标224。在本发明的各种实施例中，如包括在场景222中的菜单可以实现与交互式应用相关的各种功能。以这种方式，与用户24和场景220之间的交互相独立，用户30能够通过菜单接口影响交互式应用。
根据本发明的一个实施例，参考图11，其中显示了一个交互式环境。计算机70在显示器18上呈现交互式应用的主视频流，以描述场景230。同时，辅助视频流呈现在手持装置28的显示器36上，其描述的场景232与显示器18所示的场景230相同或本质相似。操作手持装置28的用户能够选择场景232的区域234，并且放大区域234，显示为更新的场景236。
选择区域234可以通过各种机制发生，例如通过触摸屏技术在显示器36上检测触摸或手势输入。在一个实施例中，用户可以画出或以其他方式指定方框来确定需要放大的区域234。以这种方式，用户能够放大显示在显示器18上的场景230中的感兴趣的区域。在一些实施例中，这种选择操作造成手持装置28上显示的场景232定格或暂停；而在其他实施例中，场景232不定格。在一些实施例中，这种选择操作造成显示器18显示的场景230和手持装置28上显示的场景232暂停；而在其他实施例中，只有手持装置显示的场景232定格。在一个实施例中，主视频流和辅助视频流是同步的，从而当用户选择或者放大手持装置28显示的场景232中的区域时，在显示器18显示的场景230中发生相同的或实质相似的效果。
虽然上述实施例中描述的是放大功能，但是可以理解，在本发明的其他实施例中，这里描述的选择特征可以实现其他类型的功能。例如，对场景中的区域选择完成之后，可以对所选择的区域执行多种功能，例如调整视觉属性，设置虚拟标签，增加项目，编辑所选择的区域，等等。在本发明其他实施例中，选择场景中的区域之后，可以执行各种其他类型的功能。
根据本发明的一个实施例，参考图12，其中显示了说明交互式游戏中场景的示意图。如图所示，交互式游戏包括一系列场景240,242,244直到场景246。随着玩家在交互式游戏中的发展，玩家以顺序的方式与场景240,242,244直到场景246交互。如图所示，玩家首先与场景240交互，然后是场景242,244并且最终是场景246。玩家通过查看显示器上的场景来与这些它们交互，所述显示器与计算机或控制台系统连接，所述计算机配置为在显示器上呈现场景。在该实施例中，场景240是玩家正在玩的当前活动的场景。
同时，第二个玩家能够选择一个场景在便携式装置上显示。第二个玩家所选择的场景可以与第一个玩家正在玩的活动场景240不同。入示例所示，第二个玩家选择场景242，用于在便携式装置上显示和交互。便携式装置上显示的场景248与场景242一致。第二个玩家能够以不同方式与场景248交互，例如在场景中进行时间和空间的航行，或者对场景进行修改。举例来说，在一个实施例中，使用便携式装置的第二个玩家能够从如场景250所示的菜单252中呈现的选项中选择。选项可以包括各种用于变更或修改场景的选择，例如增加对象，移动对象，增加虚拟标签等。如场景254所示，第二个玩家已经通过增加对象256改变了场景。
由第二个玩家对场景的修改能够被第一个玩家看到，因为当第一个玩家到达在场景中的相同的时间和空间位置的时候，这些改变将在显示器呈现的场景中显示。这样，在显示的实施例中，当第一个玩家到达场景242时，第一个玩家将看到由第二个玩家设置的对象256。根据目前描述的实施例，第二个玩家可以在交互式游戏的游戏序列中向前看，从而改变场景，当第一个玩家到达相同的时间和空间位置时将遇到这些场景。在各种实施例中，交互式游戏可以设计为建立合作游戏玩法，其中第二个玩家通过前瞻游戏序列帮助在游戏中的第一个玩家。例如，第二个玩家可以用对第一个玩家有用的描述信息或线索标记特殊项目或者位置。或者第二个玩家可以通过增加对象来改变场景，或者执行其他对场景的改变，当第一个玩家到达场景中相同的位置时，这些改变对第一个玩家有帮助。在本发明的其他实施例中，交互式游戏可以设计为第一个和第二个玩家相互竞争。例如，第二个玩家可以在游戏序列中前瞻，并且给第一个玩家设置障碍，当第一个玩家到达特定位置时将遭遇这些障碍。
在各种实施例中，本发明的原理可以应用到各种风格的游戏玩法中。例如，参考图13A、13B和13C，其中显示了各种类型的游戏玩法。根据本发明一个实施例，图13A显示线性风格的游戏玩法。如图所示，该游戏玩法包括多个场景或节点260、262、264和266。这些场景可以是交互式游戏的时间或空间位置，并且随着用户在交互式游戏中前进，这些场景将以预定顺序被用户遇到。如图所示，在场景260结束后，用户遇到场景262，之后顺序遇到场景264以及266。根据这里所描述的本发明的原理，利用手持装置的第二个玩家可以跳过并到达第一个用户还没有遇到的场景中，并且执行对场景的修改或者设置与该场景有关的虚拟标签。举个例子，在描述的实施例中，虚拟标签270和场景262联系在一起。
根据本发明的一个实施例，图13B中显示了非线性风格的游戏玩法。非线性风格的游戏玩法可以包括几种变形。例如，可以存在分支的故事情节，其中，基于用户的动作，用户可以遇到特定的场景。以举例方式如图所示，场景272之后是替代场景274。分支的故事情节汇聚到相同的场景也是可能的。例如，替代场景274最终汇聚到场景276。在其他实施例中，分支的故事情节可以不汇聚。例如，从场景280分出的场景282和284将不汇聚。在其他实施例中，根据用户的动作，游戏可以具有不同的结局。例如，基于用户的动作，游戏可以以场景278结束，而如果用户采取了一系列不同的动作，那么游戏可能继续进入场景280以及其后的场景。根据这里描述的本发明的原理，利用手持装置的第二个用户可以跳过并到达第一个用户还没有遇到的场景中，并且执行对场景的修改或者设置与该场景有关的虚拟标签。举个例子，在描述的实施例中，虚拟标签286和场景278联系在一起。
根据本发明一个实施例，图13C显示了开放世界风格的游戏玩法。如图所示，用户可以访问多个场景288，并且每个都可以以用户选择的顺序访问。在显示的实施例中，场景之间的连接关系是：并不是每个场景都可以从每个其他场景访问。但是，在另一个实施例中，每个场景都可以从每个其他场景访问。根据这里描述的本发明的原理，利用手持装置的第二个用户可以跳入任何一个场景，并且执行对场景的修改或者设置与该场景有关的虚拟标签。举个例子，在描述的实施例中，虚拟标签286和场景278联系在一起。
前述的各种风格的游戏玩法的例子只是以举例的方式描述，在其他实施例中，还可以有其他风格的游戏玩法。本发明的原理可以应用到其他风格的游戏玩法，从而用户能够执行对交互式游戏的场景的修改或者设置与场景有关的虚拟标签。
根据本发明一个实施例，参考图14，其中显示了交互式环境。如图所示，计算机70在显示器18上呈现交互式应用的主视频流。所呈现的主视频流描述了场景300。同时，持有手持装置28的用户将手持装置28朝向显示器18。在一个实施例中，向显示器的手持装置28的定向可以包括将手持装置28的后视面对准显示器18的一部分。手持装置28相对于显示器18的方向可以根据各种技术来检测。例如，在一个实施例中，手持装置的后视相机（未显示）捕获显示器的图像，处理所述图像以确定手持装置28相对于显示器18的方向。在其他实施例中，手持装置28的方向也可以基于手持装置捕获的运动传感器数据来检测。在另一个实施例中，可以利用各种其他技术来确定手持装置28相对于显示器18的方向。
在显示的实施例中，手持装置28用作放大器，为用户提供手持装置对准的场景300中的区域302的放大视图。以此种方式，用户能够在手持装置28上看到作为场景304的放大的区域302。这可以通过生成辅助视频供应来完成，所述辅助视频供应被从计算机70传送到手持装置28，并且被实时地呈现在手持装置28上，从而与在显示器18上呈现的主视频流同步。在相似的实施例中，其中交互式应用为第一人称射击风格游戏，手持装置28可以用作目标的瞄准范围，这种情况当用户使用狙击步枪或远程炮兵武器时会发生。在这样的实施例中，用户可以在显示器18上查看游戏，但是握住手持装置28并且将其对准显示器18的特定区域，从而为瞄准的目的查看该区域的放大视图。
参考图15，其示出了根据本发明实施例的交互式环境。如图所示，计算机70将交互式应用的主视频流呈现在显示器18上。在显示器18上，所呈现的主视频流描绘了场景310。用户24查看场景310并操作控制器20，以向交互式应用提供输入。在示例性实施例中，用户24提供输入以操纵车辆，如场景310的左手侧所示。但是，在其他实施例中，用户24可以为与交互式应用相关的任一类型的动作提供输入。同时，用户30操作手持装置28的同时还查看场景310。在示例性的实施例中，用户30提供输入以控制武器的目标定位和开火，如场景310的右手侧所示。但是，在其他实施例中，用户30可以为与交互式应用相关的任一类型的动作提供输入。
在一个实施例中，用户30旋转手持装置28，使其离开显示器18到达位置312，从而使手持装置的后侧离开显示器18。这使得查看模式被激活，在查看模式中，手持装置用作产生场景310的虚拟环境的查看器。如视图316所示，通过旋转手持装置28使其离开显示器18，手持装置28现在显示描绘虚拟环境的视图的场景，该虚拟环境是当由用户30控制的武器以与手持设备28的旋转相同的方式被旋转时会看到的虚拟环境。在本发明的其它实施例中，手持装置28查看模式的激活可以由用户来选择，或者配置为基于手持设备28的位置和方向自动激活。
参考图16，其示出了根据本发明实施例的交互式环境。如图所示，计算机70将交互式应用的主视频流呈现在显示器18上。在显示器18上所呈现的主视频流描绘了场景320。用户24查看场景320并通过操作运动控制器322提供交互式输入。在一个实施例中，基于捕获到的运动控制器322的图像（其由相机324捕获）确定运动控制器的位置。在一个实施例中，相机324包括能够捕获深度信息的深度相机。如图所示，第二用户30持有朝向第一用户24的手持装置28。在一个实施例中，手持装置28包括后视相机，用户30将该后视相机的方向定位为使得能够通过手持装置28的相机捕获第一用户24的图像。在一个实施例中，手持装置28的相机能够捕获深度信息。通过从基于相机324的位置和手持装置28的位置这两个不同的查看点捕获用户24以及运动控制器322的图像，能够更准确地确定第一用户24的三维表示以及运动控制器322的位置和方向。
在另一个实施例中，用户24不需要运动控制器，而是能够通过相机324检测到的运动向交互式应用提供交互式输入。例如，相机324可以捕获用户的图像和深度信息，对该图像和深度信息进行处理以确定用户24的位置、方向和移动。这些将在随后被用作交互式应用的输入。此外，手持装置28可以如上所述由第二用户30操作以提高对第一用户24的检测。
参见图17，其示出了根据本发明实施例的虚拟空间的坐标系。如图所示，虚拟空间包括对象330和332。如前面所述，用户能够使用手持装置在虚拟空间中设定虚拟标签。在示例性实施例中，虚拟标签334被设置在坐标（4，2，0）处。而虚拟标签336被设置在坐标（6，6，3）处的目标330上。此外，虚拟标签338被设置在坐标(10,7,1)处的目标332上。另一个用户在导航到接近虚拟标签的位置处时可以查看到这些虚拟标签。如前面所述，虚拟标签可以向其它用户突出位置或目标，或者可以包括由用户确定的与虚拟空间相关的信息（例如提示或消息），或者可以定义所呈现的修改或当其它用户遇到它们时所执行的动作。
参见图18，其示出了根据本发明实施例的一连串动作，这一连串动作例示了设置虚拟标签的用户界面。如图所示，手持装置28的用户可以（例如通过点击目标）选择目标340，以弹出包含各种选项的菜单。可以从菜单342中选择用于设置标签的选项，将弹出键盘界面344以便能够输入文本信息。输入的文本信息被示出在虚拟标签346中。当其它用户导航到靠近虚拟标签346位置的地点时，将虚拟标签346呈现给该用户。
参见图19，其示出了根据本发明实施例的交互式环境。如图所示，计算机70将交互式应用的主视频流呈现在显示器18上。在显示器18上所呈现的主视频流描绘了场景350。用户24查看场景350并操作控制器20，以向交互式应用提供输入。在示例性实施例中，用户24控制第一人称型射击游戏中的人物。同时，第二用户操作手持装置28，该手持装置28显示第一用户的人物所在的虚拟环境的地图352。第一用户的人物位置通过标记354示出。在一个实施例中，第二用户在对场景350中的人物进行控制时能够导航地图354从而查看用户24不能查看到的区域。这样，在一个实施例中，第二用户能够通过查看地图352并向第一用户24提供信息来协作辅助用户24，该信息例如是感兴趣的位置、目标、敌人或地图352上显示的其它任意信息。
参见图20，其示出了根据本发明实施例的交互式环境。在示例性实施例中，操作控制器20的用户24和操作手持装置28的第二用户（仅示出了第二用户的手）正在玩橄榄球视频游戏。第二用户查看场景360，在场景360中第二用户能够通过例如在手持装置28的触摸屏上画出比赛，以图示比赛。如图所示，第二用户已经为标记362所指示的球员画出特定路线。用户24控制与标记362相对应的球员366，其示出在显示器18上所显示的场景364中。用户24能够查看第二用户已经图示出的路线并操作控制器20来控制球员366的移动，从而沿路线行走。
在相关实施例，如图21所示，第二用户操作手持装置28以图示比赛，例如通过在手持装置28的触摸屏上画出击球。同时，在显示器18上，团队被示出为在击球之间挤在一起。图示的击球将被用于确定游戏中一个团队的球员的移动。以此方式，第二用户能够以直觉方式直接控制球员的移动。
前述利用手持装置图示人物移动的概念可以延伸到其它场景。例如在战场场景中，能够利用手持装置图示某些人物将移动到何处以及他们将做出什么动作，例如朝敌人移动并且攻击敌人。在其他实施例中，手持装置被用于图示虚拟环境中任务或目标的移动或者动作。
在本发明的另一些实施例中，利用与显示在主显示器上的应用交互的便携式手持装置可以延伸到各种其它界面概念以及其它类型的程序和应用。例如，在一些实施例中，手持装置的触摸屏可以用作控制或输入表面，以向应用提供输入。在一个实施例中，用户通过在手持装置的触摸屏上绘制来提供输入。在一个实施例中，触摸屏表面可以用作光标控制表面，其中根据用户手指在手持装置的触摸屏上的移动来控制光标在主显示器上的移动。光标在主显示器上的移动可以跟踪检测到的用户手指在触摸屏上的移动。在另一个实施例中，在手持装置的触摸屏上显示虚拟键盘，并且用户可以通过触摸显示在手持装置触摸屏上的虚拟键盘的键，进入文本输入。通过充分利用手持装置的功能实现的这种输入机构可以用于各种应用，例如网络浏览器、文字处理器、表单应用程序、演示软件、视频游戏等。
在其他实施例中，手持装置可以用于为可视化编辑应用提供输入，例如图片或视频编辑应用。例如，用户可以通过在手持装置的触摸屏上绘制来编辑图片。以此方式，可以用直觉方式提供用于编辑图片或视频的输入。在一个实施例中，在手持装置的触摸屏上示出待编辑的图片或图片的一部分，从而通过在触摸屏上绘制实现编辑图片的准确输入。
在本发明的一个实施例中，手持装置的各种资源可以用于支持程序和应用的功能。例如，在一个实施例中，其中应用为视频游戏，手持装置可以用于保存与视频游戏相关的游戏数据，例如特定用户的图像或进度数据。游戏数据通常存储在控制台游戏系统上，从而与该特定的控制台系统联系。但是，通过将游戏数据存储在手持装置上，用户可以容易地传输他们的游戏数据，从而利用不同的控制台系统进行同一个游戏而不放弃他们所保存的任何游戏数据。
为了便于描述，上述本发明实施例中的一些实施例已经结合一个球员操作控制器（或通过运动检测系统提供输入）和/或一个用户操作手持装置的情况进行了一般性描述。本领域技术人员可以理解，在其它实施例中，可以有多个用户操作控制器（或通过运动检测系统提供输入）和/或多个用户操作手持装置。
参见图22，其示出根据本发明实施例的利用便携式装置提供与交互式应用的交互的方法。在方法操作380，在控制台装置或计算机上启动交互式应用。在方法操作390，在便携式装置上启动附属应用。在方法操作382，交互式应用生成请求，并且将请求数据388从交互式应用发送到便携式装置上运行的附属应用。在方法操作392，接收请求数据388并由便携式装置上的附属应用处理该请求数据388。在方法操作384，计算机在发送请求之后等待处理数据。在方法操作394，便携式装置的硬件组件或传感器被激活。在方法操作396，捕获来自被激活硬件的原始数据。在方法操作398，对捕获的原始数据进行处理。以及在方法操作400，将处理过的原始数据作为处理过的数据402发送到交互式应用。在方法操作386，处理过的数据402被交互式应用接收。
图23例示了根据本发明一个实施例的可以用于执行并呈现交互式应用的硬件和用户接口。图23示意性地例示了 娱乐装置的整个系统结构，其为根据本发明实施例的可兼容以使控制装置和手持装置与在基本计算装置执行的计算机程序相接口的控制台。提供系统单元700，该系统单元700具有可与其连接的各种外围装置。系统单元700包括：Cell处理器728、动态随机存储存储器(XDRAM)单元726、具有专用视频随机存取存储器（VRAM）单元732的现实合成器图形单元（RealitySynthesizergraphicsunit）730、以及I/O桥734。系统单元700还包括用于读取光盘740a的Disk光盘阅读器，和可以通过I/O桥访问的可移动吸入式硬盘驱动器（HDD）736。可选地，系统单元700还包括读卡器738，用于读取紧凑闪存卡、Memory存储卡等等,类似地，其也可通过I/O桥734存取。.
I/O桥734还连接至六个通用串行总线（USB）2.0接口724、千兆以太网接口722、IEEE802.11b/g无线网络(Wi-Fi)接口720以及能够支持多达七个蓝牙连接的无线链路接口。
在操作中，I/O桥734处理所有无线、USB以及以太网数据，包括来自一个或多个游戏控制器702-703的数据。例如，当用户进行游戏时，I/O桥734通过蓝牙链路从游戏控制器702-703接收数据并将数据导向Cell处理器728，从而更新当前的游戏状态。
无线、USB和以太网接口还为游戏控制器702-703以外的其它外围装置提供连接，例如远程控制704、键盘706、鼠标708、便携式娱乐装置710（例如SonyPlaystation娱乐装置）、摄像机（例如摄像机）712、麦克风听筒714以及麦克风715。因此这种装置大体上与系统单元710无线连接，例如便携娱乐装置710可以通过Wi-Fiad-hoc连接来通信，而麦克风听筒74可以通过蓝牙链路通信。
这些接口装置的设置意味着Playstation3装置还可以与其它外围装置兼容，例如数字录像机（DVR）、机顶盒、数码相机、便携式媒体播放器、网络电话、移动电话、打印机和扫描仪。
此外，传统读卡器716可以通过USB接口724连接至系统单元，使得能够读取或者装置所使用类型的存储卡748。
游戏控制器702-703通过蓝牙链路可操作地与系统单元700无线通信或者连接至USB接口，从而提供电力，通过该电力为游戏控制器702-703充电。游戏控制器702-703还可以包括存储器、处理器、读卡器、永久性存储器例如闪存、光发射器例如照明球部分、LED或红外灯、用于超声波通信的麦克风和扬声器、声腔、数码相机、内部时钟、可识别形状例如朝向游戏控制台的球部分、以及使用协议例如WiFiTM等的无线通信。
游戏控制器702是设计为双手使用的控制器，游戏控制器703是具有附件的单手控制器。除了一个或多个模拟操纵杆以及传统的控制按钮之外，游戏控制器容易被三维定位的。因此，除传统的按钮或操纵杆命令之外或取代传统的按钮和操纵杆命令，使用游戏控制器的用户的姿势和移动可以被转化为输入。可选地，其它的无线使能外围装置、例如PlaystationTM便携式装置可以被用作控制器。在PlaystationTM便携式装置的情况下，可以在装置的屏幕上提供附加的游戏或控制信息（例如控制指令或生命数）。还可以使用其它的替代或补充的控制装置，例如跳舞毯（未示出）、轻型枪（未示出）、方向盘和脚踏板（未示出）、或定制的控制器例如用于快速反应智力游戏的单个或几个大按钮（也未示出）。
遥控704也通过蓝牙链路可操作地与系统单元700通信。遥控704包括适于操作BluRayTMDiskBD-ROM阅读器540以及适于对光盘内容导航的控制器。
除了传统的预刻录和可刻录CD以及所谓的超级音频光盘之外，BluRayTMDiskBD-ROM阅读器740可操作地读取与Playstation和PlayStation2装置兼容的CD-ROM。除了传统的预刻录和可刻录DVD之外，阅读器740还可操作地读取与Playstation2和PlayStation3装置兼容的DVD-ROM。阅读器740还可操作地读取与PlayStation3装置兼容的BD-ROM以及传统的预刻录和可刻录Blu-Ray光盘。
系统单元700可操作地经由音频和视频连接器向显示和声音输出装置742提供由Playstation3装置通过现实合成器图形单元730产生或译码的音频和视频，显示和声音输出装置742例如是具有显示器744以及一个或多个扬声器746的监控器或电视机。音频连接器750可以包括传统的模拟和数字输出，而视频连接器750可以不同地包括组件视频、S-视频、合成视频以及一个或多个高清晰度多媒体接口（HDMI）输出。因此，视频输出可以是例如PAL或者NTSC的格式或者是720p、1080i或1080p的高清晰度。
由Cell处理器728执行音频处理（产生、译码等等）。Playstation3装置的操作系统支持5.1环绕声、影院环绕(DTS)以及对来自光盘的7.1环绕声的译码。
在本实施例中，摄像机712包括单电荷耦合器件（CCD）、LED指示器以及基于硬件的实时数据压缩和编码设备，从而压缩的视频数据可以以适当的格式、例如基于内部图像的MPEG（动态图像专家组）标准传输，用于系统单元700的译码。相机LED指示器设置为响应于来自系统单元700的适当的控制数据点亮以例如表示逆光条件。摄像机712的实施例可以不同地经由USB、蓝牙或Wi-Fi通信端口不同地连接至系统单元700。摄像机的实施例可以包括一个或多个相关的麦克风并且还能够传输音频数据。在摄像机的实施例中，CCD可以具有适于高清晰度视频捕获的分辨率。在使用中，由摄像机捕获的图像可以例如并入游戏内或者解释为游戏控制输入。在另一个实施例中，相机是适于检测红外光的红外相机。
通常，为了经由系统单元700的一个通信接口与例如摄像机或遥控的外围装置成功地进行数据通信，应该提供适当的软件例如装置驱动器。装置驱动器技术是公知的，在此不对其进行详细描述，除了说明本领域技术人员应注意在所述本发明实施例中可能需要装置驱动器或类似软件。
本发明实施例可以以各种计算机系统配置实现，包括手持装置、微处理器系统、基于微处理器或可编程消费电子装置、小型计算机、大型计算机等等。本发明还可以在分布式计算环境下实现，在该分布式计算环境下，由通过网络链路的远程处理装置执行任务。
考虑到以上实施例，应该理解本发明可以采用包括存储在计算机系统中的数据的各种计算机实现操作。这些操作需要对物理量进行物理操作。在此描述的构成一部分发明的任一操作都是有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。该设备尤其可以构建为用于所需目的，例如专用计算机。当定义为专用计算机时，计算机还可以执行其他非专用的处理、程序执行或例行程序，同时还能进行专用操作。可替换地，可以通过选择性激活或由一个或多个存储在计算机存储器、缓存中或者通过网络获得的计算机程序来配置通用计算机来处理该操作。当通过网络获得数据时，数据可以被网络上的其它计算机处理，例如云计算资源。
本发明实施例还可以定义为将数据从一种状态转换为另一种状态的机器。可以保存转换的数据以存储然后由处理器处理该数据。因此处理器将数据从一种形式转换为另一种形式。此外，该方法可以由一台或多台能够通过网络连接的机器或处理器处理。每个机器将数据从一种状态或形式转换为另一种，并且还可以处理数据，保存数据以进行存储、经由网络传输数据、显示结果或将结果传送给另一台机器。
还可以将本发明的一个或多个实施例制成在计算机可读介质上执行的计算机可读代码。计算机可读介质是能够存储数据的任一数据存储装置，随后其可以被计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器（NAS）、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质，从而分布式地存储和执行计算机可读代码。
虽然以特定顺序对方法操作进行了描述，但是应该理解，可以在操作之间执行整理操作或者调整操作，以使这些操作的执行时间稍有不同，或者可以分布在系统中，使得以与该处理相关的各时间间隔进行处理操作，只要是重叠操作的处理是以期望的方式执行的。
虽然为了便于理解已经详细地描述了上述发明，但是显然可以在所附权利要求的范围内做出一定的变化和修改。因此，本发明实施例应理解为示例性而非限制性的，并且本发明不限于这里给出的细节，而是可以在所附权利要求的范围或等价物之内对其进行修改。

Claims (16)

1.一种用于提供视频游戏的交互式游戏玩法的方法，包括：
执行视频游戏，该视频游戏提供虚拟环境，该虚拟环境基于在视频游戏的游戏进行会话期间接收到的交互而被更新；
在主显示器上呈现所述虚拟环境的主视图；
确定所述主显示器附近的手持装置的位置和方向；
基于所述手持装置的位置和方向在所述手持装置上呈现所述虚拟环境的第二视图，该第二视图基于所述交互而被更新；
基于所跟踪的所述手持装置的位置和方向，更新所述虚拟环境的第二视图，所述第二视图包括：
当所述手持装置朝向所述主显示器时，与所述主视图类似的所述虚拟环境的视图，以及
当所述手持装置未朝向所述主显示器时，超出所述主显示器上的可见内容的所述虚拟环境的视图，使得能够从所述手持装置查看超出所述主显示器的边界的虚拟环境；
其中，当所述手持装置朝向所述主显示器时，处理在所述手持装置处接收到的输入以控制为所述主视图和所述第二视图上的显示定义的动作；以及
其中，当所述手持装置未朝向所述主显示器时，处理在所述手持装置处接收到的输入以控制为从所述主视图不可见的第二视图上的显示定义的动作。
2.根据权利要求1所述的方法，其中所述手持装置的位置和方向定义所述虚拟环境中的位置，所述虚拟环境的第二视图从所述位置的角度来定义。
3.根据权利要求1所述的方法，还包括：
接收来自所述手持装置的对所述视频游戏的输入；
处理来自所述手持装置的输入以更新所述虚拟环境的第二视图。
4.根据权利要求1所述的方法，还包括：
接收来自控制器装置的对所述视频游戏的输入；
处理来自所述控制器装置的输入以更新所述虚拟环境的主视图。
5.根据权利要求1所述的方法，其中所述第二视图的呈现使得在所述手持装置的背面面向呈现在所述主显示器上的主视图中的虚拟环境的一部分时，能提供所述主视图所示的虚拟环境的该部分的放大视图。
6.根据权利要求5所述的方法，其中所述放大视图便于所述视频游戏中武器的瞄准。
7.根据权利要求1所述的方法，其中所述虚拟环境的第二视图提供用于查看所述虚拟环境的改变的视觉模式，所述改变的视觉模式是从由夜视、红外视觉或紫外视觉组成的组中选择的。
8.根据权利要求1所述的方法，其中所述第二视图定义所述虚拟环境的地图。
9.一种用于提供视频游戏的交互式游戏玩法的系统，包括：
控制台装置，所述控制台装置包括用于执行视频游戏的处理器，该视频游戏提供虚拟环境，该虚拟环境基于在视频游戏的游戏进行会话期间接收到的交互而被更新，所述控制台装置还包括用于在主显示器上呈现所述视频游戏的虚拟环境的主视图的视频呈现器；
手持装置，所述手持装置包括用于呈现所述虚拟环境的第二视图的触摸屏，该第二视图基于所述交互而被更新；
其中，所述手持装置包括用于确定所述主显示器附近的手持装置的位置和方向的传感器；
其中，所述手持装置包括手持装置输入机构，该手持装置输入机构用于接收所述交互并且生成对所述视频游戏的输入；
其中，所述视频游戏处理来自所述手持装置输入机构的输入以定义对所述虚拟环境的更新并且更新所述虚拟环境的主视图和第二视图；
其中，所述第二视图的呈现基于所述手持装置的位置和方向；
其中，基于所跟踪的所述手持装置的位置和方向更新所述虚拟环境的第二视图，所述第二视图包括：
当所述手持装置朝向所述主显示器时，与所述主视图类似的所述虚拟环境的视图，以及
当所述手持装置未朝向所述主显示器时，超出所述主显示器上的可见内容的所述虚拟环境的视图，使得能够从所述手持装置查看超出所述主显示器的边界的虚拟环境；
其中，当所述手持装置朝向所述主显示器时，处理在所述手持装置处接收到的输入以控制为所述主视图和所述第二视图上的显示定义的动作；以及
其中，当所述手持装置未朝向所述主显示器时，处理在所述手持装置处接收到的输入以控制为从所述主视图不可见的第二视图上的显示定义的动作。
10.根据权利要求9所述的系统，其中所述手持装置的位置和方向定义所述虚拟环境中的位置，所述虚拟环境的第二视图从所述位置的角度来定义。
11.根据权利要求9所述的系统，其中，
所述手持装置包括用于生成对所述视频游戏的输入的手持装置输入机构；以及
所述视频游戏处理来自所述手持装置输入机构的输入以更新所述虚拟环境的第二视图。
12.根据权利要求9所述的系统，还包括：
控制器装置，所述控制器装置包括用于生成对所述视频游戏的输入的控制器输入机构；
其中，所述视频游戏处理来自所述控制器输入机构的输入以更新所述虚拟环境的主视图。
13.根据权利要求9所述的系统，其中，所述第二视图的呈现使得在所述手持装置的背面面向呈现在所述主显示器上的主视图中的虚拟环境的一部分时，能提供所述主视图所示的虚拟环境的该部分的放大视图。
14.根据权利要求13所述的系统，其中所述放大视图便于所述视频游戏中武器的瞄准。
15.根据权利要求9所述的系统，其中所述虚拟环境的第二视图提供用于查看所述虚拟环境的改变的视觉模式，所述改变的视觉模式是从由夜视、红外视觉或紫外视觉组成的组中选择的。
16.根据权利要求9所述的系统，其中所述第二视图定义所述虚拟环境的地图。
CN201310103965.9A 2010-10-12 2011-10-12 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用 Active CN103357177B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/903123 2010-10-12
US12/903,123 US20120086630A1 (en) 2010-10-12 2010-10-12 Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201110308589.8A Division CN102441276B (zh) 2010-10-12 2011-10-12 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用

Publications (2)

Publication Number Publication Date
CN103357177A CN103357177A (zh) 2013-10-23
CN103357177B true CN103357177B (zh) 2016-08-03

Family

ID=44799764

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310103965.9A Active CN103357177B (zh) 2010-10-12 2011-10-12 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
CN201110308589.8A Active CN102441276B (zh) 2010-10-12 2011-10-12 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201110308589.8A Active CN102441276B (zh) 2010-10-12 2011-10-12 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用

Country Status (4)

Country Link
US (3) US20120086630A1 (zh)
EP (1) EP2441505A3 (zh)
JP (1) JP5654430B2 (zh)
CN (2) CN103357177B (zh)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US20120127203A1 (en) * 2010-11-18 2012-05-24 Canon Kabushiki Kaisha Mixed reality display
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
US10244988B2 (en) * 2010-12-16 2019-04-02 Nokia Technologies Oy Method, apparatus and computer program of using a bio-signal profile
US9539511B2 (en) 2011-03-08 2017-01-10 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method for operating objects in a virtual world based on orientation data related to an orientation of a device
US9561443B2 (en) 2011-03-08 2017-02-07 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method
EP2497543A3 (en) 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US9925464B2 (en) 2011-03-08 2018-03-27 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method for displaying an image on a display device using attitude data of a display device
JP5792971B2 (ja) 2011-03-08 2015-10-14 任天堂株式会社 情報処理システム、情報処理プログラム、および情報処理方法
EP2497547B1 (en) 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
JP5937792B2 (ja) * 2011-06-03 2016-06-22 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5869236B2 (ja) 2011-06-03 2016-02-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8872799B2 (en) * 2011-06-20 2014-10-28 The Regents Of The University Of California Scalable distributed/cooperative/collaborative paradigm for multi-user interaction with projection-based display walls
JP5841409B2 (ja) 2011-11-09 2016-01-13 任天堂株式会社 制御プログラム、入力端末装置、制御システムおよび制御方法
US9132354B2 (en) * 2011-12-22 2015-09-15 Microsoft Technology Licensing, Llc Game having a plurality of engines
JP5898999B2 (ja) * 2012-02-21 2016-04-06 任天堂株式会社 情報処理システム、制御装置、情報処理プログラム及び画像表示方法
TWI450159B (zh) * 2012-03-02 2014-08-21 Pixart Imaging Inc Optical touch device, passive touch system and its input detection method
SE1250227A1 (sv) * 2012-03-12 2013-09-13 Elos Fixturlaser Ab Mobil displayenhet för visning av grafisk information som återger en uppställning av fysiska komponenter.
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US20130307796A1 (en) * 2012-05-16 2013-11-21 Chi-Chang Liu Touchscreen Device Integrated Computing System And Method
US9751011B2 (en) * 2012-05-25 2017-09-05 Electronics Arts, Inc. Systems and methods for a unified game experience in a multiplayer game
EP2706432B1 (en) * 2012-05-25 2017-12-06 Nintendo Co., Ltd. Operation device, information processing system, and information processing method
US8599135B1 (en) 2012-05-25 2013-12-03 Nintendo Co., Ltd. Controller device, information processing system, and communication method
EP2730995B1 (en) 2012-05-25 2016-11-30 Nintendo Co., Ltd. Controller device, information processing system, and communication method
JP6534198B2 (ja) * 2012-05-31 2019-06-26 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置およびゲームプログラム
US8913008B2 (en) * 2012-06-22 2014-12-16 Blackberry Limited Image data generation using a handheld electronic device
KR101581656B1 (ko) * 2012-07-16 2016-01-04 삼성전자 주식회사 스마트장치, 이를 이용한 동기화 시스템 및 방법
JP2015039095A (ja) * 2012-07-31 2015-02-26 株式会社東芝 電子機器、方法およびプログラム
US20140051517A1 (en) * 2012-08-17 2014-02-20 Microsoft Corporation Dynamic magnetometer calibration
US8851996B2 (en) 2012-08-17 2014-10-07 Microsoft Corporation Dynamic magnetometer calibration
US9137509B2 (en) * 2012-10-08 2015-09-15 Fuji Xerox Co., Ltd. Systems and methods for instructional video navigation and note taking
FI20126070L (fi) * 2012-10-15 2014-04-16 Trick Technologies Oy Mikrofonilaite, menetelmä sen käyttämiseksi ja mikrofonijärjestely
JP5977147B2 (ja) * 2012-11-05 2016-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および入力装置
JP6018480B2 (ja) * 2012-11-05 2016-11-02 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US8944914B2 (en) 2012-12-11 2015-02-03 PNI Sensor Corporation Control of translational movement and field of view of a character within a virtual world as rendered on a display
JP6057738B2 (ja) * 2013-01-22 2017-01-11 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US9372531B2 (en) 2013-03-12 2016-06-21 Gracenote, Inc. Detecting an event within interactive media including spatialized multi-channel audio content
TWI594791B (zh) * 2013-03-15 2017-08-11 新力電腦娛樂（美國）責任有限公司 遊戲控制器
EP3014458A4 (en) * 2013-06-28 2017-02-22 Hewlett-Packard Development Company, L.P. Attached computing device
US9669297B1 (en) 2013-09-18 2017-06-06 Aftershock Services, Inc. Using biometrics to alter game content
JP6599080B2 (ja) * 2013-10-17 2019-10-30 株式会社ソニー・インタラクティブエンタテインメント ゲームシステム、ゲーム制御方法、及びゲーム制御プログラム
CN103971494A (zh) * 2013-12-10 2014-08-06 重庆环漫科技有限公司 游戏互动枪电路
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US20150202533A1 (en) * 2014-01-21 2015-07-23 Nvidia Corporation Mapping touchscreen gestures to ergonomic controls across application scenes
US20150293684A1 (en) * 2014-04-10 2015-10-15 Screenovate Technologies Ltd. Method for controlling apps activation within local network
US20150295783A1 (en) * 2014-04-10 2015-10-15 Screenovate Technologies Ltd. Method for real-time multimedia interface management sensor data
CN104049750B (zh) * 2014-05-08 2017-11-07 苏州佳世达光电有限公司 显示方法及使用其的显示系统
JP6633825B2 (ja) * 2014-06-05 2020-01-22 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP2016022366A (ja) * 2014-07-24 2016-02-08 周平 ▲高▼田 ２次創作を目的としたゲームの製作方法
US9950263B2 (en) * 2014-09-15 2018-04-24 Jonathan Moxon Method for mobile gaming systems
KR20160061133A (ko) 2014-11-21 2016-05-31 삼성전자주식회사 이미지 표시 방법 및 그 전자 장치
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
TWI557657B (zh) * 2015-07-08 2016-11-11 樂陞科技股份有限公司 可即時預覽的遊戲開發系統及其實施方法
US10213688B2 (en) 2015-08-26 2019-02-26 Warner Bros. Entertainment, Inc. Social and procedural effects for computer-generated environments
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
WO2017062289A1 (en) 2015-10-08 2017-04-13 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
US10617945B1 (en) * 2015-12-14 2020-04-14 Amazon Technologies, Inc. Game video analysis and information system
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
JP6215995B2 (ja) * 2016-04-13 2017-10-18 株式会社ソニー・インタラクティブエンタテインメント 入力装置
US10649211B2 (en) * 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11195335B2 (en) * 2016-11-30 2021-12-07 Gree, Inc. Application control program, application control method, and application control system
USD849145S1 (en) * 2016-12-12 2019-05-21 Hyperkin, Inc. Video game controller
US10166465B2 (en) * 2017-01-20 2019-01-01 Essential Products, Inc. Contextual user interface based on video game playback
US10359993B2 (en) 2017-01-20 2019-07-23 Essential Products, Inc. Contextual user interface based on environment
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
USD849146S1 (en) 2017-01-26 2019-05-21 Hyperkin, Inc. Video game controller
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
EP3596705A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. COLOR VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
CN108874267B (zh) * 2017-05-09 2022-12-09 腾讯科技（深圳）有限公司 虚拟现实应用数据处理方法、计算机设备和存储介质
CA3065383A1 (en) * 2017-05-30 2018-12-06 Interaxon Inc. Wearable computing device with electrophysiological sensors
US10475149B2 (en) * 2017-09-25 2019-11-12 Intel Corporation Policies and architecture to dynamically offload VR processing to HMD based on external cues
CN107657589B (zh) * 2017-11-16 2021-05-14 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN108043029B (zh) * 2017-12-22 2021-04-27 网易（杭州）网络有限公司 逻辑控制方法及装置
US11132842B2 (en) * 2017-12-22 2021-09-28 Unity IPR ApS Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
CN112055955A (zh) * 2017-12-29 2020-12-08 得麦股份有限公司 用于个性化和自适应应用管理的系统和方法
WO2019133710A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
WO2019133689A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
WO2019133694A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
CN108509035B (zh) * 2018-03-20 2021-06-18 瑞芯微电子股份有限公司 一种vr人机交互方法和设备
KR102557808B1 (ko) * 2018-05-16 2023-07-20 주식회사 엔씨소프트 게임 서비스 시스템 및 상기 시스템에서의 메모 공유 방법
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US11036984B1 (en) * 2018-06-08 2021-06-15 Facebook, Inc. Interactive instructions
JP7017474B2 (ja) * 2018-06-13 2022-02-08 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP6905022B2 (ja) * 2018-06-13 2021-07-21 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
CN109432771A (zh) * 2018-09-30 2019-03-08 网易（杭州）网络有限公司 游戏道具的传送方法及装置
US10860104B2 (en) 2018-11-09 2020-12-08 Intel Corporation Augmented reality controllers and related methods
CN109544663B (zh) * 2018-11-09 2023-01-06 腾讯科技（深圳）有限公司 应用程序的虚拟场景识别与交互键位匹配方法及装置
US11662051B2 (en) * 2018-11-16 2023-05-30 Google Llc Shadow tracking of real-time interactive simulations for complex system analysis
US11741673B2 (en) 2018-11-30 2023-08-29 Interdigital Madison Patent Holdings, Sas Method for mirroring 3D objects to light field displays
US11406892B2 (en) * 2018-12-04 2022-08-09 Sony Interactive Entertainment Inc. Information processing apparatus
KR102319157B1 (ko) * 2019-01-21 2021-10-29 라인플러스 주식회사 메신저 내 플랫폼에 추가된 애플리케이션을 이용하여 대화방에서 정보를 공유하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
US11179630B2 (en) * 2019-09-27 2021-11-23 Nintendo Co., Ltd. Systems and methods of transferring state data for applications
JP7116220B2 (ja) * 2019-10-02 2022-08-09 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US10705597B1 (en) 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11135509B2 (en) * 2020-02-07 2021-10-05 Microsoft Technology Licensing, Llc Systems and methods of directing remote player interactions
JP7569603B2 (ja) * 2020-07-29 2024-10-18 エイベックス・エンタテインメント株式会社 アニメーション制作システム
CN111870963B (zh) * 2020-08-05 2023-10-27 网易（杭州）网络有限公司 游戏观战方法、装置和电子设备
JP7101735B2 (ja) * 2020-10-20 2022-07-15 株式会社スクウェア・エニックス 画像生成プログラム及び画像生成システム
JP7011209B1 (ja) 2021-03-19 2022-01-26 株式会社ミクシィ 情報処理装置、情報処理方法、及びプログラム
KR102625171B1 (ko) * 2021-11-17 2024-01-23 주식회사 제네시스랩 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114130028A (zh) * 2021-12-01 2022-03-04 网易（杭州）网络有限公司 一种虚拟物品分享方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1233807A (zh) * 1998-03-19 1999-11-03 科乐美股份有限公司 图象处理方法,电子游戏设备以及存储媒体
CN1436090A (zh) * 2000-06-15 2003-08-13 英特尔公司 移动式遥控视频游戏系统
CN1678970A (zh) * 1999-12-08 2005-10-05 诺基亚有限公司 用户接口
US7803048B2 (en) * 2006-03-15 2010-09-28 Microsoft Corporation Radar manipulation in a video game

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4691268B2 (ja) * 2001-05-02 2011-06-01 任天堂株式会社 ゲームシステムおよびゲームプログラム
JP3690672B2 (ja) * 2002-05-17 2005-08-31 任天堂株式会社 ゲームシステムおよびゲームプログラム
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US11033821B2 (en) * 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US7309287B2 (en) * 2003-12-10 2007-12-18 Nintendo Co., Ltd. Game machine having display screen with touch panel
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
CN101119782B (zh) * 2004-09-21 2010-11-17 时间游戏Ip公司 多玩家游戏的系统
JP4929454B2 (ja) * 2006-02-15 2012-05-09 国立大学法人電気通信大学 仮想環境表示システム、仮想環境表示処理方法、仮想環境表示端末装置、管理処理装置、管理処理方法及びプログラム
CN101479782B (zh) * 2006-05-04 2011-08-03 美国索尼电脑娱乐公司 多输入游戏控制混合器
GB0608939D0 (en) * 2006-05-05 2006-06-14 Sony Comp Entertainment Europe Display apparatus and method
JP5022671B2 (ja) * 2006-10-30 2012-09-12 任天堂株式会社 情報処理プログラムおよび情報処理装置
WO2008106196A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Virtual world avatar control, interactivity and communication interactive messaging
US8231465B2 (en) * 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US8308569B2 (en) * 2008-05-12 2012-11-13 Microsoft Corporation Reward for resurrecting teammate in a multiplayer game
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8734256B2 (en) * 2008-09-15 2014-05-27 Panasonic Avionics Corporation System and method for hosting multiplayer games
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1233807A (zh) * 1998-03-19 1999-11-03 科乐美股份有限公司 图象处理方法,电子游戏设备以及存储媒体
CN1678970A (zh) * 1999-12-08 2005-10-05 诺基亚有限公司 用户接口
CN1436090A (zh) * 2000-06-15 2003-08-13 英特尔公司 移动式遥控视频游戏系统
US7803048B2 (en) * 2006-03-15 2010-09-28 Microsoft Corporation Radar manipulation in a video game

Also Published As

Publication number Publication date
US20120276998A1 (en) 2012-11-01
US20170209786A1 (en) 2017-07-27
US8907891B2 (en) 2014-12-09
EP2441505A3 (en) 2014-01-01
JP5654430B2 (ja) 2015-01-14
CN103357177A (zh) 2013-10-23
CN102441276B (zh) 2015-02-18
US10864433B2 (en) 2020-12-15
US20120086630A1 (en) 2012-04-12
JP2012096027A (ja) 2012-05-24
EP2441505A2 (en) 2012-04-18
CN102441276A (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
CN103357177B (zh) 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
JP7554675B2 (ja) ゲームクラウドシステム上で実行される、任意のユーザによるゲームプレイ実行を後で開始するために使用される、ゲームプレイのスナップショットを保存するための方法及びシステム
CN109792564B (zh) 用于通过在游戏云系统上执行的视频记录访问先前所存储游戏情节的方法和系统
CN103249461B (zh) 用于使得手持设备能够捕获交互应用的视频的系统
JP7503122B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US20170113142A1 (en) Image processing device, image processing method, and image processing program
US20230051703A1 (en) Gesture-Based Skill Search
JP2019524181A (ja) ゲーム内位置ベースのゲームプレイコンパニオンアプリケーション
EP4124365A1 (en) Sharing movement data
EP4122566A1 (en) Movement-based navigation
KR101479410B1 (ko) 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
CN115686523A (zh) 用于传统游戏的aot编译器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant