CN104363970B - 多图像交互式游戏装置 - Google Patents

多图像交互式游戏装置 Download PDF

Info

Publication number
CN104363970B
CN104363970B CN201380029636.2A CN201380029636A CN104363970B CN 104363970 B CN104363970 B CN 104363970B CN 201380029636 A CN201380029636 A CN 201380029636A CN 104363970 B CN104363970 B CN 104363970B
Authority
CN
China
Prior art keywords
camera
user
controller
interactive environment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380029636.2A
Other languages
English (en)
Other versions
CN104363970A (zh
Inventor
A.米凯洛夫
R.马克斯
E.拉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN104363970A publication Critical patent/CN104363970A/zh
Application granted granted Critical
Publication of CN104363970B publication Critical patent/CN104363970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

一种图像俘获装置包含：外壳；第一相机，其沿着所述外壳的前表面界定；第一相机控制器，其经配置以控制所述第一相机在第一曝光设定下在用户交互期间俘获交互式环境的图像；第二相机，其沿着所述外壳的所述前表面界定；第二相机控制器，其经配置以控制所述第二相机在低于所述第一曝光设定的第二曝光设定下在所述用户交互期间俘获所述交互式环境的图像，来自所述第二相机的所述所俘获图像经分析以识别并跟踪所述交互式环境中的被照明对象。

Description

多图像交互式游戏装置
优先权要求
本申请要求2012年6月4日提交的标题为“Multi-Image Interactive GamingDevice”的美国临时申请No.61/655,459、2013年3月15日提交的标题为“Multi-ImageInteractive Gaming Device”的美国专利申请No.13/842,573，以及2013年3月15日提交的标题为“MANAGING CONTROLLER PAIRING IN A MULTIPLAYER GAME”的美国专利申请No.13,842,872的优先权，所述申请的每一者的公开内容以引用的方式并入本文中。
相关申请
本申请与2012年6月30日提交的标题为“Gaming Controller”的美国申请No.13/539,311相关。
本申请与2010年7月20日颁布的标题为“Selective Sound Source Listening inConjunction with Computer Interactive Processing”的美国专利No.7,760,248相关。
本申请与2012年12月21日提交的标题为“Automatic Generation of SuggestedMini-Games for Cloud-Gaming Based on Recorded Gameplay”的美国临时申请No.61/745,281相关。
这些申请的公开内容全文出于所有目的以引用的方式并入本文中。
技术领域
本发明涉及用于与交互式程序介接的控制器。
背景技术
视频游戏行业这些年已发生许多改变。随着计算能力扩展，视频游戏的开发者已同样开发出利用计算能力的这些增加的游戏软件。为此，视频游戏开发者一直在译码并入有精密操作和数学运算以产生非常逼真的游戏体验的游戏。
实施例游戏平台可为Sony
Figure BDA0000624871310000021
Sony
Figure BDA0000624871310000022
(PS2)和Sony
Figure BDA0000624871310000023
(PS3)，其每一者以游戏控制台的形式出售。如众所周知，游戏控制台经设计以连接至监视器(通常为电视机)且实现经由手持式控制器的用户交互。手持式控制器的一个实施例为由索尼计算机娱乐公司制造的
Figure BDA0000624871310000024
3无线控制器。
在此情境中产生本发明的实施方案。
发明内容
本发明的实施方案提供用于与例如视频游戏等交互式应用介接的系统和方法。下文描述本发明的若干创新实施方案。
在一个实施方案中，提供一种用于将输入提供至交互式应用中的图像俘获装置。所述图像俘获装置包含：外壳；第一相机，其沿着所述外壳的前表面界定；第一相机控制器，其经配置以控制所述第一相机在第一曝光设定下在用户交互期间俘获交互式环境的图像；第二相机，其沿着所述外壳的前表面界定；第二相机控制器，其经配置以控制所述第二相机在低于第一曝光设定的第二曝光设定下在用户交互期间俘获交互式环境的图像，来自第二相机的所俘获图像经分析以识别并跟踪交互式环境中的被照明对象。
在一个实施方案中，来自第一相机的所俘获图像经分析以识别并跟踪用户。
在一个实施方案中，识别并跟踪用户包含识别并跟踪用户的面部。
在一个实施方案中，第一相机和第二相机沿着外壳的前表面水平对准。
在一个实施方案中，图像俘获装置进一步包含用于从交互式环境俘获声音的麦克风阵列。
在一个实施方案中，第一相机控制器经配置以控制第一相机在用户交互之前俘获交互式环境的图像，所述在用户交互之前俘获的图像经分析以确定第一曝光设定。
在一个实施方案中，第二相机控制器经配置以控制第二相机在用户交互之前俘获交互式环境的图像，所述在用户交互之前俘获的图像经分析以确定第二曝光设定。
在另一实施方案中，提供一种用于促进与交互式应用的交互的系统，其包含：图像俘获装置，所述图像俘获装置包含：第一相机、第二相机、经配置以控制所述第一相机在第一曝光设定下在用户交互期间俘获交互式环境的图像的第一相机控制器，以及经配置以控制所述第二相机在低于第一曝光设定的第二曝光设定下在用户交互期间俘获交互式环境的图像的第二相机控制器；计算装置，其连接至图像俘获装置，所述计算装置经配置以执行交互式应用，所述计算装置经配置以分析来自第二相机的所俘获图像以识别并跟踪交互式环境中的被照明对象。
在一个实施方案中，所述计算装置经配置以分析来自第一相机的所俘获图像以识别并跟踪用户。
在一个实施方案中，识别并跟踪用户包含识别并跟踪用户的面部。
在一个实施方案中，第一相机和第二相机沿着外壳的前表面水平对准。
在一个实施方案中，所述系统进一步包含用于从交互式环境俘获声音的麦克风阵列。
在一个实施方案中，第一相机控制器经配置以控制第一相机在用户交互之前俘获交互式环境的图像，所述在用户交互之前俘获的图像经分析以确定第一曝光设定。
在一个实施方案中，第二相机控制器经配置以控制第二相机在用户交互之前俘获交互式环境的图像，所述在用户交互之前俘获的图像经分析以确定第二曝光设定。
在另一实施方案中，提供一种用于与交互式应用的交互的方法，其包含以下方法操作：在第一曝光设定下在用户交互期间俘获来自交互式环境的图像；在低于第一曝光设定的第二曝光设定下在用户交互期间俘获来自交互式环境的图像；分析在第二曝光设定下俘获的图像以识别并跟踪交互式环境中的被照明对象。
在一个实施方案中，所述方法进一步包含分析在第一曝光设定下俘获的图像以识别并跟踪用户。
在一个实施方案中，识别并跟踪用户包含识别并跟踪用户的面部。
在一个实施方案中，所述方法进一步包含分析在第一曝光设定下俘获的图像以识别并跟踪AR标签。
在一个实施方案中，所述方法进一步包含从交互式环境俘获声音。
在一个实施方案中，所述方法进一步包含在用户交互之前俘获交互式环境的图像；以及分析在用户交互之前俘获的图像以确定第一曝光设定或第二曝光设定中的一或多者。
在另一实施方案中，提供一种用于管理与交互式应用的多玩家交互的方法，其包含以下方法操作：确定第一控制器的位置；确定第二控制器的位置；确定第一用户的生物特征识别器的位置；确定第二用户的生物特征识别器的位置；基于第一控制器的位置和第一用户的生物特征识别器的位置将第一控制器与第一用户配对；基于第二控制器的位置和第二用户的生物特征识别器的位置将第二控制器与第二用户配对；其中所述方法由处理器执行。
在一个实施方案中，确定第一控制器的位置包含识别第一控制器的被照明部分；且确定第二控制器的位置包含识别第二控制器的被照明部分。
在一个实施方案中，识别第一控制器的被照明部分包含识别由第一控制器的被照明部分界定的第一颜色；且识别第二控制器的被照明部分包含识别由第二控制器的被照明部分界定的第二颜色，所述第二颜色是与所述第一颜色不同的颜色。
在一个实施方案中，所述方法进一步包含：确定第一控制器与第二用户的先前配对；确定第二控制器与第一用户的先前配对；将第一控制器的被照明部分从第一颜色改变为第二颜色；将第二控制器的被照明部分从第二颜色改变为第一颜色。
在一个实施方案中，第一用户的生物特征识别器由第一用户的面部、声音、体型或指纹中的一或多者界定；且第一用户的生物特征识别器由第二用户的面部、声音、体型或指纹中的一或多者界定。
在一个实施方案中，确定第一用户的生物特征识别器的位置包含确定第一控制器的附近且搜索第一控制器的附近以识别第一用户的生物特征识别器；且确定第二用户的生物特征识别器的位置包含确定第二控制器的附近且搜索第二控制器的附近以识别第二用户的生物特征识别器。
在一个实施方案中，所述方法进一步包含呈现交互式应用的分屏视图，所述分屏视图包含针对第一用户界定的第一视图和针对第二用户界定的第二视图；其中基于第一控制器的位置、第二控制器的位置、第一用户的生物特征识别器的位置或第二用户的生物特征识别器中的一或多者确定分屏视图中第一视图和第二视图的位置。
在一个实施方案中，以计算机可读媒体上实施的程序指令的形式界定当前描述的方法的任一者。
在另一实施方案中，提供一种用于管理与交互式应用的多玩家交互的方法，其包含以下方法操作：俘获交互式环境的图像；分析所俘获图像以确定第一控制器的位置；分析所俘获图像以确定第二控制器的位置；分析所俘获图像以确定第一用户的生物特征识别器的位置；分析所俘获图像以确定第二用户的生物特征识别器的位置；基于第一控制器的位置和第一用户的生物特征识别器的位置将第一控制器与第一用户配对；基于第二控制器的位置和第二用户的生物特征识别器的位置将第二控制器与第二用户配对；其中所述方法由处理器执行。
在一个实施方案中，分析所俘获图像以确定第一控制器的位置包含识别第一控制器的被照明部分；且分析所俘获图像以确定第二控制器的位置包含识别第二控制器的被照明部分。
在一个实施方案中，识别第一控制器的被照明部分包含识别由第一控制器的被照明部分界定的第一颜色；且识别第二控制器的被照明部分包含识别由第二控制器的被照明部分界定的第二颜色，所述第二颜色是与所述第一颜色不同的颜色。
在一个实施方案中，所述方法进一步包含：确定第一控制器与第二用户的先前配对；确定第二控制器与第一用户的先前配对；将第一控制器的被照明部分从第一颜色改变为第二颜色；将第二控制器的被照明部分从第二颜色改变为第一颜色。
在一个实施方案中，第一用户的生物特征识别器由第一用户的面部界定；且第一用户的生物特征识别器由第二用户的面部界定。
在一个实施方案中，分析所俘获图像以确定第一用户的生物特征识别器的位置包含确定第一控制器的附近且搜索第一控制器的附近以识别第一用户的生物特征识别器；且分析所俘获图像以确定第二用户的生物特征识别器的位置包含确定第二控制器的附近且搜索第二控制器的附近以识别第二用户的生物特征识别器。
在一个实施方案中，所述方法进一步包含：呈现交互式应用的分屏视图，所述分屏视图包含针对第一用户界定的第一视图和针对第二用户界定的第二视图；其中基于第一控制器的位置、第二控制器的位置、第一用户的生物特征识别器的位置或第二用户的生物特征识别器中的一或多者确定分屏视图中第一视图和第二视图的位置。
在另一实施方案中，提供一种用于管理与在云处理服务器上执行的交互式应用的多玩家交互的方法，其包含以下方法操作：接收从交互式环境俘获的图像数据；处理所俘获图像数据以确定第一控制器的位置、第二控制器的位置、第一用户的生物特征识别器的位置，和第二用户的生物特征识别器的位置；基于第一控制器的位置和第一用户的生物特征识别器的位置将第一控制器与第一用户配对；基于第二控制器的位置和第二用户的生物特征识别器的位置将第二控制器与第二用户配对；其中所述方法由处理器执行。
在一个实施方案中，确定第一控制器的位置包含分析所俘获图像数据以识别第一控制器的被照明部分；且确定第二控制器的位置包含分析所俘获图像数据以识别第二控制器的被照明部分。
在一个实施方案中，识别第一控制器的被照明部分包含识别由第一控制器的被照明部分界定的第一颜色；且识别第二控制器的被照明部分包含识别由第二控制器的被照明部分界定的第二颜色，所述第二颜色是与所述第一颜色不同的颜色。
在一个实施方案中，所述方法进一步包含确定第一控制器与第二用户的先前配对；确定第二控制器与第一用户的先前配对；发送将第一控制器的被照明部分从第一颜色改变为第二颜色的指令；发送将第二控制器的被照明部分从第二颜色改变为第一颜色的指令。
从结合附图作出的以下详细描述将了解本发明的其它方面。附图借助实施例说明本发明的原理。
附图说明
本发明可通过参考结合附图作出的以下描述来最佳理解，附图中：
图1A说明根据本发明的实施方案其中多个玩家正与视频游戏交互的交互式环境。
图1B说明根据本发明的实施方案的图像俘获装置。
图1C是根据本发明的实施方案的图像俘获装置的示意图。
图2说明根据本发明的实施方案由高曝光相机俘获的交互式环境的图像。
图3说明根据本发明的实施方案由低曝光相机俘获的交互式环境的图像。
图4说明根据本发明的实施方案多个用户操作控制器用于与交互式环境中的应用交互。
图5说明根据本发明的实施方案两个玩家与视频游戏交互。
图6说明根据本发明的实施方案用户在交互式环境中操作运动控制器212。
图7说明根据本发明的实施方案用户与显示器上再现的交互式应用交互。
图8说明根据本发明的一个实施方案可用于提供与视频游戏的交互的硬件和用户接口。
图9说明根据本发明的一个实施方案可用于处理指令的额外硬件。
图10是根据本发明的一个实施方案相应用户A至用户E与经由因特网连接至服务器处理的游戏客户端1102交互的场景A至场景E的示范性说明。
图11说明信息服务提供者架构的实施方案。
具体实施方式
以下实施方案描述用于与交互式程序介接的方法和设备。
然而，所属领域的技术人员将显而易见，本发明可在没有这些特定细节中的一些或全部的情况下实践。在其它例子中，未详细描述众所周知的过程操作以免不必要地混淆本发明。
图1A说明根据本发明的实施方案其中多个玩家正与视频游戏交互的交互式环境。计算装置100提供图像和视频数据以供在显示器102上再现视频游戏。计算装置100可为通用计算机、游戏控制台，或经配置以将视频游戏的图像数据和音频数据提供至显示器102的任何其它类型的装置。视频游戏可在计算装置100上执行，或可远程执行，其中计算装置100充当用于提供图像数据和音频数据以供再现且用于接收和发射来自用户的输入的终端。图像俘获装置104包含两个相机：高曝光相机106和低曝光相机108。高曝光相机106经配置以在经设定以实现对交互式环境的高细节量的俘获的曝光水平下俘获交互式环境的图像。广义上来说，高曝光相机106的曝光水平可基于来自交互式环境的光强度的总体动态范围确定且经优化以实现细节的最大俘获。相比之下，低曝光相机108经配置以在经设定以俘获交互式环境的相对低细节量的较低曝光水平下俘获交互式环境的图像。广义上来说，低曝光相机108的曝光水平也可基于交互式环境的光强度的总体动态范围确定，但设定在实现以较少细节对图像的俘获的较低水平下。因为低曝光相机108的曝光水平设定在比高曝光相机106的曝光水平低的水平下，所以来自低曝光相机108的所俘获图像将提供来自交互式环境的具有较低光强度的区的较少细节或完全不提供细节。
图1B说明图像俘获装置104，包含高曝光相机106和低曝光相机108。在一些实施方案中，高曝光相机106也是具有比低曝光相机108高的分辨率的相机。高曝光相机106和低曝光相机108两者的分辨率还可在图像俘获装置104的操作期间设定。因此，由于与具有较低分辨率的低曝光相机108相比具有较高分辨率，高曝光相机还可俘获更多细节且产生更大量数据。高曝光相机106和低曝光相机108可彼此分离已知距离，且可串联操作以实现立体图像俘获。因为相机之间的距离是已知的，所以可基于立体图像俘获提供三维效应。在一个实施方案中，高曝光相机106和低曝光相机108彼此分离近似6至10厘米的距离。在其它实施方案中，相机彼此分离大于10厘米的距离。
在一些实施方案中，高和低曝光相机各自具有相同硬件能力，但经控制以按不同方式操作，使得一者实现比另一者高的曝光或分辨率。
另外，图像俘获装置104可包含麦克风阵列，包含麦克风109A、109B、109C和109D。麦克风阵列可用于从交互式环境俘获声音。另外，来自麦克风阵列的麦克风的每一者的声音可经分析以确定交互式环境中的声音的位置。可在交互式环境内界定从其俘获声音的特定声音区。可根据如本文其它地方描述的交互区确定声音区。借助实施例，从给定交互区俘获的声音可与特定用户相关联且经处理以用于该用户的游戏，源自交互区外部的声音除外。
图1C说明根据本发明的实施方案的图像俘获装置104的示意图。图像俘获装置104分别包含高和低曝光相机106和108，其由相机控制器121控制。相机控制器121可控制相机的各种设定，例如图像俘获的帧速率、每一俘获的快门速度或时间、分辨率、孔径，和各种其它图像俘获特性。图像处理器122执行机载图像处理，例如原始数据转换、图像数据压缩或转换等。麦克风控制器123控制麦克风109A-D的敏感性。在一个实施方案中，麦克风控制器123还控制每一麦克风的方向。音频处理器124执行音频数据的机载处理，例如模/数转换、音频数据压缩。在一些实施方案中，音频处理器124可经配置以执行交互式环境中的声音源的识别，或可经配置以处理来自麦克风阵列的传入音频信号以便减少或排除不是来自交互式环境中的一或多个指定区的声音。
图像俘获装置操作地连接至CPU 124，CPU 124可为游戏控制台或本地计算装置的处理器，或可为远程计算装置(例如，云计算装置)的处理器。CPU124可接收高和低曝光相机的图像流以及来自麦克风阵列的音频流，用于根据本文描述的原理和方法进行处理和分析。
图2说明由高曝光相机106俘获的交互式环境的图像130。在交互式环境中，呈现多个对象，包含电灯132、照片134、窗户136、沙发138和植物140，其全部在图像130中可见。用户142操作控制器144，控制器144包含被照明的跟踪特征146。用户142和控制器144也在所俘获图像130中可见。
图3说明由低曝光相机108俘获的相同交互式环境的图像150。在图像150中，因为低曝光相机108的曝光水平低于高曝光相机106的曝光水平，所以交互式环境中仅产生高光强度的最明亮对象可见。如图所示，仅灯泡132的发光部分、窗户136和控制器144的被照明的跟踪特征146在图像150中可见，因为这些对象在交互式环境中产生最高光强度。
根据本发明的实施方案，来自低曝光相机108的所俘获图像可用于控制器144的被照明的跟踪特征146的检测和跟踪。因为来自低曝光相机108的图像与来自高曝光相机106的图像相比在较低曝光设定下俘获，所以其在大多数情形中与由高曝光相机俘获的相同交互式环境的图像相比将具有较少数据。因此，假定被照明的跟踪特征146足够亮(产生足够高的光强度)而在来自低曝光相机108的所俘获图像中被检测到，则基于这些图像的分析的被照明的跟踪特征的检测和跟踪需要比原本基于较高曝光图像的分析所需的处理少的处理。
并且，根据本发明的实施方案，低曝光相机108可利用比高曝光相机106的孔径小的孔径，借此与利用高曝光相机106的较大孔径可实现的相比提供更广深度范围上的更清晰景深。这进一步增强对控制器144的跟踪特征146的准确检测和跟踪，从而提供与原本通过分析利用较大孔径俘获的较高曝光图像将获得的相比尤其改进的深度检测准确性。
将了解，对于基于来自低曝光相机108的所俘获图像的分析对被照明的跟踪特征146的检测和跟踪，被照明的跟踪特征146在交互式环境中的最明亮对象中的较明亮者当中是合乎需要的。为确保如此，在一个实施方案中，确定交互式环境的总体动态范围，且接着调整被照明的跟踪特征146的光强度以便在交互式环境中的较明亮或最明亮对象当中。如果被照明的跟踪特征146的光强度被调整为交互式环境中的最明亮对象，那么低曝光相机108的曝光设定可设定为将交互式环境的剩余部分从由低曝光相机108俘获的图像排除的值，借此基于此类图像简化对被照明的跟踪特征146的检测和跟踪过程，因为被照明的跟踪特征146基本上是此类图像中的唯一可检测对象。
然而，不将被照明的跟踪特征146设定为交互式环境中的最明亮对象也可能是合乎需要的，例如以免转移用户或交互式环境中的其他人的注意力或对他们来说视觉上呈现在不当位置。因此，在各个实施方案中，被照明的跟踪特征146的光强度水平可界定为等于交互式环境的总体动态范围的最高值(即，等于交互式环境中的最明亮对象)。在另一实施方案中，被照明的跟踪特征146的光强度水平可设定在动态范围的上限的某一分数内，例如在交互式环境的动态范围的顶部n％内。在一些实施方案中，被照明的跟踪特征108的光强度水平可基于交互式环境的中值光强度值设定，使得被照明的跟踪特征具有交互式环境的最高光强度值当中的光强度。
在一些实施方案中，相对于交互式环境的总体动态范围的被照明的跟踪特征108的光强度值可基于交互式环境的光强度特性来设定。举例来说，在一个实施方案中，如果交互式环境的总体周围照明条件确定为低，那么被照明的跟踪特征108的光强度设定为低于从交互式环境检测到的最大光强度。然而如果交互式环境的总体周围照明条件确定为高，那么被照明的跟踪特征108的光强度设定为大于或等于来自交互式环境的最大检测到的光强度。如果这不可能，那么将被照明的跟踪特征的光强度设定为其最大可能值。以此方式，当检测到低周围照明条件时，调整被照明的跟踪特征108的光强度以免在其它低周围光环境中视觉上转移注意力。然而当检测到高周围照明条件时，将被照明的跟踪特征108的光强度调整为相对于总体交互式环境较明亮，因为在高周围照明条件下，明亮对象可感知为具有较小侵入性。
图4说明根据本发明的实施方案多个用户操作控制器用于与交互式环境中的应用交互。在所说明的场景中，用户110操作具有被照明的跟踪特征164的控制器116；用户112操作具有被照明的跟踪特征174的控制器118；且用户114操作具有被照明的跟踪特征184的控制器120。根据本文描述的原理，交互式环境的图像由高曝光相机106和低曝光相机108俘获。控制器的实施例包含例如索尼计算机娱乐公司制造的游戏站移动(Playstation Move)运动控制器等运动控制器。
在一个实施方案中，来自高曝光相机106的交互式环境的所俘获图像经分析以确定玩家的位置。更特定来说，所俘获图像可经分析以确定含有用户的面部的面部区。在所说明的实施方案中，面部区166包含用户110的面部；面部区176包含用户112的面部；且面部区186包含用户114的面部。经识别的面部区可基于来自高曝光相机106的所俘获图像的分析来跟踪。将了解，所说明的面部区仅借助实施例展示，且根据所采用的面部辨识方法的细节可具有各种形状和大小。面部区可包含用户的整个头部，或可仅包含用户头部的选定特征，例如包含眼睛、鼻子和嘴巴的区，但排除用户面部和头部的其它特征。
来自低曝光相机108的交互式环境的所俘获图像经分析以检测控制器的被照明的跟踪特征的定向和三维位置，以及因此控制器本身的位置。广义上来说，所俘获图像中被照明的跟踪特征的定向和大小可经分析以确定其在交互式环境内的定向和位置，以及因此与被照明的跟踪特征相关联的控制器的定向和位置。被照明的跟踪特征164、174和184可经配置以显示不同颜色、图案或其它区分特性以促进其经由低曝光相机108的识别和跟踪。
在一些实施方案中，每一控制器出于提供对于应用的精确交互输入的目的与特定用户相关联或配对。举例来说，在多玩家视频游戏中，可存在若干用户，其每一者在视频游戏中由相关联角色、头像、对象或视频游戏中的其它表示实体表示。在许多此类视频游戏中，每一用户负责控制其表示实体，且因此每一控制器与特定用户相关联。使控制器与用户相关联的常规方法通常需要用户经由麻烦的菜单和程序谨慎指示选择，通常需要遵守会延迟实际游戏过程的严格程序。然而，根据本文描述的原理，可采用具有明显较小侵入性的方法使控制器与用户相关联。
在一个实施方案中，每一控制器经配置以使其被照明的跟踪特征显示唯一特性，例如唯一颜色。基于此，基于低曝光相机所俘获的图像的分析识别每一控制器。借助实施例参看图4，当基于被照明的跟踪特征164的检测识别控制器116时，界定接近控制器的面部搜索区168，在所述面部搜索区168内应用面部辨识过程。面部搜索区168界定为其中在控制器正由用户操作以用于交互的情况下可合理地预期存在用户的面部的交互式环境的区。借助实施例，面部搜索区可基于距控制器的预先界定的距离或围绕控制器定向的预先界定的区形状来确定。在所说明的实施方案中，将面部辨识过程应用于面部搜索区168导致识别含有用户110的面部的面部区166。用户110的经识别面部因此与控制器116相关联。以类似方式，控制器118和120可分别基于其被照明的跟踪特征174和184识别。接着分别针对控制器118和120界定面部搜索区178和188。将面部辨识过程应用于这些面部搜索区识别用户112的面部区176和用户114的面部区186。因此，用户112的面部区176与控制器118相关联，且面部区186与用户114相关联。当前描述的方法的应用可改进黑暗环境中控制器与用户的识别和关联。代替于搜索整个所俘获区以寻找用户的面部，首先基于控制器位置的识别而识别有限搜索区供搜索。并且，当用户随时间移动，可跟踪其面部区及其相关联控制器。
在另一实施方案中，用户的面部和控制器各自在交互式环境中识别，面部基于将面部辨识过程应用于来自高曝光相机的所俘获图像而识别，且控制器基于来自低曝光相机的所俘获图像的分析而识别。对于每一控制器或所识别面部，对应的最接近所识别面部或控制器与其相关联。在一个实施方案中，如果控制器和面部分离不超过预定距离，那么可发生控制器与所识别面部的关联。在其它实施方案中，当两个面部与给定控制器等距时，可向纵向较接近给定控制器的面部给出优先权。或者其它控制器和面部可在关联给定控制器之前首先关联，使得其它面部可不予考虑。
将了解，根据当前描述的方法，未在控制器的附近范围内找到的面部不与控制器相关联。且针对其在附近未识别面部的控制器不与任何用户的面部相关联。因此，不正在参与视频游戏的用户或不在使用中的控制器不出于与视频游戏的交互的目的而关联或不适当地激活。
在一个实施方案中，保存每一用户的面部的简档图片。利用给定用户的简档图片在高曝光相机108拍摄的后续所俘获图像中辨识用户。每一控制器(如上文指示)经由其被照明的跟踪特征配置以显示不同特性(例如，不同颜色)。对于面部在交互式环境中被检测到的每一用户，向所述用户指派最接近的经识别控制器。因此，继续参看图4，基于面部区166的面部辨识识别用户110，且基于例如被照明的跟踪特征164显示的唯一颜色识别控制器116。接着，控制器116(作为距用户110最近的经识别控制器)出于与交互式应用的交互的目的与用户110相关联。以类似方式，控制器118和120的每一者经配置以使其被照明的跟踪特征174和184分别显示唯一颜色。接着，基于面部区176和186的面部辨识，识别用户112和114。经识别控制器118因而与用户112相关联，因为其确定为距用户112最近的控制器，而控制器120与用户114相关联，因为其确定为距用户114最近的控制器。
将了解，在各个实施方案中，识别哪一控制器与哪一用户相关联的方法可采用各种技术。举例来说，可部分基于身体辨识与面部辨识关联而确定“最接近”控制器，以确定或估计控制器相对于用户的预期位置。预期位置可能是例如在用户的中间区段附近近似在用户前方的区。用户的手臂或其它身体特征的辨识可增强控制器关联过程的准确性。
通过利用面部辨识和控制器辨识来适当关联/指派特定控制器和特定用户，避免了麻烦的初始化程序。此外，如果用户出于某一原因而切换控制器(例如，用户暂停游戏且稍后继续玩游戏，但在过程中切换控制器)，那么正确控制器可快速指派给适当用户而不需要进一步用户输入。因此，在一个实施例中，控制器指派过程不仅在交互式视频游戏的起始期间执行，而且在交互过程中的中断或暂停之后执行。这可例如当用户暂停且继续玩游戏时、当视频游戏在区段或等级之间转变时，或用户可切换控制器的任何其它中断或时间周期发生。
根据另一实施方案，在某些交互式视频游戏中，玩家可被指派到游戏的特定交互区。借助实施例，每一交互区可对应于经由交互区中检测到的用户交互而控制的特定角色或实体。然而，如果用户切换区，那么特定用户与他/她的实体之间的对应中断。因此，根据本文描述的原理，当用户的面部和控制器在特定交互区中辨识时，所述交互区可与用户和控制器相关联。如果用户切换区或控制器，那么交互区和控制器至用户的指派可基于用户的面部和控制器的经更新检测而切换。
利用如本文描述的面部辨识与控制器跟踪组合可提供额外功能性和益处。举例来说，继续参看图4，可针对用户110确定控制器交互区168。控制器交互区168是其中指派到用户110的控制器116可预期定位的交互式环境的区。可借助实施例基于用户110的手臂范围或其它因素的估计而确定控制器交互区168。在所说明的实施方案中，分别针对用户112和114确定控制器交互区178和188。
尽管已参考面部辨识作为控制器与特定用户配对的基础而描述本发明的实施方案，但在其它实施方案中，所属领域的技术人员将了解，其它形式的生物特征识别可替换面部辨识或与面部辨识组合利用。其它生物特征识别器可包含人声音、人体型或体重、指纹等的识别。在一个实施方案中，用户的声音可通过请求用户说一些话(例如，其姓名)且记录并对照所存储用户语音简档分析所记录语音来识别用户而识别。在此方面，用户的语音简档可通过使用户阅读文本的预先界定的部分而产生。在另一实施方案中，可通过使用户将其手指放置在其控制器装置的触敏部分上且将所获得的指纹与先前针对用户存储的指纹匹配来获得用户的指纹。
如本文论述，各个控制器的被照明部分可经配置以具有不同颜色，这促进基于来自交互式环境的所俘获图像的分析对其识别。在游戏进程期间，一组用户可暂停游戏且放下其控制器，且当其返回时，他们中的一些人或所有人可拾起与其在暂停游戏之前使用的控制器不同的控制器。然而，尽管拾起不同控制器，但用户的每一者可能仍需要具有与其控制器相关联的相同颜色，因为此颜色也可与其游戏相关联。因此，在一个实施方案中，当控制器与用户配对时，确定游戏会话期间的先前配对是否存在以及其是否与当前确定的配对匹配。如果检测到用户的先前控制器配对与其当前控制器配对之间的失配，那么在一个实施方案中，一旦所有剩余控制器与其相应用户配对，用户的控制器颜色就改变为用户在暂停游戏之前操作的控制器所展现的先前颜色。
简单的双玩家实施例将用以说明上述概念。举例来说，假定第一玩家操作第一控制器，其一部分被照明以具有红色，且第二玩家操作第二控制器，其一部分被照明以具有蓝色。基于如先前描述的控制器识别与生物特征识别组合，第一控制器与第一玩家配对且第二控制器与第二玩家配对。另外，在正进行的视频游戏中，红色与第一玩家相关联，且蓝色与第二玩家相关联。此颜色关联提供供玩家理解其控制器与其所控制的视频游戏的元素之间的关系的直观机制。借助实施例，第一用户控制的头像或角色可能特征为红色标记，指示其由第一控制器控制(照明为红色)，而第二用户控制的头像或角色可能特征为蓝色标记，指示其由第二控制器控制(照明为蓝色)。
然而，如果第一玩家和第二玩家以某种方式切换控制器(例如，在暂停游戏且稍后返回之后)，那么可重复配对过程以确定哪一控制器与哪一用户配对。在此情况下，蓝色控制器现与第一用户配对，且红色控制器不与第二用户配对。因为颜色与用户的此关联不与先前关联匹配，所以一旦在识别哪一控制器正由哪一用户操作的意义上控制器与用户配对，控制器展现的颜色就可改变以与颜色与用户的先前关联匹配。在此情况下，第二控制器(现由第一用户操作)的颜色从蓝色改变为红色，从而将第一用户交还给红色控制器；且第一控制器(现由第二用户操作)的颜色从红色改变为蓝色，从而将第二用户交还给蓝色控制器。
图5说明根据本发明的实施方案两个玩家与视频游戏交互。在所说明的实施方案中，玩家190和192分别操作控制器194和196。视频游戏在显示器102上在分屏模式中再现。当为便于检视用户190定位在交互式环境中左侧且用户192定位在右侧时，视频游戏视图在分屏模式中指派使得针对用户190的视频游戏视图在显示器102的左部分198上再现，且用户192的视频游戏视图在显示器102的右部分200上再现。然而，如果用户190和192切换位置，那么基于控制器辨识或面部辨识，可确定用户已切换位置，且视频游戏视图可再指派到分屏的相对侧。因此，当用户190和192已切换位置时，检测并辨识其面部或控制器，且针对用户192的视频游戏视图现在左部分198上展示，而针对用户190的视频游戏视图在右部分200上展示。虽然已依据两个用户和对应的左和右分屏部分描述以上实施方案，但所属领域的技术人员将了解，存在任何数目的用户和对应的分屏部分，其可根据本发明的实施方案彼此指派。
图6说明根据本发明的实施方案用户210在交互式环境中操作运动控制器212。运动控制器212包含被照明的跟踪特征214，其基于图像俘获装置104的低曝光相机108俘获的图像的分析而跟踪。另外，用户210持有扩增现实(AR)标签216。AR标签基于来自图像俘获装置104的高曝光相机106的所俘获图像的分析而识别和跟踪。在一个实施方案中，AR标签用显示器102上显示的用户的视频中的对象218替代。控制器212用所显示视频中的对象220替代。经配置以在不同曝光水平和/或分辨率下操作的两个相机的应用实现对被照明的跟踪特征和AR标签的同时识别和跟踪。将了解，除AR标签外，可基于来自图像俘获装置104的高曝光相机106的所俘获图像的分析应用各种其它扩增现实方法。这可与被照明的跟踪特征的同时跟踪组合以提供增强的用户交互体验。
图7说明根据本发明的实施方案用户210与显示器102上再现的交互式应用交互。根据本发明中其它地方描述的方法和原理，控制器212与用户210相关联。在一个实施方案中，针对用户210识别示意动作区230。示意动作区230经分析以检测用户210的示意动作以用于与交互式应用的交互。在一个实施方案中，示意动作检测基于来自高曝光相机的所俘获图像的分析，而控制器212的跟踪基于来自低曝光相机的所俘获图像的分析(如已描述)。示意动作区可确定为接近控制器的位置的区。在一个实施方案中，示意动作区通过识别固持控制器的用户的手且识别接近控制器的区而确定，但关于用户的非固持控制器的手所处的控制器的一侧上的点居中。在又一实施方案中，示意动作区界定为控制器上方和/或侧部的区，因为当用户正操作经设计以由用户的两只手固持的控制器时，用户可在此区中作出示意动作。
在一些实施方案中，如已叙述，图像俘获装置104可包含两个相机，其以不同方式操作以实现被照明对象的高质量图像俘获和高保真跟踪。两个相机可经操作使得一个相机在较高分辨率和曝光下产生高质量图像，而另一相机在较低分辨率和曝光下产生低质量图像。此外，相机的每一者的个别帧速率可不同。借助实施例，高质量相机可需要较长曝光时间来实现较高曝光，因此需要较低帧速率。而低质量相机可需要较短曝光时间来实现相对较低曝光，因此提供有益于跟踪目的的较快帧速率。
图8说明根据本发明的一个实施方案可用于提供与视频游戏的交互的硬件和用户接口。图8示意说明根据本发明的实施方案
Figure BDA0000624871310000161
Playstation
Figure BDA0000624871310000162
娱乐装置的总体协调架构，其是可兼容以与控制装置介接(其中计算机程序在基础计算装置上执行)的控制台。提供系统单元700，其中各种外围装置可连接至系统单元700。系统单元700包括：单元处理器728；
Figure BDA0000624871310000163
动态随机存取存储器(XDRAM)单元726；现实合成器图形单元730，其具有专门视频随机存取存储器(VRAM)单元732；以及I/O桥734。系统单元700还包括用于从盘740a进行读取的Blu
Figure BDA0000624871310000164
Disk BD-光盘读取器740和可装卸吸入式硬盘驱动器(HDD)736，其可经由I/O桥734存取。任选地，系统单元700还包括用于读取紧密快闪存储卡、Memory
Figure BDA0000624871310000166
存储卡等的存储卡读取器738，其类似地可经由I/O桥734存取。
I/O桥734还连接至六个通用串行总线(USB)2.0端口724；千兆位以太网端口722；IEEE 802.11b/g无线网络(Wi-Fi)端口720；以及能够支持达七个蓝牙连接的
Figure BDA0000624871310000171
无线链路端口718。
在操作中，I/O桥734处置所有无线、USB和以太网数据，包含来自一或多个游戏控制器702-703的数据。举例来说，当用户正玩游戏时，I/O桥734经由蓝牙链路从游戏控制器702-703接收数据且将其引导至单元处理器728，单元处理器728相应地更新游戏的当前状态。
无线、USB和以太网端口除游戏控制器702-703外还提供针对其它外围装置的连接性，例如：远程控制704；键盘706；鼠标708；便携式娱乐装置710，例如Sony Playstation
Figure BDA0000624871310000172
娱乐装置；视频相机，例如视频相机712；麦克风耳麦714；以及麦克风715。此类外围装置可因此原则上以无线方式连接至系统单元700；例如便携式娱乐装置710可经由Wi-Fi点对点连接通信，而麦克风耳麦714可经由蓝牙链路通信。
这些接口的提供意味着Playstation 3装置也潜在与例如数字视频采集器(DVR)、机顶盒、数码相机、便携式媒体播放器、IP语音电话、移动电话、打印机和扫描仪等其它外围装置兼容。
另外，传统存储卡读取器716可经由USB端口724连接至系统单元，从而使得能够读取由
Figure BDA0000624871310000173
或Playstation装置使用的种类的存储卡748。
游戏控制器702-703可操作以经由蓝牙链路用无线方式与系统单元700通信，或连接至USB端口，借此还提供用以为游戏控制器702-703的电池充电的功率。游戏控制器702-703还可包含存储器、处理器、存储卡读取器、例如快闪存储器等永久存储器、例如被照明球形区段、LED或红外灯等发光器、用于超声通信的麦克风和扬声器、声腔、数码相机、内部时钟、例如面朝游戏控制台的球形区段等可辨识形状，以及使用例如
Figure BDA0000624871310000176
、WiFiTM等协议的无线通信。
游戏控制器702是经设计以与双手一起使用的控制器，且游戏控制器703是具有附件的单手控制器。除了一或多个模拟游戏杆和常规控制按钮外，游戏控制器还对三维位置确定敏感。除常规按钮或游戏杆命令外或代替于常规按钮或游戏杆命令，游戏控制器的用户的随后的示意动作和移动可转化为到游戏的输入。任选地，例如PlaystationTM便携式装置等其它启用无线功能的外围装置可用作控制器。在PlaystationTM便携式装置的情况下，额外游戏或控制信息(例如，控制指令或生命数目)可提供在装置的屏幕上。还可使用其它替代或补充控制装置，例如跳舞毯(未图示)、光枪(未图示)、方向盘和踏板(未图示)或定制控制器(例如，用于快速响应测验游戏的单一或若干大型按钮(也未图示))。
远程控制704也可操作以经由蓝牙链路以无线方式与系统单元700通信。远程控制704包括适于Blu RayTM Disk BD-ROM读取器540的操作且适于盘内容导航的控制。
除了常规预先记录和可记录CD以及所谓的超级音频CD外，Blu RayTMDisk BD-ROM读取器740还可操作以读取与Playstation和PlayStation 2装置兼容的CD-ROM。除了常规预先记录和可记录DVD外，读取器740还可操作以读取与Playstation 2和PlayStation 3装置兼容的DVD-ROM。读取器740进一步可操作以读取与Playstation 3装置兼容的BD-ROM，以及常规预先记录和可记录蓝光盘。
系统单元700可操作以将由Playstation 3装置经由现实合成器图形单元730产生或解码的音频和视频经由音频和视频连接器供应到显示和声音输出装置742(例如，具有显示器744和一或多个扬声器746的监视器或电视机)。音频连接器750可包含常规模拟和数字输出，而视频连接器752可不同地包含组成视频、S视频、合成视频以及一或多个高清多媒体接口(HDMI)输出。因此，视频输出可呈例如PAL或NTSC或者720p、1080i或1080p高清的格式。
音频处理(产生、解码等)由单元处理器728执行。Playstation 3装置的操作系统支持
Figure BDA0000624871310000181
5.1环绕声、
Figure BDA0000624871310000182
影院环绕(DTS)，以及来自Blu-
Figure BDA0000624871310000183
盘的7.1环绕声的解码。
在当前实施方案中，视频相机712包括单一电荷耦合装置(CCD)、LED指示器，以及基于硬件的实时数据压缩和编码设备，使得经压缩视频数据可以例如基于图像内的MPEG(运动图片专家组)标准等适当格式发射以供系统单元700解码。相机LED指示器经布置以响应于来自系统单元700的适当控制数据照明，例如以指示不利照明条件。视频相机712的实施方案可经由USB、蓝牙或Wi-Fi通信端口不同地连接至系统单元700。视频相机的实施方案可包含一或多个相关联麦克风，且也能够发射视频数据。在视频相机的实施方案中，CCD可具有适于高清视频俘获的分辨率。在使用中，视频相机俘获的图像可例如并入在游戏内或解释为游戏控制输入。在另一实施方案中，相机是适于检测红外光的红外相机。
一般来说，为经由系统单元700的通信端口的一者发生与例如视频相机或远程控制等外围装置的成功数据通信，应提供例如装置驱动器等一件适当软件。装置驱动器技术是众所周知的且此处将不详细描述，只是熟练的技术人员将意识到装置驱动器或类似软件接口在所描述的当前实施方案中可能是需要的。
图9说明根据本发明的一个实施方案可用于处理指令的额外硬件。单元处理器728具有包括四个基本组件的架构：实施例输入和输出结构，其包括存储器控制器860和双总线接口控制器870A、B；主处理器，其称为功率处理元件850；八个协处理器，其称为协同处理元件(SPE)810A-H；以及环形数据总线，其连接以上组件且称为元件互连总线880。单元处理器的总浮点性能是218GFLOPS(十亿次浮点运算/秒)，与Playstation 2装置的情感引擎(Emotion Engine)的6.2GFLOPs形成对比。
功率处理元件(PPE)850基于以3.2GHz的内部时钟运行的双向同时多线程功率570兼容PowerPC核心(PPU)855。其包括512kB层2(L2)高速缓冲存储器和32kB层1(L1)高速缓冲存储器。PPE 850能够进行每时钟循环八个单一位置操作，转化为3.2GHz下25.6GFLOPs。PPE850的主要作用是充当协同处理元件810A-H的控制器，协同处理元件810A-H处置大多数计算工作负载。在操作中，PPE 850维持工作队列，从而为协同处理元件810A-H调度工作且监视其进程。因此，每一协同处理元件810A-H运行内核，其作用是提取工作，执行工作且与PPE850同步。
每一协同处理元件(SPE)810A-H包括相应协同处理单元(SPU)820A-H以及相应存储器流控制器(MFC)840A-H，所述相应存储器流控制器(MFC)840A-H又包括相应动态存储器存取控制器(DMAC)842A-H、相应存储器管理单元(MMU)844A-H和总线接口(未图示)。每一SPU 820A-H是在3.2GHz下时钟控制的RISC处理器，且包括256kB本地RAM 830A-H，原则上可扩展到4GB。每一SPE给出单一精度性能的理论上25.6GFLOPS。SPU可在单一时钟循环中对4个单一精度浮点成员、4个32位数字、8个16位整数或16个8位整数操作。在相同时钟循环中，其也可执行存储器操作。SPU820A-H不直接存取系统存储器XDRAM 726；SPU 820A-H形成的64位地址传递到MFC 840A-H，MFC 840A-H指示其DMA控制器842A-H经由元件互连总线880和存储器控制器860存取存储器。
元件互连总线(EIB)880逻辑上环形通信但在单元处理器728内部，其连接以上处理器元件，即PPE 850、存储器控制器860、双总线接口870A、B和8个SPE 810A-H(总共12个参与者)。参与者可以每时钟循环8字节的速率向总线同时读取和写入。如先前所述，每一SPE810A-H包括用于调度较长读取或写入序列的DMAC 842A-H。EIB包括四个信道，在顺时针和逆时针方向上各两个。因此对于12个参与者，任两个参与者之间的最长逐步数据流在适当方向上为六步。在经由参与者之间的仲裁完全利用的事件中，12个时隙的理论上峰值瞬时EIB带宽因此为每时钟96B。此等效于3.2GHz的时钟速率下理论上307.2GB/s(十亿字节/秒)的峰值带宽。
存储器控制器860包括由Rambus公司开发的XDRAM接口862。存储器控制器以25.6GB/s的理论峰值带宽与Rambus XDRAM 726介接。
双总线接口870A、B包括Rambus
Figure BDA0000624871310000201
系统接口872A、B。所述接口组织为12个信道，每一者为8位宽，其中五个路径为入站且七个为出站。这提供单元处理器与I/O桥734(经由控制器870A)以及现实模拟器图形单元730(经由控制器870B)之间的理论峰值带宽62.4GB/s(36.4GB/s出站，26GB/s入站)。
单元处理器728发送到现实模拟器图形单元730的数据将通常包括显示列表，其是绘制顶点、将纹理施加到多边形、指定照明条件等命令的序列。
图10是根据本发明的一个实施方案相应用户A至用户E与经由因特网连接至服务器处理的游戏客户端1102交互的场景A至场景E的示范性说明。游戏客户端是允许用户经由因特网连接至服务器应用和处理的装置。游戏客户端允许用户存取和重放在线娱乐内容，例如但不限于游戏、电影、音乐和照片。另外，游戏客户端可提供对例如VOIP、文本聊天协议和电子邮件等在线通信应用的存取。
用户经由控制器与游戏客户端交互。在一些实施方案中，控制器是游戏客户端特定控制器，而在其它实施方案中，控制器可为键盘和鼠标组合。在一个实施方案中，游戏客户端是能够经由监视器/电视机和相关联音频设备输出音频和视频信号以产生多媒体环境的独立装置。举例来说，游戏客户端可为(但不限于)瘦客户端、内置PCI-express卡、外置PCI-express装置、ExpressCard装置、内置、外置或无线USB装置，或Firewire装置等。在其它实施方案中，游戏客户端与电视机或其它多媒体装置(例如，DVR、蓝光播放器、DVD播放器或多信道接收器)集成。
在图10的场景A内，用户A使用与游戏客户端1102A配对的控制器1106A与监视器1104A上显示的客户端应用交互。类似地，在场景B内，用户B使用与游戏客户端1102B配对的控制器1106B与监视器1104B上显示的另一客户端应用交互。场景C说明当用户C检视显示来自游戏客户端1102C的游戏和好友列表的监视器时来自用户C背后的视图。虽然图10展示单一服务器处理模块，但在一个实施方案中，存在全世界的多个服务器处理模块。每一服务器处理模块包含用于用户会话控制、共享/通信逻辑、用户地理定位和负载平衡处理服务的子模块。此外，服务器处理模块包含网络处理和分布式存储。
当游戏客户端1102连接至服务器处理模块时，可使用用户会话控制来验证用户。经验证的用户可具有相关联虚拟化分布式存储和虚拟化网络处理。可作为用户的虚拟化分布式存储的一部分存储的实施例项目包含所购买媒体，包含但不限于游戏、视频和音乐等。另外，分布式存储可用于保存多个游戏的游戏状态、个别游戏的定制设定，以及游戏客户端的一般设定。在一个实施方案中，服务器处理的用户地理定位模块用于确定用户的地理位置及其相应游戏客户端。用户的地理位置可由共享/通信逻辑和负载平衡处理服务两者使用以基于多个服务器处理模块的地理位置和处理需求优化性能。虚拟化网络处理和网络存储的任一者或两者将允许来自游戏客户端的处理任务动态移位到未充分利用的服务器处理模块。因此，负载平衡可用于使与来自存储的召回以及服务器处理模块与游戏客户端之间的数据发射两者相关联的等待时间最小化。
服务器处理模块具有例项服务器应用A和服务器应用B。服务器处理模块能够支持如服务器应用X1和服务器应用X2指示的多个服务器应用。在一个实施方案中，服务器处理基于群集计算架构，其允许群集内的多个处理器处理服务器应用。在另一实施方案中，应用不同类型的多计算机处理方案来处理服务器应用。这允许按比例缩放服务器处理以便适应执行多个客户端应用和对应的服务器应用的较大数目的游戏客户端。或者，可按比例缩放服务器处理以适应要求更高的图形处理或游戏所需的增加的计算需求、视频压缩或应用复杂性。在一个实施方案中，服务器处理模块经由服务器应用执行大部分处理。这允许例如图形处理器、RAM和通用处理器等相对昂贵的组件居中定位且减少游戏客户端的成本。经处理器的服务器应用数据经由因特网发送回到对应的游戏客户端以在监视器上显示。
场景C说明可由游戏客户端和服务器处理模块执行的示范性应用。举例来说，在一个实施方案中，游戏客户端1102C允许用户C产生和检视包含用户A、用户B、用户D和用户E的好友列表1120。如图所示，在场景C中，用户C能够在监视器1104C上查看相应用户的实时图像或头像。服务器处理执行游戏客户端1102C的相应应用，且利用用户A、用户B、用户D和用户E的相应游戏客户端1102。因为服务器处理意识到应用正由游戏客户端B执行，所以用户A的好友列表可指示用户B正玩哪一游戏。此外，在一个实施方案中，用户A可在直接来自用户B的游戏视频中实际检视。这通过除游戏客户端B外仅将用户B的经处理服务器应用数据发送到游戏客户端A而实现。
除了能够检视来自好友的视频外，通信应用还可允许好友之间的实时通信。如应用于先前实施例，这允许用户A提供鼓励或提示，同时实时观看用户B的视频。在一个实施方案中，经由客户端/服务器应用建立双向实时语音通信。在另一实施方案中，客户端/服务器应用实现文本聊天。在又一实施方案中，客户端/服务器应用将语音转换为文本以供在好友的屏幕上显示。
场景D和场景E分别说明相应用户D和用户E与游戏控制台1110D和1110E交互。每一游戏控制台1110D和1110E连接至服务器处理模块，且说明其中服务器处理模块针对游戏控制台和游戏客户端两者协调游戏进程的网络。
图11说明信息服务提供者架构的实施方案。信息服务提供者(ISP)1370将大量信息服务提供至地理上分散且经由网络1386连接的用户1382。ISP可递送仅一种类型的服务，例如股票价格更新；或多种服务，例如广播媒体、新闻、体育、游戏等。另外，每一ISP提供的服务为动态的，即可在任何时间点添加或删除服务。因此，向特定个体提供特定类型的服务的ISP可随时间改变。举例来说，当用户在她的家乡时用户可由在用户附近的ISP服务，且当用户旅行到不同城市时用户可由不同ISP服务。家乡ISP将把所需信息和数据传递到新ISP，使得用户信息“跟随”用户到达新城市，从而使所述数据更贴近用户且更容易存取。在另一实施方案中，可在管理用户的信息的主ISP与在来自主ISP的控制下直接与用户介接的服务器ISP之间建立主-服务器关系。在其它实施方案中，随着客户端在世界各地移动，数据从一个ISP传递到另一ISP以使处于为用户服务的较好位置的ISP成为递送这些服务的ISP。
ISP 1370包含应用服务提供者(ASP)1372，其经由网络将基于计算机的服务提供给消费者。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供对特定应用程序(例如，消费者关系管理)的存取的一种简单方式通过使用例如HTTP等标准协议。应用软件驻留在卖主系统上且由用户经由网络浏览器使用HTML、通过卖主提供的专用客户端软件，或例如瘦客户端等其它远程接口存取。
在广地理区域上递送的服务通常使用云计算。云计算是其中在因特网上提供动态可缩放且通常虚拟化资源作为服务的一种形式的计算。用户不需要是支持其的“云”中的技术基础结构领域的专家。云计算可划分为不同服务，例如基础结构即服务(IaaS)、平台即服务(PaaS)，以及软件即服务(SaaS)。云计算服务通常提供从网络浏览器存取的在线常见商业应用，而软件和数据存储在服务器上。基于因特网在计算机网络图中如何描绘，术语“云”用作因特网的隐喻，且是其掩盖的复杂基础结构的抽象化。
此外，ISP 1370包含游戏处理服务器(GPS)1374，其由游戏客户端使用以进行单一和多玩家视频游戏。因特网上进行的大多数视频游戏经由到游戏服务器的连接操作。通常，游戏使用专门服务器应用，其从玩家收集数据且将其分配给其他玩家。这比对等布置有效且高效，但其需要单独的服务器来代管服务器应用。在另一实施方案中，GPS在玩家与其相应游戏装置之间建立通信，交换信息，而不依赖于中央GPS。
专门GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专门硬件上运行，从而提供更多带宽和专门处理功率。专门服务器是代管大多数基于PC的多玩家游戏的游戏服务器的优选方法。大规模多玩家在线游戏在通常由拥有游戏名称的软件公司代管的专门服务器上运行，从而允许其控制和更新内容。
广播处理服务器(BPS)1376将音频或视频信号分配给观众。到极窄范围的观众的广播有时称为窄播。广播分配的最后一步是信号如何到达听众或检视者，且其可与广播电台或TV台一样在空中到达天线或接收器，或可经由所述台或直接从网络穿过有线TV或有线广播(或“无线电缆”)。因特网也可将广播或TV带给接收方，尤其利用多播，从而允许共享信号和带宽。历史上，广播已由地理区限定，例如国家广播或地区广播。然而，随着快速因特网的增长，广播不受地理位置界定，因为内容可到达几乎世界上任何国家。
存储服务提供者(SSP)1378提供计算机存储空间和相关管理服务。SSP还提供周期性备份和归档。通过提供存储即服务，用户可视需要预订更多存储。另一主要优点是，SSP包含备份服务，且在用户的计算机硬盘驱动器发生故障的情况下用户将不会丢失其全部数据。此外，多个SSP可具有用户数据的全部或部分副本，从而允许用户独立于用户所处位置或正用于存取数据的装置以高效方式存取数据。举例来说，用户可在家庭计算机中以及当用户在移动中时在移动电话中存取个人文件。
通信提供者380提供至用户的连接性。一种通信提供者是提供至因特网的接入的因特网服务提供者(ISP)。ISP使用适于递送因特网协议数据报的数据发射技术(例如，拨号、DSL、电缆调制解调器、无线或专门高速互连)连接其消费者。通信提供者还可提供消息收发服务，例如电子邮件、即时消息收发和SMS文本发送。另一类型的通信提供者是网络服务提供者(NSP)，其通过提供至因特网的直接主干接入而销售带宽或网络接入。网络服务提供者可由电信公司、数据运营商、无线通信提供者、因特网服务提供者、提供高速因特网接入的有线电视运营商等组成。
数据交换1388将ISP 1370内部的若干模块互连且经由网络1386将这些模块连接至用户1382。数据交换1388可覆盖其中ISP 1370的所有模块在附近的小区域，或可覆盖不同模块在地理上分散的大地理区域。举例来说，数据交换1388可包含数据中心的柜内的快速千兆以太网(或更快)，或洲际虚拟区域网络(VLAN)。
用户1382利用客户端装置1384存取远程服务，客户端装置1384包含至少CPU、显示器和I/O。客户端装置可为PC、移动电话、上网本、PDA等。在一个实施方案中，ISP 1370辨识客户端使用的装置的类型且调整所采用的通信方法。在其它情况下，客户端装置使用标准通信方法(例如,html)来接入ISP 1370。
本发明的实施方案可以各种计算机系统配置实践，包含手持式装置、微处理器系统、基于微处理器或可编程消费者电子设备、小型计算机、大型计算机等。本发明还可在分布式计算环境中实践，其中由经由基于电线的网络或无线网络链接的远程处理装置执行任务。
记住以上实施方案，应了解，本发明可采用涉及存储在计算机系统中的数据的各种计算机实施的运算。这些运算是需要对物理量的物理操纵的运算。形成本发明的一部分的本文描述的运算的任一者是有用的机器运算。本发明还涉及一种用于执行这些运算的装置或设备。所述设备可针对所需目的特别构造，或所述设备可为由存储在计算机中的计算机程序选择性激活或配置的通用计算机。特定来说，各种通用机器可与根据本文的教示编写的计算机程序一起使用，或者更为便利的是构造更专门化的设备来执行所需运算。
本发明还可实施为计算机可读媒体上的计算机可读代码。计算机可读媒体是可存储数据的任何数据存储装置，所述数据可随后由计算机系统读取。计算机可读媒体的实施例包含硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带，以及其它光学和非光学数据存储装置。计算机可读媒体可包含计算机可读有形媒体，其分布在网络耦合的计算机系统上使得计算机可读代码以分布方式存储和执行。
尽管以特定次序描述方法操作，但应了解，可在操作之间执行其它内务操作，或操作可经调整使得其在稍许不同时间发生，或可在允许以与处理相关联的各种时间间隔发生处理操作的系统中分布，只要叠加操作的处理以所要方式执行即可。
尽管已出于理解的清晰的目的相当详细地描述了以上发明，但将了解，可在所附权利要求书内实践特定改变和修改。因此，当前实施方案应视为说明性而非限制性的，且本发明不限于本文给出的细节，而是可在所附权利要求书的范围和等效形式内作出修改。

Claims (17)

1.一种用于将输入提供至交互式应用中的图像俘获装置，其包括：
外壳；
第一相机，其沿着所述外壳的前表面界定；
第一相机控制器，其经配置以控制所述第一相机在第一曝光设定下在用户交互期间俘获交互式环境的图像，来自所述第一相机的所俘获图像经分析以检测所述交互式环境的动态范围以及识别并跟踪用户；
第二相机，其沿着所述外壳的所述前表面界定；
第二相机控制器，其经配置以控制所述第二相机在低于所述第一曝光设定的第二曝光设定下在所述用户交互期间俘获所述交互式环境的图像，来自所述第二相机的所述所俘获图像经分析以识别并跟踪所述交互式环境中的被照明对象，并且所述被照明对象属于用于将输入提供至所述交互式应用的控制器，
其中使用检测到的所述交互式环境的动态范围调节被照明对象的光强度，以便在所述交互式环境中的最明亮对象当中，并且所述第二曝光设定为将所述交互式环境中的至少一些剩余部分从由所述第二相机所俘获的图像排除、而不排除所述被照明对象的值。
2.如权利要求1所述的图像俘获装置，其中识别并跟踪所述用户包含识别并跟踪所述用户的面部。
3.如权利要求1所述的图像俘获装置，其中所述第一相机和所述第二相机沿着所述外壳的所述前表面水平对准。
4.如权利要求1所述的图像俘获装置，其进一步包括用于从所述交互式环境俘获声音的麦克风阵列。
5.如权利要求1所述的图像俘获装置，其中所述第一相机控制器经配置以控制所述第一相机在所述用户交互之前俘获所述交互式环境的图像，所述在所述用户交互之前俘获的图像经分析以确定所述第一曝光设定。
6.如权利要求1所述的图像俘获装置，其中所述第二相机控制器经配置以控制所述第二相机在所述用户交互之前俘获所述交互式环境的图像，所述在所述用户交互之前俘获的图像经分析以确定所述第二曝光设定。
7.一种用于促进与交互式应用的交互的系统，其包括：
图像俘获装置，所述图像俘获装置包含：第一相机、第二相机、经配置以控制所述第一相机在第一曝光设定下在用户交互期间俘获交互式环境的图像的第一相机控制器，以及经配置以控制所述第二相机在低于所述第一曝光设定的第二曝光设定下在所述用户交互期间俘获所述交互式环境的图像的第二相机控制器；
计算装置，其连接至所述图像俘获装置，所述计算装置经配置以执行所述交互式应用，所述计算装置经配置以分析来自所述第一相机的所俘获图像，以检测所述交互式环境的动态范围以及识别并跟踪所述交互式环境中的用户；所述计算装置经配置以分析来自所述第二相机的所述所俘获图像以识别并跟踪所述交互式环境中的被照明对象，并且所述被照明对象属于用于将输入提供至所述交互式应用的控制器，
其中使用检测到的所述交互式环境的动态范围调节被照明对象的光强度，以便在所述交互式环境中的最明亮对象当中，并且所述第二曝光设定为将所述交互式环境中的至少一些剩余部分从由所述第二相机所俘获的图像排除、而不排除所述被照明对象的值。
8.如权利要求7所述的系统，其中识别并跟踪所述用户包含识别并跟踪所述用户的面部。
9.如权利要求7所述的系统，其中所述第一相机和所述第二相机沿着所述外壳的所述前表面水平对准。
10.如权利要求7所述的系统，其进一步包括用于从所述交互式环境俘获声音的麦克风阵列。
11.如权利要求7所述的系统，其中所述第一相机控制器经配置以控制所述第一相机在所述用户交互之前俘获所述交互式环境的图像，所述在所述用户交互之前俘获的图像经分析以确定所述第一曝光设定。
12.如权利要求7所述的系统，其中所述第二相机控制器经配置以控制所述第二相机在所述用户交互之前俘获所述交互式环境的图像，所述在所述用户交互之前俘获的图像经分析以确定所述第二曝光设定。
13.一种用于与交互式应用的交互的方法，其包括：
在第一曝光设定下在用户交互期间俘获来自交互式环境的图像；
分析在所述第一曝光设定下俘获的所述图像以检测所述交互式环境的动态范围以及识别并跟踪用户；
在低于所述第一曝光设定的第二曝光设定下在所述用户交互期间俘获来自所述交互式环境的图像；
分析在所述第二曝光设定下俘获的所述图像以识别并跟踪所述交互式环境中的被照明对象，并且所述被照明对象属于用于将输入提供至所述交互式应用的控制器，
其中使用检测到的所述交互式环境的动态范围调节被照明对象的光强度，以便在所述交互式环境中的最明亮对象当中，并且所述第二曝光设定为将所述交互式环境中的至少一些剩余部分从由所述第二相机所俘获的图像排除、而不排除所述被照明对象的值。
14.如权利要求13所述的方法，其中识别并跟踪所述用户包含识别并跟踪所述用户的面部。
15.如权利要求13所述的方法，其进一步包括分析在所述第一曝光设定下俘获的所述图像以识别并跟踪AR标签。
16.如权利要求13所述的方法，其进一步包括从所述交互式环境俘获声音。
17.如权利要求13所述的方法，其进一步包括，
在所述用户交互之前俘获所述交互式环境的图像；以及
分析在所述用户交互之前俘获的所述图像以确定所述第一曝光设定或所述第二曝光设定中的一或多者。
CN201380029636.2A 2012-06-04 2013-06-04 多图像交互式游戏装置 Active CN104363970B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261655459P 2012-06-04 2012-06-04
US61/655,459 2012-06-04
US13/842,573 US9724597B2 (en) 2012-06-04 2013-03-15 Multi-image interactive gaming device
US13/842,872 US10150028B2 (en) 2012-06-04 2013-03-15 Managing controller pairing in a multiplayer game
US13/842,872 2013-03-15
US13/842,573 2013-03-15
PCT/IB2013/001882 WO2013182914A2 (en) 2012-06-04 2013-06-04 Multi-image interactive gaming device

Publications (2)

Publication Number Publication Date
CN104363970A CN104363970A (zh) 2015-02-18
CN104363970B true CN104363970B (zh) 2020-02-11

Family

ID=49670903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029636.2A Active CN104363970B (zh) 2012-06-04 2013-06-04 多图像交互式游戏装置

Country Status (6)

Country Link
US (4) US9724597B2 (zh)
EP (2) EP2858728B1 (zh)
JP (2) JP6039796B2 (zh)
KR (1) KR101922058B1 (zh)
CN (1) CN104363970B (zh)
WO (1) WO2013182914A2 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342516B2 (en) * 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
TWI479362B (zh) * 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US9389765B2 (en) * 2013-03-12 2016-07-12 Google Inc. Generating an image stream
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US9579567B2 (en) * 2013-06-03 2017-02-28 Microsoft Technology Licensing, Llc Managing controller pairings
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
TWI504292B (zh) * 2013-06-19 2015-10-11 D Link Corp Network camera with network repeater function and its setting method
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
US9937415B1 (en) 2013-12-17 2018-04-10 Amazon Technologies, Inc. Virtual controller for touchscreen
US9277056B2 (en) * 2014-01-07 2016-03-01 Crestron Electronics Inc. Conference room audio/video cable interface device
JP5878938B2 (ja) * 2014-01-29 2016-03-08 株式会社ソニー・コンピュータエンタテインメント 配信システム、配信方法、配信プログラム
USD821183S1 (en) 2014-06-12 2018-06-26 Crestron Electronics, Inc. Cable management hub
USD788777S1 (en) 2014-06-12 2017-06-06 Crestron Electronics Inc. Cable management hub
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
CN105138123B (zh) * 2015-08-24 2018-10-26 小米科技有限责任公司 设备控制方法及装置
US10076711B2 (en) 2015-09-15 2018-09-18 Square Enix Holdings Co., Ltd. Remote rendering server with broadcaster
JP2017183825A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
CN105892665B (zh) * 2016-03-31 2019-02-05 联想(北京)有限公司 信息处理方法及电子设备
CN109314741A (zh) * 2016-06-01 2019-02-05 夏普株式会社 摄像处理装置、电子设备、摄像处理方法、摄像处理装置控制程序
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
US10338695B1 (en) * 2017-07-26 2019-07-02 Ming Chuan University Augmented reality edugaming interaction method
US11599192B2 (en) * 2018-04-26 2023-03-07 Sony Interactive Entertainment Inc. Image presentation apparatus, image presentation method, recording medium, and program
SG10201804153SA (en) * 2018-05-16 2018-11-29 Voyager Innovations Inc System and method for determining an outcome associated with an event
US10868950B2 (en) * 2018-12-12 2020-12-15 Karl Storz Imaging, Inc. Systems and methods for operating video medical scopes using a virtual camera control unit
US11474620B2 (en) * 2019-03-01 2022-10-18 Sony Interactive Entertainment Inc. Controller inversion detection for context switching
US20210208673A1 (en) * 2020-01-03 2021-07-08 Facebook Technologies, Llc Joint infrared and visible light visual-inertial object tracking
JP7513564B2 (ja) 2021-04-13 2024-07-09 株式会社ソニー・インタラクティブエンタテインメント システム、情報処理方法および情報処理プログラム
US11790627B2 (en) * 2022-01-20 2023-10-17 Lenovo Global Technology (United States) Inc. Using an object key to deprioritize processing of relative regions
US20230398435A1 (en) * 2022-05-27 2023-12-14 Sony Interactive Entertainment LLC Methods and systems for dynamically adjusting sound based on detected objects entering interaction zone of user
US20240001223A1 (en) * 2022-07-01 2024-01-04 Sony Interactive Entertainment Inc. Virtual reality/augmented reality systems configurable with multiple types of controllers
WO2024085368A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 장치 및 그 동작 방법

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5354063A (en) * 1992-12-04 1994-10-11 Virtual Golf, Inc. Double position golf simulator
US5574511A (en) * 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US6270413B1 (en) * 1996-07-03 2001-08-07 Sega Enterprises, Ltd. Display method for games displays
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US7657910B1 (en) * 1999-07-26 2010-02-02 E-Cast Inc. Distributed electronic entertainment method and apparatus
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method
JP2001334064A (ja) 2000-05-29 2001-12-04 Oki Electric Ind Co Ltd 遊技システム
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
JP2004223110A (ja) * 2003-01-27 2004-08-12 Nintendo Co Ltd ゲーム装置、ゲームシステムおよびゲームプログラム
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
JP4130820B2 (ja) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
US7351148B1 (en) * 2004-09-15 2008-04-01 Hasbro, Inc. Electronic sequence matching game and method of game play using same
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
JP4849829B2 (ja) 2005-05-15 2012-01-11 株式会社ソニー・コンピュータエンタテインメント センタ装置
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
US8147332B2 (en) * 2005-10-21 2012-04-03 Broadcom Corporation Method of indicating the ordinal number of a player in a wireless gaming system
EP2293172A3 (en) * 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing and computer program
JP4798705B2 (ja) 2006-03-23 2011-10-19 任天堂株式会社 位置算出装置、位置算出プログラム、ゲーム装置、およびゲームプログラム
JP4781181B2 (ja) * 2006-07-07 2011-09-28 株式会社ソニー・コンピュータエンタテインメント ユーザインタフェースプログラム、装置および方法、情報処理システム
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP4142073B2 (ja) * 2006-10-13 2008-08-27 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
JP4925817B2 (ja) 2006-12-28 2012-05-09 株式会社コナミデジタルエンタテインメント シューティング玩具
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
JP5042651B2 (ja) 2007-01-31 2012-10-03 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
KR101378880B1 (ko) * 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
CN101970068A (zh) 2007-11-15 2011-02-09 尔格瓦克斯有限责任公司 马达驱动游戏控制器
US8539357B2 (en) 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
WO2009069831A1 (en) * 2007-11-29 2009-06-04 Kabushiki Kaisha Toshiba Picture processing method and picture processing apparatus
US8535130B2 (en) * 2008-02-14 2013-09-17 Peter Ciarrocchi Amusement pod entertainment center
US9167071B2 (en) * 2008-06-24 2015-10-20 Sony Computer Entertainment Inc. Wireless device multimedia feed switching
US8620213B2 (en) * 2009-12-24 2013-12-31 Sony Computer Entertainment Inc. Wireless device pairing methods
US8913176B2 (en) * 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101541561B1 (ko) * 2008-09-29 2015-08-03 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
US8221229B2 (en) * 2008-10-27 2012-07-17 Sony Computer Entertainment Inc. Spherical ended controller with configurable modes
CN103337111B (zh) * 2008-10-27 2016-04-27 索尼电脑娱乐公司 用于传送视觉信息的控制设备
JP4911165B2 (ja) * 2008-12-12 2012-04-04 カシオ計算機株式会社 撮像装置、顔検出方法及びプログラム
AU2008264197B2 (en) * 2008-12-24 2012-09-13 Canon Kabushiki Kaisha Image selection method
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
CN102422306B (zh) * 2009-04-08 2015-09-09 高通股份有限公司 增强型手持式屏幕感测指针
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8953029B2 (en) * 2009-05-08 2015-02-10 Sony Computer Entertainment America Llc Portable device interaction via motion sensitive controller
US20100303297A1 (en) * 2009-05-30 2010-12-02 Anton Mikhailov Color calibration for object tracking
US20100332229A1 (en) * 2009-06-30 2010-12-30 Sony Corporation Apparatus control based on visual lip share recognition
EP2327460B1 (en) * 2009-07-24 2022-01-12 Nintendo Co., Ltd. Game system and controller
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8860875B2 (en) * 2009-12-01 2014-10-14 Panasonic Intellectual Property Corporation Of America Imaging device for recognition and method of controlling the same
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US9106086B2 (en) 2010-03-11 2015-08-11 Qualcomm Incorporated Detection and protection of devices within a wireless power system
US8405736B2 (en) * 2010-04-07 2013-03-26 Apple Inc. Face detection using orientation sensor data
EP2590396B1 (en) * 2010-07-02 2018-08-08 Sony Interactive Entertainment Inc. Information processing system and information processing method
JP5058316B2 (ja) 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
JP5625643B2 (ja) * 2010-09-07 2014-11-19 ソニー株式会社 情報処理装置、および情報処理方法
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8640021B2 (en) 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
KR20120068253A (ko) 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8672754B2 (en) * 2011-02-23 2014-03-18 Disney Enterprises, Inc. System and method for number of players determined using facial recognition
US9129181B1 (en) * 2011-03-03 2015-09-08 Vaidhi Nathan Object detection, location, and/or tracking with camera and lighting system
US9317111B2 (en) * 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US20130102387A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Calculating metabolic equivalence with a computing device
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
US9162144B2 (en) * 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
US9342139B2 (en) * 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
KR101885295B1 (ko) * 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
US8984622B1 (en) * 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
US20130182079A1 (en) * 2012-01-17 2013-07-18 Ocuspec Motion capture using cross-sections of an object
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9092675B2 (en) * 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9754154B2 (en) * 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data

Also Published As

Publication number Publication date
US20130324244A1 (en) 2013-12-05
US10150028B2 (en) 2018-12-11
US20190262699A1 (en) 2019-08-29
JP6448603B2 (ja) 2019-01-09
US11065532B2 (en) 2021-07-20
US9724597B2 (en) 2017-08-08
US20170333786A1 (en) 2017-11-23
EP3072563A1 (en) 2016-09-28
WO2013182914A3 (en) 2014-07-17
EP2858728B1 (en) 2016-08-17
KR101922058B1 (ko) 2019-02-20
EP3072563B1 (en) 2018-08-15
JP6039796B2 (ja) 2016-12-07
CN104363970A (zh) 2015-02-18
JP2015527627A (ja) 2015-09-17
JP2017047251A (ja) 2017-03-09
WO2013182914A2 (en) 2013-12-12
US20130324243A1 (en) 2013-12-05
US10315105B2 (en) 2019-06-11
EP2858728A2 (en) 2015-04-15
KR20150024385A (ko) 2015-03-06

Similar Documents

Publication Publication Date Title
US11065532B2 (en) Split-screen presentation based on user location and controller location
US10610778B2 (en) Gaming controller
US8870654B2 (en) Gaming controller
CN107362532B (zh) 视频游戏的方向输入
TWI565504B (zh) 遊戲控制器
US11771981B2 (en) Sharing buffered gameplay in response to an input request

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant