JP2011019917A - アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法 - Google Patents

アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法 Download PDF

Info

Publication number
JP2011019917A
JP2011019917A JP2010161283A JP2010161283A JP2011019917A JP 2011019917 A JP2011019917 A JP 2011019917A JP 2010161283 A JP2010161283 A JP 2010161283A JP 2010161283 A JP2010161283 A JP 2010161283A JP 2011019917 A JP2011019917 A JP 2011019917A
Authority
JP
Japan
Prior art keywords
frame
video
user
game
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010161283A
Other languages
English (en)
Other versions
JP5967343B2 (ja
Inventor
Gary M Zalewski
エム ザレウスキー ゲイリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of JP2011019917A publication Critical patent/JP2011019917A/ja
Application granted granted Critical
Publication of JP5967343B2 publication Critical patent/JP5967343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/403Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being monoscopic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/008Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Liquid Crystal (AREA)

Abstract

【課題】表示装置を調整するための装置が提供される。
【解決手段】
装置は、フレームを含む。フレームは、(a)1組のシャッターレンズ、(b)フレームに結合された光源、及び(b)シャッターレンズの組及びフレームに結合された光源を制御するための、フレームに設けられた回路を含む。回路は、シャッターレンズと表示装置との同期を可能とするために表示装置と通信可能に構成される。光は、フレームの表示装置に対する相対位置を決定するために分析され、位置は、フレームの位置から見たときの表示出力の調整のために用いられる。
【選択図】図1

Description

本発明は、例えばテレビジョン又はビデオのモニタ、コンピュータモニタ、又はゲームシステムのディスプレーとして用いられる表示装置を組み込んだシステムに関する。
現在、ほとんどのディスプレーは、そのディスプレーを見ている全ての人に、一つのビデオ、テレビ番組、ゲームなどを提供することしかできない。例えば、あるビデオゲームの全てのプレイヤーは、モニタ上の同一の画像を見ることになり、その結果、ヘッドマウントモニタなどの、より複雑でより高価なディスプレーを用いなければ、異なるプレイヤーに異なる視覚情報を提供することはできない。
同様に、1以上のテレビ番組、ゲーム、又はビデオを同時に提供可能な現在のディスプレーは、例えば、表示画面の画像を分割することにより、又は、画像内に画像を提供するなどにより、全ての視聴者が、表示されるテレビ番組、ゲーム、又はビデオのそれぞれからの画像を見ることを要求する。その上、このようなテレビ番組、ゲーム、又はビデオのうちの一つの音声しか聴くことができない。
したがって、同一のディスプレーを利用する2以上の視聴者のそれぞれに、それぞれの視聴者が他の視聴者に向けられた画像をも見る必要がないような形で、ディスプレー上の異なる画像を提供することが可能な「画面共有」システムの提供が求められる。また、他のユーザと画面を「共有」するそれぞれのユーザに、そのユーザが見ている画像又はコンテンツに関連づけられた音声部分を受信する機能を提供するように構成されうるシステムの提供が求められる。
表示画面を調整するための装置が提供される。装置は、フレームを含む。フレームは、(a)1組のシャッターレンズ、(b)フレームに結合された光源、及び(b)シャッターレンズの組及びフレームに結合された光源を制御するための、フレームに設けられた回路を含む。回路は、シャッターレンズと表示装置との同期を可能とするために表示装置と通信可能に構成される。光は、フレームの表示装置に対する相対位置を決定するために分析され、位置は、フレームの位置から見たときの表示出力の調整のために用いられる。
本発明は、さらに、ディスプレーが、少なくとも2つのビデオフィードからの画像を交互に表示し、同期されたシャッター付きフィルタ装置が、ビデオフィードのうち一つからの画像を見ることだけを可能とするために用いられるシステムを提供する。「ビデオフィード」は、任意のビデオコンテンツ、ビデオストリーム、チャンネル、ゲーム出力、ケーブルチャンネル、民生用電子機器からのビデオ出力、DVR、DVDプレイヤー、動画、左視差映像、右視差映像などとして表現されてもよい。「ビデオフィード」は、単一又は複数のチャンネルから入手されてもよい。ビデオフィードは、1以上の物理ケーブル、1以上の内部バス、又はビデオ画像の入手手段となる任意の既知の手段などを介して入手されてもよい。
表示画面を調整するための装置が提供される。装置は、フレームを含む。フレームは、(a)1組のシャッターレンズ、(b)フレームに結合された光源、及び(b)シャッターレンズの組及びフレームに結合された光源を制御するための、フレームに設けられた回路を含む。回路は、シャッターレンズと表示装置との同期を可能とするために表示装置と通信可能に構成される。光は、フレームの表示装置に対する相対位置を決定するために分析され、位置は、フレームの位置から見たときの表示出力の調整のために用いられる。
ここでいう「画面共有」は、一般に、それぞれのユーザの番組の視聴を調整するためのシャッター眼鏡を着用して、全画面範囲を用いた単一のテレビジョンディスプレー上で、単一のユーザが3Dコンテンツを見る、又は、複数のユーザが同時に番組を見ることができる時分割方式のことを指してもよい。
本発明の態様によれば、それぞれのビデオフィードは、共通のディスプレーを使用する少なくとも2人の視聴者に提供される。ディスプレーは、第1のビデオフィードからの画像と第2のビデオフィードからの画像とを交互に表示するよう制御される。第1のシャッター付きフィルタは、第2のビデオフィードの画像が表示されるときに第1のフィルタが閉じられるように表示に同期され、第2のシャッター付きフィルタは、第1のビデオフィードの画像が表示されるときに第2のフィルタが閉じられるように表示に同期される。その結果、第1のシャッター付きフィルタを使用する第1の視聴者には第1のビデオフィードの画像のみが提供され、第2のシャッター付きフィルタを使用する第2の視聴者には第2のビデオフィードの画像のみが提供される。
本発明は、2人のプレイヤーが画面を分割するゲームの問題を解決するために適用されうる。従来のゲームでは、画面が2つの部分に分割され、プレイヤーは隣同士に座って、画面の半分をそれぞれ占有する双方のプレイヤーの視点を含む一つの画面を見ながら、ゲームをプレーしていた。本発明は、双方のプレイヤーが、それぞれのゲーム視点で全画面範囲を見ることが可能に構成されうる。本発明によれば、あるプレイヤーは他のプレイヤーの視点を画面上で見る必要がないので、注意散漫になることを低減することができる。したがって、本発明の別の態様によれば、共通のディスプレーを用いて、少なくとも2人のプレイヤーにビデオゲームが提供される。ディスプレーは、ビデオゲームの第1の視点による全画面の画像と、ビデオゲームの第2の視点による全画面の画像とを交互に表示するよう制御される。第1のLCDシャッター眼鏡は、第1のLCDシャッター眼鏡を使用する第1のプレイヤーが第1の視点のみからのビデオゲームを見ながらビデオゲームをプレーすることを可能とするようにディスプレーに同期される。第2のLCDシャッター眼鏡は、第2のLCDシャッター眼鏡を使用する第2のプレイヤーが第2の視点のみからのビデオゲームを見ながらビデオゲームをプレーすることを可能とするようにディスプレーに同期される。
本発明の更なる態様によれば、同一のディスプレーを用いて、ビデオゲームが第1の視聴者に提供されると同時に、ビデオプログラムが第2の視聴者に提供される。ディスプレーは、ビデオゲームからの画像とビデオプログラムからの画像とを交互に表示するよう制御される。第1のLCDシャッター付き眼鏡は、第1のLCDシャッター付き眼鏡を使用する第1の視聴者がビデオゲームのみをプレーできるように、ディスプレーに同期される。第2のLCDシャッター付き眼鏡は、第2のLCDシャッター付き眼鏡を使用する第2の視聴者がビデオプログラムのみを見ることができるように、ディスプレーに同期される。
上述した本発明の態様、特徴及び効果は、以下の詳細な説明及び添付図面を参照することによって、更に理解されよう。
本発明の態様にしたがって動作するLCDシャッター付き眼鏡及び関連するディスプレーの例を示す図である。 図1のディスプレーにより表示されるフレームのシーケンスと、本発明の態様に係るLCDシャッター眼鏡のそれぞれの着用者により見られるフレームとを示す図である。 本発明の態様に係るシステムの様々な実施例を示す図である。 本発明の態様にしたがって同じ画面上の異なる音声/映像を視聴する人々を示す図である。 本発明の態様に係る眼鏡及びヘッドフォンの等角図である。 本発明の態様に係る眼鏡のシステム図である。 本発明の態様にしたがって、テレビジョン又はモニタ及び複数の入力と通信する、画面共有装置のシステム図である。 セットトップボックス及びゲームコンソールにそれぞれ含まれる画面共有装置のシステム図である。 本発明の態様にしたがって複数のユーザに同時に提供される音声/映像コンテンツの機能図である。 本発明の態様にしたがって複数のユーザに同時に提供される音声/映像コンテンツの機能図である。 本発明の態様にしたがってユーザに提供される3次元コンテンツの機能図である。 本発明の態様にしたがって複数のユーザに提供される異なるゲームコンテンツの機能図である。 本発明の態様にしたがって複数のユーザに提供される異なるテレビジョンチャンネルの機能図である。 本発明の態様にしたがって複数のユーザに提供される異なる音声/映像コンテンツの機能図である。 本発明の態様にしたがって複数のユーザに提供されるゲーム及びテレビジョン音声/映像コンテンツの機能図である。 本発明の態様にしたがって複数のユーザに提供されるゲーム及びテレビジョン音声/映像コンテンツの機能図である。 本発明の態様にしたがってそれぞれのユーザの視点からの3次元映像としてユーザに提供される同じゲームからのゲームコンテンツの機能図である。 本発明の態様にしたがってユーザに3次元で提供されるゲームコンテンツと、異なるユーザに3次元で提供される映画(又は他の音声/映像コンテンツ)の機能図である。 本発明の態様にしたがってユーザに3次元で提供されるゲームコンテンツと、異なるユーザに2次元で提供される映画(又は他の音声/映像コンテンツ)の機能図である。 シャッター付きLCD眼鏡を用いた追跡装置及び方法の実施例を示す図である。 シャッター付きLCD眼鏡を用いた追跡装置及び方法の実施例を示す図である。 追跡のための光源を有する眼鏡の例を示す図である。 シャッターレンズの追跡と、更なる位置及び方向を提供するために眼鏡に設けられたカメラの例を示す図である。 本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。 本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。 本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。 本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。 本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。 ユーザが部屋を動き回り、視差映像の調整における画面表示の調整のために提供されるためにユーザの位置が検出される例を示す図である。 ユーザが部屋を動き回り、視差映像の調整における画面表示の調整のために提供されるためにユーザの位置が検出される例を示す図である。 本発明の一実施例にしたがって、コントローラの位置を決定するために用いられるハードウェア及びユーザインタフェースを示す図である。 本発明の一実施例にしたがって、命令を実行するために用いられる更なるハードウェアを示す図である。 本発明の一実施例にしたがって、インターネットを介してサーバ処理に接続されたゲームクライアントと相互作用するユーザAからユーザEに関連するシーンAからシーンEの例を示す図である。
本発明は、シャッターが付けられた液晶(LCD)眼鏡が用いられる様々な実施の形態を提供する。実施の形態は、それぞれの視聴者がその視聴者に向けられたビデオフィードからの画像のみを見ることが可能な方法で、2以上の視聴者に対してそれぞれのビデオフィードを表示するために、単一のモニタを用いることを可能とする。本発明は、それぞれの視聴者が、そのビデオフィードに関連づけられた音声のみを聞くことも可能とする。実施の形態は、眼鏡の追跡によるユーザの追跡も提供する。眼鏡が追跡されると、追跡情報を視差の調整及び最適化を実行するために用いることができ、ユーザの位置に基づいて表示画面がユーザのために最適化される。
1.フィルタリングの開閉
図1は、本発明の実施例を示す。本実施例においては、フレームA、B、C、・・・から構成される第1のビデオフィードと、フレーム1、2、3、・・・から構成される第2のビデオフィードが同一のモニタに表示される。モニタは、それぞれのビデオフィードからの画像を交互に表示する。その結果、図2の上部に示すように、表示される画像の順は、A、1、B、2、C、3、・・・となる。
第1のシャッター付きフィルタ、例えば、図1に示す2組のLCDシャッター眼鏡のうちの左側は、第1のビデオフィードのフレームに同期される。第1のシャッター付きフィルタは、モニタに第1のビデオフィードのフレームが表示されるときに開かれ、モニタに第2のビデオフィードのフレームが表示されるときに閉じられる。したがって、左側のLCDシャッター眼鏡を着用するなどにより、第1のシャッター付きフィルタを通してモニタを見る人は、図2の左下部分に示すように、第2のビデオフィードのフレームを見ることなく、第1のビデオフィードのフレームのみを見ることになる。
第2のシャッター付きフィルタ、例えば、図1に示す2組のLCDシャッター眼鏡のうちの右側は、第2のビデオフィードのフレームに同期される。第2のシャッター付きフィルタは、モニタに第2のビデオフィードのフレームが表示されるときに開かれ、モニタに第1のビデオフィードのフレームが表示されるときに閉じられる。したがって、右側のLCDシャッター眼鏡を着用するなどにより、第2のシャッター付きフィルタを通してモニタを見る人は、図2の右下部分に示すように、第1のビデオフィードのフレームを見ることなく、第2のビデオフィードのフレームのみを見ることになる。
LCDシャッター眼鏡のレンズは、眼鏡の着用者が、表示される複数のビデオフィードのうちの一つからの画像を見ることを可能とするために、そのビデオフィードからの画像に同期され、双方が同時に開閉することが好ましい。
それぞれの視聴者に、その視聴者に提供されるビデオフィードのための音声信号のみを発するスピーカが提供されてもよい。第1のビデオフィードに関連する第1の音声信号は第1のビデオフィードの視聴者に提供され、第2のビデオフィードに関連する第2の音声信号は第2のビデオフィードの視聴者に提供される。例えば、図1及び図2に示したそれぞれの液晶シャッター眼鏡に、着用者が、その着用者により見られているビデオフィードのための音声を、他のビデオフィードの視聴者に提供される音声から干渉されないように聴くことが可能なヘッドフォン又はイヤフォンが設けられてもよい。
本発明の態様に係る眼鏡501は、図5に示される。眼鏡は、左側LCD眼鏡レンズ510及び右側LCD眼鏡レンズ512を保持するためのフレーム505を含んでもよい。上述したように、それぞれの眼鏡レンズ510及び512は、着用者がレンズを通して見ることを妨げるために、高速かつ選択的に閉じられうる。左側及び右側のイヤフォン530及び532がフレーム505に接続されることが好ましい。無線情報を送信及び受信するためのアンテナ520が、フレーム505に設けられてもよい。眼鏡は、眼鏡が画面の方を向いているか否かを決定するために、任意の手段により追跡されてもよい。例えば、眼鏡の前面に、モニタに対する眼鏡の向きを検出するための1以上の光検出器540が設けられてもよい。
ビデオフィードからの画像の交互の表示は、様々な既知の技術を用いて提供されてもよい。画面410は、画面上で共有されるそれぞれのビデオフィードを、プログレッシブスキャンモードで表示するよう構成されるのが好ましい。しかし、本発明は、説明するように、インターレース映像を処理するように構成されてもよい。インターレースNTSC又はPAL形式などを用いる標準的なテレビジョンモニタのために、2つのビデオフィードの画像はインターレースされ、1つのビデオフィードからの画像のラインは他のビデオフィードからの画像のラインとインターリーブされてもよい。例えば、第1のビデオフィードからの画像から取得された奇数番目のラインが表示され、つづいて、第2のビデオフィードからの画像から取得された偶数番目のラインが表示される。
1以上のビデオフィードの画像が連続的な動きの表現を提供するためのものであるアプリケーションにおいては、モニタに表示される双方のビデオフィードの画像の周波数は、人間の目が知覚可能な周波数よりも大きくなければならない。したがって、インターレース/インターリーブを用いて表示されるビデオフィードからの画像は、ちらついたり貧弱な解像度になったりしがちである。代案として、2つのビデオフィードからの画像は、ページフリッピングとして知られるように、2つの画像を格納するビデオメモリの2つのページの間で切り替えることにより、モニタ上に表示されてもよい。また、プログレッシブスキャンモニタがページフリッピングと組み合わせて用いられてもよい。
本発明の態様に係る眼鏡のシステム図が図6に示される。眼鏡は、メモリ604に格納されたプログラム608からの命令を実行するプロセッサ602を含んでもよい。メモリ604は、プロセッサ602だけでなく、眼鏡の他の任意のストレージや検索/格納要素に提供され、又はそれらから出力されるデータを更に格納してもよい。プロセッサ602、メモリ604、及び眼鏡の他の要素は、バス606を介して互いに通信してもよい。そのような他の要素には、左LCDレンズ612及び右LCDレンズ614を選択的に閉じるドライバ信号を提供するLCDドライバ610が含まれる。LCDドライバは、左及び右LCDレンズのそれぞれを個別に異なる時及び継続時間で閉じてもよいし、同じ時及び継続時間で一緒に閉じてもよい。
LCDレンズが閉じられる周波数は、例えばNTSCの既知の周波数に基づいて、眼鏡に予め格納されていてもよい。または、周波数は、ユーザ入力616の手段、例えば所望の周波数を調整又は入力するためのツマミ又はボタンを介して選択されてもよい。さらに、所望の周波数だけでなく、初期シャッター開始時間、又は、設定された周波数及び持続時間であるか否かに関わらずLCDレンズが閉じられるべき又は閉じられるべきでない期間を示す他の情報が、無線送受信部601又は他の任意の入力部を介して眼鏡に送信されてもよい。無線送受信部601は、Bluetooth(登録商標)送受信機を含む任意の無線送信機を備えてもよい。
音声増幅部616は、無線送受信部601から情報を受信してもよい。すなわち、左スピーカ622又は右スピーカ524に提供されるべき音声の左及び右チャンネルを取得してもよい。眼鏡は、マイクロフォン630を更に含んでもよい。マイクロフォン630は、音声通信のために提供されるゲームに関連して用いられてもよい。音声信号は、無線送受信部601を介して、ゲームコンソール又は別の装置へ送信されてもよい。
眼鏡は、1以上の光検出部634を含んでもよい。光検出部は、眼鏡がモニタの方へ向いているかどうかを決定するために用いられてもよい。例えば、光検出部は、光検出部に当たっている光の強度を検出し、その情報をプロセッサ602に送信してもよい。プロセッサが光の強度の実質的な降下を検出すると、ユーザがモニタから目をそらした可能性があるので、プロセッサはレンズの開閉を中断してもよい。眼鏡(そしてユーザ)がモニタの方へ向いているかどうかを決定するための他の方法が用いられてもよい。例えば、光検出部の代わりに1以上のカメラを用い、撮像された画像をプロセッサ602により解析して、眼鏡がモニタの方へ向いているかどうかを決定してもよい。このようなカメラを用いるいくつかの可能な実施例として、コントラストレベルをチェックしてカメラがモニタに向いているかどうかを検出してもよいし、モニタ上の輝度テストパターンを検出するようにしてもよい。複数のフィードをモニタに提供する装置は、無線送受信部601を介してプロセッサ602に情報を送信することにより、このようなテストパターンの存在を知らせてもよい。
表示されるべき映像を提供する画面共有装置710の一態様のシステム図が図7に示される。映像/音声入力720は、例えば、ケーブルテレビジョンセットトップボックス790、ゲームコンソール792、DVDプレイヤー794、VCR796、パーソナルコンピュータ798、及びこれらの任意の組み合わせからの2以上の映像及び音声の入力を受け付ける。本発明の目的のために、単一のビデオストリームが2つの「ビデオフィード」又は映像入力に相当することもある。単一のビデオストリームは、2以上のビデオフィード又は入力の特徴を有する、時分割多重化された映像フレーム列となりうる。また、映像入力は、複数の装置から入手される必要はない。むしろ、1つの装置が2以上の映像入力又はビデオフィードを提供可能であってもよい。
プロセッサ730は、データを取得してメモリ740に格納し、画面共有装置の他の構成に信号を提供する。映像/音声出力750は、映像入力から選択された数の映像信号を多重化する。映像/音声出力750は、テレビジョン又はモニタ780に対する単一のビデオ出力として、2以上のビデオ信号が連続して互いに後に続くような形で、ビデオ入力から選択された数のビデオ信号を多重化する(このような単一のビデオ出力信号が、実際には、合成又は色信号を含む複数の信号を含んでもよいことは理解されよう)。多重化された信号に関する情報は、無線送受信部760を介して、眼鏡に送信されてもよい。このような情報は、多重化のために選択された映像入力の数、多重化の周波数、特定の映像信号がテレビジョン又はモニタ780に送信されるタイミング、特定のタイミングで表示される映像信号の識別情報、及び他の情報を含んでもよい。映像/音声入力790〜798からの音声信号は、画面共有装置710から眼鏡に無線送信されてもよい。
図7においては、画面共有装置710は、テレビジョン780及び映像入力とは分離しているように、模式的に図示されているが、画面共有装置は様々な装置に設けられてもよい。例えば、図8(a)に示すように、画面共有装置710は複数の入力を有するセットトップボックスに設けられてもよい。図8(b)に示すように、画面共有装置は、それぞれがゲーム又はDVDからのコンテンツを描画することが可能な2つのディスクベイ861、862などの、複数の内部的な音声/映像源を有するゲームコンソールに含まれてもよい。
図1及び図2においては、2つのビデオフィード及び2つのシャッター付きフィルタのみが示されているが、本発明は、モニタが2以上のビデオフィードを表示し、それぞれのビデオフィードの視聴を可能とするために2以上の同期されたシャッター付きフィルタが用いられる態様にも適用可能である。
図3(a)は、ビデオゲームシステムに用いられた本発明の実施例を示す。ゲームユニットは、ビデオゲームをプレーするために必要なソフトウェアを格納し、テレビジョン又はコンピュータのモニタに送られる画像を制御する。ゲームユニットは、2つのビデオフィードをモニタに提供し、図1及び図2に関連して上述したように、2つのビデオフィードからの画像を交互に表示するようモニタを制御する。ゲームユニットは、更に、2以上のLCDシャッター眼鏡と接続し、それぞれのLCDシャッター眼鏡のシャッター動作を、ビデオフィードのうちの1つに同期させる。ゲームユニットとLCDシャッター眼鏡との間の接続は、物理的接続であってもよいし、ブルートゥース通信プロトコルなどを用いた無線接続であってもよい。
図3(a)及び図9に示す実施例は、ビデオゲームのそれぞれのプレイヤーが、そのプレイヤーの視点からゲームに参加することを可能とする。ビデオフィードのうちの1つは、第1のプレイヤーにゲームの活動の特定の光景を提供し、他のプレイヤーには提供されない視覚情報を含んでもよい。同様に、別のビデオフィードは、第2のプレイヤーに、同一のゲームの、そのプレイヤーに適した別の光景を提供する。それぞれのプレイヤーは、ビデオフィードのうちの1つの画像に同期され、そのビデオフィードの画像のみをそのプレイヤーが見ることを可能とするLCDシャッター眼鏡を着用する。また、それぞれのプレイヤーにヘッドフォンが提供される場合は、第1及び第2のプレイヤーのそれぞれに、他のプレイヤーには提供されない音声及び/又は音声命令が提供されてもよい。
本実施例の変形例として、図10に示すように、第3のLCDシャッター眼鏡が追加され、ゲームの双方の光景を見ることが可能なビデオゲームの傍観者モードを着用者に提供するようゲームユニットにより制御されてもよい。第3のLCDシャッター眼鏡は、例えば、3次元アプリケーションにおいて用いられるのと同様にして、ビデオフィードのうちの1つをシャッター眼鏡の片方に提供し、もう一つのビデオフィードをシャッター眼鏡の他方に提供することにより、2つのビデオフィードからの画像を組み合わせてもよい。
別の例として、図12に示すように、2つのビデオフィードが2つのビデオゲームそれぞれの画像を提供してもよい。ゲームユニットは、2つのビデオゲームのそれぞれの視点からの画像を交互に提供するようモニタを制御し、特定のLCDシャッター眼鏡がビデオゲームのうちの1つの光景のみを提供するように2つのLCDシャッター眼鏡を同期させる。この構成によれば、同一のゲームユニット及びモニタを用いて、異なるプレイヤーが同時に2つのビデオゲームをプレーすることができる。
図3(b)及び図13は、本発明の別の実施例を示す。本実施例においては、セットトップボックスが様々なテレビジョンチャンネル(例えば、サインフェルド(Seinfeld)のショー、ジョパディ(Jeopardy)のショー、ドラゴンテイルズをそれぞれ放送する3チャンネル)及び/又はビデオを受信し、それぞれのテレビジョン番組及び/又はビデオからの画像を交互に表示するようモニタを制御する。セットトップボックスは、それぞれのLCDシャッター眼鏡を、その着用者が番組及び/又はビデオのうちの1つのみを見ることができるように制御する。それぞれの視聴者が、見ている番組又はビデオのみの音声部分を聴くことができるように、ヘッドフォンが設けられてもよい。この構成によれば、2以上の個人が、同じ部屋で同じモニタを見ながら、異なるテレビジョン番組及び/又はビデオを同時に視聴することができる。
本発明は、任意の数のビデオフィードに用いられてもよい。例えば、図3(b)に示すセットトップボックスは、モニタに周期的に表示される4以上のビデオフィードを受信するように構成され、それぞれのビデオフィードは、4つの異なるLCDシャッター眼鏡のうちの1つに関連づけられ、LCDシャッター眼鏡は、関連づけられたビデオフィードの表示に同期するようセットトップボックスにより制御されてもよい。
図3(c)及び図14は、本発明の更なる実施例を示す。本実施例においては、セットトップボックスが様々なテレビジョンチャンネル及び/又はビデオを受信するとともに、ゲームユニットに接続され、ゲームユニットからビデオゲームフィードを受信する。セットトップボックスは、ビデオゲームからの画像とテレビジョン番組又はビデオからの画像とを交互に表示するようモニタを制御する。制御ユニットは、更に、LCDシャッター眼鏡のうちの1つの着用者が、テレビジョン番組又はビデオを見ることができるように、そのLCDシャッター眼鏡のシャッターを同期させ、別のLCDシャッター眼鏡の着用者が同時にビデオゲームをプレーすることができるように、そのLCDシャッター眼鏡のシャッターを同期させる。この構成によれば、同じモニタを見ながら、ある人がテレビジョン番組又はビデオを視聴すると同時に、別の人がビデオゲームをプレーすることが可能となる。
変形例として、図3(c)に示す実施例は、図15に示すように、2人がビデオゲームをプレーすると同時に、3人目がテレビジョン番組又はビデオを同じモニタで視聴することを可能とするために、第3のLCDシャッター眼鏡を更に含んでもよい。ビデオゲームの2人のプレイヤーは、同じ視点からビデオゲームを見てもよい。この場合、セットトップボックスは、ビデオゲームからの画像とテレビジョン番組又はビデオからの画像とを交互に表示するようモニタを制御する。セットトップボックスは、2人のプレイヤーがビデオゲームのみを見ることができるように、ビデオゲームのプレイヤーにより着用されている2つのLCDシャッター眼鏡の開閉を、ビデオゲームが表示されている期間に同期させる。
図3(c)に示した実施例を用いた更なる変形例において、図16に示すように、2人のビデオゲームプレイヤーのそれぞれが、互いに異なる視点からビデオゲームを見るためにモニタを使用し、3人目がそのモニタを用いて同時にテレビジョン番組又はビデオを視聴する。セットトップボックスは、例えば、第1の視点におけるビデオゲームからの画像、第2の視点におけるビデオゲームからの画像、及びテレビジョン番組又はビデオからの画像を、サイクリックに表示するようモニタを制御する。セットトップボックスは、LCDシャッター眼鏡のうちの1つの着用者が第1の視点から見たビデオゲームをプレーし、別のLCDシャッター眼鏡の着用者が第2の視点から見たビデオゲームをプレーし、第3のLCDシャッター眼鏡の着用者がテレビジョン番組又はビデオを視聴することができるように、モニタ上に表示される画像にLCDシャッター眼鏡のシャッターを同期させる。
図11に示すように、本発明は、ビデオゲームの1以上のプレイヤーに3次元(3D)ビューによるゲームのプレーを提供し、及び/又は、テレビジョン番組及び/又はビデオの1以上の視聴者に3次元での視聴を可能とすることができる。図17に示すように、ビデオゲームのそれぞれのプレイヤーは、他のプレイヤーとは異なる視点からゲームを見ることに加えて、立体視にてゲームを見ることができる。図3(a)に示した構成を用いて、例えば、ゲームユニットは、第1の視点における左画像フレーム、第1の視点における右画像フレーム、第2の視点における左画像フレーム、第2の視点における右画像フレームというように、周期的に表示するようモニタを制御してもよい。3次元効果を達成するために、それぞれのLCDシャッター眼鏡の左及び右のシャッターは、異なる表示画像に同期される。すなわち、LCDシャッター眼鏡のうちの1つの左側シャッターは第1の視点における左画像フレームを見るために同期され、そのLCDシャッター眼鏡の右側シャッターは第1の視点における右画像フレームを見るために同期される。同様に、もう一つのLCDシャッター眼鏡の左側シャッターは第2の視点における左側画像フレームを見るために同期され、そのLCDシャッター眼鏡の右側シャッターは第2の視点における右画像フレームを見るために同期される。その結果、ビデオゲームのそれぞれのプレイヤーは、それぞれの特定の視点からだけでなく、3次元でゲームを見ることができる。
別の例として、例えば図3(b)に示した構成を用いて、2人の視聴者が、同じモニタを見ながら、異なるテレビジョン番組及び/又はビデオを3次元で同時に視聴することができる。また、例えば図3(c)に示した構成を用いて、1人がテレビジョン番組又はビデオを3次元で視聴しているときに、同じモニタで、もう一人がビデオゲームを3次元でプレーすることができる。モニタは、テレビジョン番組又はビデオからの左画像フレーム、テレビジョン番組又はビデオからの右画像フレーム、別のテレビジョン番組又はビデオから又はビデオゲームフィードからの左画像フレーム、別のテレビジョン番組又はビデオから又はビデオゲームフィードからの右画像フレームというように、周期的に表示するように制御される。それぞれのLCDシャッター眼鏡の左及び右のレンズは、それぞれの着用者がそれぞれのテレビジョン番組、ビデオ、又はビデオゲームを3次元で見ることができるように同期される。図18は、同一の画面上で1人が3次元ゲームをプレーし、もう1人が3次元映画を見る例を概略的に示す。
更なる例において、例えば図3(c)に示した構成を用いて、同じモニタを見ながら同時に、1以上の人がビデオゲームを3次元でプレーし、別の人がテレビジョン番組及び/又はビデオの2次元画像を視聴することができる。図19は、このような構成を概略的に示す。モニタは、ビデオゲームフィードからの左画像フレーム、ビデオゲームフィードからの右画像フレーム、及びテレビジョン番組又はビデオからのフレームを周期的に表示するよう制御される。LCDシャッター眼鏡のうちの1つの左レンズが、ビデオゲームフィードからの左画像フレームのタイミングに同期され、そのLCDシャッター眼鏡の右レンズが、ビデオゲームフィードからの右画像フレームのタイミングに同期されることにより、着用者はビデオゲームを3次元で見ることができる。もう1つのLCDシャッター眼鏡の左及び右のレンズが、両方ともテレビジョン番組又はビデオからのフレームのタイミングに同期されることにより、着用者は、ビデオゲームをプレーするために用いられている同じモニタから、2次元のテレビジョン番組又はビデオを見ることができる。
図4は、3人が3つの異なるビデオ娯楽番組を視聴する例を示す。本発明のある態様において、3人の人451〜452は、それぞれ本発明に係るヘッドフォン付きの眼鏡を着用し、同一のテレビジョン410を視聴している。Bravia(登録商標)テレビジョン410は、上述した画面共有装置を含み、3つの異なる映像入力、すなわち、2つのソニープレイステーション(登録商標)ゲームコンソール432、433、及びDVDプレイヤー431からの映像入力を受け付ける。テレビジョンは、上述したように、3つの異なる音声/映像入力を多重化し、任意の特定のタイミングで表示されているのがどの映像入力であるかに関する情報を眼鏡に無線送信する。第1の人451の眼鏡は、テレビジョン410の画面上にターミネーターの映画461(DVDプレイヤー431上で再生されている)が表示されているときにのみ、その人が眼鏡を通して見ることができるように開閉される。第2の人452の眼鏡は、同じテレビジョン410上にモーターストームのゲーム462(プレイステーションコンソール432上でプレーされている)が表示されているときにのみ、その人が眼鏡を通して見ることができるように開閉される。第3の人453の眼鏡は、同じ画面上にパックマンのゲーム463(プレイステーションコンソール433上でプレーされている)が表示されているときにのみ、その人が眼鏡を通して見ることができるように開閉される。DVDプレイヤー431、及びゲームコンソール432、433に対応する音声は、それぞれの人451、452及び453の眼鏡に無線送信される。これによれば、それぞれの人451〜453は、3つの異なる音声/映像ソースを視聴するために、単一のテレビジョンを用いることができる。
上述した例に加えて、本発明は、2次元又は3次元の表現及び/又は異なる視点の他の組み合わせによる、ビデオゲーム、テレビジョン番組、及びビデオの他の組み合わせを提供するためにも、共通のモニタを使用することを可能とする。
2.トラッキング、ミキシング、ギアリング、視差最適化
図20(a)から図20(c)は、眼鏡900とコンピュータコンソール950との間の通信の例を示す。図20(a)においては、コンピュータコンソール950は、眼鏡900と無線通信する。眼鏡900は、いくつかの光源902が設けられたフレームを含むように示される。光源902は、赤外線(IR)、発光ダイオード(LED)、又は眼鏡900のフレーム上のそれらの位置から光を生成することが可能な他の形式の光源であってもよい。眼鏡900のフレームは、オプションのイヤフォン530及び532を更に含んでもよい。眼鏡900は、上述したように、シャッターレンズ901を含む。シャッターレンズは、眼鏡における処理、コンピュータコンソールにおける処理、又はコンピュータコンソール950と眼鏡900上のハードウェア/ソフトウェアとの間で共有された処理の組み合わせにより制御される。
眼鏡900上で処理が実行される場合、眼鏡900のフレームに、回路910で示されるように、回路構成が設けられる。回路910は、眼鏡900のフレーム内の任意の位置に設けられてもよいし、眼鏡900のフレームに取り付けられてもよいし、シャッターレンズ901に設けられ、又は取り付けられてもよい。または、回路910は、眼鏡900のフレームに有線又は無線リンクの方法で連結されてもよい。眼鏡900は、回路910、光源902、イヤフォン530、532、及び他の回路及び/又はシャッターの電子部品に電力を供給するバッテリなどの電源(図示せず)を更に含んでもよい。回路910は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアの組み合わせにより駆動されてもよく、眼鏡上で、又はコンピュータコンソール950上で実行されてもよい。一実施例において、処理が集中的であるときには、より多くの処理がコンピュータコンソールで実行され、処理が回路910(及び/又は眼鏡900の他の回路)で実行される方がより効果的であるときには、そのようにされる。
図20(b)は、コンピュータコンソール950と通信する眼鏡900の別の例を示す。本実施例において、眼鏡900は、フレーム内に設けられたカメラ912を更に含む。シャッターレンズ901の間の眼鏡900のフレームの中心にカメラ912が設けられた例が示されている。カメラ912は、眼鏡900がユーザにより着用されたときに眼鏡900から前方を見ることができる位置であれば、他の位置に設けられてもよい。
カメラ912は、モニタ、画面、又はディスプレーに対するユーザの空間的位置を処理するための回路910に更なる情報を提供するために用いられる。ユーザがディスプレーの前を移動するとき、カメラ912は、ユーザの画面に対する詳細な位置を識別するために、周囲やユーザの前の物体の画像を撮像することができる。一実施例において、カメラは、処理、ビデオゲームとの対話、映像表現との相互作用、又は他のインタフェイスの間に、ユーザの特定の位置を識別するために、画面などの特定のオブジェクトに焦点を合わせることができる。
別の実施例において、カメラ912は、ビデオ画面(例えば、テレビジョン、コンピュータモニタ、携帯型ディスプレーなど)の輪郭から出る光の強度を識別することにより、ビデオ画面の輪郭を識別することができる。ビデオ画面の輪郭を識別することにより、眼鏡の回路910及びコンピュータコンソール950により実行される処理は、画面に対するユーザの位置の補正(例えば、ユーザの頭及び視線方向)を追跡することができる。追跡は動的に可能であるから、ユーザが移動するときに、画面に表示される映像を、正しい視野角を提供するように調整することができる。この補正の詳細は、視差、及びオフセットされた人間の目の視点からの3次元画像の正確な見方、及び見ている画面と目の間で定義される円錐に関連して後述する。
図20(c)は、眼鏡900がコンピュータコンソール950と接続する別の例を示す。本実施例においては、コンピュータコンソール950は、更にカメラ952を含む。カメラ952は、オプションのフィルタ951を含んでもよい。オプションのフィルタ951は、光源902が赤外線発光器の形態である実施例において、光源902から発せられる赤外線以外の全ての光を除去するために用いられてもよい。他の実施例において、オプションのフィルタ951は、発光ダイオードが眼鏡900に設けられ、フィルタが環境光、光の妨害、偏光を除去するように、及び/又は光源の902の位置の正確な検出を妨げる可能性のある異常を除去するように設計された実施例において用いられてもよい。
例えば、オプションのフィルタ951は、黒又は半黒のバックグラウンドにおいて白色ガウスの特徴を検出することにより、撮像されたビデオフレームにおける光源の正確な検索及び検出を可能とするために用いられうる。一実施例において、撮像されたビデオフレームは、複数の非圧縮又は圧縮されたフレームを含んでもよい。I、P、Bフレームを用いたMPEG圧縮を含む多くの圧縮技術が用いられてもよい。Iフレームは、全ての画像データ及び関連するピクセルデータを含む完全なフレームである。P及びBフレームは、データが本質的に変化しない場合に、画像を再構築するために過去のフレーム又は未来のフレームのデータを借用する。これらの様々な実施例において、画像データ及び関連するピクセルの処理は、光源902の識別及び眼鏡900の追跡を促進することができる。更に別の実施例において、オプションのフィルタ951はカメラ952の一部に含まれず、カメラ952は使用中の正確な検出のために、光源902からの発光を単に検出してもよい。
図20(c)の実施例に戻り、眼鏡900は、カメラ912により提供されるように、自身の視野範囲920を有する。カメラ952は、自身の視野範囲を有し、光源902からの発光を検出する。光源902は、こうしてコンピュータコンソール950により追跡されうる。
眼鏡902がユーザにより着用されたときに、その位置を追跡することにより、眼鏡900を通して見られる画像のより明確な表示を提供するために、モニタ/ディスプレー(図示せず)に表示される画像を動的に調整することができる。一実施例において、画面に表示される映像は、3次元表現であってもよい。この実施例において、それぞれのレンズ901は、例えば左/右のシャッターを交互に閉じる。左と右の間の交替が実施されている間、眼鏡900の追跡位置も決定される。ユーザが画面の正面にいる場合、適切な視差立体視は実質的に正常に維持される。しかし、ユーザが、例えば、画面により近いオフセット角になるまで画面に近づいた、又は画面から遠ざかったと検出又は追跡された場合、ビデオストリームの表示はオフセット角を補正するために調整される。検出されたオフセット角に基づいてビデオストリームを調整することにより、ユーザに対して、ユーザが画面の中心の前方に位置した場合に期待される、適切な視差映像を表示することができる。通常、全ての最適化は中心に位置するユーザのためになされるので、表示される画像に調整はなされない。しかし、ユーザが画面の前で活発に動いたり、画面の前に座っていなかったりする場合は、この限りではない。例えば、大きなIMAX(登録商標)の表示においては、ユーザは映画館の下方又は遠方に偏って座ることがある。中心の「スイートスポット」のために最適化がなされるために、最適化されていない座席に座ったときの映像は最適な映像ではない。
より小さい家庭環境においては、同時に少数のユーザしか居合わせないだろうから、周波数を交替する、又はそれぞれのユーザに対する総周波数を分割することにより、それぞれのユーザに対して独立に映像を調整することができる。2人のユーザの例では、120フレーム毎秒(fps)の画面で、2人のユーザが毎秒60フレームを交互に与えられる。これは、非常に良いリフレッシュレートである。更に、3次元の視聴者については、眼鏡900のシャッターレートに同期され、ユーザの左/右目は全ての画像ごとにビューを共有する。更にこの例において、ユーザ1が前方左側に座ることを選択し、ユーザ2が遠方右側に座ることを選択した場合、それぞれのユーザの視野角円錐は動的に調整され、画面はそれぞれの位置に対して最適化された画像データを周力する。この最適化は動的であって、ユーザが視聴の間に移動することを決定したときには変更することができる。
それぞれのユーザに対する画面出力の最適化は、ユーザにより期待される視差映像を最適化する。視差は、2つの異なる視線に沿って見たときのオブジェクトの明確な変位又は視方向の差であり、これらの2つの視線の間の角度又は収束角(semi-angle)(例えば視野角錐体)により計測される。この語はギリシャ語で「変化」を意味する単語(parallaxis)に由来している。異なる位置で観測したとき、近いオブジェクトは、より離れたオブジェクトよりも大きな視差を有するので、視差は距離を決定するために用いることができる。
表示される画像を調整することにより、ユーザの位置の移動に対応して、通常は部屋の中央でのみ可能な、最適化された視差を維持することができる。ユーザが動き回るインタラクティブゲームにおいては、ひずみが生じることがある。このように、検出されたユーザの位置に基づいてなされる、表示画面に対する動的かつ自動的な調整は、現在の3次元視聴システムでは可能でない移動の自由を提供する。
眼鏡900の追跡された位置が与えられることにより、システム952又は回路910(又はそれらの組み合わせ)は、3次元立体効果を頻繁に確認することができ、3次元コンテンツの生成中に視差の誤差を補正することができる。
図20(d)は、本発明の一実施例に係る眼鏡900のブロック図を示す。眼鏡900は、本発明の一実施例に係る、ユーザのトラッキングを処理するハードウェア及びソフトウェアが設けられたフレーム909を有する。図示するように、眼鏡900のフレーム909は、眼鏡900の対向する端に位置する光源902を含む。光源902は、カメラ952に対するユーザの位置だけでなく、眼鏡900の方向を検出するために、コンピュータコンソール950のカメラ952によりモニタすることが可能な距離だけ離されることが好ましい。本実施例においては、図20(b)に関連して前述し、図20(e)に関連して後述する回路910を構成する複数のモジュールがフレーム901内に設けられる。
回路910は、広く回路を指すが、回路要素は、ソフトウェア、電源、及び通信ロジックを含んでもよい。図20(d)の例において、回路910は、ディジタル信号プロセッサ(DSP)920、電源モジュール921、慣性センサ923、及び無線トランシーバ976を含む。慣性センサ923は、ユーザが眼鏡900を着用しているときに、ユーザの動きを検出するために設けられる。このようなユーザの頭/体の動きは、ディジタル信号プロセッサ920により処理される慣性フィードバックを提供し、無線モジュール976を介してコンピュータコンソール952に返送されてもよい。カメラ912は、図20(d)の眼鏡900の一部として設けられてもよい。カメラ912は、3次元動作中にシャッター動作(例えば、レンズ901R及びレンズ901Lのシャッター動作)を処理し、制御するために、ディジタル信号プロセッサ920に更なるデータを提供するよう構成されてもよい。上述したように、シャッター制御により、同時に異なるユーザにより視聴されることが可能な、同一の画面の共有を実現することができる。異なるユーザにより同時に視聴されるとき、ユーザは同一のコンテンツを見ることができ、正確な視差立体視を維持するために、異なる調整がされたオフセット制御を提供するための画面が、シャッターの開閉により共有される。
図20(e)は、典型的なモジュールの図又は回路910の図のより詳細な例を示す。もちろん、最適化に依存して、より少ない又はより多くのモジュールが回路910を構成してもよい。回路910は、ディジタル信号プロセッサ920を含んでもよい。ディジタル信号プロセッサ920は、プログラム命令を実行し、コンピュータコンソール950に無線モジュール976を介してフィードバックを提供するだけでなく、シャッター動作の間の相互作用を制御するための様々なモジュールと相互作用するためのプロセッサ931を含んでもよい。DSP920は、データ932を含む。データ932は、フラッシュメモリなどのメモリチップ、又は、プログラム命令、オペレーティング命令、オペレーティングシステムカーネル命令、スタートアップ初期化及びアップデートを格納するストレージメモリに格納されてもよい。データは、入出力処理及びプロセッサ931のためのキャッシュインタフェイスを実行するための情報を格納する。
DSP920は、プログラム933を更に含む。プログラム933は、プログラムの改訂、プログラムの改良、及びプログラムの変更に基づいてアップデートされてもよい。一実施例において、プログラムは、プロセッサ931による処理を制御し、右シャッターレンズ901R及び左シャッターレンズ901Lの直接の又はトリガの動作を制御してもよい。一実施例において、このシャッター及び視差調整は、追跡モジュール935により取得された位置データに基づいてもよい。連動モジュール934は、DSPの一部に含まれ、又はプログラム933に内蔵され、又はデータ932の一部に格納される。連動情報は、特定のプログラムとのユーザの相互作用に基づいて、プログラム933による処理、又はプロセッサによる実行を動的に変更するために提供される。連動は、相互作用又はユーザフィードバックに基づいて連動が動的に変わるように、動作中のモード変更を提供するためにプログラム933に統合されてもよい。
上述したように、追跡モジュール935は、検出された光源位置制御924、慣性センサ923、及び、光源を用いた眼鏡の位置の追跡又はカメラ912を用いた環境の眼鏡900より入手された追跡情報に基づいて、コンピュータコンソール950から取得されたデータに関連する情報を処理する。この情報は、DSP920に情報を伝達するために追跡モジュールに動的に提供される。DSP920は、環境、制御パラメータ、連動効果、及び他のプログラムパラメータに基づいて眼鏡のシャッターを制御するために、シャッターフィルタ制御975と通信することができる。光源制御924は、眼鏡の光源902を制御するように設計されたハードウェア又はソフトウェアを含んでもよい。光源位置制御924は、光源902を発光させ、光源902を調整し、所定の期間光をオン又はオフさせ続け、又は、追跡なしの相互作用のために光源902を消灯するるように動作することができる。同期モジュール972は、上述したように、表示レート及び画面上に提供される表示情報に同期させるために、複数のユーザが異なるチャンネルを見るための同期のために、又は、複数のユーザが同一の視差調整されたチャンネルを見るための同期のために、右及び左のシャッターレンズ901のシャッターレートを同期させるように設計される。
ここで用いられるように、連動(ギアリング:gearing)は、コンピュータプログラムと対話するときに、入力を提供し、入力を変更し、又は入力に作用する。連動は、一般的かつ最も広い意味においては、様々な大きさ及び/又は時間の程度を有しうる入力を定義されてもよい。連動の程度は、コンピュータシステムと通信しうる。連動の程度は、コンピュータシステムにより実行されるプロセスに適用されてもよい。アナロジーにおいて、プロセスは入力及び出力を有するバケツの液体としてイメージされうる。バケツの液体は、システム上で実行されているプロセスであり、連動は、コンピュータシステムにより実行される処理の態様を制御する。一実施例において、連動は、バケツに流入する液体の滴と考えられる入力量に対して、液体がバケツから空になる速さを制御することができる。このように、注入速度は動的であってもよく、排出速度は動的であってもよく、排出速度は連動により影響されうる。連動は、ゲームプログラムなどのプログラムに対するストリームなどの値の変更を調整するために、調整され、又はタイミングを合わされてもよい。連動は、プロセッサ又は結果としてゲーム要素、オブジェクト、プレイヤー、キャラクタなどによるアクションを制御する移動データカウンタなどのカウンタに影響を与えうる。
このアナロジーをより具体的な計算例にすると、液体が空になる速度は、ある入力に加えて連動に応答して、コンピュータプログラムの特徴に制御が渡され、又はそれにより制御が実行される速度であってもよい。コンピュータプログラムの特徴は、オブジェクト、プロセス、変数、シャッターのタイミング、又は予め定義された/カスタムのアルゴリズム、キャラクタ、ゲームプレイヤー、マウス(2次元又は3次元)などであってもよい。処理の結果は、連動により部分的に改変されている可能性があるが、観察者に伝達され、又は、特定のユーザの位置及び任意の追跡された移動に基づいて、ユーザに対する正確な視差補正を加えるための表示調整に影響を与えてもよい。
入力は、(1)画像解析、(2)慣性分析、(3)音響分析、又は(1)、(2)又は(3)を組み合わせた解析により実行される追跡により取得されうる。画像分析及び連動への適用に関して様々な例が提供されるが、追跡は映像に限定されず、様々な方法、とくに慣性分析、音響分析、これら及び他の好適な分析の組み合わせにより実現される。
様々な実施例において、ビデオカメラ952/912(例えば、画像解析)を有するコンピュータ又はゲームシステムは、画像データを処理し、焦点距離の領域又はビデオカメラの前の所定の領域において実行される様々なアクションを識別することができる。このようなアクションは、典型的には、3次元空間におけるオブジェクトの移動又は回転、又は、眼鏡901の着用、ボタン、ダイアル、ジョイスティックなどの押下などの様々な制御の発動を含む。これらの技術に加えて、本技術は、ここではギアリングと呼ばれる、表示画面上又はプログラムの特徴の1以上の対応するアクションに関する入力の強度を調整するために、スケーリング要素を調整する更なる機能を提供する。例えば、表示画面上のアクションは、ビデオゲームの焦点にあるオブジェクトに関するものであってもよい。オブジェクトは、変数、乗数、又は音声、振動、表示画面上の画像、又はこれら及び他の連動される出力の表現の組み合わせとして表現される計算などのプログラムの特徴であってもよい。
別の実施例において、連動はコンピュータプログラムの特徴に適用されてもよく、入力装置の検出は内部の解析部による処理に基づいてもよい。慣性分析部は、慣性活動のための入力装置を追跡し、慣性分析部は、眼鏡900、コンピュータコンソール950、又はインターネットを介したクラウドコンピューティング上のプログラムに情報を伝達してもよい。プログラムは、慣性分析部から出力を取得し、出力又はシャッターレンズ901L/901Rの活動に対して連動量が適用されてもよい。連動量は、プログラムが命令を計算するときの程度又は比率を指図する。命令は任意の形式をとることができる。命令の一例は、ノイズ、変数ノイズ、振動、オブジェクトによる移動、又は視覚可能及び/又は聴覚可能な結果を出力するプログラムによる計算であってもよい。出力が変数である場合、プロセスが連動の量を考慮するように、変数はプロセスの実行を完了させるために用いられてもよい。連動量は予め設定されてもよく、ユーザにより動的に設定されてもよいし、要求に応じて調整されてもよい。
6次元の自由度(例えば、X、Y、及びZ方向の平行移動(例えば加速度)、及びX、Y、及びZ軸の周りの回転)の情報を提供するために、様々なタイプの慣性センサ装置が用いられてもよい。6次元の自由度の情報を提供するための好適な慣性センサの例は、加速度計、1以上の単一軸加速度計、機械式ジャイロスコープ、リングレーザージャイロスコープ、又はこれらの2以上の組み合わせを含む。
センサからの信号は、ビデオゲームのプレー又は画面(任意の映画、クリップ、ゲーム、PDA、電話、コンピュータ画面)の視聴中の眼鏡900の動き及び/又は方向を決定するために分析されてもよい。このような方法は、プロセッサ読み取り可能な媒体に格納され、ディジタルプロセッサで実行される、プロセッサ実行可能なプログラムコード命令の列として実現されてもよい。例えば、ビデオゲームシステムは、1以上のプロセッサを含んでもよい。それぞれのプロセッサは、任意の適当なディジタルプロセッサ、例えば、ビデオゲームコンソールに一般に用いられる型のマイクロプロセッサ、又は、カスタム設計されたマルチプロセッサコアなどであってもよい。一実施例において、プロセッサは、プロセッサ読み取り可能な命令の実行を通して慣性分析を実行してもよい。命令の一部はメモリに格納されてもよい。または、慣性分析部はハードウェア、例えば、ASIC(application specific integrated circuit)、DSP(digital signal processor)として実装されてもよい。このような分析部のハードウェアは、眼鏡900、コンソール950、又はクラウドコンピューティングの中のサーバ上に設けられてもよい。ハードウェア実装において、分析部は、プロセッサ、又は、USBケーブルやイーサネット(登録商標)などにより接続された、又は、インターネット、近距離無線、ブロードバンド無線、ブルートゥース、又はローカルネットワークなどのネットワークを介した、他の遠隔のソース外部からの信号に応じてプログラム可能であってもよい。
慣性分析部は、慣性センサにより生成された信号を分析する命令を含み、又は実行し、眼鏡900の位置及び/又は方向に関する情報を利用してもよい。慣性センサの信号は、眼鏡900の位置及び/又は方向に関する情報を決定するために分析されてもよい。位置及び/又は方向の情報は、システムにおいてビデオゲームのプレー中に利用されてもよい。
一実施例において、眼鏡900は、位置及び/又は方向の情報を慣性信号を介してプロセッサに提供することが可能な1以上の慣性センサを含んでもよい。方向の情報は、コントローラの傾き、ロール、又はヨーなどの角度情報を含んでもよい。上述したように、例示において、慣性センサは、任意の数及び/又は組み合わせの加速度計、ジャイロスコープ、又は傾きセンサを含んでもよい。一実施例において、慣性センサは、眼鏡900の傾き及びロール軸に関する方向を検知可能な傾きセンサを含み、第1の加速度計は、ヨー軸に沿った加速度を検知可能であり、第2の加速度計は、ヨー軸に関する角加速度を検知可能である。加速度計は、例えば、1以上のスプリングにマウントされた質量と、1以上の方向に関する質量の変位を検知するためのセンサを含むMEM装置として実現されてもよい。質量の変位に依存するセンサからの信号は、ジョイスティックコントローラの加速度を決定するために用いられてもよい。このような技術は、メモリに格納され、プロセッサにより実行されるゲームプログラム又は一般的なプログラムからの命令により実現されてもよい。
例示において、慣性センサとして好適な加速度計は、例えばスプリングによりフレームに3又は4点で弾性的に結合された単純な質量であってもよい。ピッチ及びロール軸は、眼鏡900にマウントされたフレームを2分する平面上にある。フレームがピッチ及びロール軸の周りに回転するとき、質量は重力の影響下で変位し、スプリングはピッチ及び/又はロール角に依存した態様で伸張又は圧縮する。質量の変位は、検知され、ピッチ及び/又はロールの量に依存した信号に変換される。ヨー軸の周りの角加速度又はヨー軸に沿った直線加速度は、同様に、検知され、角又は直線加速度の量に依存した信号に変換されうる、スプリングの伸張及び/又は圧縮又は質量の移動の特徴的なパターンを生成する。このような加速度計は、ヨー軸の周りの傾き、ロール角速度、及びヨー軸に沿った直線加速度を、質量の移動又はスプリングの伸張及び圧縮力の追跡により、測定することができる。質量の位置及び/又はそれに働く力を追跡する異なる方法は数多く存在し、抵抗ひずみゲージ物質、光学センサ、磁気センサ、ホール効果装置、圧電装置、容量センサなどを含む。
さらに、光源は、プロセッサに、パルスコード、振幅変調、又は周波数変調形式の遠隔測定用の信号を提供してもよい。このような遠隔測定用の信号は、眼鏡900の位置を示してもよい。遠隔測定用の信号は、例えば、パルスコード、パルス幅変調、周波数変調、又は光強度(振幅)変調により光信号にエンコードされてもよい。プロセッサは、光信号から遠隔測定用の信号をデコードし、デコードされた遠隔測定用の信号に応じてコマンドを実行してもよい。
プロセッサは、眼鏡900及び/又はそのユーザの位置及び/又は方向の情報を導出するために、画像撮像ユニットにより検出された光源からの光学信号、及び/又は、マイクロフォンアレイにより検出された音響信号からの音源位置及び特性情報とともに、慣性センサからの慣性信号を用いてもよい。
図20(f)は、異なる検知機構のための入力情報がミキサ937に提供される実施例を示す。ミキサ937は、ソフトウェア又はハードウェアにおいて実行されてもよいし、DSP920により処理されてもよい。ミキサ937は、一実施例において、入力を取得し、選択的な入力を構築して、出力を生成するロジックである。入力は、現在の処理に基づいて重み付けされてもよい。それぞれの入力の選択及び入力に与えられる強調は、対話的なアプリケーション中の処理に依存する。例えば、ユーザがアリゾナのグランドキャニオンのシーンを見ているとき、ミキサは、慣性検知よりも追跡入力をより強調してもよい。追跡情報が強調されることにより、眼鏡を通したユーザの視点が優先され、ユーザがグランドキャニオンの上を飛んでいるかのように、峡谷の底の深さを3次元的に見ることができる。他の実施例において、ミキサ937は、入力を混合して、眼鏡900を用いて見られている表示コンテンツに最適化され、適切な視差補正のために表示調整された、混合された結果を生成する。
一実施例において、ミキサ937は、部分的にコンピュータコンソール950上で実行され、視差最適化部977を制御するために眼鏡900にデータが返送されてもよい。視差最適化部は、ディスプレー(例えば960)上のコンテンツの調整により、ユーザの位置に対する視野角の最適化を実行する。このように、視差最適化部977は、ユーザに対して表示されるコンテンツを、そのユーザ専用のシャッターチャンネルに基づいて修正するために、ディスプレーのハードウェア及び/又はソフトウェアとデータを通信する。他の実施例において、コンピュータコンソールが表示データを最適化し、画面960は単純に出力を表示してもよい。
ミキサ937は、連動モジュール934、追跡モジュール、慣性センサ935、及びプログラムフィードバック936から入力を取得する。プログラムフィードバックは、対話中のプログラムの表示状態に関するデータを含んでもよい。例えば、ユーザがプログラムと対話中で、ビデオゲームにおいて特定のレベルの成功を収めた場合、プログラムフィードバックは、スキルレベルが向上し、ビデオゲームの複雑さが上昇したことを示してもよい。プログラムフィードバックは、その情報をミキサ937に提供する。ミキサは、追跡及び連動だけでなく、対話中のユーザの頭の移動のための慣性センサに関する情報をも取得する。
追跡は、ユーザが画面に対している場合に、その位置及び画面に対する視野角をミキサ937に通知することにより、ミキサに対する入力を制御する。したがって、追跡モジュール935から得られる追跡情報は、ミキサ937が適切に視差最適化部にデータを与えることを可能とする。これにより、ビデオゲームとの対話中に、又は特定の映像表示の視聴中に、画面に対する現在位置に基づいて、ユーザに対して映像が最適化される。
映像表示は、ゲームコンソール、インターネット接続、ディジタルビデオボックス、プレイヤー、テレビジョン放送、又は他の任意のビデオクリップ、又は静止画像(圧縮されたもの又はされていないもの)を含む表示画面上の動画表現を介して提供されてもよい。ミキサ937は複数の入力を取得するように示されているが、ある実装は同時にいくつかのモジュールからのみ入力を取得する。例えばミキサ937は、特定の期間、状態、ステージ中の連動、又は特定の期間中の追跡、又は特定の期間中の慣性センサ、又は特定の期間又はイベントのためのプログラムフィードバックのみから入力を取得してもよい。別の実施例において、ユーザにより所望された又はプログラムにより予め設定された環境及び対話性に基づいて、選択的な入力が組み合わされ/混合されてもよく、モジュールからの入力が完全に除去(又は追加)されてもよい。
図21(a)から21(c)は、本発明の一実施例に係る眼鏡900を用いて自由に移動するユーザ903aの例を示す。図21(a)において、眼鏡900を着用するユーザ903aは、自由に移動し、図21(b)に示すように回転940Aする。図21(c)において、ユーザは前屈み940Bになり、画面(図示せず)に近づく。本実施例において、ユーザ903aは、光源902とカメラ912を含む眼鏡900を用いている。一実施例において、カメラ912はオプションである。本実施例において、光源902(LED、IR、又は他の光源(色付き又はなし)であってもよい)が眼鏡900のフレームに設けられ又は結合され、眼鏡900を横から見ても光源902が見える。一実施例において、光源902は、魚眼の形状であってもよい。この場合、ユーザが直接画面に面しているときにカメラが光源902を見ることができる。また、ユーザが回転すると、図21(b)に示すように、光源902のうちの1つのみが見える。
図22(a)及び22(b)は、眼鏡900を着用し、画面960を見ているユーザ903aの例を示す。本実施例の画面960は、コンピュータコンソール950に接続される。コンピュータコンソール950は、画面960の上に配置されたカメラ952に接続される。カメラ952は、任意の位置に配置されてもよいし、画面に設けられてもよい。カメラ952は、ユーザ903aなどのユーザが含まれると思われる、画面960の前の領域を見るように設計されるのが好ましい。例えば、眼鏡900は、カメラ912を含んでもよい。カメラ912は、画面960及びカメラ952を含むシーンを撮像する。カメラ912により撮像された情報は、コンピュータコンソール950に送信されてもよい。これにより、コンピュータコンソール950で動作しているプログラムが、変更を実行し、ユーザからの入力に応答することができる。ユーザによる入力は、単純に、ユーザの位置の変更であってもよい。
コンピュータコンソール950は、画面960に提供される映像表示を更に制御してもよい。画面960は、眼鏡900のシャッターに同期される情報(動画又は静止がのピクセルデータ)を表示する。上述したように、ユーザ903aは画面960の特定の映像を提供される単一のユーザであってもよいが、他のユーザ(本図では図示せず)が同一の画面960を見ながら異なるビデオストリームを提供されてもよい。眼鏡900のシャッターは、ユーザ903aに向けられたデータを画面960が表示することを可能とする。上述したように、カメラ912により得られた情報により、眼鏡900の回路910は、ユーザの画面960に対する位置に関する情報を処理することができる。
この例において、ユーザ903aは、距離zだけ画面960から離れている。ユーザが画面960に表示されるコンテンツを視聴しているときに、距離zは動的に変わりうる。コンテンツの視聴は、ビデオの視聴などの受動的な視聴や、インタラクティブプログラムと対話する際の能動的な参加を含む。インタラクティブプログラムは、ビデオゲーム、インターネット、技術的プログラム、プログラムの設計用のコンピュータ、芸術表現プログラム、建築モデリングプログラム、及び他のタイプのインタラクティブプログラムのインタフェースであってもよい。
眼鏡900は、コンピュータコンソール950と無線通信を介して通信してもよい。上述したように、無線通信は、Wi−Fi接続、ブルートゥース接続、ラジオ接続などであってもよい。または、眼鏡はコンピュータコンソール950と有線を介して接続されてもよい。更に別の実施例において、コンピュータコンソール950は省略され、画面960はインターネットに接続してもよい。画面960は、インターネットを介して、画面960上の画像をレンダリングするための計算を可能とし、眼鏡900との通信を可能とするためのネットワークインタフェースモジュールを含んでもよい。
図22(b)は、動き940Bの後の前屈みの位置におけるユーザ903aを示す。動き940Bの後、動きから生成された慣性データに関する情報は、眼鏡900に設けられた慣性センサにより取得される。さらに、カメラ952は光源902を追跡し、画面960に対するユーザの深さ及び位置を決定することができる。例において、ユーザはいまz−Δzの深さの距離にいる。深さのモニタに加えて、光源902は、図22(b)に示されたx、y、及びz座標におけるピッチ、ヨー、及びロールに関する情報を更にモニタすることができる。深さと、ピッチ、ヨー、及びロールの双方を監視することにより、眼鏡900を通して見たときの画面960の表示を修正して最適化し、画面960の最適化された視差立体視を提供するために、眼鏡900における処理にその情報を通知することができる。再び、一実施例において、視差最適化は、ユーザの位置に基づいて、画面960上に表示されている画像になされる。図24及び25は、ユーザが画面(小及び大)の前を移動する例を示す。検出される位置は、表示角を最適化するために画面を制御するシステムに対するフィードバックを提供するので、ユーザがどこに又はどこから移動しようとも、ユーザに最適な視差を表示することができる。図24において、ユーザ903cは、視聴中によくみられるように、位置Aから位置Bに移動した。図25において、3人のユーザは大きな画面の異なるビューA、B、及びCを有する。画面は大きいけれども、視野角は視差に影響する。しかし、眼鏡の追跡を利用して、それぞれのユーザに対して選択的なシャッター開閉を行うことにより、それぞれのユーザに画面の最適なビューを提供することができる。図25の例において、それぞれのユーザに、それぞれの視野角に関して調整されたビューを提供するために、フレームレートは3分割されてもよい。
図23(a)は、眼鏡900Aを着用するユーザ903bの例を示す。この例においては、眼鏡900Aは、レンズ901の間のファッショナブルな位置に配置された単一の光源902を含む。回路910は、ユーザが画面に表示されているインタラクティブなプログラム又は受動的なプログラムと対話しているときに、ユーザの正確な追跡を可能とするために、光源902の適切なオン/オフシーケンス、パターン、及びストロボ発光を提供するよう動作する。
図23(b)は、別の眼鏡900Bを着用したユーザ903bを示す。眼鏡900Bは、コンピュータコンソール950のカメラ952により追跡するための2点を提供するために、眼鏡900Bの両側に位置する光源902を示す。回路910は、眼鏡900Bの内部に設けられる。2つの光源902を設けることにより、カメラ952が光源902を検出するときに、深さだけでなく、傾き、ロール、ヨーを検出することができる。ユーザがカメラ952のすぐ前の画面に近づくと、光源902は離れて広がって見えるが、ユーザ903bが画面及びカメラ952から離れると、光源902は撮像されたピクセルデータ上では互いに近づいて見える。したがって、深さ(すなわち、画面に対する眼鏡の位置)データは、眼鏡900上で最小限の距離をもたせたいくつかの位置に配置された少なくとも2つの光源902を用いることにより、より正確に検出することができる。図23(c)は、3つの光源902の例を示す。図23(d)は、眼鏡901のフレームに設けられた様々なモジュールの例を示す。図23(e)は、眼鏡に接続されたマイクロフォン及びイヤピースの例を示す。
図25に戻り、A、B、及びCのビューを有する3人のユーザの例を示す。説明したように、更なるユーザが加わったとき、ユーザの数に基づいて周波数はさらに分割される。図25において、3人全てのユーザが画面を見ているとき、特定のユーザに表示される毎秒のフレームは低下する。例えば、レートが120fpsであるとき、3人のユーザの場合はレートがそれぞれ40gpsに下がる。別の実施例において、あるユーザが高い優先度を有していてもよく、そのユーザにより高いフレームレートが与えられてもよい。しかし、平等な共有モードでは、3人のそれぞれが40fpsとなる。毎秒フレーム数が低下すると、輝度が低下する可能性がある。この問題を考慮して、実施例は、輝度の上昇を提供する。
輝度の上昇は、120fpsの高いフレームレートのままで画面をシミュレートするために、すなわち、1人のみのユーザが見ていると仮定してなされてもよい。更に別の実施例においては、フレームレートの上昇は動的に生じてもよい。これにより、ユーザはシーンに入ったり出たりすることができる。ユーザが画面を視聴しているか否かを検出することにより、フレームレートが動的に調整されてもよい。例えば、ビューCを有するユーザが目をそらし始めたとすると、ビューA及びビューBは、40fpsから60fpsに上昇する。さらに、より高い60fpsのフレームレートはより高い輝度を提供するので、輝度は低く調整されてもよい。このように、ユーザを追跡し、ユーザが画面を見ているか否かをリアルタイムに決定することにより、モード変更中に提供される輝度を調整するだけでなく、それぞれのユーザに専用のフレームレートに画面を自動的に調整することができる。一実施例において、モードは、特定のセッション又はビューイングエリアにユーザが入り又は出たことが、動的追跡により検出されたとき、ユーザの間でビューを多重化することを契機として切り替えられてもよい。特定の特典を有するユーザに、より高いフレームレート又はより高い輝度を提供するように、専用の連動に基づいてブーストが調整されてもよい。結果として、調整は所定のルール、レート、有効性、又はランクに基づいてなされてもよい。
上述したように、追跡及びフィードバックデータを有する眼鏡900は、よりダイナミックな表示及び2次元又は3次元の映像表示とのインタラクションの提供を補助することができる。
3.ハードウェア及びソフトウェア構成
図26は、本発明の一実施例に係る3次元コントローラの実装に親和性の高いゲームコンソールである、ソニープレイステーション3(登録商標)エンタテインメント装置の全体のシステム構成を概略的に示す。システムユニット1000は、システム1000に接続可能な様々な周辺装置とともに提供される。システムユニット1000は、セルプロセッサ1028、ランバス(登録商標)XDRAM(dynamic random access memory)ユニット1026、リアリティシンセサイザ(登録商標)(Reality Synthesizer)グラフィックユニット1030と専用のVRAM(video random access memory)ユニット1032、及び入出力ブリッジ1034を備える。システムユニット1000は、ディスク1040aから読み取るためのブルーレイ(登録商標)ディスクBD−ROM光学ディスクリーダ1040、及び入出力ブリッジ1034を介してアクセス可能なリムーバブルスロットインハードディスクドライブ(HDD)1036を備える。オプションとして、システムユニット1000は、コンパクトフラッシュ(登録商標)メモリカード、メモリスティック(登録商標)メモリカードなどを読み込むための、同様に入出力ブリッジ1034を介してアクセス可能なメモリカードリーダ1038を備える。
入出力ブリッジ1034は、6つのUSB(Universal Serial Bus)ポート1024、ギガビットイーサネット(登録商標)ポート1022、IEEE802.11b/g無線ネットワーク(Wi-Fi)ポート1020、及び7つまでのブルートゥース接続をサポート可能なブルートゥース無線リンクポート1018と接続する。
動作において、入出力ブリッジ1034は、1以上のゲームコントローラ1002及び1003からのデータを含む全ての無線、USB、及びイーサネット(登録商標)のデータを取り扱う。例えばユーザがゲームをプレーしているとき、入出力ブリッジ1034は、ゲームコントローラ1002又は1003からのデータを、ブルートゥースリンクを介して受信し、セルプロセッサ1028に伝える。セルプロセッサは、それに応じてゲームの現在状態をアップデートする。
無線、USB、及びイーサネット(登録商標)ポートは、ゲームコントローラ1002及び1003に加えて、他の周辺装置、例えば、リモート制御1004、キーボード1006、マウス1008、ソニープレイステーションポータブル娯楽装置などの携帯型娯楽装置1010、アイトーイ(登録商標)ビデオカメラ1012などのビデオカメラ、マイクロフォンヘッドセット1014との接続を更に提供する。このような周辺装置は、原則として、システムユニット1000と無線で接続してもよい。例えば、携帯型娯楽装置1010は、Wi−Fiアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット1014は、ブルートゥースリンクを介して通信してもよい。
これらのインタフェースの提供は、プレイステーション3装置が潜在的に他の周辺装置、例えば、DVR(digital video recorder)、セットトップボックス、ディジタルカメラ、携帯型メディアプレイヤー、VoIP(Voice over IP)電話、プリンタ、及びスキャナと互換性を有することを意味する。
さらに、従来のメモリカードリーダ1016がUSBポート1024を介してシステムユニットに接続され、プレイステーション又はプレイステーション2の装置により使用される種類のメモリカードの読込を可能としてもよい。
本実施の形態において、ゲームコントローラ1002及び1003は、ブルートゥースリンクを介してシステムユニット1000と無線通信可能である。しかし、ゲームコントローラ1002及び1003は、USBポートに接続され、ゲームコントローラ1002及び1003のバッテリをチャージするために電源を供給することもできる。ゲームコントローラ1002及び1003は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、LED又は赤外線などの発光器、超音波通信のためのマイクロフォン及びスピーカ、音響チェンバー、ディジタルカメラ、内部クロック、ゲームコンソールに面した球状部分などの認識可能な形状、及びブルートゥース、Wi−Fi(登録商標)などのプロトコルを用いた無線通信などを更に含んでもよい。
ゲームコントローラ1002は、両手で用いられるように設計され、ゲームコントローラ1003は、前述したように、多重位置コントローラである。1以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、3次元位置決定が可能である。ゲームコントローラのユーザによるジェスチャー及び動きの結果は、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力に翻訳される。オプションとして、プレイステーションポータブル装置などの他の無線通信可能な周辺装置がコントローラとして用いられてもよい。プレイステーションポータブル装置の場合、更なるゲーム又は制御情報(例えば、制御命令又はライフの数)が装置の画面に提供されてもよい。他の代替又は補助の制御装置、例えば、ダンスマット(図示せず)、光線銃(図示せず)、ステアリングホイール及びペダル(図示せず)、又は、迅速な反応を要するクイズゲームのための単一又はいくつかの大きなボタン(図示せず)などの専用のコントローラが用いられてもよい。
リモート制御1004も、ブルートゥースリンクを介してシステムユニット1000と無線通信可能である。リモート制御1004は、ブルーレイ(登録商標)ディスクBD−ROMリーダ1040及びディスクコンテンツのナビゲーションのための動作に適した制御を含む。
ブルーレイディスクBD−ROMリーダ1040は、従来の記録された及び記録可能なCD、及びいわゆるスーパーオーディオCDに加えて、プレイステーション及びプレイステーション2装置と互換可能なCD−ROMを読込可能である。リーダ1040は、従来の記録された及び記録可能なDVDに加えて、プレイステーション2及びプレイステーション3装置と互換可能なDVD−ROMも読込可能である。リーダ1040は、更に、従来の記録された及び記録可能なブルーレイディスクだけでなく、プレイステーション3装置と強姦可能なBD−ROMも読込可能である。
システムユニット1000は、プレイステーション3装置により生成又はデコードされた音声及び映像を、リアリティシンセサイザグラフィックユニット1030により、音声及び映像コネクタを介して、ディスプレー及び音声出力装置1042、例えばモニタ又はディスプレー1044及び1以上のラウドスピーカ1046を有するテレビジョンセットに供給可能である。音声コネクタは、従来のアナログ及びディジタル出力を含んでもよい。映像コネクタは、コンポーネントビデオ、S−ビデオ、コンポジットビデオ、及び1以上のHDMI(High Definition Multimedia Interface)出力又はディスプレーポート出力を広く含んでもよい。映像出力は、PAL又はNTSC、又は720p、1080i、又は1080pの高解像度のフォーマットであってもよい。
音声処理(生成、デコードなど)は、セルプロセッサ1028により実行される。プレイステーション3装置のオペレーティングシステムは、ドルビー(登録商標)5.1サラウンド音声、DTS(Dolby Theatre Surround)、及びブルーレイディスクからの7.1サラウンド音声のデコードをサポートしている。
本実施の形態において、ビデオカメラ1012は、単一のCCD(charge coupled device)、LEDインジケータ、及びハードウェアベースのリアルタイムデータ圧縮符号化装置を備え、圧縮されたビデオデータは、適切なフォーマット、例えば画像内ベースのMEG(motion picture expert group)標準規格などで、システムユニット1000によりデコードされるために送信されてもよい。カメラのLEDインジケータは、システムユニット1000からのデータの適切な制御に応じて、例えば逆光条件を意味するために光るように設計される。ビデオカメラ1012の実施例は、システムユニット1000に、USB、ブルートゥース、又はWi−Fi通信ポートを介して様々に接続されてもよい。ビデオカメラの実施例は、1以上の関連づけられた、音声データを送信可能なマイクロフォンを含んでもよい。ビデオカメラの実施例において、CCDは高解像度のビデオ撮像のために好適な解像度を有する。使用において、ビデオカメラにより撮像された画像は、例えばゲーム内に組み込まれ、又はゲーム制御入力として解釈される。別の実施例において、カメラは赤外光を検出するのに好適な赤外線カメラである。
一般に、例えばビデオカメラ又はシステムユニット1000の通信ポートの1つを介したリモート制御などの周辺装置との間で起こるデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術はよく知られており、ここでは詳細について説明しないが、デバイスドライバ又は類似のソフトウェアインタフェースが本発明の実施の形態に必要とされることは当業者に理解されるところである。
図27は、本発明の一実施例にしたがって命令を処理するために用いられる更なるハードウェアを示す。セルプロセッサ1028は、4つの基礎要素を備える構造を有する。すなわち、メモリコントローラ1160及びデュアルバスインタフェースコントローラ1170A、Bを備える外部入出力構成、パワープロセッシングエレメント1150と呼ばれるメインプロセッサ、SPE(Synergistic Processing Element)と呼ばれる8個のコプロセッサ1110A〜H、及び上述の構成要素を接続する、エレメントインターコネクトバス1180と呼ばれる環状バスである。セルプロセッサの総浮動小数点演算性能は、
プレイステーション2装置のエモーションエンジンが6.2GFLOPSであるのに対して、218GFLOPSである。
パワープロセッシングエレメント(PPE:Power Processing Element)1150は、3.2GHzの内部クロックで動作するパワーPC(PowerPC)コア(PPU)1155
に互換な、双方向平行マルチスレッドのパワー1470に基づいている。これは、512kBのレベル2(L2)キャッシュ及び32kBのレベル1(L1)キャッシュを備える。PPE1150は、クロックサイクルごとに8つの単精度演算を行うことができ、これは3.2GHzにおいて25.6GFLOPSにあたる。PPE1150の主要な役割は、ほとんどの計算作業負荷を扱うSPE1110A〜Hのためのコントローラとして機能することである。動作において、PPE1150は、ジョブのキューを保持し、SPE1110A〜Hのジョブをスケジューリングし、それらの進行を監視する。それぞれのSPE1110A〜Hは、ジョブを取ってきて実行するのが役割であるカーネルを実行し、PPE1150に同期される。
それぞれのSPE1110A〜Hは、SPU1120A〜Hを備え、それぞれのメモリフローコントローラ(MFC:Memory Flow Controller)は、ダイナミックメモリアクセスコントローラ(DMAC:Dynamic Memory Access Controller)、メモリ管理ユニット(MMU)1144A〜H、及びバスインタフェース(図示せず)を備える。それぞれのSPU1120A〜Hは、クロックが3.2GHzで、原則として4GBまで拡張可能な256kBのローカルRAM1150A〜Hを備える、RISCプロセッサである。それぞれのSPEは、理論上、25.6GFLOPSの単精度性能を与える。SPUは、4つの単精度浮動小数演算、4つの32ビット演算、8つの16ビット整数演算、又は16の8ビット整数演算を、1つのクロックサイクルで実行可能である。同じクロックサイクルにて、メモリ命令を実行することもできる。SPU1120A〜Hは、システムメモリXDRAM1126に直接アクセスしない。SPU1120A〜Hにより生成される64ビットのアドレスは、MFC1140A〜Hに渡され、エレメントインターコネクトバス1180及びメモリコントローラ1160を介してメモリにアクセスするためのDMBコントローラ1142A〜Hに命令される。
EIB1180は、セルプロセッサ1028の内部の論理的に巡回した通信バスである。EIBは、上述のプロセッサエレメント、すなわち、PPE1150、メモリコントローラ1160、デュアルバスインタフェース1170A、B、及び8つのSPE1110A〜Hの、合計12の要素を接続する。要素は、クロックサイクルごとに8バイトの速度でバスを同時に読み、及び書き込むことができる。前述したように、それぞれのSPE1110A〜Hは、より長いリード又はライトシーケンスをスケジュールするためのDMAC1142A〜Hを備える。EIBは4つのチャンネルを備え、2つは時計回りで、2つは反時計回りの方向である。12の要素の間で、任意の2つの要素の間のうち最も長いデータフローは、適切な方向に6段階となる。EIBの12スロットの帯域の理論上のピークの瞬間は、要素間の仲裁を通して全てが利用されたとき、クロックごとに96バイトである。これは、クロックレートが3.2GHzのときの理論上のピークバンド幅の307.2GB/s(ギガバイト毎秒)と同じである。
メモリコントローラ1160は、ランバス社により開発されたXDRAMインタフェース1162を備える。メモリコントローラは、理論上はピークバンド幅毎秒25.6ギガバイトで、ランバスXDRAM1126と接続する。
デュアルバスインタフェース1170A、Bは、ランバスフレックスIO(登録商標)システムインタフェース1172A、Bを備える。インタフェースは、それぞれが8ビット幅である、入力5経路、出力7経路の12チャンネルを組織化する。これは、セルプロセッサ及びコントローラ1170Aを介した入出力ブリッジ1034及びコントローラ1170Bを介したリアリティシミュレータグラフィックスユニット1030の間の62.4GB/s(出力36.4GB/s、入力26GB/s)の理論的ピークバンド幅を提供する。
セルプロセッサ1028によりリアリティシミュレータ(Reality Simulator)グラフィクスユニット1030に送られたデータは、典型的には、表示リスト、頂点の描画命令列、ポリゴンに対するテクスチャの適用、光条件の特定などを含む。さらに、本発明の実施の形態は、ユーザにリアルタイムなゲームの相互作用の体験を提供する。例えば、ユーザはコンピュータにより生成された様々なオブジェクトにリアルタイムに相互作用できる。さらに、ビデオシーンがユーザのゲーム体験を高めるために、リアルタイムに変更されてもよい。
4.分散処理−クラウドコンピューティング
図28は、本発明の一実施例に係る、インターネットを介してサーバ処理に接続するゲームクライアント1102と相互作用するそれぞれのユーザAからユーザEのシーンAからシーンEの例を示す。上述したように、ゲームクライアントは、ユーザがインターネットを介してサーバのアプリケーション及び処理と接続することを可能とする装置である。ゲームクライアントは、ユーザが、ゲーム、映画、音楽、及び写真などのオンライン娯楽コンテンツにアクセスし、再生することを可能とする。さらに、ゲームクライアントは、VOIP、テキストチャットプロトコル、及び電子メールなどのオンライン通信アプリケーションへのアクセスを提供することができる。
ユーザは、コントローラを介してゲームクライアントと相互作用する。ある実施の形態においては、コントローラはゲームクライアント専用のコントローラであり、別の実施の形態においては、コントローラはキーボード及びマウスの組み合わせであってもよい。一実施例において、ゲームクライアントは、モニタ/テレビジョン及び関連づけられた音響装置を介してマルチメディア環境を創設するための音声及び映像信号を出力することが可能なスタンドアロンの装置である。例えば、ゲームクライアントは、シンクライアント、内部PCIエクスプレスカード、外部PCIエクスプレス装置、エクスプレスカード装置、内部、外部、又は無線USB装置、又はファイアワイア装置などであってもよい。他の実施例において、ゲームクライアントは、テレビジョン又は他のマルチメディア装置、例えば、DVR、ブルーレイプレイヤー、DVDプレイヤー、又は多重チャンネル受信機などに設けられてもよい。
図28のシーンAにおいて、ユーザAは、ゲームクライアント1102Aと組になるコントローラ100を用いて、モニタ106上に表示されたクライアントアプリケーションと相互作用する。同様に、シーンBにおいて、ユーザBは、ゲームクライアント1102Bと組になるコントローラ100を用いて、モニタ106上に表示された別のクライアントアプリケーションと相互作用する。シーンCは、ユーザCがゲームクライアント1102Cからのゲーム及び友達リストを表示しているモニタを見ているときに、ユーザCを後ろから見た様子を示す。図11は単一のサーバ処理モジュールを示すが、一実施例において、世界中には複数のサーバ処理モジュールが存在する。それぞれのサーバ処理モジュールは、ユーザセッション制御、共有/通信ロジック、ユーザジオロケーション、及び付加分散処理サービスのためのサブモジュールを含む。さらに、サーバ処理モジュールは、ネットワーク処理及び分散ストレージを含む。
ゲームクライアント1102がサーバ処理モジュールに接続するとき、ユーザセッション制御はユーザを認証するために用いられてもよい。認証されたユーザは、仮想化された分散ストレージ及び仮想化されたネットワーク処理に関連づけられる。ユーザの仮想化された分散ストレージの一部として格納されるアイテムの例は、ゲーム、ビデオ及び音楽などの購入されたメディアを含む。さらに、分散ストレージは、複数のゲームのゲームステータス、カスタマイズされた個々のゲームの設定、及びゲームクライアントのための一般設定を格納するために用いられてもよい。一実施例において、サーバ処理のユーザジオロケーションモジュールは、ユーザ及びそのゲームクライアントの地理的位置を決定するために用いられる。ユーザの地理的位置は、共有/通信ロジック及び負荷分散処理サービスの双方により、地理的位置及び複数のサーバ処理モジュールからの処理要求に基づいて、処理を最適化するために用いられてもよい。ネットワーク処理及びネットワークストレージの一方又は双方を仮想化することにより、ゲームクライアントからの処理タスクを、利用されていないサーバ処理モジュールに動的にシフトすることができる。このように、負荷分散が、ストレージからの再呼び出し及びサーバ処理モジュール及びゲームクライアントの間のデータ送信に関連する待ち時間を最小限にするために用いられてもよい。
図28に示すように、サーバ処理モジュールは、サーバアプリケーションA及びサーバアプリケーションBのインスタンスを有する。サーバ処理モジュールは、サーバアプリケーションX1及びサーバアプリケーションX2により示されるように、複数のサーバアプリケーションをサポートすることができる。一実施例において、サーバ処理は、クラスター内の複数のプロセッサがサーバアプリケーションを実行することを可能とするクラスタ計算アーキテクチャに基づいている。別の実施例において、複数のコンピュータによる処理スキームの異なる種類がサーバアプリケーションを実行するために適用されてもよい。これにより、複数のクライアントアプリケーション及び対応するサーバアプリケーションを実行する多数のゲームクライアントを調停するために、サーバ処理を比較することができる。または、サーバ処理は、より要求の厳しいグラフィックス処理又はゲーム、映像圧縮、又は複雑なアプリケーションにより必要とされる、増加した計算要求を調整するために比較されてもよい。一実施例において、サーバ処理モジュールは、サーバアプリケーションを介した処理の大多数を実行する。これにより、グラフィックスプロセッサ、RAM、及び汎用プロセッサなどの比較的高価な構成要素を中央に配置し、ゲームクライアントのコストを低減させることができる。実行されたサーバアプリケーションのデータは、インターネットを介して対応するゲームクライアントに返送され、モニタに表示される。
シーンCは、ゲームクライアント及びサーバ処理モジュールにより実行可能なアプリケーションの例を示す。例えば、一実施例において、ゲームクライアント1102Cにより、ユーザCは、ユーザA、ユーザB、ユーザD及びユーザEを含む友達リスト1120を生成し、見ることができる。図示するように、シーンCにおいて、ユーザCは、リアルタイム画像又はそれぞれのユーザのアバターを、モニタ106C上で見ることができる。サーバ処理は、ユーザA、ユーザB、ユーザD及びユーザEのそれぞれのゲームクライアント1102とともに、ゲームクライアント1102Cのそれぞれのアプリケーションを実行する。サーバ処理は、ゲームクライアントBにより実行されているアプリケーションに気づいているので、ユーザAに対する友達リストは、ユーザBがプレーしているゲームが何かを示してもよい。さらに、一実施例において、ユーザAは、ユーザBから実際のゲームビデオを直接見てもよい。これは、ユーザBのために処理されたサーバアプリケーションのデータをゲームクライアントBだけでなくゲームクライアントAにも送ることで実現される。
友達からビデオを見ることができるだけでなく、通信アプリケーションは、友達間でのリアルタイム通信を可能とする。前述の例を適用すると、これにより、ユーザAは、ユーザBのリアルタイム映像を見ながら、励ましやヒントを与えることができる。一実施例において、双方向のリアルタイム音声通信がクライアント/サーバアプリケーションを介して確立される。別の実施例において、クライアント/サーバアプリケーションはテキストチャットを可能とする。さらに別の実施例において、クライアント/サーバアプリケーションは会話をテキストに変換して友達の画面に表示する。
シーンD及びシーンEは、それぞれ、ゲームコンソール1110D及び1110Eと相互対話するユーザD及びユーザEを示す。それぞれのゲームコンソール1110D及び1110Eはサーバ処理モジュールに接続される。サーバ処理モジュールがゲームコンソール及びゲームクライアントの双方のためにゲームプレーを統合するネットワークが示される。
上述した実施の形態によれば、本発明は、コンピュータシステムに格納されたデータを含む、様々なコンピュータ実装された命令を用いてもよいことが理解される。これらの命令は、物理量の物理的操作を要する命令を含む。一般に、必ずではないが、これらの量は、格納され、転送され、結合され、比較され、及びその他の操作がなされることが可能な電気的又は磁気的信号の形式をとる。さらに、実行される操作は、例えば、生成、識別、決定、又は比較などと、しばしば明確に呼ばれる。
上述した発明は、携帯型装置、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラム可能な民生用電子機器、マイクロコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成により実現されてもよい。本発明は、通信ネットワークを介して接続された遠隔処理装置によりタスクが実行される分散処理環境において実現されてもよい。
本発明は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具体化されてもよい。コンピュータ読み取り可能な媒体は、コンピュータシステムにより読み取り可能なデータを格納可能な任意のデータストレージ装置であり、電磁的搬送波を含む。コンピュータ読み取り可能な媒体の例は、ハードドライブ、NAS(network attached storage)、ROM(read-only memory)、RAM(random-access memory)、CD−ROM、CD−R、CD−RW、磁気テープ、及び他の光学的又は非光学的データストレージ装置を含む。コンピュータ読み取り可能な媒体は、コンピュータシステムに結合されたネットワークを介して配布され、コンピュータ読み取り可能なコードは分散方式で格納され実行されてもよい。
上記では、理解を明確にするために本発明を詳細に説明したが、添付の請求の範囲内で特定の変更および修正を実施可能であることは明らかである。したがって、実施の形態は例示的なものであり限定を意味するものではなく、また、本発明は本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正可能である。

Claims (18)

  1. 表示装置を調整するための装置であって、
    フレームを備え、
    前記フレームは、
    (a)1組のシャッターレンズ、
    (b)前記フレームに結合された光源、
    (c)前記フレームに設けられ、前記1組のシャッターレンズを制御し、前記フレームに結合された前記光源を制御し、前記シャッターレンズと前記表示装置とを同期させるために前記表示装置と通信可能な回路を含み、
    前記光源は前記表示装置に対する前記フレームの位置を決定するために分析され、
    前記位置は前記フレームの前記位置の地点から見たときの表示出力を調整するために用いられる
    ことを特徴とする装置。
  2. 前記フレームは眼鏡であり、
    前記1組のシャッター眼鏡は前記フレームに結合される
    ことを特徴とする請求項1に記載の装置。
  3. 前記光源は前記フレームに結合された1又は2の光源により定められ、
    光源が2つの場合、それぞれは空間的に離れた方向に配置される
    ことを特徴とする請求項1に記載の装置。
  4. 前記表示出力の調整は、前記フレームから分析された2つの前記光源から検出された角度に基づいて、前記位置から見た視差を最適化するために実行されることを特徴とする請求項3に記載の装置。
  5. 前記回路は、前記表示との相互作用の状態に基づいて、位置の分析のための連動比率を適用し、又は、前記フレームの慣性移動のための入力を取得することを特徴とする請求項1に記載の装置。
  6. 相互作用の状態は、受動的な視聴、移動しながらの視聴、インタフェースしながらの視聴、又はゲームの対話中を含むことを特徴とする請求項1に記載の装置。
  7. 前記フレームはカメラを含み、又は、前記フレームは無線送信部を含むことを特徴とする請求項1に記載の装置。
  8. 前記回路は、追跡モジュール、シャッターフィルタ制御、慣性センサ、同期モジュール、及び光源制御に結合された1以上のディジタル信号プロセッサを含むことを特徴とする請求項1に記載の装置。
  9. 前記回路は、入力を変調するためのミキサを含み、
    前記ミキサは、視差最適化部に入力を提供する
    ことを特徴とする請求項4に記載の装置。
  10. 表示装置を調整するための方法であって、
    前記表示装置に対するフレームの位置を決定するために、前記フレームから光源を検出するステップを含み、
    前記位置は、前記フレームの前記位置の地点から見たときの表示出力を調整するために用いられ、
    前記フレームは、
    (a)1組のシャッターレンズ、
    (b)前記フレームに結合された光源、
    (c)前記フレームに設けられ、前記1組のシャッターレンズを制御し、前記フレームに結合された前記光源を制御し、前記シャッターレンズと前記表示装置とを同期させるために前記表示装置と通信可能な回路を含む
    ことを特徴とする方法。
  11. 前記フレームは眼鏡のためのものであり、
    前記シャッターレンズは前記フレームに結合され、
    前記表示装置に向いたカメラが前記フレームから前記光源を検出するために画像を撮像するように構成される
    ことを特徴とする請求項10に記載の方法。
  12. 前記光源は1又は2の光源により定められ、
    それぞれの光源は空間的に離れた方向にて前記フレームに結合される
    ことを特徴とする請求項10に記載の方法。
  13. 前記表示出力の調整は、前記フレームから分析された2つの前記光源から検出された角度に基づいて、前記位置から見た視差を最適化するために実行されることを特徴とする請求項12に記載の方法。
  14. 前記回路は、
    (a)前記フレームの慣性移動のための入力を取得し、又は、
    (b)前記表示との相互作用の状態に基づいて、位置の分析のための連動比率を適用する
    ことを特徴とする請求項10に記載の方法。
  15. 相互作用の状態は、受動的な視聴、移動しながらの視聴、インタフェースしながらの視聴、又はゲームの対話中を含むことを特徴とする請求項10に記載の方法。
  16. 前記フレームはカメラを含み、及び/又は、前記フレームは無線送信部を含むことを特徴とする請求項10に記載の方法。
  17. 前記回路は、追跡モジュール、シャッターフィルタ制御、慣性センサ、同期モジュール、及び光源制御のうちの1つに結合されたディジタル信号プロセッサを含むことを特徴とする請求項10に記載の方法。
  18. 請求項10から17のいずれかに記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010161283A 2009-07-16 2010-07-16 アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法 Active JP5967343B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/503,846 US8269822B2 (en) 2007-04-03 2009-07-16 Display viewing system and methods for optimizing display view based on active tracking
US12/503,846 2009-07-16

Publications (2)

Publication Number Publication Date
JP2011019917A true JP2011019917A (ja) 2011-02-03
JP5967343B2 JP5967343B2 (ja) 2016-08-10

Family

ID=41504700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010161283A Active JP5967343B2 (ja) 2009-07-16 2010-07-16 アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法

Country Status (7)

Country Link
US (1) US8269822B2 (ja)
EP (1) EP2278818A3 (ja)
JP (1) JP5967343B2 (ja)
KR (1) KR101260033B1 (ja)
CN (1) CN101966393B (ja)
BR (1) BRPI1010413A2 (ja)
TW (1) TWI454129B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175704A (ja) * 2011-02-21 2012-09-10 Hon Hai Precision Industry Co Ltd セットトップボックス、シャッターメガネ、及び各々のユーザーが同時にそれぞれ好きな番組を視聴できる方法
JP2012205267A (ja) * 2011-03-28 2012-10-22 Sony Corp 表示制御装置、表示制御方法、検出装置、検出方法、プログラム、及び表示システム
JP2012208892A (ja) * 2011-03-30 2012-10-25 Konami Digital Entertainment Co Ltd 立体画像生成装置、立体画像生成方法、ならびに、プログラム
JP2012222699A (ja) * 2011-04-12 2012-11-12 Sharp Corp 表示制御システム、姿勢検出用メガネ、制御プログラムおよび記録媒体
JP2012235348A (ja) * 2011-05-02 2012-11-29 Funai Electric Co Ltd 立体画像鑑賞システム
JP2013123220A (ja) * 2011-12-09 2013-06-20 Thomson Licensing 不均衡設定方法及び対応する装置
JP2013538473A (ja) * 2010-06-16 2013-10-10 エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー. メディア・コンテンツを提示するための方法および装置
WO2014178478A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이, 디지털 디바이스 및 이들의 제어 방법
US9253478B2 (en) 2011-08-11 2016-02-02 Sony Corporation Information processing method and information processing device

Families Citing this family (251)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20120105439A1 (en) * 2008-12-18 2012-05-03 3D Fusion Inc. System and Method For Adaptive Scalable Dynamic Conversion, Quality and Processing Optimization, Enhancement, Correction, Mastering, And Other Advantageous Processing of Three Dimensional Media Content
KR101296900B1 (ko) * 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
US8436789B2 (en) * 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
CN102293005B (zh) * 2009-01-22 2015-01-14 日本电气株式会社 三维影像鉴赏系统、显示系统、光学快门和三维影像鉴赏方法
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
US20110165923A1 (en) 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
CN102484729B (zh) 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
GB2472438A (en) * 2009-08-06 2011-02-09 Sony Corp Multi-person 3D display system with several viewers watching different images on a single screen
KR20110044080A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 디스플레이장치 및 그 영상표시방법과 입체안경 및 그 구동방법
US8704932B2 (en) * 2009-10-23 2014-04-22 Broadcom Corporation Method and system for noise reduction for 3D video content
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2011061975A1 (ja) * 2009-11-19 2011-05-26 シャープ株式会社 画像表示システム
US9179136B2 (en) 2009-11-20 2015-11-03 Broadcom Corporation Method and system for synchronizing 3D shutter glasses to a television refresh rate
US9486701B2 (en) * 2009-12-30 2016-11-08 Crytek Gmbh Computer-controlled video entertainment system
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
IT1397295B1 (it) * 2010-01-07 2013-01-04 3Dswitch S R L Sistema e metodo per il controllo della visualizzazione di un flusso video stereoscopico.
KR100975128B1 (ko) 2010-01-11 2010-08-11 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2011166610A (ja) * 2010-02-12 2011-08-25 Canon Inc 立体映像制御装置及びその制御方法
JP5834177B2 (ja) * 2010-02-17 2015-12-16 パナソニックIpマネジメント株式会社 立体画像表示システム及び立体視メガネ
US8797390B2 (en) * 2010-02-17 2014-08-05 Lg Electronics Inc. Image display device, 3D viewing device, and method for operating the same
FR2956750B1 (fr) * 2010-02-24 2012-08-17 Activeyes Lunettes a cristaux liquides et dispositif de commande
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US20110216173A1 (en) * 2010-03-02 2011-09-08 Comcast Cable Communications, Llc Impairments To 3D Experiences
KR20110101944A (ko) * 2010-03-10 2011-09-16 삼성전자주식회사 3d 안경, 3d 안경의 구동방법 및 3d 영상 제공 시스템
US9456204B2 (en) * 2010-03-16 2016-09-27 Universal Electronics Inc. System and method for facilitating configuration of a controlling device via a 3D sync signal
US9424768B2 (en) * 2010-03-16 2016-08-23 Universal Electronics Inc. System and method for universal 3D viewing device
JP2011223558A (ja) * 2010-03-26 2011-11-04 Panasonic Corp 映像信号処理装置およびアクティブシャッターメガネ
JP2011215227A (ja) * 2010-03-31 2011-10-27 Sony Corp 映像表示装置、映像表示システム、映像提示方法、並びにコンピューター・プログラム
KR101677251B1 (ko) * 2010-04-13 2016-11-17 삼성전자주식회사 3d 디스플레이 장치 및 그의 gui 설정 방법, 그리고 3d 안경
KR20110115806A (ko) * 2010-04-16 2011-10-24 삼성전자주식회사 디스플레이 장치 및 3d 안경, 그리고 이를 포함하는 디스플레이 시스템
US20110254829A1 (en) * 2010-04-16 2011-10-20 Sony Ericsson Mobile Communications Ab Wearable electronic device, viewing system and display device as well as method for operating a wearable electronic device and method for operating a viewing system
US20130027526A1 (en) * 2010-04-20 2013-01-31 Sony Computer Entertainment Inc. Universal active 3d stereo shutter glasses
CN101986184A (zh) * 2010-05-06 2011-03-16 徐晗 动态视角液晶眼镜
KR20110128099A (ko) * 2010-05-20 2011-11-28 삼성전자주식회사 입체 영상 표시 장치 및 그 구동 방법
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8373573B2 (en) * 2010-06-15 2013-02-12 Transcend Information, Inc. Display system adapting to 3D tilting adjustment
US9787974B2 (en) * 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
US8640182B2 (en) * 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8918831B2 (en) * 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US8922631B1 (en) 2010-07-06 2014-12-30 Lucasfilm Entertainment Company Ltd. Presenting multiple viewer content on a single screen
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9159165B2 (en) * 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9560406B2 (en) * 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9032470B2 (en) * 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
DE112011102392B4 (de) * 2010-07-21 2019-01-10 Sony Corporation Synchronisation von Shutter-Signalen für mehrere 3D-Wiedergabegeräte/Vorrichtungen
US8624960B2 (en) * 2010-07-30 2014-01-07 Silicon Image, Inc. Multi-view display system
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US20120190439A1 (en) * 2010-08-03 2012-07-26 Bby Solutions, Inc. Multiple simultaneous programs on a display
TWI411293B (zh) * 2010-08-06 2013-10-01 Acer Inc 觀賞眼鏡、三維顯示系統及其影像光束調整方法
US20120038827A1 (en) * 2010-08-11 2012-02-16 Charles Davis System and methods for dual view viewing with targeted sound projection
TWI408948B (zh) * 2010-08-16 2013-09-11 Wistron Corp 根據不同視角播放相對應之立體影像之方法及其相關影像處理系統
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
JP5025772B2 (ja) * 2010-08-30 2012-09-12 株式会社東芝 立体視用眼鏡及び立体視映像表示システム
US9712811B2 (en) 2010-09-01 2017-07-18 Jeramie J Keys Viewing of different full-screen television content by different viewers at the same time using configured glasses and a related display
JP5364666B2 (ja) * 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
US20120062551A1 (en) * 2010-09-13 2012-03-15 Lg Electronics Inc. Image display apparatus and method for operating image display apparatus
JP5511969B2 (ja) 2010-09-14 2014-06-04 パナソニック株式会社 立体映像視聴用眼鏡及びその制御方法
US8786685B1 (en) * 2010-09-15 2014-07-22 Rockwell Collins, Inc. Full-resolution single-LCD stereoscopic display
EP2432218B1 (en) * 2010-09-20 2016-04-20 EchoStar Technologies L.L.C. Methods of displaying an electronic program guide
JP2012090259A (ja) * 2010-09-21 2012-05-10 Panasonic Corp 撮像装置
KR20120031790A (ko) * 2010-09-27 2012-04-04 삼성전자주식회사 영상처리장치, 컨텐츠 제공서버 및 그들의 제어방법
JP5039194B2 (ja) * 2010-09-30 2012-10-03 株式会社東芝 表示装置及び録画方法
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US9001196B2 (en) * 2010-10-05 2015-04-07 Echostar Technologies L.L.C. Apparatus, systems and methods for synchronization of 3-D shutter glasses to one of a plurality of presentation devices
US8830329B2 (en) 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking
TWI408949B (zh) * 2010-10-11 2013-09-11 Danic Ind Co Ltd 單螢幕多頻同步2d及3d影音系統
KR20120039197A (ko) * 2010-10-15 2012-04-25 삼성전자주식회사 리모트 컨트롤러, 디스플레이장치, 3d 안경 및 이들의 제어방법
US20120098931A1 (en) * 2010-10-26 2012-04-26 Sony Corporation 3d motion picture adaption system
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US20120113235A1 (en) * 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
KR101732131B1 (ko) * 2010-11-12 2017-05-04 삼성전자주식회사 사용자 위치 기반의 영상 제공 장치 및 방법
US8608550B1 (en) * 2010-11-12 2013-12-17 Wms Gaming, Inc Coordinating three dimensional wagering game content presentations
US8836772B2 (en) * 2010-11-17 2014-09-16 Sony Computer Entertainment, Inc. 3D shutter glasses with frame rate detector
KR20120053587A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 디스플레이장치 및 그 사운드 제어방법
JP5598281B2 (ja) * 2010-11-19 2014-10-01 ソニー株式会社 投射型表示システム
JP2012114825A (ja) * 2010-11-26 2012-06-14 Samsung Electronics Co Ltd 撮像装置、撮像システム及び撮像方法
JP5699566B2 (ja) * 2010-11-29 2015-04-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8698880B2 (en) * 2010-12-01 2014-04-15 Industrial Technology Research Institute System and method for time multiplexed stereo display and display apparatus
US8817080B2 (en) * 2010-12-02 2014-08-26 At&T Intellectual Property I, L.P. Location based media display
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
WO2012087275A1 (en) * 2010-12-20 2012-06-28 Sony Ericsson Mobile Communications Ab Determining device movement and orientation for three dimensional view
US20120154559A1 (en) * 2010-12-21 2012-06-21 Voss Shane D Generate Media
CN102075776B (zh) * 2011-01-18 2014-03-26 青岛海信电器股份有限公司 一种立体显示的控制方法及装置
US20120194656A1 (en) * 2011-01-27 2012-08-02 Openpeak, Inc. System and method for displaying multiple exclusive video streams on one monitor
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
US20120212589A1 (en) * 2011-02-20 2012-08-23 Min-Hung Chien Playback methods and playback apparatuses for processing multi-view content
US20120218288A1 (en) * 2011-02-24 2012-08-30 Cheng Bruce C H Interactive program system
US20120218253A1 (en) * 2011-02-28 2012-08-30 Microsoft Corporation Adjusting 3d effects for wearable viewing devices
JP5431390B2 (ja) * 2011-02-28 2014-03-05 株式会社東芝 映像出力装置及び映像出力方法
US8188880B1 (en) 2011-03-14 2012-05-29 Google Inc. Methods and devices for augmenting a field of view
KR20120105199A (ko) * 2011-03-15 2012-09-25 엘지디스플레이 주식회사 다중 시청 가능한 입체영상 표시장치 및 그 구동방법
JP2012204852A (ja) * 2011-03-23 2012-10-22 Sony Corp 画像処理装置および方法、並びにプログラム
US9183199B2 (en) * 2011-03-25 2015-11-10 Ming-Yuan Wu Communication device for multiple language translation system
CN102736254B (zh) * 2011-04-12 2014-10-08 夏普株式会社 视认切换用眼镜及显示控制装置
CN102740015B (zh) * 2011-04-13 2015-03-11 鸿富锦精密工业(深圳)有限公司 同时播放不同频道的电视系统
US8784206B1 (en) 2011-04-15 2014-07-22 Wms Gaming, Inc. Modifying presentation of three-dimensional, wagering-game content
TWI470995B (zh) * 2011-05-02 2015-01-21 Mstar Semiconductor Inc 應用於三維顯示器的方法與相關裝置
US20130127838A1 (en) * 2011-05-17 2013-05-23 Kiz Studios Systems and methods for providing a three-dimensional display of a digital image
US8923686B2 (en) * 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
JP5914838B2 (ja) * 2011-05-23 2016-05-11 パナソニックIpマネジメント株式会社 画像表示装置
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
KR20120132240A (ko) * 2011-05-27 2012-12-05 삼성전자주식회사 복수의 사용자에게 복수의 영상을 제공하는 듀얼 뷰 디스플레이 방법 및 듀얼 뷰 안경 구동 방법, 이를 적용한 디스플레이 장치 및 듀얼 뷰 안경
US9578314B2 (en) * 2011-06-22 2017-02-21 Eyelementec Inc. Image/information display system and method based on temporal psycho-visual modulation
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
KR20130013248A (ko) * 2011-07-27 2013-02-06 삼성전자주식회사 3d 영상 재생 기기 및 그 3d 영상 제어 방법
US9465226B2 (en) * 2011-08-09 2016-10-11 Sony Computer Entertainment Inc. Automatic shutdown of 3D based on glasses orientation
KR101905090B1 (ko) * 2011-08-11 2018-10-08 삼성디스플레이 주식회사 다중 화상 표시 장치
US20130038685A1 (en) * 2011-08-12 2013-02-14 Alcatel-Lucent Usa Inc. 3d display apparatus, method and structures
US20130050573A1 (en) * 2011-08-25 2013-02-28 Comcast Cable Communications, Llc Transmission of video content
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
CN103002376B (zh) * 2011-09-09 2015-11-25 联想(北京)有限公司 声音定向发送的方法和电子设备
CN102394911B (zh) * 2011-09-14 2014-03-05 曹银锋 计算机辅助工程一体化云分析系统及方法
GB2508786B (en) * 2011-09-23 2015-08-19 Finch Company Pty Ltd Image Processing
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
US9628843B2 (en) 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10008021B2 (en) * 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US20130155207A1 (en) * 2011-12-15 2013-06-20 Joseph M. Freund System and method for automatically controlling a video presentation
US20130169755A1 (en) * 2011-12-28 2013-07-04 Samsung Electronics Co., Ltd. Signal processing device for processing plurality of 3d content, display device for displaying the content, and methods thereof
CN203015041U (zh) 2011-12-29 2013-06-19 三星电子株式会社 显示装置
EP2611178A3 (en) * 2011-12-29 2015-08-19 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof
FR2982110B3 (fr) * 2012-01-10 2014-03-14 Samsung Electronics Co Ltd Dispositif de lunettes pour visionner une image d'affichage
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
EP2820837A4 (en) * 2012-03-01 2016-03-09 H4 Eng Inc APPARATUS AND METHOD FOR AUTOMATIC VIDEO RECORDING
FR2989482B1 (fr) * 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
US20130300730A1 (en) * 2012-05-14 2013-11-14 Shenzhen China Star Optoelectronics Technology Co., Ltd. Lcd system and method for displaying image therein
JP6141971B2 (ja) * 2012-06-05 2017-06-07 エルジー エレクトロニクス インコーポレイティド 3d放送サービスのための放送信号処理方法及び装置
EP2685732A1 (en) * 2012-07-12 2014-01-15 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Stereoscopic pictures generation
US9317109B2 (en) 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
US9019415B2 (en) * 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter
CN103595997A (zh) * 2012-08-13 2014-02-19 辉达公司 3d显示系统和3d显示方法
US9571822B2 (en) * 2012-08-28 2017-02-14 Samsung Electronics Co., Ltd. Display system with display adjustment mechanism for viewing aide and method of operation thereof
CN104683790A (zh) * 2012-09-25 2015-06-03 青岛海信电器股份有限公司 一种图像处理方法及显示装置
KR20140040451A (ko) * 2012-09-26 2014-04-03 삼성전자주식회사 멀티뷰 디스플레이장치 및 그의 표시방법
CN103716616A (zh) * 2012-10-09 2014-04-09 瀚宇彩晶股份有限公司 可切换二维与裸眼立体显示模式的显示装置的显示方法
US20140118250A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Pointing position determination
EP2919874B1 (en) * 2012-11-16 2022-04-13 Sony Interactive Entertainment LLC Systems and methods for cloud processing and overlaying of content on streaming video frames of remotely processed applications
KR101538659B1 (ko) * 2012-11-20 2015-07-22 삼성메디슨 주식회사 영상 출력 장치, 방법 이를 이용하는 영상 제공 시스템, 영상 제공 방법 및 기록 매체
KR101999180B1 (ko) * 2012-11-23 2019-10-01 삼성전자주식회사 디스플레이 장치, 그의 제어 방법, 안경 장치 및 그의 제어 방법
US9264749B2 (en) 2012-12-13 2016-02-16 Microsoft Technology Licensing, Llc Server GPU assistance for mobile GPU applications
KR20140082266A (ko) * 2012-12-24 2014-07-02 한국전자통신연구원 혼합현실 콘텐츠 시뮬레이션 시스템
US20140180695A1 (en) * 2012-12-25 2014-06-26 Microsoft Corporation Generation of conversation to achieve a goal
FR3001853B1 (fr) * 2013-02-01 2016-10-21 Inst Mines Telecom Systeme de visualisation pour le visionnement simultane d'une pluralite de flux multimedia, comprenant une pluralite de lunettes de visualisation et un support de visualisation
US9129515B2 (en) * 2013-03-15 2015-09-08 Qualcomm Incorporated Ultrasound mesh localization for interactive systems
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
CN104244071A (zh) * 2013-06-18 2014-12-24 上海和辉光电有限公司 一种音频播放系统及控制方法
US9549224B2 (en) * 2013-08-07 2017-01-17 Rovi Guides, Inc. Methods and systems for presenting supplemental content in media assets
US9818379B2 (en) 2013-08-08 2017-11-14 Nvidia Corporation Pixel data transmission over multiple pixel interfaces
US20150049078A1 (en) * 2013-08-15 2015-02-19 Mep Tech, Inc. Multiple perspective interactive image projection
US9778546B2 (en) 2013-08-15 2017-10-03 Mep Tech, Inc. Projector for projecting visible and non-visible images
JP2016533114A (ja) 2013-08-21 2016-10-20 トムソン ライセンシングThomson Licensing 視線方向によって制御されるパン機能を有するビデオディスプレイ
CN103475844B (zh) * 2013-09-13 2017-01-04 青岛歌尔声学科技有限公司 支持多节目模式的电视、液晶眼镜、电视系统及控制方法
US9881592B2 (en) 2013-10-08 2018-01-30 Nvidia Corporation Hardware overlay assignment
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US9883173B2 (en) * 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
US11343487B2 (en) * 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US9986228B2 (en) 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
KR20150052997A (ko) * 2013-11-07 2015-05-15 삼성디스플레이 주식회사 유기전계발광 표시장치 및 그의 구동방법
US20150156483A1 (en) * 2013-12-03 2015-06-04 Nvidia Corporation Providing a capability to simultaneously view and/or listen to multiple sets of data on one or more endpoint device(s) associated with a data processing device
US10298678B2 (en) 2014-02-17 2019-05-21 International Business Machines Corporation Omnichannel approach to application sharing across different devices
CN103997625A (zh) * 2014-05-29 2014-08-20 歌尔声学股份有限公司 头戴式集成摄像头的显示设备及其显示方法
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
CN104147781B (zh) * 2014-07-29 2017-11-07 京东方科技集团股份有限公司 电子装置、电子系统和电子装置控制方法
KR20160042277A (ko) * 2014-10-08 2016-04-19 삼성디스플레이 주식회사 3차원 안경 및 이의 구동 방법
KR102356599B1 (ko) * 2014-12-05 2022-01-28 삼성전자주식회사 이미지의 관심 영역 결정 방법 및 관심 영역 결정 장치
CN104869385B (zh) * 2015-04-07 2017-12-15 上海交通大学 基于心理视觉调制显示技术的影院多字幕系统
CN105987683B (zh) * 2015-04-16 2018-03-27 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位系统及方法
US9936194B2 (en) * 2015-05-29 2018-04-03 Google Llc Active shutter head mounted display
CN104851411B (zh) * 2015-06-04 2017-12-08 京东方科技集团股份有限公司 一种显示驱动方法、装置和显示系统
WO2017034886A1 (en) * 2015-08-24 2017-03-02 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
US9843766B2 (en) 2015-08-28 2017-12-12 Samsung Electronics Co., Ltd. Video communication device and operation thereof
CN108139803B (zh) 2015-10-08 2021-04-20 Pcms控股公司 用于动态显示器配置的自动校准的方法及系统
KR102402048B1 (ko) * 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
CN105472425A (zh) * 2015-11-24 2016-04-06 深圳创维-Rgb电子有限公司 一种单屏多显系统及其单屏多显方法
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US9990775B2 (en) * 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
CN106021922A (zh) * 2016-05-18 2016-10-12 妙智科技(深圳)有限公司 三维医学影像控制设备、方法和系统
US10168976B2 (en) * 2016-05-20 2019-01-01 International Business Machines Corporation Dynamic display arrangement
CN105915990B (zh) * 2016-05-25 2022-11-15 歌尔光学科技有限公司 一种虚拟现实头盔及其使用方法
US20180061103A1 (en) * 2016-08-29 2018-03-01 Analogix Semiconductor, Inc. Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices
EP3291566A1 (en) * 2016-08-30 2018-03-07 Advanced Digital Broadcast S.A. A device, method and system for providing a menu with multiple instantiations for a multi-stream display
US10440361B2 (en) * 2016-11-22 2019-10-08 Pixvana, Inc. Variable image data reduction system and method
CN110945583B (zh) * 2017-06-23 2022-04-19 惠普发展公司,有限责任合伙企业 控制显示器上的隐私
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
GB201720062D0 (en) * 2017-12-01 2018-01-17 Holovis International Ltd Immersive three-dimensional environment
US10761343B2 (en) 2018-02-05 2020-09-01 Disney Enterprises, Inc. Floating image display system
US10657854B2 (en) 2018-02-13 2020-05-19 Disney Enterprises, Inc. Electrical charger for a spinning device
CN108444374B (zh) * 2018-03-01 2023-05-05 厦门精图信息技术有限公司 一种二维码智慧门牌安装质量检查系统
US11032345B2 (en) 2018-05-10 2021-06-08 Microsoft Technology Licensing, Llc Client side data stream processing
JP7159608B2 (ja) * 2018-05-14 2022-10-25 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム
US11074838B2 (en) 2018-06-07 2021-07-27 Disney Enterprises, Inc. Image generation system including a spinning display
US10859872B2 (en) 2018-08-14 2020-12-08 Dell Products L.P. Method to utilize force sensors to adjust the LCD pattern or brightness on a display
US10924525B2 (en) 2018-10-01 2021-02-16 Microsoft Technology Licensing, Llc Inducing higher input latency in multiplayer programs
US11048099B2 (en) * 2018-11-20 2021-06-29 Disney Enterprises, Inc. Communication system generating a floating image of a remote venue
US10764564B2 (en) 2018-12-18 2020-09-01 Disney Enterprises Inc. User tracking stereoscopic image display system
US11212509B2 (en) 2018-12-20 2021-12-28 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
DE202019101235U1 (de) 2019-03-05 2020-03-06 Christian P. Benzing Sehhilfevorrichtung
US11164489B2 (en) 2019-07-19 2021-11-02 Disney Enterprises, Inc. Rotational blur-free image generation
US11106053B2 (en) 2019-08-05 2021-08-31 Disney Enterprises, Inc. Image generation using a spinning display and blur screen
US10969666B1 (en) 2019-08-21 2021-04-06 Disney Enterprises, Inc. Methods and systems of displaying an image free of motion-blur using spinning projectors
US11048108B2 (en) 2019-09-17 2021-06-29 Disney Enterprises, Inc. Multi-perspective display of an image using illumination switching
CN114945947A (zh) 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11711571B2 (en) * 2020-03-06 2023-07-25 Advanced Micro Devices, Inc. Client-side offload of graphics effects processing
CN113438524A (zh) * 2020-03-18 2021-09-24 上海三思电子工程有限公司 一种单屏多画面共享系统
CN112929650B (zh) * 2021-01-22 2022-11-25 上海曼恒数字技术股份有限公司 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备
US11740322B2 (en) * 2021-09-10 2023-08-29 Htc Corporation Head mounted display device and position device thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63310086A (ja) * 1987-06-12 1988-12-19 Nec Home Electronics Ltd 3次元像表示方法
JP2002010300A (ja) * 2000-06-26 2002-01-11 Katsunori Okajima 多人数対応複数視点映像表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821989A (en) * 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
DE19533767B4 (de) 1995-09-12 2006-04-27 Micronas Gmbh Anordnung zur Darstellung von mindestens zwei Bildfolgen
US5867210A (en) * 1996-02-09 1999-02-02 Rod; Samuel R. Stereoscopic on-screen surgical microscope systems
GB2317524A (en) * 1996-09-19 1998-03-25 Sharp Kk Three dimensional stereoscopic projection display
US6115177A (en) * 1999-04-06 2000-09-05 Gateway, Inc. Interactive 3-D viewing glasses
US6985290B2 (en) * 1999-12-08 2006-01-10 Neurok Llc Visualization of three dimensional images and multi aspect imaging
JP2001296501A (ja) 2000-04-12 2001-10-26 Nippon Hoso Kyokai <Nhk> 立体画像表示制御方法および装置
US6956576B1 (en) * 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
JP4101434B2 (ja) 2000-05-18 2008-06-18 日本放送協会 透過制御装置
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
EP1781893A1 (en) * 2004-06-01 2007-05-09 Michael A. Vesely Horizontal perspective simulator
US8159526B2 (en) 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
US20080246759A1 (en) * 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
WO2007148219A2 (en) * 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8144148B2 (en) * 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
WO2009033136A1 (en) 2007-09-07 2009-03-12 Real D System and eyewear for viewing stereoscopic imagery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63310086A (ja) * 1987-06-12 1988-12-19 Nec Home Electronics Ltd 3次元像表示方法
JP2002010300A (ja) * 2000-06-26 2002-01-11 Katsunori Okajima 多人数対応複数視点映像表示装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013538473A (ja) * 2010-06-16 2013-10-10 エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー. メディア・コンテンツを提示するための方法および装置
US9479764B2 (en) 2010-06-16 2016-10-25 At&T Intellectual Property I, Lp Method and apparatus for presenting media content
JP2012175704A (ja) * 2011-02-21 2012-09-10 Hon Hai Precision Industry Co Ltd セットトップボックス、シャッターメガネ、及び各々のユーザーが同時にそれぞれ好きな番組を視聴できる方法
JP2012205267A (ja) * 2011-03-28 2012-10-22 Sony Corp 表示制御装置、表示制御方法、検出装置、検出方法、プログラム、及び表示システム
JP2012208892A (ja) * 2011-03-30 2012-10-25 Konami Digital Entertainment Co Ltd 立体画像生成装置、立体画像生成方法、ならびに、プログラム
JP2012222699A (ja) * 2011-04-12 2012-11-12 Sharp Corp 表示制御システム、姿勢検出用メガネ、制御プログラムおよび記録媒体
JP2012235348A (ja) * 2011-05-02 2012-11-29 Funai Electric Co Ltd 立体画像鑑賞システム
US9253478B2 (en) 2011-08-11 2016-02-02 Sony Corporation Information processing method and information processing device
JP2013123220A (ja) * 2011-12-09 2013-06-20 Thomson Licensing 不均衡設定方法及び対応する装置
WO2014178478A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이, 디지털 디바이스 및 이들의 제어 방법

Also Published As

Publication number Publication date
EP2278818A2 (en) 2011-01-26
BRPI1010413A2 (pt) 2014-02-11
US20100007582A1 (en) 2010-01-14
EP2278818A3 (en) 2013-12-11
KR101260033B1 (ko) 2013-05-06
KR20110007592A (ko) 2011-01-24
TW201130290A (en) 2011-09-01
CN101966393A (zh) 2011-02-09
JP5967343B2 (ja) 2016-08-10
US8269822B2 (en) 2012-09-18
TWI454129B (zh) 2014-09-21
CN101966393B (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
JP5967343B2 (ja) アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP7419460B2 (ja) Vr観戦のための拡大された視野再レンダリング
CN110536726B (zh) Vr环境的第二屏幕虚拟窗口
US10463962B2 (en) Spectator view perspectives in VR environments
CN107076989B (zh) 根据眼睛追踪的实时透镜像差校正
JP6484340B2 (ja) ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム
US9551873B2 (en) Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10775878B2 (en) Control of personal space content presented via head mounted display
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
TW201633104A (zh) 頭戴顯示器之追蹤系統
WO2019067481A1 (en) FOLLOW-UP OF THE LOOK WITH EYEGLASSES AND ELECTRO-OPTICAL SIGNALING TO A VISIOCASQUE
CN110461427B (zh) 变焦设备和相关方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130702

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130801

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140908

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140916

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150909

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160621

R150 Certificate of patent or registration of utility model

Ref document number: 5967343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250