JP2009072600A - 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 - Google Patents

体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 Download PDF

Info

Publication number
JP2009072600A
JP2009072600A JP2008243396A JP2008243396A JP2009072600A JP 2009072600 A JP2009072600 A JP 2009072600A JP 2008243396 A JP2008243396 A JP 2008243396A JP 2008243396 A JP2008243396 A JP 2008243396A JP 2009072600 A JP2009072600 A JP 2009072600A
Authority
JP
Japan
Prior art keywords
sensation
signal
processor
entertainment software
entertainment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008243396A
Other languages
English (en)
Other versions
JP4979660B2 (ja
Inventor
Brian Watson
ワトソン ブライアン
Gary Zalewski
ザルースキ ゲイリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of JP2009072600A publication Critical patent/JP2009072600A/ja
Application granted granted Critical
Publication of JP4979660B2 publication Critical patent/JP4979660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1056Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving pressure sensitive buttons
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6009Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/013Force feedback applied to a game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】体感技術あるいはハプティック技術を用いてエンタテインメントソフトウェアを強化するための様々な技術及びデバイスを提供する。
【解決手段】体感の導入を通してエンタテインメントを強化する方法には、エンタテインメントソフトウェア実行中に信号をモニタリングし、モニタリングされた信号が所定基準を満たしていることを認識し、及び、エンタテインメント体験を強化するためにハプティックコントロール信号を発生させることが含まれる。体感の導入を通してエンタテインメントソフトウェアを強化するためのデバイスには、少なくとも1つのプロセッサ及びそのプロセッサと連結している出力ユニットが含まれ、ハプティックコントロール出力を含む。
【選択図】図1A

Description

本願は、体感を導入すること(haptic insertion)によるエンタテインメントソフトウェアの強化に関する。
本願は、2007年9月21日に出願された同時係属米国出願番号第60/974,399号"Method And Apparatus For Emulation Enhancement"に基づく優先権を主張し、その全体が参照により組み込まれるものである。
ビデオゲーム、映画、音楽、オーディオ、及びこれらに類するものなどのエンタテインメントソフトウェアは、概してビデオ及び/又はオーディオのフィードバックを提供する。エンタテインメントソフトウェアによっては、ハプティックコントローラを通して付加的に感覚フィードバックを提供するものもある。例えば、Playstation(R)2のコントローラは体感あるいは触覚が可能なもの(haptic-enabled)となっており、ビデオゲームが様々な体感をもたらすために変化に富む振動効果を発して遊戯体験を強化することができる。
体感には、例えば熱フィードバック、フォースフィードバック、振動、及びこれらに類するものなど、触知性(tactile)及び/又は動的な感覚を刺激する技術を含む。体感コントロールを生じるエンタテインメントソフトウェアもあるが、全てのエンタテインメントソフトウェアが体感可能というわけではなく、エンタテインメントソフトウェアを実行するプラットフォームの全てが体感フィードバックをサポートしているわけではない。
本願は、体感技術あるいはハプティック技術を用いてエンタテインメントソフトウェアを強化するための様々な技術及びデバイスを提供するものである。例えば、これに限られるわけではないが、エンタテインメントソフトウェアをプレイするためのプラットフォーム及び/又はそこで用いられるコントローラを強化し、ハプティックコントロール信号を挿入できるようにする。
本願は、第一のビデオゲームプラットフォームにおいて、第二のビデオゲームプラットフォーム用に書かれたビデオゲームの実行をエミュレート及び強化するための方法とデバイスを対象とする。
一般に、体感組み込み(haptic insertion)を通じてエンタテインメント性を強化する方法には、エンタテインメントソフトウェア実行中の信号のモニタリング、モニタリングした信号が所定の基準を満たしていることの認識、及びエンタテインメント体験の強化に対応するためにハプティックコントロール信号を生じることが含まれる。モニタリングされる信号には、例えばオーディオ信号、ビデオ信号、データ信号、コントロール信号、及びこれらに類するものなどが含まれる。エンタテインメントソフトウェアには、例えばビデオゲーム、視聴覚作品、及びこれらに類するものが含まれる。
実施例の中には実行されるエンタテインメントソフトウェアに基づいて体感の導入の所定基準が異なる場合がある。例えば、体感の導入基準は特定のビデオゲーム用に定義して、それ以外の場合に使用される体感の導入基準を追加及び/又は差し替えて使用できる。ビデオゲームの遊戯時に対応する体感の導入基準を使用して体感イベントの挿入時を決定する。体感の導入基準には、例えば、閾値を越える、閥値に足りない、バターンに合致する、及びこれらに類する基準が含まれる。更に、実施例の中には体感の導入を変化又はコントロールするための、ユーザー設定可能な体感の導入オプションを含むものもある。
ハプティックコントロール信号は、例えば、圧力、振動、フォースフィードバック、温度、及びこれらに類するものをコントロールすることなどにより、触知性及び/又は運動感覚の刺激を与えるために使用される。
通常、体感の導入を通してエンタテインメントソフトウェアを強化するデバイスには、少なくとも1つのプロセッサと、そのプロセッサに連結するハプティックコントロール出力を含む出力ユニットが含まれる。プロセッサはエンタテインメントソフトウェアの実行中に少なくとも1つの信号をモニタリングし、そのモニタリングされる信号が所定基準を満たしていることを認識し、その認識に対応してハプティックコントロール信号を発生させ、及び出力ユニットのハプティックコントロール出力を通して、発生させたハプティックコントロール信号を出力するように設定される。体感アクチュエータには例えば、振動体感アクチュエータ、圧力アクチュエータ、温度アクチュエータ、及びこれらに類するものが含まれる。同デバイスには体感アクチュエータ及び/又はハプティックコントロール出力を受信する外部体感アクチュエータが含まれる。
また、実施例によっては、所定基準を保管するための、プロセッサに連結したメモリを含む。各基準は1つ又はそれ以上のエンタテインメントソフトウェアタイトルに対応できる。この所定基準はプロセッサに連結したネットワークインターフェイスを使って更新できる。
通常、体感や触覚あるいはハプティクスを導入するデバイス、つまり体感導入デバイスには入力、体感の導入基準を保管するメモリ、及びその入力とメモリに連結するプロセッサが含まれる。プロセッサはエンタテインメントソフトウェアの実行中に入力をモニタリングし、モニタリングされる入力が体感の導入基準を満たしている時にそれを認識し、及び体感の導入基準を満たしていることの認識に対応して体感アクチュエータをコントロールするように設定される。入力は例えばマイクロフォン、イメージセンサー、温度計、スイッチ、データ信号、コントロール信号、及び同類の感知器を用いて実行できる。
更に、体感導入デバイスは、ビデオゲームコントローラ、リモートコントロール、タッチスクリーンインターフェイス、マウス、キーボード、及びこれらに類するものに取り付け可能なケーシングによって封入されたり、又はコントローラ内に実装されてもよい。あるいは、体感導入デバイスは、ワイヤレス信号を体感が有効なコントローラ又はコントローラに取り付け可能な体感可能なデバイスに送信することによって体感アクチュエータをコントロールするように設定された体感導入デバイスのプロセッサと共に別の場所で実装されてもよい。コントローラの外部では、体感導入デバイスは独立のデバイスとして実装されてもよく、又は例えばテレビジョン、ビデオゲームコンソール、コンピュータ、デジタルビデオレコーダー、ビデオディスクプレイヤー、及びこれらに類するものなど、ある電子デバイスに一体化してもよい。
実施例によっては、体感の導入基準が1つ又はそれ以上のエンタテインメントソフトウェアタイトルに対応する。体感の導入基準はプロセッサに連結するデータインターフェイスを用いて更新できる。データインターフェイスは、例えば、シリアルポート(例:USBポート)、ネットワークインターフェイス、ワイヤレスインターフェイス、及びこれらに類するものを使用して実装できる。
実行例の詳細は添付の図及び以下の説明文によって説明されている。
その他の機能及び利点は記述、図面、及び請求項によって明示されている。
体感アクチュエータは、例えば、圧力、振動、フォースフィードバック、温度、及びこれらに類するものをコントロールすることなどにより、触知性及び/又は運動感覚の刺激を与えるために使用される。例えばビデオゲーム、視聴覚作品、オーディオ作品、及びこれらに類するものなどのエンタテインメントソフトウェアは、従来のオーディオービデオ技術によって提供されるもの以上の知覚体験を提供するための体感や触覚(haptics)を挿入、追加及び/又は増大させることによって強化できる。例えばPlaystation(R)2のビデオゲームの多くが、コントローラ内の振動体感アクチュエータをゲーム中に始動するように強化されている。ゲーム関発者はこれまでこの振動体感アクチュエータコントロールを幅広い用途に使用してきた。体感は、体感を有効としないゲーム及びその他のエンタテインメントソフトウェアで有効にし、及び体感が有効であるエンタテインメントソフトウェアでは体感を増強及び/又は改善することが望ましい。
図1A及び1Bでは、体感導入デバイス10は1つ又はそれ以上のプロセッサ12及び出力ユニット14を含み、これは1つ又はそれ以上の内部及び/又は外部の体感アクチュエータ16と連結できる。体感アクチュエータ16には、例えば、振動体感アクチュエータ、圧力アクチュエータ、温度アクチュエータ、及びこれらに類するものなど、触知性及び/又は運動的な知覚を刺激できるデバイスが含まれる。体感導入デバイス10はエンタテインメントソフトウェアの実行をモニタリングし(ステップ20)、1つ又はそれ以上の所定基準が満たされているかどうかを断定する(ステップ22)。所定基準が満たされていると、体感導入デバイス10がハプティックコントロール信号(ステップ24)を発生させ、1つ又はそれ以上の体感アクチュエータ16を有効化する(ステップ24)。それから体感導入デバイス10はエンタテインメント実行のモニタリングを再開する(ステップ20)。
体感導入デバイス10は、エンタテインメントソフトウェアの性質と体感導入デバイス10の特定の実行状況によって、幅広く多様な技術を用いてエンタテインメントソフトウェアの実行をモニタリングできる。本願の目的上、エンタテインメントソフトウェアの「実行」には視聴覚作品のプレイバック、オーディオ作品のプレイバック、ビデオゲームの使用、コンピュータソフトウェアの使用、及びこれらに類するものが含まれる。例えばエンタテインメントソフトウェアが体感導入デバイス10のプロセッサ12を使用して実行された場合、その体感導入デバイス10はかかる実行を、例えば割り込み、トラップ、例外処理、及び同類の技術を含む、従来又は後日開発のプロセス間モニタリング及び/又は通信技術を使ってモニタリングできる。
エンタテインメントソフトウェアは、エミュレーション環境で実行することもできる。エミュレーション環境では、体感導入デバイス10は、エミュレータを、エミュレータを使ってエンタテインメントソフトウェアの実行をモニタリングするように修正すること(ステップ20)によって実装でき、その詳細は以下に記述する。
更に、エンタテインメントソフトウェアは別のデバイスによって実行することができる。この場合、体感導入デバイス10には、例えばマイクロフォン、イメージセンサー、圧力センサー、スイッチ、及びこれらに類するものといった、1つ又はそれ以上の入力を含む。これらの入力はエンタテインメントソフトウェアの実行をモニタリングするために使用できる(ステップ20)。
体感導入デバイス10は1つ又はそれ以上の基準が満たされているかどうかを判断する(ステップ22)。基準はオーディオの特性(例:音質、音量、持続時間)、ビデオの特性(例:色、明るさ、色調、彩度)、コントロール信号、データ、及びこれらに類するものを含む検出可能なデータに基づき、これらの検出可能なデータへのいかなる変更やコンビネーションも含む。例えば、ある基準は、音量がある閾値を超えた時又は上昇している時に体感イベントが有効化されたり、又はオーディオクリップが再生されたりビデオ画像が表示された時に体感イベントが有効となるように特定できる。実装例によっては、デバイス10が体感を、爆発を示唆するような高強度、低周波のオーディオを検出した際に挿入する。基準は時間変化性(例:時間によって変化する)、反復変化性(例:各反復ごとに2つ以上のオプションを通して、各反復又はサイクルによって変化する)、またば動的に修正されたものである。以下の表1に典型的な基準を説明する。
Figure 2009072600
例えば、デバイス10は、ビデオゲームが発する馬の足音を示唆する音を認識する基準を用いることができる。ビデオゲームがかかる音を再生すると、デバイス10がそれを認識し、例えばその足音に合わせて振動するような体感を挿入する。
実装例によっては、体感の導入基準が1つ又はそれ以上のエンタテインメントソフトウェアタイトルに特定のものである。例えば、サッカーのビデオゲームとレーシングのビデオゲームでは異なった体感の導入基準を用いるかもしれない。
体感導入デバイス10が基準が満たされていると判断すると(ステップ22)、体感導入デバイス10がハプティックコントロール信号を発生させ(ステップ24)1つ又はそれ以上の体感アクチュエータ16を有効化する。満たされた基準は、例えば強度、持続時間、温度、力、圧力、及びこれらに類するものなど、体感アクチュエータのバラメータを変化させる追加情報を示唆することがある。
体感導入デバイス10はエミュレーション環境で実装することができる。第1のコンピュータプラットフォーム(「ターゲットシステム」)の機能を第2のコンビュータープラットフォーム(「ホストシステムJ)上でエミュレートして、ホストシステムガターゲットシステム用に設計されたプログラムを実行できるようにするプロセスは「エミュレーション」として知られる。エミュレーションは通常、ターゲットプラットフォーム用に設計されたプログラムのインストラクション(ターゲットコードインストラクション)をホストプラットフォームのネイティブ言語(ホストインストラクション)に変換するソフトウェアを作成し、互換性をもたらすことで達成する。最近ではエミュレーションは「バーチャルマシン」の作成を通して見られ、この場合、ターゲットプラットフォームの物理的アーキテクチャ(ハードウェア自体の設計)がソフトウェアのバーチャルモデルによって複製される。
ゲーミングプラットフォームを別のプラットフォーム上にエミュレートする方法はこれまでも使用されてきた。しかし、レガシーターゲットシステムと異なった技術性能を持ったホストシステムの続発において、ホストシステムに存在する更に性能を活用してホストシステムでのゲーム体験を強化及び補強するためにエミュレーションを行う機会がある。
例として、これに限られるわけではないが、Playstation(R)2のエミュレータはPlaystation(R)3のゲームプラットフォームなどの更に高度なプラットフォーム上でPlaystation(R)2のゲームを実行できるようにする。Playstation(R)3で作動するPlaystation(R)2のエミュレータは、イベント、コマンド、及び/又はインストラクションのトラッピング、及びその効果を修正することにより、ゲームプレイ体験の様々な面を強化及び/又は修正するように作動し、Playstation(R)3のゲームプラットフォームにおけるPlaystation(R)2ゲームのユーザーのゲーム体験を更に強化する。
図2Aはターゲットシステム100をゲームコンソール器として示すブロック図である。ターゲットシステムはエモーションエンジンとして示されるメインプロセッサモジュール102、グラフィックシンセサイザー104、入力/出力(I/0)プロセッサ(IOP)106、及びサウンドプロセッサユニット108を中心に構築される。エモーションエンジン(EE)102は通常CPUコア、コプロセッサ及びシステムクロックを含み、担当するランダムアクセスメモリ(RAM)110を持つ。エモーションエンジン102はアニメーションの算出を行い、シーンを横断して2次元画像に変換し、これはラスタライズするためにグラフィックシンセサイザー(GS)104に送られる。
図2Bに見られるように、EE102はCPUコア122、関連するフローティングポイントユニット(FPU)コプロセッサ124、第1及び第2ベクトルコプロセッサ126、128、グラフィックインターフェイスコントローラ130、及び割り込みコントローラ(INTC)132を含む。CPU122、ベクトルコプロセッサ126、128、GIF130及びINTC132は128ビットのメインバス134に連結している。FPU124は直接CPU122に連結している。CPU122は第1ベクトルコプロセッサ(VUO)126に連結し、これば第2ベクトルコプロセッサ(VU1)128に連結している。第2ベクトルコプロセッサVU1 128はグラフィックインターフェイス(GIF)130に連結する。EE102は更にタイマー136、直接メモリアクセスコントローラ(DMAC)138、イメージデータ解凍プロセッサ(IPU)140、DRAMコントローラ142、及びEE102及びIOP106間の通信を促すサブバスインターフェイス(SIF)144を含む。
CPUコア122は128ビットのプロセッサで、300メガヘルツのクロック周波数で作動し、128ピットマルチメディアインストラクションを伴った2ウェイスーパースカラーとして作動する64ビットインストラクションを伴ったMIPSインストラクションセットを使用する。CPU122にはデータキャッシュ、インストラクションキャッシュ、及び多くの場合スクラッチパッドと呼ばれるオンチップメモリ123の1領域を含む。スクラッチパッド123は小規模なローカルメモリとして働き、メインバス134がコード及び/又はデータを送信中に、CPU122が特定の動作を行えるように使用できる。第1ベクトルユニット126はアニメーション及び物理計算に使用できる。第2ベクトルユニット128はジオメトリ変換に使用できる。GIF130はEE102及びGS104間のメインインターフェイスとして働く。
IOP106にはターゲットシステム100の旧バージョン及びIOP106に関連するRAM112への下位互換性を持たせるためのプロセッサを含む。IOP106は、コントローラ、USBデバイス、ハードディスク、イーサネットカード又はモデム、及びサウンドプロセッサユニット108、ROM114、及びCD/DVDユニット116などのシステムの他のコンポーネントなど、外部デバイスからの入力及び出力を扱う。ターゲットプログラム118はCD/DVDユニット116にロードしたCD/ROMディスクに保管できる。ターゲットプログラム118からのインストラクションはEE RAM108又はIOP RAM112に保管し、これらのプロセッサによって読み取ることができるネイティブマシンコードによってターゲットシステム100の様々なプロセッサによって実行される。
実装例によっては、ターゲットシステム100はパラレルプロセッシングホストシステム200を使用してエミュレートでき、これによってホストシステム200がターゲットプログラム118のようにターゲットシステム100にネイティブなコードで書かれたプログラムを作動できるようにする。図2Cはセルプロセッサ201に基づくホストシステム200の例を示し、ターゲットシステム100をエミュレートするために設定できる。セルプロセッサ201にはメインメモリ202、シングルパワープロセッサエレメント(PPE)204、及び8つのシナジスティックプロセッサエレメント(SPE:synergistic processor element)206を含む。ただし、セルプロセッサ201は複数のPPE及びSPEを伴って設定することができる。各SPE206にはシナジスティックプロセッサユニット(SPU)及びローカルストア(LS)を含む。メモリ202、PPE204、及びSPE206はお互いにコミユニケートでき、及び、リングタイプエレメント・インターコネクトバス(EIB)210を通したl/0デバイス208ともコミユニケートできる。PPE204及びSPE206はバスインターフェイスユニット(BIU)を通してEIB210にアクセスできる。PPE204及びSPE206はメモリフローコントローラ(MFC)を通してEIB210上のメインメモリ202にアクセスできる。メモリ202はターゲットシステム100用に書かれたインストラクションコードの解釈と翻訳を実行するエミュレーションプログラム209を含む。エミュレーションプログラム209は更に、例えばターゲットシステム100上で特定のハードウェアをエミュレートするソフトウェアコードなどのハードウェアエミュレーションコードを含む。ターゲットシステム100用に書かれたインストラクションコードはl/0デバイス208に連結したCD/DVDリーダー211内のCD/ROMディスクから読み取ることができる。ターゲットプログラム118を含むCD/ROMディスクはCD/DVDリーダー211にロードできる。少なくとも1つのSPE206がそのローカルストアにエミュレートした、図2A〜2Bに関連して上記のIOP106をエミュレートするインストラクションを持つ、IOPコード205を受信する。
例としては、PPE204上で作動するトランスレーター212がターゲットシステム100のEE102を、ターゲットプログラム118のEEインストラクションをPPE204上で作動できるマシンコード213に翻訳することによってエミュレートする。発明の本実施例では、PPE204はターゲットプログラム118のIOPインストラクションを翻訳することによってIOP106をエミュレートするインタープリター214も実装する。
サウンドプロセッサユニット108は、例えばSPU4などの、1つ又はそれ以上のシナジスティックプロセッサユニット(SPU)を使用して実装される。サウンドプロセッサユニット108は時に他で「SPU2」として参照されることに注意したい。しかし、本発明の目的上、SPU1〜8はそれぞれシナジスティックプロセッサユニットを指し、サウンドプロセッサユニット108は「サウンドプロセッサユニット108」として示す。実装例によってはサウンドプロセッサユニット108がフーリエベースの効果音を有効化する。
エミュレーション強化の他の形態の詳細を以下に説明する。
アプリケーションを特定したエミュレータの設定
ターゲットプログラムを実際のターゲットシステム上で直接実行する場合に対して、ターゲットプログラム118が、ターゲットシステム100のエミュレーションを使用して実行される時には、その動作に違いがある場合がある。例えば、ターゲットシステム100をエミュレートしているホストシステム200はターゲットシステムとは異なった性能を含む場合があり、これには異なった実行速度、コンポーネント間のタイミングの違い、メモリサイズの違い、プロセッシング性能の違い、入力/出力性能の違い、及び同類の違いがあるが、これに限られるわけではない。
タイミングの違いは予定した動作とは異なった動作をもたらす場合もある。最も単純なレベルでは、タイミングの問題が単にターゲットプログラム118の実行が速すぎたり遅すぎたりする結果を招く場合がある。エミュレーションが速すぎると、ターゲットプログラム118を使用可能とするためにエミュレーション全体のスピードが減速される場合がある。しかし、タイミングの問題は、非同期通信が関わる場合にはその特定及び修正が難しくなることがある。2つのコンポーネントが非同期に通信する時、ターゲットシステム100上で直接作動するソフトウェアが、ホストシステム200上でのターゲットシステムのエミュレーション中に正しく作動できないことがある。
更に、ホストシステム200の入力/出力性能の違いは、エミュレーションガターゲットシステム100の実行をエミュレートすることを妨げる場合がある。例えば、キーボード、マウス、コントローラ及び同様のホストシステム200の入力デバイスには、異なる数又は配列のボタン、センサーなどが含まれる。更にかかるデバイスは光、センサー、各種体感出力(haptics)などの異なる出力を提供してもよい。
エミュレーションは、ターゲットシステム100とホストシステム200間の違いをある程度、自動的に補ってもよい。しかし、違いによってはアプリケーション特定の偏差を生み出すことがある。かかる違いはアプリケーション特定の設定によって対応する。当業者であれば、エミュレータのアプリケーション特定の設定を実行するための多数のメカニズムが便利であると思うことであろう。そのようなメカニズムのひとつは、エミュレーション中に、かかる変更、設定、修正などを特定するためのアプリケーション特有のメタデータを使用することである。
例として、ターゲットシステム100によってCDーROMから読み取られるように設計されたターゲットプログラム118を想定する。ターゲットプログラム118のエミュレーションの動作を修正する方法のひとつは、CDーROMの読取及びエミュレートされたターゲットシステム100に実際に提供されたデータ間に分離層を作成することである。この例では、ターゲットプログラム118に対応するメタデータが、ホストシステム200に、エミュレータによって使用できるようにロードされる。このメタデータはXMLファイル、バイナリファイルなど、いかなるフォーマットでも保管できる。ホストシステム200上のエミュレータがターゲットプログラム118を実行する時、エミュレータはプロセス「読取」の指示を受け取る。メタデータは読取指示の結果としてリターンされたデータを変更するために使用できる。例えば、ターゲットプログラム118がプログラミングエラーを含む場合、かかる工ラーは、エミュレーション中に間違ったコードが読み取られた時にコードを修正又は別のコードを挿入するように、エミュレータに指示するメタデータを含むことによって修正できる。メタデータの本使用法は例としてあげたが、本願の範囲を限定するものではない。メタデータの本使用法はエミュレーションを修正及び/又は強化するために、以下に説明する技術と共に使用できる。
エフェクトのリダイレクト及び強化
例えば、ビデオ、オーディオ、及び/又は触知性のインタラクションなどの効果はエミュレータ内で強化及び/又は修正できる。これにより、エミュレータは、他の動作と共に、ユーザーの体験を強化し、更にプラットフォーム性能を活用し、及び/又はプラットフォームの限界を克服できる。
リダイレクトにおいては、元の効果をシミュレートする方法を伴う。例えば、オーディオ効果をビデオ効果に変更することは、元のオーディオ効果の波形をビデオのコンテクスト内でシミュレートすることに関わる。ここでは、オーディオ信号の波形のアスペクトを元のオーディオ信号に最も近いビデオ信号に移行させることによって物理的課程をモデリングすることでシミュレーションを達成できる。
実施例の1つでは、オーディオ効果はビジュアル効果を通してリダイレクト又は増大される。例えば、エミュレータ上に作動しているビデオゲームがオーディオ出力の強さを変更しようとすると、エミュレータがオーディオの出力先を変更し、例えば色、明るさなどのビデオ画像のアスペクトを変更する。同様に、ビデオ効果もオーディオ効果を通して出力先を変更し、また、増強できる。例えば、ビデオゲームのプレイ中にディスプレイ画面の点滅が、ゲームプレイ中のイベントによってトリガされることがよくある。この場合、エミュレータがビデオ信号の出力先を変更し、変わりにバックグランド音楽の速度を変更したり、ゲームプレイ中のイベントに対応する独自の効果音を作成したりする。
別の実施例では、ビデオオーバーレイが、オーディオ情報をビジュアルで示すために表示される。例えば、アイコンのサイズを意図するオーディオの強度に従って変更できる。意図するオーディオの強度が弱い場合、アイコンのサイズは小さくなるが、強度が強まるにつれて、アイコンのサイズも同様に大きくなり、オーディオ情報を伝える。同様に、ゲームプレイ中にオーディオ効果をターゲットシステム100内に出力する結果をもたらすイベントがトリガされる時、エミュレータがオーディオ信号のリダイレクトを行い、変わりにポップアップ画面を表示して意図するオーディオ効果を画像表示する。これらの技術は効果を転用又は修正し、増強するために使用できる。かかるリダイレクトは、ホストシステム200に存在する追加のプラットフォーム性能を活用するために、リダイレクトされた各効果を強化することができるために、有利である。
他の方法として、オーディオ又はビデオ効果は、以下に記述するように、リダイレクトを行わずに強化することができる。
コントローラの強化
エミュレータがゲームプレイ体験を強化する方法のひとつは、コントローラのインタラクションを変更することである。ビデオゲームプラットフォーム及びコントローラの性能は異なることがある。例えば、異なったコントローラでは、ボタン、設定、センサー、及び/又はフィードバック機能が異なっているかもしれない。
実施例のひとつでは、Playstation(R)2のエミュレータがPlaystation(R)2デュアルショックコントローラの振動機能を有効化するためのコントロール信号をインターセプトし(トラップ)、あるいは受信し、例えば次のうち1つ又はそれ以上の別の効果を提供する。
(i)ビデオシェイク:エミュレータがビデオのリダイレクトを行って、動き又は振動しているように見せる、
(ii)ビデオキュー:エミュレータがビデオ出力を、例えば明るさ及び/又は強度を変更したり、アイコンやその他に効果の記述を表示したりして変更する、
(iii)オーディオ効果:エミュレータが振動効果を伝えるためにオーディオ信号を発生させる。
更に特定すると、ターゲットシステム100内で体感効果を有効化する、インターセプトしたコントロール信号、あるいは受信したコントロール信号は、ホストシステム200内においてオーディオ効果としてエミュレートやリダイレクトが可能である。この場合、リダイレクトしたオーディオ効果のホストシステム200内での出力は、ターゲットシステム100内の触知性効果をもたらすために使用されるオフセンターの重さの振動をシミュレートするために異なる強度のサウンド出力としての形をとることができる。
更に、サブウーファーをオーディオ効果のリダイレクトと共に使用して、振動効果信号を受信し、サブウーファーが伝える低周波効果を発生させることもできる。このような実施例は、触知性インターフェイスをコントローラ内で提供しないホストプラットフォーム200において有利である。
コントローラの強化はPlaystation(R)2のエミュレータにおいて、IOPインタープリター214の代わりにコントローラに送信された特定のコントロール信号を判別し受信(インターセプト)するPlaystation(R)2入力ー出力プロセッサ106を修正することによって実行できる。例えば、振動機能をオンにするコントロール信号は、IOPインタープリター214内のエミュレータによって受信し、適切に処理することができる。かかるコントロール信号は、エミュレータに受信されると、上記の多数の方法のうち1つの方法でリダイレクトされ、強化される。
更に、ホストシステム200にはリニア−アクチュエータ又は他の同様な体感デバイスを備えたユーザーコントローラを含むこともできる。かかるユーザーコントローラはホストシステム200に、例えば、Wi−Fi、Bluetooth、USBポート、赤外線(IR)、及びこれらに類するものなど様々な媒体を通して接続できる。この場合、体感効果を有効化するコントロール信号は、ホストシステム200内で体感効果をトリガすることに加え、更にビデオ及び/又はオーディオ効果を伴って、更に受信することができ、及び更に強化することができる。更に、ライブラリ機能を修正してトラップされたコマンド及び関連するデバイス内の希望のイベントを基にした別の機能を提供できるようにすることもできる。
実施例によっては、個別のコントロール信号ではなく一連のコントロール信号を強化することが望ましい。例えば、エミュレータは、コントローラの振動機能を定期的に有効化するといった、パターンを特定するように設定してもよい。イベント又はコントロール信号のバターンを受信することで、エミュレータは特定のシチュエーションに適切な効果を提供することができる。例えば、振動コントロール信号を受信するエミュレータについて考えてみる。もしそれぞれの振動コントロール信号がビデオシェイク効果に変換されると、ビデオ出力が振動する回数が多すぎる場合がある。こうした効果はゲームによっては望ましくない。振動コントロール信号を単に検出する代わりに、エミュレータは、所定の時間(例:1.5秒)以上続く振動有効化を検出するように設定してもよい。このパターンが発生した場合にビデオシェイク効果が使用されるが、その他の場合では、別の効果が作動する。本実施例のエミュレータでは、出力コントローラ306が強化されたコントロール信号の実際の出力を扱う。
同様に、頻繁に使用されるとゲームを邪魔するかもしれない、その他の効果のリダイレクト又は強化のいずれであっても、出力コントローラ306によってコントロールできる。
視聴覚強化
別の実施例では、オーディオ及び/又はビデオの出力を、エミュレータを使って強化することが望まれる場合がある。例えば、レガシーターゲットシステム100は、開発及びリリースの段階で、ビデオ処理、保存、及び/又は表示性能が限られている場合がある。かかるゲームは強化されたプラットフォームの性能を活用してゲームプレイ体験を改善するように、増強及び/又は修正することができる。前記のように、信号の強化は信号の効果のリダイレクトされた場合には位置でも行うことができる。つまり、ホストシステム200内に出力された、リダイレクトされた信号(例:ビデオ又はオーディオ)が何であっても、リダイレクトされた信号がホストシステム200内に存在する更にプラットフォーム性能を活用することができる。
実施例のひとつでは、エミュレータは、ターゲットシステム100のEE102をエミュレートするPPE204においてテクスチャリングコントロールを受信し、画質を改善するために新しいテクスチャを適用する。これにより、例えば、レガシービデオゲームはホストシステム200に存在するより高度な表示性能を活用できる。例えば、Playstation(R)2のゲームは、レガシービデオゲームを書き換えせずにハイビジョンの表示性能を活用して強化できる。
同様に、ホストシステム200のオーディオ性能も、レガシーターゲットシステム100より高度であるかもしれない。この時には、オーディオ出力の質を改善するためにデジタル信号処理を行い、ホストシステム200に存在する更に性能を活用することが可能である。
オーディオ及び/又はビデオの挿入
実施例によっては、エミュレータが、ゲームプレイ中にオーディオ及び/又はビデオ情報を追加することによって、実行されたゲームを強化することが望ましい。例えば、エミュレータはプロダクトプレイスメントの追加、プロダクトプレイスメントの修正、情報表示の追加などを行うことができる。このように新規信号を挿入することは、ターゲットシステム100はこのように新規に追加された信号を扱うことが技術的にできないかもしれないので、ホストシステム20αが保証する。新規に追加される信号はビデオ及び/又はオーディオ信号であり、ホストシステム200の追加のプラットフォーム性能を活用する。本実施例のエミュレータでは、信号インサーター307が新規信号の挿入を扱う。
体感の導入
図1A及びBに関して上記の技術は、プレイバックを更に強化するためにエミュレータによって使用できる。エミュレータは実行されたゲームをモニタリングし(ステップ20)、体感の導入基準が満たされたかどうかを判断し(ステップ22)、及び対応としてハプティックコントロール信号を発生させる(ステップ24)ように増強できる。
実装技法
上記のコンセプト実施、及びその他の実施例は、様々な方法で行うことができる。例えば、これに限定されるわけではないが、コマンドがエミュレータプログラムを通してアプリケーション層で受信(トラップ)され、コマンドが同様又は異なった機能を発生できるようにする。同様に、コマンドは、新規コマンド又はルーティンと共にデバイスレベル(シリアルI/O)で受信及び交換できる。このようにして、現存又は追加の外部周辺デバイスを伴った強化通信が達成される。
また、強化及び/又はリダイレクトされた信号のいかなるコンビネーションでも、ユーザー選択設定を基にして選択的に発生させることも可能であることに注目したい。つまり、例えば、ホストシステム200内でエミュレータを作動しているユーザーは、ターゲットシステム100を意図した体感効果コンポーネントをホストシステム200のビデオ効果出力にリダイレクトすることを望むかもしれない。別のユーザーは、ターゲットシステム100を意図した、このような体感効果コンポーネントをホストシステム200のオーディオ効果出力にリダイレクトすることを望むかもしれない。
ユーザーがユーザー選択設定を行う方法は少なくとも2通りある。第一に、ユーザーは信号のリダイレクト及び強化がどのように行われるかを、複数の選択肢から選ぶことができる。例えば、ユーザーは、他の効果の中から、体感効果信号をターゲットシステム200内のビジュアルシェイク及び対応するオーディオ効果にリダイレクトすることを選択できる。あるいは、そのユーザーは、特定の効果がホストシステム200に出力されることを妨げるようにユーザー選択設定を設定することもできる。例えば、ユーザーは、特定のオーディオ又はビデオ効果を望まないかもしれない。この場合では、ユーザーがユーザー選択設定を、望まないオーディオ又はビデオ効果がホストシステム200内で発生しないように設定することができる。
この場合、リダイレクト及び強化のユーザー選択設定に基づき、エミュレーション中に更にゲーム体験を強化することができる。
図3はエミュレーション強化デバイス300を高度レベルで描いたものである。描かれたエミュレーション強化デバイスは、描かれたエレメントに対応するコンピュータで読取可能な媒体及び/又はハードウェアエレメントに記録された、コンピュータで実行可能なインストラクションと共に実施できることに注目されたい。
入力信号301はエミュレータデバイスを通して入力される。例としては、入力信号301はEE翻訳マシンコード213又はIOPインタープリター214によって解釈されたIOPインストラクションのどちらかである。入力信号301が入力されると、信号インターセプター302が受信されるべきコントロール信号を受信する。コントロール信号が受信されると、コントロール信号303がコントロール信号エンハンサー304に、強化目的で出力される。コントロール信号エンハンサー304は、上記で詳述するように、効果のリダイレクト、コントローラの強化、コントロール信号303の及びオーディオ/ビジュアル強化を扱う。コントロール信号エンハンサー304は強化されたコントロール信号305を出力コントローラ306に出力する。エミュレータデバイスはまた、信号インサーター307を含む場合がある。信号インサーター307は、ゲームプレイ中に、挿入された信号308を発生させることにより、オーディオ及び/又はビデオ情報の挿入を可能にする。出力コントローラ306は強化されたコントロール信号305又は挿入された信号308のどちらかの出力をコントロールする。
図4はエミュレーション強化方法を示すフローチャートの見本を示す。EE翻訳マシンコード213又はIOPインタープリター214によって解釈されたIOPインストラクションのどちらかである入力信号は、ステップ40Tで分析される。ステップ402では、入力信号に強化すべきコントロール信号が含まれるかどうかを判断する。強化すべきコントロール信号が存在する場合は、ステップ403で効果のリダイレクト、コントローラ強化、及びコントロール信号のオーディオ/ビジュアル強化を行う。信号を強化すると、強化されたコントロール信号がステップ404で出力される。
上述したように、現存する信号の強化及び新規信号の追加により、ホストシステム200内でターゲットシステムのゲームをエミュレートしているユーザーのゲーム体験を強化できる。このように本発明の一実施例に従って強化されたエミュレートは、以前にはレガシーターゲットシステム100で見られなかった、ホストシステム200の高度な技術機能をユーザーが体験できるようにする。
図5、6及び7は、体感を有効化又は増強するために、ビデオゲームコントローラ、リモートコントロール、タッチスクリーンインターフェイス、マウス、キーボードなどのコントローラ51に取り付けられた体感導入デバイス53の実施例を示す。体感導入デバイス53はマイクロフォン入力55を含む。このデバイス53はコントローラ51とは独立して作動し、マイクロフォン入力55を通して受信した音波に対応して体感アクチュエータを有効化する。図7は爆発を示すゲーム音を受信中の体感導入デバイス53を示す。この音に対応して、該当器53が振動体感アクチュエータを有効化してコントローラ51を振動させる。
本実施例では、体感導入デバイス53がマイクロフォン55を通して受信した入力を基にエンタテインメントソフトウェアのタイトルを判断する。例えば、該当器53がそのエンタテインメントソフトウェアに特有の音楽又はその他のオーディオを認識し、そのエンタテインメントソフトウェアに対応する基準を有効化する。又は、該当器53がワイヤレスデータインターフェイス(例:Bluetooth,Wi−Fi,WiMAX,ZigBee)を通して、そのエンタテインメントソフトウェア及び/又はコントローラを実行するためのプラットフォームから発生する信号からそのエンタテインメントソフトウェアタイトルを特定する。
タイトルの判別及び対応する基準は、例えばワイヤ又はワイヤレスのネットワークインターフェイス、シリアルインターフェイス、及び同様データインターフェイスによって更新できる。
効果のリダイレクト、体感の導入、及び同様の動作は、様々な方法で実施できる。例えば、体感の導入及び効果のリダイレクトは1つ又はそれ以上のIOPインストラクション、サウンドプロセッサユニット108内での周波ドメインオーディオ信号のモニタリング、サウンドプロセッサユニット108内での時間ドメインオーディオ信号のモニタリングなどによってトリガできる。体感の導入がサウンドプロセッサユニット108を使用したサウンドによってトリガされる実施例では、周波ドメインは、エンタテインメントソフトウェアによってオーディオが発生するごとに常に更新される。周波ドメインオーディオ信号の測定可能な性質を基準として使用することにより、かかる基準を満たした場合に体感効果を挿入できる。更に、挿入された体感効果の性質は変更できる。実施例によっては体感効果はサウンドプロセッサユニット108内の周波ドメインオーディオ信号をモニタリングすることによって挿入される。例えば、体感の導入は、オーディオ信号が10OHzより小さい周波を持っていることによってトリガされ、例えば、そのオーディオ信号の性質(例:強度、音調など)に比例して強度が変化する振動体感レスポンスを引き起こす。
同じ又は似通った振動体感レスポンスを、サウンドプロセッサユニット108内の周波ドメインオーディオ信号以外の信号をモニタリングすることによって挿入できる。例えば、音響効果を効果名から特定することも可能である。エンタテインメントソフトウェアタイトルのうち、コマンド(例:テキストベースのイベント名、シンポルなど)をEE又はIOP上のオーディオドライバに送信することでサウンドを発生させるものもある。例えば、EEからIOPに特定の場所からサウンドを発生させるための通信イベントがあった場合、この通信イベントをトラップして体感の導入をトリガできる。体感の導入トリガは1つ又はそれ以上のエンタテインメントタイトル用にオフラインで定義できる。これらのトリガはタイトル特有であるか、又はより一般的で様々なエンタテインメントソフトウェアタイトルに適用される基準を基にしたランタイムで体感の導入をトリガするトリガを定義することもできる。
なお、本発明を要約すると、体感の導入を通してエンタテインメントを強化する方法には、エンタテインメントソフトウェア実行中に信号をモニタリングし、モニタリングされた信号が所定基準を満たしていることを認識し、及び、エンタテインメント体験を強化するためにハプティックコントロール信号を発生させることが含まれる。モニタリングされる信号には、例えば、オーディオ信号、ビデオ信号、データ信号、コントロール信号、及び同類の信号が含まれる。エンタテインメントソフトウェアには、例えばビデオゲーム、視聴覚作品、オーディオ作品、及びこれらに類するものが含まれる。体感の導入を通してエンタテインメントソフトウェアを強化するためのデバイスには、少なくとも1つのプロセッサ及びそのプロセッサと連結している出力ユニットが含まれ、ハプティックコントロール出力を含む。プロセッサはエンタテインメントソフトウェアの実行中に少なくとも1つの信号をモニタリングし、そのモニタリングされた信号が所定基準を満たしていることを認識し、かかる認識に対応してハプティックコントロール信号を発生し、及び発生したハプティックコントロール信号を出力ユニットのハプティックコントロール出力を通して出力するように設定される。
上記は所望の実施例の完全な記述ではあるが、様々な代案、変更、及び相当するものの使用が可能である。従って、本発明の範囲は上記の記述に従って判断されるべきではなく、代わりに、添付の請求項及びそれに相当する全範囲を参照して判断されるべきである。ここに記述された機能は全て、望ましいかどうかに関わらず、個々に記述された他のいかなる機能とも、望ましいかどうかに関わらず組み合わせることができる。次に挙げる請求項では不定冠詞「A」又は「An」は、別途明記されている場合を除いて、冠詞に続く品目の数量が1又はそれ以上であることを示す。添付の請求項は、手段及び機能の限界を含むものとして解釈されてはならないが、ただし、かかる限界が「〜の達成手段」という言いまわしを使用して、提供された請求項内で明示されている場合を除く。
体感導入デバイスのブロック図である。 体感の導入を示すフローチャートである。 エミュレートされるターゲットデバイスのブロック図である。 図1Aのターゲットデバイスのエモーションエンジンのブロック図である。 図1A〜1Bのターゲットデバイスをエミュレートするホストデバイスの概念図である。 エミュレーション強化デバイスのブロック図である。 エミュレーション強化を示すフローチャートである。 ビデオゲームコントローラに取り付けられた体感導入デバイスの説明図である。 図5の体感導入デバイスの使用状況を示す説明図である。 図5の体感導入デバイスの使用状況を示す説明図である。
符号の説明
10 体感導入デバイス
12 プロセッサ
14 出力ユニット
16 体感アクチュエータ
20 ステップ
51 コントローラ
53 デバイス
53 体感導入デバイス
55 マイクロフォン
55 マイクロフォン入力
100 エミュレーションガターゲットシステム
100 ターゲットシステム
100 レガシーターゲットシステム
102 エモーションエンジン
102 メインプロセッサモジュール
104 グラフィックシンセサイザー
106 入力ー出力プロセッサ
108 サウンドプロセッサユニット
118 ターゲットプログラム
123 オンチップメモリ
124 コプロセッサ
126 ベクトルユニット
130 グラフィックインターフェイスコントローラ
134 メインバス
136 タイマー
142 コントローラ
200 ターゲットシステム

Claims (25)

  1. エンタテインメントソフトウェア実行中に少なくとも1つの信号をモニタリングし、
    モニタリングされた信号のうち少なくとも1つの信号が所定基準を満たしていることを認識し、かつ、
    所定基準を満たしたことの認識に応じて体感コントロール信号を発生し、その発生した体感コントロール信号はエンタテインメント強化を提供できるものである、体感の導入を通してエンタテインメントを強化する方法。
  2. 請求項1記載の方法であって、前記エンタテインメントソフトウェア実行中に少なくとも1つの信号のモニタリングには、オーディオ信号のモニタリングが含まれるものである方法。
  3. 請求項1記載の方法であって、エンタテインメントソフトウェアにはビデオゲームが含まれる方法。
  4. 請求項1記載の方法であって、更に、エンタテインメントソフトウェアを特定し、
    特定されたエンタテインメントソフトウェアに対応する所定基準を特定し、
    前記少なくとも1つのモニタリングされた信号が所定基準を満たしていることの認識には、少なくとも1つのモニタリングされた信号が特定された所定基準を満たしていることの認識が含まれる方法。
  5. 請求項4記載の方法であって、更に、ユーザー設定可能な体感の導入オプションに基づいて所定基準を満たしているとの認識に応答して体感コントロール信号が発生されるように、ユーザー設定可能な体感の導入オプションを受信する方法。
  6. 請求項5記載の方法であって、ユーザー設定可能な体感の導入オプションには特定されたエンタテインメントソフトウェアに特有のオプションが少なくとも1つ含まれる方法。
  7. 請求項1の方法であって、更に、生じた体感コントロール信号に対応して、信号をワイヤレス通信リンクを通して体感が有効なデバイスに送信し、その送信された信号が体感を有効化する方法。
  8. 請求項7記載の方法であって、体感が有効なデバイスがビデオゲームコントローラである方法。
  9. 請求項7記載の方法であって、体感が有効なデバイスがビデオゲームコントローラに取り付けられている方法。
  10. 請求項1記載の方法であって、所定基準に閥値が含まれる方法。
  11. 請求項1記載の方法であって、所定基準にパターンが含まれる方法。
  12. 請求項1記載の方法であって、生じた体感コントロール信号が振動をコントロールする方法。
  13. 請求項1記載の方法であって、生じた体感コントロール信号がフォースフィードバックをコントロールする。
  14. エンタテインメントソフトウェア実行中に体感の導入を通してエンタテインメントの強化を提供するデバイスであって、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合されて体感コントロール出力を含む出力ユニットと、を含み、
    前記少なくとも1つのプロセッサが、エンタテインメントソフトウェア実行中に少なくとも1つの信号をモニタリングし、少なくとも1つのモニタリングされた信号が所定基準を満たしていることを認識し、所定基準を満たしていると認識されたことに応答して体感コントロール信号を発生させ、及びその発生させた体感コントロール信号を出力ユニットの体感コントロール出力を通して出力するように設定されているデバイス。
  15. 請求項14記載のデバイスであって、更に体感コントロール出力に連結した振動体感アクチュエータを含むデバイス。
  16. 請求項14記載のデバイスであって、更に、少なくとも1つのプロセッサに連結したネットワークインターフェイスからなり、そのネットワークインターフェイスを用いて所定基準を更新する。
  17. 入力部、
    体感の導入基準を保管するメモリ、
    入力部及びメモリに結合されて、エンタテインメントソフトウェア実行中に入力をモニタリングし、モニタリングされた入力が体感の導入基準を満たしている時にこれを認識し、及び体感入力基準を満たしていることの認識に応答して体感アクチュエータをコントロールするように設定されたプロセッサ、
    を有する体感の導入デバイス。
  18. 請求項17記載の体感の導入デバイスであって、入力がマイクロフォンであるデバイス。
  19. 請求項17記載の体感の導入デバイスであって、更に、コントローラに取り付けが可能なケーシングを有するデバイス。
  20. 請求項17の体感の導入デバイスであって、前記コントローラがビデオゲームコントローラであるデバイス。
  21. 請求項17記載の体感の導入デバイスであって、前記コントローラが、
    リモートコントロール、
    タッチスクリーンインターフェイス、
    マウス、及び、
    キーボードからなるグループのうちの1つ又は2つ以上であるデバイス。
  22. 請求項17記載の体感の導入デバイスであって、更に、プロセッサに連結するデータインターフェイスを有し、このデータインターフェイスは、
    シリアルポート、
    ネットワークインターフェイス、及び
    ワイヤレスインターフェイスからなるグループのうちの1つ又は2つ以上を含むデバイス。
  23. 請求項22記載の体感の導入デバイスであって、プロセッサが、データインターフェイスを使用して体感の導入基準を更新するように更に設定されているデバイス。
  24. 請求項17記載の体感の導入デバイスであって、プロセッサが、ワイヤレス信号を体感が有効なコントローラに送信することによって、体感アクチュエータをコントロールするように設定されているデバイス。
  25. 請求項17記載の体感の導入デバイスであって、プロセッサが、ワイヤレス信号をコントローラに取り付け可能な体感有効デバイスに送信することによって、体感アクチュエータをコントロールするように設定されているデバイス。
JP2008243396A 2007-09-21 2008-09-22 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 Active JP4979660B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US97439907P 2007-09-21 2007-09-21
US60/974,399 2007-09-21

Publications (2)

Publication Number Publication Date
JP2009072600A true JP2009072600A (ja) 2009-04-09
JP4979660B2 JP4979660B2 (ja) 2012-07-18

Family

ID=40193834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008243396A Active JP4979660B2 (ja) 2007-09-21 2008-09-22 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置

Country Status (5)

Country Link
US (1) US20090079690A1 (ja)
EP (1) EP2039404A3 (ja)
JP (1) JP4979660B2 (ja)
KR (1) KR101085300B1 (ja)
CN (1) CN101391146B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014239430A (ja) * 2013-05-24 2014-12-18 イマージョン コーポレーションImmersion Corporation 触覚データを符号化及びストリーミングする方法及びシステム
WO2015186394A1 (ja) * 2014-06-04 2015-12-10 ソニー株式会社 振動装置、および振動方法
US9672808B2 (en) 2014-03-07 2017-06-06 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
US9904367B2 (en) 2014-03-03 2018-02-27 Sony Corporation Haptic information feedback apparatus, system, and method based on distance-related delay
US9946347B2 (en) 2014-03-26 2018-04-17 Sony Corporation Information processing apparatus, information processing method, and program
JP2018125021A (ja) * 2012-08-24 2018-08-09 イマージョン コーポレーションImmersion Corporation コンテキスト依存ハプティック確認システム
US10238964B2 (en) 2014-03-07 2019-03-26 Sony Corporation Information processing apparatus, information processing system, and information processing method
US10449446B2 (en) 2014-03-26 2019-10-22 Sony Corporation Sensation induction device, sensation induction system, and sensation induction method
WO2022075136A1 (ja) * 2020-10-07 2022-04-14 株式会社村田製作所 信号生成装置、信号生成方法及び信号生成プログラム

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849372B2 (en) 2012-09-28 2017-12-26 Sony Interactive Entertainment Inc. Method and apparatus for improving efficiency without increasing latency in emulation of a legacy application title
JP5225847B2 (ja) * 2006-09-08 2013-07-03 パナソニック株式会社 情報処理端末、音楽情報生成方法、およびプログラム
US8117364B2 (en) * 2007-11-13 2012-02-14 Microsoft Corporation Enhanced protocol and architecture for low bandwidth force feedback game controller
KR100981279B1 (ko) * 2008-12-17 2010-09-10 한국과학기술원 간접햅틱 피드백 애드온 장치 및 그 장치를 구비한 간접햅틱 피드백 시스템 및 그 시스템을 이용한 햅틱피드백제공방법
JP2012010212A (ja) * 2010-06-28 2012-01-12 Casio Comput Co Ltd 画像表示装置及びプログラム
JP5398692B2 (ja) * 2010-12-10 2014-01-29 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理方法、情報処理プログラム、情報処理プログラムを記憶したコンピュータ読み取り可能な記録媒体
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
CN102843334A (zh) * 2011-06-20 2012-12-26 华为技术有限公司 在线应用的交互方法、服务器、客户端设备和系统
KR102054370B1 (ko) * 2011-11-23 2019-12-12 삼성전자주식회사 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말
US9493116B2 (en) 2012-06-22 2016-11-15 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9266451B2 (en) 2012-06-22 2016-02-23 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9123215B2 (en) 2012-06-22 2015-09-01 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9545879B2 (en) 2012-06-22 2017-01-17 GM Global Technology Operations LLC Vehicle seat back haptic alert systems and methods
US9132774B2 (en) 2012-06-22 2015-09-15 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US8970358B2 (en) 2012-06-22 2015-03-03 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9153108B2 (en) 2012-06-22 2015-10-06 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9349263B2 (en) * 2012-06-22 2016-05-24 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US20130342364A1 (en) * 2012-06-22 2013-12-26 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9286773B2 (en) 2012-06-22 2016-03-15 GM Global Technology Operations LLC Alert systems and methods for a vehicle with improved actuator installation
US9701245B2 (en) 2012-06-22 2017-07-11 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US20140004941A1 (en) * 2012-06-29 2014-01-02 Sony Computer Entertainment Inc. Conversion of haptic events into screen events
US9925468B2 (en) 2012-06-29 2018-03-27 Sony Interactive Entertainment Inc. Suspending state of cloud-based legacy applications
US9623327B2 (en) 2012-06-29 2017-04-18 Sony Interactive Entertainment Inc. Determining triggers for cloud-based emulated games
US9656163B2 (en) 2012-06-29 2017-05-23 Sony Interactive Entertainment Inc. Haptic enhancements for emulated video game not originally designed with haptic capabilities
US9694276B2 (en) 2012-06-29 2017-07-04 Sony Interactive Entertainment Inc. Pre-loading translated code in cloud based emulated applications
US11013993B2 (en) 2012-09-28 2021-05-25 Sony Interactive Entertainment Inc. Pre-loading translated code in cloud based emulated applications
US9707476B2 (en) 2012-09-28 2017-07-18 Sony Interactive Entertainment Inc. Method for creating a mini-game
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US10437341B2 (en) 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
US9737794B2 (en) * 2014-03-28 2017-08-22 Zynga Inc. Methods and systems for backward compatability using a unified stock keeping identifier
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US10073523B2 (en) * 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
EP3263195A4 (en) * 2015-02-27 2018-09-12 Sony Corporation Information processing device, information processing method, information processing system
WO2016141511A1 (zh) * 2015-03-06 2016-09-15 华为技术有限公司 一种电子终端显示方法及电子终端
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11571617B2 (en) * 2020-12-18 2023-02-07 Dell Products, Lp System and method for coordinating gaming haptic response across peripheral device ecosystem
US11813522B2 (en) 2021-05-25 2023-11-14 Sony Interactive Entertainment LLC Systems and methods for emulation of user input during a play of a legacy game
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
WO2023056225A2 (en) * 2021-10-01 2023-04-06 Qualcomm Incorporated Systems and methods for haptic feedback effects
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US20240033619A1 (en) * 2022-07-27 2024-02-01 Sony Interactive Entertainment LLC Impaired player accessability with overlay logic providing haptic responses for in-game effects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950232A (ja) * 1995-08-09 1997-02-18 Sharp Corp サーモモジュールを用いた触覚生成装置
JP2003228453A (ja) * 1999-09-28 2003-08-15 Immersion Corp 振動体感フィードバック装置の体感刺激の制御方法
JP2005506613A (ja) * 2001-10-09 2005-03-03 イマージョン コーポレイション コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚
JP2005346705A (ja) * 2004-05-11 2005-12-15 Microsoft Corp 通信システムにおける多感覚エモティコン

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6131097A (en) * 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US6422941B1 (en) * 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6078308A (en) * 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US6411276B1 (en) * 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6402620B1 (en) * 1998-12-02 2002-06-11 Technology Creations, Inc. Amplified stereo sound and force feed back accessory for video game devices
US7116310B1 (en) * 1999-04-06 2006-10-03 Microsoft Corporation Application programming interface that maps input device controls to software actions
US6424356B2 (en) 1999-05-05 2002-07-23 Immersion Corporation Command of force sensations in a forceback system using force effect suites
AU7725600A (en) * 1999-09-28 2001-04-30 Immersion Corporation Controlling haptic sensations for vibrotactile feedback interface devices
US6976215B1 (en) * 1999-12-20 2005-12-13 Vulcan Patents Llc Pushbutton user interface with functionality preview
US6955606B2 (en) * 2000-03-30 2005-10-18 Nintendo Co., Ltd. Game information storage medium and game system using the same
US6672963B1 (en) * 2000-09-18 2004-01-06 Nintendo Co., Ltd. Software implementation of a handheld video game hardware platform
CN1232322C (zh) * 2001-05-11 2005-12-21 皇家菲利浦电子有限公司 操作一组装置的方法和设备
CN1774902A (zh) * 2003-04-16 2006-05-17 索尼计算机娱乐公司 数据传输装置、数据传输方法、游戏机及游戏系统
US7496495B2 (en) * 2005-05-12 2009-02-24 Microsoft Corporation Virtual operating system device communication relying on memory access violations
US7596540B2 (en) * 2005-12-01 2009-09-29 Exent Technologies, Ltd. System, method and computer program product for dynamically enhancing an application executing on a computing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950232A (ja) * 1995-08-09 1997-02-18 Sharp Corp サーモモジュールを用いた触覚生成装置
JP2003228453A (ja) * 1999-09-28 2003-08-15 Immersion Corp 振動体感フィードバック装置の体感刺激の制御方法
JP2005506613A (ja) * 2001-10-09 2005-03-03 イマージョン コーポレイション コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚
JP2005346705A (ja) * 2004-05-11 2005-12-15 Microsoft Corp 通信システムにおける多感覚エモティコン

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125021A (ja) * 2012-08-24 2018-08-09 イマージョン コーポレーションImmersion Corporation コンテキスト依存ハプティック確認システム
US10542325B2 (en) 2013-05-24 2020-01-21 Immersion Corporation Method and system for haptic data encoding and streaming using a multiplexed data stream
JP2014239430A (ja) * 2013-05-24 2014-12-18 イマージョン コーポレーションImmersion Corporation 触覚データを符号化及びストリーミングする方法及びシステム
US10085069B2 (en) 2013-05-24 2018-09-25 Immersion Corporation Method and system for haptic data encoding and streaming using a multiplexed data stream
US9904367B2 (en) 2014-03-03 2018-02-27 Sony Corporation Haptic information feedback apparatus, system, and method based on distance-related delay
US10324534B2 (en) 2014-03-03 2019-06-18 Sony Corporation Information processing apparatus, information processing system, and information processing method for haptic output based on distance-related delay
US10238964B2 (en) 2014-03-07 2019-03-26 Sony Corporation Information processing apparatus, information processing system, and information processing method
US9672808B2 (en) 2014-03-07 2017-06-06 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
US10088907B2 (en) 2014-03-07 2018-10-02 Sony Corporation Information processing apparatus and information processing method
US10514762B2 (en) 2014-03-26 2019-12-24 Sony Corporation Information processing apparatus, information processing method, and program
US10449446B2 (en) 2014-03-26 2019-10-22 Sony Corporation Sensation induction device, sensation induction system, and sensation induction method
US9946347B2 (en) 2014-03-26 2018-04-17 Sony Corporation Information processing apparatus, information processing method, and program
US10150029B2 (en) 2014-06-04 2018-12-11 Sony Corporation Vibrating apparatus and vibrating method
WO2015186394A1 (ja) * 2014-06-04 2015-12-10 ソニー株式会社 振動装置、および振動方法
US10828562B2 (en) 2014-06-04 2020-11-10 Sony Corporation Vibrating apparatus and vibrating method
WO2022075136A1 (ja) * 2020-10-07 2022-04-14 株式会社村田製作所 信号生成装置、信号生成方法及び信号生成プログラム

Also Published As

Publication number Publication date
US20090079690A1 (en) 2009-03-26
KR20090031332A (ko) 2009-03-25
CN101391146A (zh) 2009-03-25
KR101085300B1 (ko) 2011-11-22
CN101391146B (zh) 2013-06-19
JP4979660B2 (ja) 2012-07-18
EP2039404A3 (en) 2010-05-12
EP2039404A2 (en) 2009-03-25

Similar Documents

Publication Publication Date Title
JP4979660B2 (ja) 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置
JP5186320B2 (ja) エミュレーション強化方法及び装置
JP2014513997A (ja) エミュレーション強化の方法および装置
US9656163B2 (en) Haptic enhancements for emulated video game not originally designed with haptic capabilities
US9717989B2 (en) Adding triggers to cloud-based emulated games
CN104777906B (zh) 多致动手持设备
US8523681B2 (en) Content server, content providing system, and content providing method
US10963365B2 (en) System for testing command execution latency within an application
US8721443B2 (en) System and method for interaction in a virtual environment
US11904238B2 (en) System for testing command execution latency within a video game
US8829323B2 (en) System and method for single-user control of multiple roles within a music simulation
US8239591B2 (en) Method for producing a mapping tool, a game program having the mapping tool and operation method thereof
US20090305785A1 (en) Gesture controlled game screen navigation
JP2006142097A (ja) ゲーム展開の制御方法、ゲーム装置及び記録媒体
CN111714875B (zh) 用于在视频游戏中测试命令执行延迟的系统
JP2023158779A (ja) プログラム学習装置
JP7416925B2 (ja) クラウドゲーム時のプレーヤ対話型ウィンドウへのプレーヤ入力の遅延認識フィルタリング
Pupius SFML Game Development By Example
JP6576544B2 (ja) 情報処理装置、情報処理方法、コンピュータ読み取り可能な記憶媒体
de Freitas et al. Using Audio for Player Interaction in HTML5 Games

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4979660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250