JP7072550B2 - 操作デバイス - Google Patents

操作デバイス Download PDF

Info

Publication number
JP7072550B2
JP7072550B2 JP2019209139A JP2019209139A JP7072550B2 JP 7072550 B2 JP7072550 B2 JP 7072550B2 JP 2019209139 A JP2019209139 A JP 2019209139A JP 2019209139 A JP2019209139 A JP 2019209139A JP 7072550 B2 JP7072550 B2 JP 7072550B2
Authority
JP
Japan
Prior art keywords
force sense
control
state
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019209139A
Other languages
English (en)
Other versions
JP2021082021A (ja
Inventor
正俊 中江
好之 今田
拓郎 沢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2019209139A priority Critical patent/JP7072550B2/ja
Priority to US17/090,130 priority patent/US11524224B2/en
Priority to EP20206184.2A priority patent/EP3825819A1/en
Priority to CN202011261029.7A priority patent/CN112891924A/zh
Publication of JP2021082021A publication Critical patent/JP2021082021A/ja
Application granted granted Critical
Publication of JP7072550B2 publication Critical patent/JP7072550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置から受け付けた指示に応じて動作する操作デバイスに関する。
情報処理装置に対する操作入力に用いられる操作デバイスは、ユーザーの操作に対するフィードバックや演出を目的として、ユーザーの操作に応じて力覚提示や振動の提示などの各種の動作制御を行うことがある。
上記従来例の技術において、操作デバイスがユーザーの操作に応じた動作制御を実行するタイミングを情報処理装置が特定できないと、情報処理装置は操作デバイスの制御内容と連動した処理を行うことが難しくなる。なお、情報処理装置にはユーザーの操作内容を示す操作情報が送信されるが、データの分解能などの問題で、操作デバイスがユーザーの操作に応じた制御を実行するタイミングを操作情報だけから特定することは難しい場合がある。その場合、例えば力覚提示を発生させるべき操作情報を操作デバイスから受け付けたタイミングで情報処理装置が音声の再生を指示したとしても、音声の再生が力覚提示より遅れてしまったり、逆に早すぎたりする事態が生じ得る。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、操作デバイスがユーザーの操作に応じた動作制御を実行するタイミングを情報処理装置が把握しやすくすることのできる操作デバイスを提供する。
本発明に係る操作デバイスは、情報処理装置と接続される操作デバイスであって、ユーザーの操作を受け付けて、当該操作の内容を示す操作情報を前記情報処理装置に送信する情報送信部と、前記ユーザーの操作に応じて予め定められた制御処理を実行する制御処理部と、を含み、前記情報送信部は、前記制御処理の実行状態を示す状態情報を前記情報処理装置に送信する操作デバイスである。
情報処理システムの全体構成図である。 操作デバイスの外観の一例を示す図である。 情報処理システムが実現する機能を示す機能ブロック図である。 動作モードにおける状態遷移の一例を示す図である。 一つのプロセスが実行されている場合の処理の流れの一例を示すフロー図である。 複数のプロセスが並列に実行されている場合の処理の流れの一例を示すフロー図である。 複数のプロセスが並列に実行されている場合の処理の流れの一例を示すフロー図である。
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
図１は、本発明の一実施形態における情報処理システム１の全体構成図である。また、図２は、操作デバイス１０の外観の一例を示す図である。これらの図に示されるように、情報処理システム１は、操作デバイス１０と情報処理装置５０とを含んで構成されている。本実施形態において操作デバイス１０と情報処理装置５０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの無線通信によってデータを送受信することとする。なお、ここでは無線通信によってデータの送受信を行うこととしているが、これに限らず操作デバイス１０と情報処理装置５０とは例えばＵＳＢ等の規格により有線で通信接続されることとしてもよい。
操作デバイス１０は、例えば家庭用ゲーム機用のコントローラ等であって、制御回路１１と、音声信号処理回路１２と、スピーカー１３と、ヘッドホン端子１４と、マイクロホン１５と、複数の操作部材１６と、振動機構１７と、力覚提示機構１８と、を含んで構成されている。
制御回路１１は、マイクロプロセッサ等であって、操作デバイス１０の各部を制御するための処理を実行する。具体的に制御回路１１は、情報処理装置５０から受信した制御命令にしたがって、振動機構１７や力覚提示機構１８などを動作させるための制御信号を出力する。また、定期的に各操作部材１６の状態を走査してユーザーが行った操作内容を特定し、その操作内容を示す操作情報を情報処理装置５０に対して送信する。
また、制御回路１１は、情報処理装置５０から再生用音声信号を受信し、この再生用音声信号を音声信号処理回路１２に対して送信する。また、音声信号処理回路１２から集音音声信号を受信し、この集音音声信号を情報処理装置５０に対して送信する。このような各種音声信号の授受を行うために、制御回路１１と音声信号処理回路１２とは、Ｉ２Ｓ（Inter-IC Sound）などのインタフェース規格によって相互にデータ通信可能に接続されている。
音声信号処理回路１２は、デジタルシグナルプロセッサ等であって、デジタルの音声信号に対して各種の信号処理を行う。具体的に音声信号処理回路１２は、制御回路１１から受信した再生用音声信号を、ヘッドホン端子１４に接続されたヘッドホンやスピーカー１３から鳴動させる。また、マイクロホン１５が集音した集音音声信号に対してノイズ除去処理などの音声信号処理を実行して、制御回路１１に対して送信する。
スピーカー１３は、音声信号処理回路１２が出力する再生用音声信号に基づく音声を再生する。ヘッドホン端子１４にはヘッドホンが接続可能であって、ヘッドホン端子１４にヘッドホンが接続された場合、音声信号処理回路１２は再生用音声信号に基づく音声をスピーカー１３の代わりにそのヘッドホンから再生させることもできる。
マイクロホン１５は、操作デバイス１０を使用するユーザーが発話した音声など、操作デバイス１０周囲の音声を集音する。なお、マイクロホン１５は、複数のマイクロホン素子によって構成されるマイクロホンアレイであってもよい。
複数の操作部材１６は、ユーザーによる操作入力の対象となる部材であって、各種の部材を含んでよい。本実施形態において操作部材１６は、少なくとも一つのトリガーボタン１６ａを含むものとする。
トリガーボタン１６ａはユーザーが押下して操作する部材であって、ユーザーの操作に応じて動く可動部を含み、その押し込み量（操作量）を数値として計測可能に構成されている。これにより、ユーザーがトリガーボタン１６ａを少しだけ押し込んだ状態を維持したり、素早く最後まで押し込んだり、といった押し込み操作の内容をより詳細に特定可能になっている。
振動機構１７は、振動を発生させるデバイスであって、ボイスコイルモーターなど各種のデバイスであってよい。制御回路１１の指示に応じて振動機構１７が振動を発生させることによって、操作デバイス１０を把持しているユーザーの手に振動が伝達される。なお、操作デバイス１０は複数の振動機構１７を備えていてもよく、その場合に複数の振動機構１７は互いに異なる種類の振動機構であってもよい。
力覚提示機構１８は、ユーザーが操作部材１６に対する操作を行った際などに、ユーザーに対して力覚を提示するデバイスである。本実施形態では、力覚提示機構１８はトリガーボタン１６ａの可動部に接触するアーム（力覚提示部材）を備えており、このアームが可動部に対して力を加える。これにより力覚提示機構１８は、ユーザーがトリガーボタン１６ａを押し込む操作を行う際に、その操作を行う指に対して力覚を提示する。
さらに本実施形態において力覚提示機構１８は、制御回路１１からの指示に応じてアームの目標位置を変化させることによって、トリガーボタン１６ａの可動部の位置に応じて提示する力覚の内容を制御できるものとする。具体的にアームの位置は、制御回路１１からの指示内容と、トリガーボタン１６ａ可動部がユーザーの指によって押し込まれる力によって変化する。このアームの位置の変化に応じて、制御回路１１はアームに対する制御内容を変化させることとする。これにより力覚提示機構１８は、トリガーボタン１６ａの操作量（すなわち、トリガーボタン１６ａ可動部の押し込み量）がどの程度かに応じて、トリガーボタン１６ａを操作するユーザーの指に提示する力覚の内容を変化させることができる。例えば力覚提示機構１８は、トリガーボタン１６ａの操作量が所与の値範囲に含まれている間だけユーザーに力覚を提示したり、トリガーボタン１６ａの操作量が所与の閾値を超えた場合にそれまで実行していた力覚提示を終了したり、といった制御を実現することができる。
以下では制御回路１１は、力覚提示機構１８の制御対象範囲（すなわち、アームの位置がトリガーボタン１６ａ可動部に連動して変位可能な範囲）を範囲Ｐ０～Ｐ９の１０個の範囲に分割し、アームの位置がこれらの範囲のうちどの範囲に含まれているかに応じて、力覚提示機構１８の動作制御を行うこととする。これにより制御回路１１は、ユーザーがトリガーボタン１６ａをどの程度押し込んでいるかに応じて、１０段階で力覚提示機構１８の動作内容を変化させることができることになる。なお、ここでは範囲Ｐ０はトリガーボタン１６ａがほとんど押し込まれていない状態に対応し、範囲Ｐ９が最大近くまでトリガーボタン１６ａが押し込まれた状態に対応している。ここで、力覚提示機構１８の制御対象範囲はトリガーボタン１６ａ可動部の可動範囲と対応するが、力覚提示機構１８の制御対象範囲Ｐ０～Ｐ９とトリガーボタン１６ａの操作量の数値との対応関係は、個々の操作デバイス１０のアームとトリガーボタン１６ａ可動部との間の位置関係の個体差などに起因して、必ずしも一定になるとは限らない。例えばトリガーボタン１６ａの操作量（押し込み量）が０～２５５の２５６段階で計測される場合に、ある操作デバイス１０においてはトリガーボタン１６ａの操作量３０未満が力覚提示機構１８の制御対象範囲Ｐ０に対応するが、別の操作デバイス１０は操作量３２未満が範囲Ｐ０に対応するなどの場合が生じ得る。
情報処理装置５０は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、制御部５１と、記憶部５２と、インタフェース部５３と、を含んで構成されている。また、情報処理装置５０は操作デバイス１０及び表示装置５４と接続されている。
制御部５１は、少なくとも一つのプロセッサを含み、記憶部５２に格納されているプログラムに従って各種の情報処理を実行する。記憶部５２は、少なくとも一つの記憶素子を含み、制御部５１が実行するプログラム、及びそのプログラムによる処理の対象となるデータを記憶する。インタフェース部５３は、操作デバイス１０、及び表示装置５４との間で情報を授受するための通信インタフェースを含んでいる。インタフェース部５３を介して情報処理装置５０は操作デバイス１０から操作情報などの各種の情報を受け付けるとともに、操作デバイス１０に対して各種の制御命令を送信する。また、インタフェース部５３は表示装置５４が表示すべき映像信号を出力する。
以下、本実施形態において操作デバイス１０及び情報処理装置５０が実現する機能について、図３の機能ブロック図を用いて説明する。図３に示されるように、操作デバイス１０は、機能的に制御命令受付部６１と、制御処理部６２と、情報送信部６３と、を含んで構成されている。これらの機能は、制御回路１１が内蔵するプログラムを実行することによって実現される。情報処理装置５０は、機能的に第１プロセス実行部６４と、第２プロセス実行部６５と、デバイス制御部６６と、を含んで構成されている。これらの機能は、制御部５１が記憶部５２に格納されているプログラムを実行することによって実現される。
制御命令受付部６１は、情報処理装置５０のデバイス制御部６６から力覚提示機構１８の動作内容に関する制御命令を受け付ける。ここで、情報処理装置５０から受け付ける制御命令は、力覚提示機構１８の動作条件、及び動作内容を指定するものであることとする。さらに、この動作条件は、力覚提示機構１８を動作させるタイミングに関する条件を含むものとする。すなわち、制御回路１１は、情報処理装置５０からの制御命令を受け付けた場合に直ちにその内容に応じた実際の動作を力覚提示機構１８に実行させるわけではなく、後述するようにユーザーの操作内容が指定された動作条件を満たしたタイミングで指定された内容の動作を実行させることになる。なお、操作デバイス１０が複数のトリガーボタン１６ａを備え、そのそれぞれに対して力覚提示機構１８が接続されている場合、制御命令受付部６１はそれぞれの力覚提示機構１８に対する制御命令を受け付けることとする。
制御処理部６２は、制御命令受付部６１が受け付けた制御命令に応じた処理を実行する。具体的に制御処理部６２は、ユーザーによる操作部材１２に対する操作内容をモニタし、その操作内容が指定された動作条件を満たしたと判定した場合に、指定された動作内容で力覚提示機構１８を動作させる制御処理を実行する。
特に本実施形態では、制御命令は予め定められた複数の動作モードのいずれかを指定するものとする。制御処理部６２は、制御命令が受け付けられると、その制御命令によって指定された動作モードへの切り替えを行う。その後は、別の動作モードへの切り替えが指示されるまで、その動作モードに基づく制御を行う。この動作モードが、力覚提示機構１８が実行するべき動作内容を規定する。すなわち、複数の動作モードのそれぞれについて、その動作モードにおいて力覚提示機構１８に実行させるべき動作内容が予め定義され、制御回路１１内に記録されているものとする。
さらに、制御処理部６２は、各動作モードと対応して予め定められた複数の動作状態のうち、ユーザーの操作内容の変化に応じて決定される一つの動作状態で力覚提示機構１８を動作させるものとする。すなわち、各動作モードにおいて力覚提示機構１８は複数の動作状態のいずれかで動作し、制御処理部６２はこの複数の動作状態間を遷移させる制御を行う。少なくとも制御処理部６２は、ユーザーがトリガーボタン１６ａに対して実行した操作の操作量に応じて、力覚提示機構１８の動作状態を変化させる。つまり、ユーザーのトリガーボタン１６ａに対する操作内容に応じて動作状態を遷移させるタイミングが決定されることになる。
以下、動作モードの具体例について説明する。一例として、制御処理部６２は力覚提示機構１８をフィードバックモードで動作させる。この動作モードにおいて制御処理部６２は、トリガーボタン１６ａ可動部の位置が所定領域に含まれている間（すなわち、アームの位置が制御対象範囲Ｐ０～Ｐ９のうち予め指定された範囲に含まれている間）、ユーザーの押し込み操作に対して反発する力覚を提示させる。一方、トリガーボタン１６ａの位置が所定領域に含まれていない間は、力覚を提示しない。すなわち、この動作モードにおいて制御処理部６２は、トリガーボタン１６ａの押し込み量に応じて、反発力を提示する状態と提示しない状態との間で状態遷移を行う。
なお、ここでは２種類の状態間でのみ遷移を行うこととしたが、制御処理部６２は、例えば強い力覚を提示する状態、弱い力覚を提示する状態などを力覚提示機構１８の制御対象範囲に応じて変化させてもよい。これにより、ユーザーがトリガーボタン１６ａを操作し始めた時点では何の力覚も提示されないが、押し込み操作を続けるにしたがって段階的に強い反発力を提示するなどの制御が可能になる。この場合、制御処理部６２は３種類以上の状態間で力覚提示機構１８の動作状態を遷移させることになる。
別の例として、制御処理部６２は力覚提示機構１８を振動モードで動作させてもよい。この動作モードにおいて力覚提示機構１８は、アームを振動させてアームに接触するトリガーボタン１６ａの可動部に振動を伝達させることによって、操作中のユーザーの指に振動を提示する。この例においてもフィードバックモードと同様に、トリガーボタン１２の押し込み量に応じて振動を提示する状態と提示しない状態との間で状態遷移が行われる。また、この例においてもフィードバックモードと同様に、振動が提示されない状態のほかに強い振動が提示される状態、弱い振動が提示される状態など、３種類以上の状態間での遷移を行うこととしてもよい。
また、制御処理部６２は力覚提示機構１８をトリガーモードで動作させてもよい。トリガーモードは、銃の引き金などに対する操作をシミュレートするためのモードであって、図４に示すように、スタンバイ状態、プリング状態、及びファイアード状態の３種類の状態間で遷移が行われる動作モードである。このトリガーモードでは、単純にトリガーボタン１６ａに対する現在の操作量がどの程度かだけでなく、現在どの動作状態かに応じて次の動作状態が決定される。
具体的に、トリガーボタン１６ａが操作されていないか、又は操作開始後まだ押し込み量が小さい間（例えばアームの位置が制御対象範囲Ｐ０にある場合）はスタンバイ状態であって、この状態では力覚提示機構１８は動作しない。この状態は、トリガーの遊びの部分を引いている状態に相当する。
スタンバイ状態においてトリガーボタン１６ａの操作量がある閾値を超えると、制御処理部６２はプリング状態への遷移を行う。この状態は銃の引き金を徐々に引いている状態に相当する。例えば制御処理部６２は、アームの位置が制御対象範囲Ｐ１～Ｐ５にある場合にプリング状態に遷移する。プリング状態では、力覚提示機構１８はユーザーの押し込み操作に逆らう向きの力覚を提示する。これによりユーザーは、実際の引き金を引いているかのような重い感触を感じることができる。
プリング状態からさらにユーザーがトリガーボタン１６ａの押し込み操作を継続して可動部の位置がある閾値を超えると、制御処理部６２はファイアード状態への遷移を行う。この状態は銃の引き金を引き切って弾丸が発射された状態に相当する。例えば制御処理部６２は、プリング状態においてアームの位置が制御対象範囲Ｐ６～Ｐ９に含まれる位置に移動した場合にファイアード状態に遷移する。この状態でもスタンバイ状態と同様に力覚提示機構１８による力覚提示は行われず、ユーザーは抵抗を感じずにトリガーボタン１６ａを操作することができる。なお、一旦ファイアード状態に遷移した後は、ユーザーが押し込み操作を緩めてアームが制御対象範囲Ｐ０～Ｐ５に含まれる位置に移動してもファイアード状態のままである。これにより、弾丸が発射された後は引き金の抵抗がなくなる様子を再現できる。なお、ファイアード状態で所与の条件が満たされた場合、例えばトリガーボタン１６ａからユーザーが指を離して操作量０の状態になった場合などに、制御処理部６２はファイアード状態からスタンバイ状態への遷移を行うこととする。これにより、ユーザーは再び銃の引き金を引く動作を行うことができるようになる。
このトリガーモードにおいては、トリガーボタン１６ａ可動部の位置が現在どの位置にあるかだけでなく、どのような状態から遷移しているかに応じて、力覚提示機構１８に対する制御内容が変化する。例えばアームの位置が制御対象範囲Ｐ４にある場合であっても、プリング状態であれば力覚が提示され、ファイアード状態に一旦遷移した後の状態であれば力覚は提示されない。そのため、単純にトリガーボタン１６ａの操作量（押し込み量）を操作デバイス１０から情報処理装置５０に通知するだけでは、情報処理装置５０は現在どのような状態で動作制御が行われているか把握できないことがある。
また、力覚提示機構１８の動作制御はトリガーボタン１６ａの可動部の位置に連動して実行されるが、前述したように、トリガーボタン１６ａの操作量の検出値と力覚提示機構１８のアーム位置の制御対象範囲との間の対応関係は、操作デバイス１０の個体差によってばらつきがある。このような要因から、情報処理装置５０に対して通知されるトリガーボタン１６ａの操作量の値だけでは、厳密に状態遷移がいつ実行されたかを特定することは困難な場合がある。そこで本実施形態において操作デバイス１０の情報送信部６３は、力覚提示機構１８の現在の動作モード、及び動作状態を示す状態情報を、情報処理装置５０に対して定期的に送信することとする。
具体的に情報送信部６３は、所定の時間間隔で、複数の操作部材１６に対するユーザーの操作内容（例えばどの操作ボタンが押されているか、またトリガーボタン１６ａの現在の押し込み量がどの程度か）を示す操作情報を送信する。そして、この操作情報とともに、現在複数の動作状態のうちのどの状態で力覚提示機構１８の制御を実行中かを示す状態情報を情報処理装置５０に対して送信する。なお、操作デバイス１０が複数の力覚提示機構１８を備える場合、そのそれぞれについて現在の動作状態を示す状態情報が送信される。これにより、トリガーボタン１６ａの操作量の計測値だけでは特定できない力覚提示機構１８の動作状態を情報処理装置５０に対して明確に通知することができる。
なお、ここでは情報送信部６３は操作情報とともに状態情報を送信することとしたが、これに限らず状態情報を操作情報とは別のタイミングで送信してもよい。また、情報送信部６３は操作情報の送信頻度とは異なる頻度で状態情報を送信してもよい。さらに、情報送信部６３は力覚提示機構１８の状態情報として、現在の動作状態だけでなく、アーム位置がどこにあるか（例えば複数の制御対象範囲のうちのどの位置にアームがあるか）を示す制御位置情報を併せて送信してもよい。この制御位置情報は、制御処理部６２が現在どの位置で力覚提示制御を実行しているかを示している。
情報処理装置５０で実行中のアプリケーションプログラムは、後述するように、この動作情報を取得し、その内容に応じて各種の処理を実行する。この処理には、振動機構１７を動作させる制御命令を出力する処理や、再生用の音声信号を出力する処理などが含まれてよい。これにより、例えばトリガーモードにおいてプリング状態からファアード状態に遷移したタイミングでスピーカー１３から音声を再生させたり振動機構１７に振動を提示させたりするなど、力覚提示機構１８の動作状態と連動した制御が実現できる。
情報処理装置５０の第１プロセス実行部６４、及び第２プロセス実行部６５は、それぞれ独立したプロセスを実行することによって、ユーザーからの操作入力の内容などに応じて各種の情報処理を実行する。以下では具体例として、第１プロセス実行部６４はゲーム等のアプリケーションプログラムを実行することによって実現され、第２プロセス実行部６５はシステムプログラムを実行することによって実現されることとする。以下では、第１プロセス実行部６４によって実現されるプロセスを第１プロセスと表記し、第２プロセス実行部６５によって実現されるプロセスを第２プロセスと表記する。
これらのプロセスは、互いに独立に実行される。すなわち、第１プロセスと第２プロセスは互いに並列に同時期に実行される場合があり、どちらのプロセスも実行中の状態が許容される。そのうえで、いずれか一つのプロセスが、所与の条件に基づいて選択的にフォーカスプロセスとして選択される。ここではフォーカスプロセスは、ユーザーによる操作の対象となるプロセスであって、操作デバイス１０から送信される操作情報は、フォーカスプロセスによって取得され、処理されることとする。
フォーカスプロセスの切り替えは各種の条件で行われる。一例として、第１プロセス実行部６４がゲームプログラムを実行中にユーザーが操作デバイス１０に設けられたシステムボタンを操作した場合、第２プロセス実行部６５がシステムプログラムを起動し、その処理結果を提示するためのシステム画面を表示装置５４に表示させるとともに、フォーカスプロセスが第１プロセスから第２プロセスに変更される。その後、システム画面の終了が指示されると、フォーカスプロセスは第２プロセスから第１プロセスに変更される。なお、第２プロセスがフォーカスプロセスとして選択されている間も、第１プロセスはバックグラウンドで動作し、ゲームに関する各種の処理を継続して実行している。
このような条件下において、デバイス制御部６６は、各プロセスからの要求に応じて操作デバイス１０を動作させるための制御命令を送信するとともに、フォーカスプロセスの変更に応じて必要な調整を行う。以下、デバイス制御部６６が実行する制御内容について、詳しく説明する。
まず、第１プロセスのみが実行中の場合の処理の流れの一例について、図５のフロー図を用いて説明する。前述したように、操作デバイス１０の情報送信部６３は定期的に操作情報及び状態情報を情報処理装置５０に対して送信している。この図においては、ある時点における操作情報及び状態情報の送信がＳ１で示されている。
その後、第１プロセス実行部６４は、力覚提示機構１８の動作モードの設定要求をデバイス制御部６６に対して出力している（Ｓ２）。ここでは一例として、第１プロセス実行部６４は、ゲーム内においてユーザーが銃を撃つ操作をできるようになったため、動作モードをトリガーモードに変更するよう要求したものとする。この要求を受けてデバイス制御部６６は、動作モードをトリガーモードに設定するよう指示する制御命令を操作デバイス１０に対して送信する（Ｓ３）。これを受けて操作デバイス１０の制御処理部６２は、動作モードをトリガーモードに変更する。ただし、前述したように操作デバイス１０から情報処理装置５０への情報送信は周期的に実行されるため、動作モードの変更後直ちに新たな動作モードにおける状態情報が情報処理装置５０に送信されるわけではない。この例では、新たな動作モードの状態情報が操作デバイス１０から送信される前に、第１プロセス実行部６４は動作状態の取得要求をデバイス制御部６６に対して実行している（Ｓ４）。この段階ではデバイス制御部６６は新たな動作モードの状態情報を取得していないので、Ｓ４の取得要求に対する応答として、デバイス制御部６６はＳ１で送信されている直近の過去の状態情報を返信する（Ｓ５）。
その後、操作デバイス１０の情報送信部６３はＳ６で新たな操作情報及び状態情報を送信している（Ｓ６）。ここでは、Ｓ３で指示された新たな動作モードにおける状態情報（例えばトリガーモードのスタンバイ状態であることを示す情報）が送信される。その後、再び第１プロセス実行部６４が動作状態の取得要求を行った際には（Ｓ７）、デバイス制御部６６はＳ６で送信されたトリガーモードの状態情報を返信する（Ｓ８）。
このように、第１プロセス実行部６４は処理の進行に伴って動作モードの設定要求をデバイス制御部６６に対して出力し、その後、定期的に操作デバイス１０から送信される状態情報を取得することによって、操作デバイス１０が実行している動作状態の遷移を知ることができる。なお、第１プロセス実行部６４は、状態遷移に連動させて音声の再生などの制御が必要な場合、そのような制御が可能な程度に短いサイクルで繰り返し問い合わせを行うこととする。
次に、第１プロセス、及び第２プロセスが並列に実行されている場合における処理の流れの一例について、図６Ａ及び図６Ｂのフロー図を用いて説明する。この例においては、最初は第２プロセスがフォーカスプロセスになっているものとする。なお、この図６Ａ及び図６Ｂにおいては、第１プロセス実行部６４と第２プロセス実行部６５のうちフォーカスプロセスを実行中の実行部が実線で、それ以外のプロセスを実行中の実行部が破線で示されている。
この例では、まず第１プロセス実行部６４が動作モードの設定要求を出力している（Ｓ１１）。前述したように、フォーカスプロセスとは別のプロセス（ここでは第１プロセス）も実行中なので、その処理の進行状況に応じて動作モードの設定要求を出力することがある。しかしながら、この時点ではフォーカスプロセスが第２プロセスになっているので、操作デバイス１０が第１プロセスの処理内容に応じた動作を行うと、ユーザーを混乱させるおそれがある。そこでデバイス制御部６６は、フォーカスプロセス以外のプロセスからの動作モードの設定要求は無視することとし、この段階では操作デバイス１０に対する動作モード変更の制御命令を制限する。ただし、後に第１プロセスがフォーカスプロセスになった場合に備えて、デバイス制御部６６は第１プロセス実行部６４が出力した設定要求の内容を一時的に保持しておくこととする（Ｓ１２）。
その後、今度は第２プロセス実行部６５が動作モードの設定要求を出力したとする（Ｓ１３）。この時点では第２プロセスがフォーカスプロセスなので、デバイス制御部６６はその設定要求に応じて動作モードを変更させる制御命令を操作デバイス１０に対して送信する（Ｓ１４）。その後のタイミングで、定期的な操作デバイス１０からの情報送信が行われている（Ｓ１５）。
さらに、第１プロセス実行部６４はＳ１１の設定要求に引き続いて状態情報の取得要求を出力したとする（Ｓ１６）。このとき、Ｓ１１の設定要求に応じた動作モードの変更は行われておらず、第１プロセスはフォーカスプロセスではないので、デバイス制御部６６は第１プロセスからの取得要求が制限されている旨を応答する（Ｓ１７）。
一方、第２プロセス実行部６５が状態情報の取得要求を出力した場合（Ｓ１８）、第２プロセスはフォーカスプロセスなので、デバイス制御部６６はこの取得要求に対してＳ１５で送信されている状態情報を第２プロセス実行部６５に対して応答する（Ｓ１９）。
その後、ユーザーがシステム画面の終了操作を行うなどして、フォーカスプロセスが第２プロセスから第１プロセスに変更されたとする。デバイス制御部６６は、このフォーカスプロセスの変更に応じて、変更後のフォーカスプロセスから直近の過去に受け付けて保持していた設定要求（ここではＳ１２で内容を保持していた設定要求）に応じた制御命令を操作デバイス１０に対して送信する（Ｓ２０）。このような制御により、第１プロセス実行部６４があらためて動作モードの設定要求を出力せずとも、第１プロセスの要求に応じて動作モードを切り替えることができる。なお、フォーカスプロセスの変更時に変更後のフォーカスプロセスから過去に受け付けた動作モードの設定要求が存在しない場合、デバイス制御部６６は現在の動作モードをリセットする制御命令を操作デバイス１０に対して送信してもよい。
この例では、Ｓ２０の制御命令の送信の直後に、操作デバイス１０から情報の送信が行われている（Ｓ２１）。この時点では、Ｓ２０の制御命令に応じた動作モードの変更は完了しておらず、それまでの動作モードに応じた状態情報が送信されている。
この状態で第１プロセス実行部６４が状態情報の取得要求を出力すると（Ｓ２２）、今度は第１プロセスがフォーカスプロセスに切り替わっているので、Ｓ２１で送信された状態情報が第１プロセスに提供される（Ｓ２３）。さらに続いて、Ｓ２０で送信された制御命令に応じて動作モードの変更が行われ、変更後の動作モードにおける状態情報がデバイス制御部６６に送信される（Ｓ２４）。その後は、第１プロセス実行部６４からの状態情報の取得要求（Ｓ２５）に応じて、第１プロセス実行部６４がＳ１１で要求した動作モードでの状態情報が返信される（Ｓ２６）。
以上説明したように、情報処理装置５０が複数のプロセスを実行し、そのうちの一つが選択的にフォーカスプロセスに切り替えられる場合において、デバイス制御部６６はフォーカスプロセスから受け付けた要求に応じて動作モードを変更させる制御命令を出力する。これにより、ユーザーにとって現在操作入力を行う対象となるフォーカスプロセスとは別のプロセスの要求に基づく力覚提示機構１８の動作制御が行われてしまうことを回避できる。さらにデバイス制御部６６は、フォーカスプロセス以外のプロセスから受け付けた動作モードの設定要求の内容については一旦保持しておき、そのプロセスがフォーカスプロセスに切り替えられた場合には保持されている設定要求の内容に応じた制御命令を送信する。これにより、各プロセスは自身が現在フォーカスプロセスになっているかにかかわらず、動作モードの設定要求を行うことができる。
以上説明したように、本実施形態によれば、情報処理装置５０が操作デバイス１０の実行状態等に応じた制御を好適に実行することができる。
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では操作デバイス１０は家庭用ゲーム機のコントローラであることとしたが、これに限らず、ユーザーの操作を受け付ける各種のデバイスであってよい。
また、以上の説明においては、制御処理部６２はトリガーボタン１６ａに対するユーザーの操作量に応じて力覚提示機構１８の動作状態を遷移させることとしたが、これに限らず、各種の操作部材に対するユーザーの操作内容に応じて力覚提示機構１８の動作内容を制御することとしてもよい。また、制御処理部６２は力覚提示機構１８の動作制御に限らず、例えば振動機構１７など、各種の機構について、操作デバイス１０が備える操作部材に対するユーザーの操作に応じてその動作内容を制御することとしてもよい。いずれの場合も、情報送信部６３が、各機構に対して現在どのような制御を実行中かを示す状態情報を情報処理装置５０に対して定期的に送信することで、情報処理装置５０は操作デバイス１０の制御状態に応じた処理を適切なタイミングで実行できるようになる。
１ 情報処理システム、１０ 操作デバイス、１１ 制御回路、１２ 音声信号処理回路、１３ スピーカー、１４ ヘッドホン端子、１５ マイクロホン、１６ 操作部材、１６ａ トリガーボタン、１７ 振動機構、１８ 力覚提示機構、５０ 情報処理装置、５１ 制御部、５２ 記憶部、５３ インタフェース部、５４ 表示装置、６１ 制御命令受付部、６２ 制御処理部、６３ 情報送信部、６４ 第１プロセス実行部、６５ 第２プロセス実行部、６６ デバイス制御部。

Claims (6)

  1. 情報処理装置と接続される操作デバイスであって、
    所定の操作部材に対するユーザーの操作を受け付けて、当該操作の操作量を示す操作情報を前記情報処理装置に送信する情報送信部と、
    前記操作部材を操作する前記ユーザーに対して、当該操作の操作量に応じて決定される内容の力覚を提示する力覚提示処理を実行する制御処理部と、
    を含み、
    前記情報送信部は、前記操作量を示す操作情報とは別に、当該操作量に応じた前記力覚提示処理の実行状態を示す状態情報を前記情報処理装置に送信する
    ことを特徴とする操作デバイス。
  2. 請求項１に記載の操作デバイスにおいて、
    前記制御処理部は、予め定められた複数の制御状態のうち、前記ユーザーの操作内容の変化に応じて決定される制御状態に応じた力覚提示処理を実行し、
    前記情報送信部は、前記複数の制御状態のうちどの制御状態に応じた力覚提示処理を実行中かを示す状態情報を送信する
    ことを特徴とする操作デバイス。
  3. 請求項２に記載の操作デバイスにおいて、
    前記制御処理部は、予め定められた複数の動作モードのうち、前記情報処理装置から指示された動作モードで動作し、当該複数の動作モードのそれぞれに対して、前記複数の制御状態が予め定められている
    ことを特徴とする操作デバイス。
  4. 請求項３に記載の操作デバイスにおいて、
    前記制御処理部は、前記操作量と、現在の制御状態と、に応じて次の制御状態を決定する
    ことを特徴とする操作デバイス。
  5. 請求項４に記載の操作デバイスにおいて、
    前記操作部材は、ユーザーによる押し込み量を計測可能なボタンであって、
    前記制御処理部は、現在の前記ボタンの押し込み量と、現在の制御状態と、に応じて次の制御状態を決定する
    ことを特徴とする操作デバイス。
  6. 請求項１から５のいずれか一項に記載の操作デバイスにおいて、
    前記操作部材は、ユーザーの操作に応じて動く可動部を有し、
    前記操作デバイスは、前記操作部材を操作するユーザーに対して力覚を提示する力覚提示部材であって、前記可動部の位置に応じて位置が変化する力覚提示部材を備え、
    前記制御処理部は、前記力覚提示部材の位置に応じて前記力覚提示部材が提示する力覚の内容を変化させ、
    前記状態情報は、前記力覚提示部材の位置を示す位置情報を含む
    ことを特徴とする操作デバイス。
JP2019209139A 2019-11-19 2019-11-19 操作デバイス Active JP7072550B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019209139A JP7072550B2 (ja) 2019-11-19 2019-11-19 操作デバイス
US17/090,130 US11524224B2 (en) 2019-11-19 2020-11-05 Operating device
EP20206184.2A EP3825819A1 (en) 2019-11-19 2020-11-06 Operating device
CN202011261029.7A CN112891924A (zh) 2019-11-19 2020-11-12 操作设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019209139A JP7072550B2 (ja) 2019-11-19 2019-11-19 操作デバイス

Publications (2)

Publication Number Publication Date
JP2021082021A JP2021082021A (ja) 2021-05-27
JP7072550B2 true JP7072550B2 (ja) 2022-05-20

Family

ID=73172541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019209139A Active JP7072550B2 (ja) 2019-11-19 2019-11-19 操作デバイス

Country Status (4)

Country Link
US (1) US11524224B2 (ja)
EP (1) EP3825819A1 (ja)
JP (1) JP7072550B2 (ja)
CN (1) CN112891924A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017189368A (ja) 2016-04-13 2017-10-19 任天堂株式会社 振動制御システム、振動制御方法、振動出力装置、ゲームコントローラ、振動出力プログラム、振動出力方法、振動制御装置、および振動制御プログラム
WO2018020778A1 (ja) 2016-07-26 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343991B1 (en) * 1997-10-01 2002-02-05 Brad A. Armstrong Game control with analog pressure sensor
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US6071194A (en) * 1997-06-19 2000-06-06 Act Labs Ltd Reconfigurable video game controller
TW462898B (en) * 2000-01-14 2001-11-11 Sony Computer Entertainment Inc Computer system having a pressure-sensitive controller, setup method for a pressure-sensitive controller and recording medium that records this method
JP3458090B2 (ja) * 2000-03-15 2003-10-20 コナミ株式会社 メッセージ交換機能を備えたゲームシステム、そのゲームシステムで使用するゲーム装置、メッセージ交換システム、およびコンピュータ読取可能な記憶媒体
US8117364B2 (en) 2007-11-13 2012-02-14 Microsoft Corporation Enhanced protocol and architecture for low bandwidth force feedback game controller
JP2011078029A (ja) * 2009-10-01 2011-04-14 Sony Corp 電子機器、コンテンツ再生方法及びプログラム
US20120019448A1 (en) * 2010-07-22 2012-01-26 Nokia Corporation User Interface with Touch Pressure Level Sensing
JP5936255B2 (ja) * 2012-03-02 2016-06-22 株式会社フコク 入力装置
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US10543427B2 (en) * 2015-04-29 2020-01-28 Microsoft Technology Licensing, Llc Game controller function remapping via external accessory
JP6626576B2 (ja) 2016-07-21 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及び制御システム
US11676461B2 (en) * 2016-08-29 2023-06-13 Sony Corporation Information processing device, information processing method, and program for controlling haptics based on context information
US10969867B2 (en) * 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10737172B2 (en) * 2017-06-01 2020-08-11 Microsoft Technology Licensing, Llc Input device with force sensor feedback trigger
US11033809B2 (en) * 2019-05-07 2021-06-15 Valve Corporation Using finger presence to activate a motion control feature for a handheld controller

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017189368A (ja) 2016-04-13 2017-10-19 任天堂株式会社 振動制御システム、振動制御方法、振動出力装置、ゲームコントローラ、振動出力プログラム、振動出力方法、振動制御装置、および振動制御プログラム
WO2018020778A1 (ja) 2016-07-26 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Also Published As

Publication number Publication date
JP2021082021A (ja) 2021-05-27
US11524224B2 (en) 2022-12-13
US20210146236A1 (en) 2021-05-20
EP3825819A1 (en) 2021-05-26
CN112891924A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
JP5659830B2 (ja) 制御装置、制御方法およびプログラム
JP4717482B2 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP6893561B2 (ja) 振動制御装置
JPWO2019064518A1 (ja) 操作デバイス、及びその制御装置
US10617941B2 (en) Computer game interface
US20100064061A1 (en) Providing substantially immediate action in response to input event
JP7072550B2 (ja) 操作デバイス
WO2021100324A1 (ja) 情報処理装置
CN106233247B (zh) 音频装置、音频系统和音量值控制方法
JP7449334B2 (ja) 振動デバイス、情報処理装置、及び振動制御システム
JP6670030B1 (ja) 周辺装置、ゲームコントローラ、情報処理システム、および、情報処理方法
JP7362766B2 (ja) 操作デバイス
JPWO2020111155A1 (ja) 情報処理装置、その制御方法、及びプログラム
JP2020201706A (ja) 情報処理システム
EP3960259A1 (en) Information processing system, information processing device, method for controlling information processing device, and program
WO2023032308A1 (ja) 情報処理装置、情報処理方法、情報処理システム
WO2020218095A1 (ja) 情報処理システム、コントローラ、情報処理装置、情報処理装置の制御方法、及びプログラム
CN112328201A (zh) 音频路径切换方法
KR20060070781A (ko) 이동통신 단말기에서의 배경음악 서비스 장치 및 방법
JPH0768053A (ja) テレビゲーム機用カセットおよびテレビゲーム機
US20150269836A1 (en) Configurable bi-directional remote control based on signal input device
KR20090090689A (ko) 멀티미디어 재생 단말기의 가변속 재생 시스템 및 그 방법
JPH0792952B2 (ja) 磁気記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220510

R150 Certificate of patent or registration of utility model

Ref document number: 7072550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150