JP2022529856A - タッチパッド入力を備えたゲームコントローラ - Google Patents

タッチパッド入力を備えたゲームコントローラ Download PDF

Info

Publication number
JP2022529856A
JP2022529856A JP2021563633A JP2021563633A JP2022529856A JP 2022529856 A JP2022529856 A JP 2022529856A JP 2021563633 A JP2021563633 A JP 2021563633A JP 2021563633 A JP2021563633 A JP 2021563633A JP 2022529856 A JP2022529856 A JP 2022529856A
Authority
JP
Japan
Prior art keywords
character
display
computer simulation
processor
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021563633A
Other languages
English (en)
Other versions
JP7315705B2 (ja
Inventor
ジャオ、チェン
ユー、チャン－シェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2022529856A publication Critical patent/JP2022529856A/ja
Application granted granted Critical
Publication of JP7315705B2 publication Critical patent/JP7315705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/02—Miscellaneous game characteristics having an effect on the human senses
    • A63F2250/025—Miscellaneous game characteristics having an effect on the human senses related to sense of touch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

【課題】ゲームコントローラ（２００）は、タッチパッド（２０４）を含む。【解決手段】画面（２１２）上の仮想キーボード（２１６）を見ているユーザ（２０６）は、弱いタッチ（３００）で画面上のカーソルを移動させ、次に強いタッチ（３０２）でカーソルを移動させ、かつ位置データをプロセッサに送信して、仮想キーボードから文字を入力することができる。機械学習を使用して、次の文字または次の単語が予測される。【選択図】図１

Description

本出願は、概して、コンピュータ技術に必然的に根ざし、かつ具体的な技術的改善をもたらす、技術的に独創性のある非定型的解決策に関する。具体的には、本出願は、タッチパッド入力を備えたコンピュータシミュレーションコントローラに関する。
深層学習と称されることもある機械学習は、データの理解、検出、及び／または分類に関連する様々な有用なアプリケーションに使用することができる。
ゲーム業界などのコンピュータシミュレーション業界には、マルチデータエントリモードが存在し得、これは、機械学習の恩恵を受けて精度及び堅牢性を向上させることができる。
従って、装置は、少なくとも１つのプロセッサと、一時的信号ではなく、かつ命令を含む少なくとも１つのコンピュータストレージと、を含み、命令は、プロセッサにより、コンピュータシミュレーションコントローラのタッチパッド上でタッチ信号を受信することを、実行可能である。命令は、第１の圧力を示すタッチ信号に応じて、コントローラから離れたディスプレイ上でカーソルを移動させるが、文字の選択は確立しないことを、実行可能である。命令はまた、第１の圧力よりも大きい第２の圧力を示すタッチ信号に応じて、第１の英数字の選択を確立し、第１の英数字をディスプレイ上に提示することを、実行可能である。
例示的な実施形態では、プロセッサは、コンピュータシミュレーションコントローラ内に組み込まれる。あるいは、プロセッサは、コンピュータシミュレーションコントローラと通信するように構成されたコンピュータシミュレーションコンソール内に組み込まれ得る。
いくつかの実施態様では、命令は、第２の圧力を示すタッチ信号に応じて、ディスプレイ上でカーソルを移動させることを、実行可能であり得る。命令は、第１の圧力を示すタッチ信号に応じて、ディスプレイ上でキーボードの画像を拡大することを、実行可能であり得る。
特定の実施形態では、命令は、第１の英数字を少なくとも第１のニューラルネットワーク（ＮＮ）に入力し、第１のＮＮから、少なくとも第１の予測英数字を含む予測英数字シーケンスを受信することを、実行可能であり得る。このような実施形態では、命令は、第１の英数字の隣に、少なくとも第１の予測英数字を含む予測英数字シーケンスを、ディスプレイ上に提示することを、実行可能であり得る。必要に応じて、第１のＮＮは、複数の長・短期記憶（ＬＳＴＭ）ネットワークを含み得る。
別の態様では、方法は、コンピュータシミュレーションコントローラからタッチ信号を受信することと、第１の圧力を示すタッチ信号に応じて、ディスプレイ上でカーソルを移動させることと、を含む。方法はまた、第１の圧力よりも大きい第２の圧力を示すタッチ信号に応じて、少なくとも第１の文字を確立することと、ディスプレイ上に第１の文字を提示することと、を含む。
別の態様では、アセンブリは、少なくとも１つのコンピュータシミュレーションコントローラと、コンピュータシミュレーションコントローラにより支持された少なくとも１つのタッチパッドと、タッチパッド上のタッチ入力に応じてディスプレイ上に英数字を提示することを少なくとも１つのプロセッサにより実行可能である命令を有する少なくとも１つのコンピュータストレージと、を含む。命令は、タッチパッド上のタッチ入力に応じてディスプレイ上に提示される英数字に少なくとも部分的に基づいて、予測英数字をディスプレイ上に提示するように、実行され得る。
本出願の構造及び動作の両方についての詳細は、添付図面を参照することで最もよく理解でき、図面では、同様の参照番号は、同様の部分を指す。
本発明の原理と一致する、例示的なシステムのブロック図である。 直接に、または例えばコンピュータゲームコンソールを介して、ゲームコントローラと通信するＴＶまたは他のオーディオビデオデバイスなどのディスプレイに提示されるテキストを入力するために使用されるタッチパッドを備えたコンピュータシミュレーションコントローラの斜視図である。 コントローラのタッチパッドに対する弱い押下及び強い押下を示す概略図である。 図３に関する本発明の原理と一致する、例示的なロジックのフローチャートである。 本発明の原理と一致する、ロジックフローチャート、データ構造、及び処理コンポーネントの組み合わせである。 図５のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。 図５のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。 図５のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。 図５のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。 図５のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。 現在のユーザ入力に基づいて予測される次の単語を出力するための複数の長・短期記憶（ＬＳＴＭ）ネットワークとして構成された例示的なニューラルネットワーク（ＮＮ）のブロック図である。 トレーニング後の図９のＮＮの動作を示す概略図である。 トレーニング後の図９のＮＮの動作を示す概略図である。 トレーニング後の図９のＮＮの動作を示す概略図である。 本発明の原理と一致する、例示的な全体ロジックのフローチャートである。
本開示は、概して、分散コンピュータゲームネットワーク、拡張現実（ＡＲ）ネットワーク、仮想現実（ＶＲ）ネットワーク、ビデオブロードキャスティング、コンテンツ配信ネットワーク、仮想マシン、並びに人工ニューラルネットワーク及び機械学習アプリケーションなど、これらに限定されない一般消費者向け電子製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。
本明細書のシステムは、サーバコンポーネントとクライアントコンポーネントとを含み得、これらは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るように、ネットワークを介して接続される。クライアントコンポーネントには、ＡＲヘッドセット、ＶＲヘッドセット、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲームコンソール及び関連マザーボード、ゲームコントローラ、ポータブルテレビ（例えばスマートＴＶ、インターネット対応ＴＶ）、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートホン及び下記で論じられる追加例を含む他のモバイルデバイスを含む１つ以上のコンピューティングデバイスが含まれ得る。これらのクライアントデバイスは、様々な動作環境で作動し得る。例えば、クライアントコンピュータのうちのいくつかは、例を挙げると、Ｏｒｂｉｓ（登録商標）もしくはＬｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔ（登録商標）のオペレーティングシステム、またはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ， Ｉｎｃ．（登録商標）製もしくはＧｏｏｇｌｅ（登録商標）製のオペレーティングシステムを採用し得る。これらの動作環境を使用して、下記に論じられるインターネットサーバによりホストされるウェブサイトにアクセスできるＭｉｃｒｏｓｏｆｔ（登録商標）製もしくはＧｏｏｇｌｅ（登録商標）製のブラウザ、またはＭｏｚｉｌｌａ（登録商標）もしくは他のブラウザプログラムなど、１つ以上のプログラム／アプリケーションが実行され得る。また、本発明の原理による動作環境を使用して、本発明の原理を実施する１つ以上のコンピュータゲームプログラム／アプリケーション及び他のプログラム／アプリケーションが実行され得る。
サーバ及び／またはゲートウェイは、１つ以上のプロセッサを含み得、１つ以上のプロセッサは、インターネットなどのネットワークを介してデータを送受信するようにサーバを構成する命令を実行する。付加的または代替的に、クライアントとサーバは、ローカルイントラネットまたは仮想プライベートネットワークを介して接続され得る。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）といったゲームコンソール及び／またはその１つ以上のマザーボード、パーソナルコンピュータなどにより、インスタンス化され得る。
クライアントとサーバとの間でネットワークを介して情報が交換され得る。そのために、及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、並びに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバは、本発明の原理に従って、ネットワークユーザがクラウドソーシングによる通信を行うように、オンラインソーシャルウェブサイトまたはビデオゲームウェブサイトなどの安全なコミュニティをネットワークユーザに提供する方法を実施する装置を形成し得る。
本明細書で使用される命令は、システムで情報を処理するためのコンピュータ実施ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実施され、システムのコンポーネントにより実行される任意の種類のプログラム化されたステップを含み得る。
プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、並びにレジスタ及びシフトレジスタにより、ロジックを実行することができる任意の従来の汎用シングルチッププロセッサまたは汎用マルチチッププロセッサであり得る。
本明細書において、フローチャートを介して説明されるソフトウェアモジュール、及びユーザインターフェースは、様々なサブルーチン、プロシージャなどを含み得る。本開示を限定することなく、特定のモジュールにより実行されると述べられるロジックは、他のソフトウェアモジュールに再配分されてもよく、及び／または単一モジュール内に一緒に組み合わされてもよく、及び／または共有可能なライブラリで利用可能な状態にされてもよい。
上記のように、本明細書で記述される本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせで実施され得、ゆえに、例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、これらの機能の観点から説明される。
上記で示唆されたことに加えて、後述されるロジックブロック、モジュール、及び回路は、本明細書で説明される機能を実行するように設計された、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または例えば特定用途向け集積回路（ＡＳＩＣ）、個別ゲート、もしくはトランジスタロジックなどの他のプログラムマブルロジックデバイス、個別ハードウェアコンポーネント、あるいはこれらの任意の組み合わせにより、実装または実行され得る。プロセッサは、コントローラもしくはステートマシン、またはコンピューティングデバイスの組み合わせにより、実施され得る。
後述される機能及び方法は、ハードウェア回路またはソフトウェア回路で実施され得る。ソフトウェアで実施される場合、機能及び方法は、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋などのこれに限定されない好適な言語で記述され得、コンピュータ可読記憶媒体により格納または送信され得、コンピュータ可読記憶媒体の例には、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、またはデジタル多用途ディスク（ＤＶＤ）などの他の光学ディスクストレージ、磁気ディスクストレージ、またはリムーバブルサムドライブを含む他の磁気ストレージデバイスなどが挙げられる。接続により、コンピュータ可読媒体が確立され得る。このような接続には、例として、光ファイバ及び同軸ワイヤを含むハードワイヤケーブル、並びにデジタル加入者線（ＤＳＬ）及びツイストペア線が含まれ得る。このような接続には、赤外線及び無線を含む無線通信接続が含まれ得る。
一実施形態に含まれるコンポーネントは、他の実施形態において、任意の好適な組み合わせで使用することができる。例えば、本明細書で説明され及び／または図に描かれる様々なコンポーネントのいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。
「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）には、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢ共に、ＡとＣ共に、ＢとＣ共に、及び／またはＡとＢとＣ共に、などを有するシステムが含まれる。
ここで具体的に図１を参照すると、本発明の原理による、上記で言及され下記でさらに説明される例示的なデバイスのうちの１つ以上を含み得る例示的なシステム１０が示される。システム１０に含まれる例示的なデバイスのうちの第１のデバイスは、ＴＶチューナー（同等にＴＶを制御するセットトップボックス）を備えたインターネット対応ＴＶなどのこれに限定されないオーディオビデオデバイス（ＡＶＤ）１２といった一般消費者向け電子製品（ＣＥ）デバイスである。しかし、ＡＶＤ１２は、代替的に、例えばインターネット対応コンピュータ化冷蔵庫、洗濯機、または乾燥機などの電化製品または家庭用品であってもよい。また、ＡＶＤ１２は、代替的に、コンピュータ制御型インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、拡張現実（ＡＲ）ヘッドセット、仮想現実（ＶＲ）ヘッドセット、インターネット対応すなわち「スマート」グラス、別の種類のウェアラブルコンピュータ制御型デバイス、例えばコンピュータ制御型インターネット対応腕時計、コンピュータ制御型インターネット対応ブレスレット、コンピュータ制御型インターネット対応ミュージックプレーヤ、コンピュータ制御型インターネット対応ヘッドホン、インプラント可能皮膚用デバイスなどのコンピュータ制御型インターネット対応インプラント可能デバイス、他のコンピュータ制御型インターネット対応デバイスなどであってもよい。いずれにせよ、ＡＶＤ１２は、本発明の原理を実施する（例えば本発明の原理を実施するために他の一般消費者向け電子製品（ＣＥ）デバイスと通信し、本明細書で説明されるロジックを実行し、本明細書で説明されるいずれかの他の機能及び／または動作を実行する）ように構成されることを理解されたい。
従って、このような原理を実施するために、図１に示されるコンポーネントのうちのいくつかまたは全てにより、ＡＶＤ１２は確立され得る。例えば、ＡＶＤ１２は、１つ以上のディスプレイ１４を含み得、これは、高解像度または超高解像度「４Ｋ」以上のフラットスクリーンが実装され得、ディスプレイ上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る。ＡＶＤ１２は、本発明の原理に従ってオーディオを出力するための１つ以上のスピーカ１６と、ＡＶＤ１２を制御するようにＡＶＤ１２に可聴コマンドを入力するための、オーディオ受信器／マイクロホンなどの少なくとも１つの追加入力デバイス１８と、を含み得る。例示的なＡＶＤ１２はまた、１つ以上のプロセッサの制御下でインターネット、ＷＡＮ、ＬＡＮなどの少なくとも１つのネットワーク２２を介して通信するための１つ以上のネットワークインターフェース２０を含み得る。従って、インターフェース２０は、Ｗｉ－Ｆｉ（登録商標）送受信器であり得るが、これに限定されず、Ｗｉ－Ｆｉ（登録商標）送受信器は、非限定的にメッシュネットワーク送受信器などの無線コンピュータネットワークインターフェースの例である。さらに、ネットワークインターフェース２０は、例えば有線もしくは無線のモデムもしくはルータであり得る、または、例えば無線電話送受信器、もしくは上記のＷｉ－Ｆｉ（登録商標）送受信器などの他の好適なインターフェースであり得ることに、留意されたい。
１つ以上のプロセッサは、本発明の原理を実施するためにＡＶＤ１２を制御するが、これには、例えばディスプレイ１４を制御してディスプレイ１４上に画像を提示し、ディスプレイ１４から入力を受信するなど、本明細書に説明されるＡＶＤ１２の他の素子が含まれることを理解されたい。１つ以上のプロセッサは、中央処理装置（ＣＰＵ）２４、並びにグラフィックスカード２５Ａ上のグラフィックス処理装置（ＧＰＵ）２５を含み得る。
上記に加えて、ＡＶＤ１２はまた、別の一般消費者向け電子製品（ＣＥ）デバイスに（例えば有線接続を用いて）物理的に接続するための、例えば高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））ポートまたはＵＳＢポートなどの１つ以上の入力ポート２６、及び／または、ＡＶＤ１２からのオーディオをヘッドホンを介してユーザに提供するように、ヘッドホンをＡＶＤ１２に接続するためのヘッドホンポートを含み得る。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルソースまたは衛星ソース２６ａに、有線または無線を介して接続され得る。従って、ソース２６ａは、例えば、別個のもしくは統合されたセットトップボックス、または衛星受信器であり得る。あるいは、ソース２６ａは、チャネル割り当て目的でユーザがお気に入りとみなし得るコンテンツを含むゲームコンソールまたはディスクプレーヤであってもよい。ソース２６ａは、ゲームコンソールとして実装される場合、ＣＥデバイス４４に関連して後述されるコンポーネントのうちのいくつかまたは全てを含み得、本明細書で説明されるロジックのうちのいくつかまたは全てを実施し得る。
ＡＶＤ１２はさらに、一時的信号ではないディスクベースストレージまたはソリッドステートストレージなどの１つ以上のコンピュータメモリ２８を含み得、これらは、いくつかの事例では、ＡＶＤのシャシー内にスタンドアロンデバイスとして、またはＡＶプログラムを再生するためにＡＶＤのシャシーの内部もしくは外部のパーソナルビデオレコーディングデバイス（ＰＶＲ）もしくはビデオディスクプレーヤとして、またはリムーバブルメモリ媒体として、具現化される。また、いくつかの実施形態では、ＡＶＤ１２は、位置受信器すなわち所在地受信器を含み得、これは、携帯電話受信器、ＧＰＳ受信器、及び／または高度計３０などであるがこれらに限定されず、例えば少なくとも１つの衛星または携帯電話中継塔から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはプロセッサ２４と連動して、ＡＶＤ１２が配置されている高度を特定するように構成される。しかし、例えばＡＶＤ１２の所在地を全３次元で特定するために、本発明の原理による、携帯電話受信器、ＧＰＳ受信器、及び／または高度計以外の別の好適な位置受信器が使用されてもよいことを、理解されたい。
ＡＶＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤ１２は、１つ以上のカメラ３２を含み得、これは、例えば熱画像カメラ、ウェブカメラなどのデジタルカメラ、赤外線（ＩＲ）カメラ、及び／またはＡＶＤ１２に統合されたカメラであり得、本発明の原理に従って写真／画像及び／またはビデオを生成するようにプロセッサ２４により制御可能であり得る。また、ＡＶＤ１２は、ブルートゥース（登録商標）（登録商標）送受信器３４と他の近距離無線通信（ＮＦＣ）素子３６とを含み得、これらは、ブルートゥース（登録商標）及び／またはＮＦＣ技術をそれぞれ使用して、他のデバイスと通信する。例示的なＮＦＣ素子は、無線周波数識別（ＲＦＩＤ）素子であり得る。
さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７を含み得る（例えば加速度計、ジャイロスコープ、サイクロメータなどのモーションセンサ、あるいは磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えばジェスチャコマンドを感知する）など）。ＡＶＤ１２は、地上波（ＯＴＡ）ＴＶ放送を受信し、プロセッサ２４に入力を提供するＯＴＡ ＴＶ放送ポート３８を含み得る。前述に加えて、ＡＶＤ１２はまた、赤外線データ協会（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信器及び／またはＩＲ受信器及び／またはＩＲ送受信器４２を含み得ることに留意されたい。ＡＶＤ１２に電力供給を行うために、バッテリ（図示せず）が設けられ得る。
さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つ以上の他の一般消費者向け電子製品（ＣＥ）デバイス類を含み得る。一例では、ＡＶＤ１２に直接及び／または後述のサーバを通して送信されるコマンドを介して、ＡＶＤ１２にコンピュータゲームのオーディオ及びビデオを送信するために、第１のＣＥデバイス４４が使用され得るが、第２のＣＥデバイス４６も、第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第２のＣＥデバイス４６は、図示されるようにユーザ４７が装着するＡＲまたはＶＲヘッドセットとして構成され得る。示される例では、２つのＣＥデバイス４４、４６のみが図示されるが、より少ないまたはより多いデバイスも本発明の原理に従って使用されてもよいことが理解されよう。
示される例では、３つのデバイス１２、４４、４６は全て、例えば自宅内の安全なもしくは暗号化されたネットワーク、エンターテインメントネットワーク、もしくはＷｉ－Ｆｉ（登録商標）などのネットワークのメンバーである、または少なくとも特定の場所で互いに近接して存在し、本明細書で説明されるように互いと及びサーバと通信可能であると想定される。しかし、本発明の原理は、明確に別段の主張がない限り、特定の場所またはネットワークに限定されない。
非限定的な例示の第１のＣＥデバイス４４は、上記のデバイスのうちのいずれか１つ、例えば、スマートホン、デジタルアシスタント、ポータブル無線ラップトップコンピュータもしくはノートブックコンピュータ、またはゲームコントローラ（「コンソール」とも称される）により確立され得、従って、後述されるコンポーネントのうちの１つ以上を有し得る。第２のＣＥデバイス４６は、ＡＲヘッドセット、ＶＲヘッドセット、「スマート」インターネット対応グラス、またはさらにはブルーレイプレーヤといったビデオディスクプレーヤ、及びゲームコンソールなどにより、確立され得るが、これらに限定されない。またさらに、いくつかの実施形態では、第１のＣＥデバイス４４は、例えばＡＶ再生及び一時停止コマンドをＡＶＤ１２に発令するためのリモートコントロール（ＲＣ）であり得る、または第１のＣＥデバイス４４は、タブレットコンピュータ、図１に示されるデバイスのうちの別のデバイスにより実施されるゲームコンソールと有線または無線リンクを介して通信し、ＡＶＤ１２上のビデオゲームの提示を制御するゲームコントローラ、パーソナルコンピュータ、無線電話などのより洗練されたデバイスであり得る。
従って、第１のＣＥデバイス４４は、１つ以上のディスプレイ５０を含み得、これは、ディスプレイ５０上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る。付加的または代替的に、ディスプレイ（複数可）５０は、ＡＲヘッドセットディスプレイまたは「スマート」グラスディスプレイまたは「ヘッドアップ」ディスプレイ、並びにＶＲヘッドセットディスプレイ、あるいはＡＲ及び／またはＶＲ画像を提示するように構成された他のディスプレイなど、少なくとも部分的に透明なディスプレイであり得る。
第１のＣＥデバイス４４はまた、本発明の原理に従ってオーディオを出力するための１つ以上のスピーカ５２と、例えば第１のＣＥデバイス４４を制御するように第１のＣＥデバイス４４に可聴コマンドを入力するための、例えばオーディオ受信器／マイクロホンなどの少なくとも１つの追加入力デバイス５４と、を含み得る。例示的な第１のＣＥデバイス４４はさらに、１つ以上のＣＥデバイスプロセッサ５８の制御下で、ネットワーク２２を介して通信するための１つ以上のネットワークインターフェース５６を含み得る。従って、インターフェース５６は、Ｗｉ－Ｆｉ（登録商標）送受信器であり得るが、これに限定されず、Ｗｉ－Ｆｉ（登録商標）送受信器は、メッシュネットワークインターフェースを含む無線コンピュータネットワークインターフェースの例である。プロセッサ５８は、本発明の原理を実施するために第１のＣＥデバイス４４を制御するが、これには、例えばディスプレイ５０を制御してディスプレイ５０上に画像を提示し、ディスプレイ５０から入力を受信するなど、本明細書に説明される第１のＣＥデバイス４４の他の素子が含まれることを理解されたい。さらに、ネットワークインターフェース５６は、例えば有線もしくは無線のモデムもしくはルータであり得る、または、無線電話送受信器、もしくは上記のＷｉ－Ｆｉ（登録商標）送受信器などの他の好適なインターフェースであり得ることに、留意されたい。
またさらに、プロセッサ（複数可）５８に加えて、第１のＣＥデバイス４４はまた、グラフィックスカード５５Ａ上にグラフィックス処理ユニット（ＧＰＵ）５５を含み得ることに留意されたい。グラフィックス処理ユニット５５は、とりわけ、ディスプレイ５０上にＡＲ及び／またはＶＲ画像を提示するように構成され得る。
上記に加えて、第１のＣＥデバイス４４はまた、別のＣＥデバイスに（例えば有線接続を用いて）物理的に接続するための、例えばＨＤＭＩ（登録商標）ポートまたはＵＳＢポートなどの１つ以上の入力ポート６０、及び／または、ヘッドホンを第１のＣＥデバイス４４に接続して、第１のＣＥデバイス４４からのオーディオをヘッドホンを介してユーザに提供するためのヘッドホンポートを含み得る。第１のＣＥデバイス４４はさらに、ディスクベースストレージまたはソリッドステートストレージなどの１つ以上の有形コンピュータ可読記憶媒体６２を含み得る。また、いくつかの実施形態では、第１のＣＥデバイス４４は、位置受信器すなわち所在地受信器を含み得、これは、携帯電話及び／またはＧＰＳ受信器及び／または高度計６４などであるがこれらに限定されず、例えば、三角測量を使用して、少なくとも１つの衛星及び／または携帯電話中継塔から地理的位置情報を受信し、情報をＣＥデバイスプロセッサ５８に提供し、及び／またはＣＥデバイスプロセッサ５８と連動して、第１のＣＥデバイス４４が配置されている高度を特定するように構成される。しかし、例えば、第１のＣＥデバイス４４の所在地を全３次元で特定するために、携帯電話及び／またはＧＰＳ受信器及び／または高度計以外の別の好適な位置受信器が、本発明の原理に従って使用されてもよいことを、理解されたい。
第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は、１つ以上のカメラ６６を含み得、これは、例えば熱画像カメラ、ＩＲカメラ、ウェブカメラなどのデジタルカメラ、及び／または第１のＣＥデバイス４４に統合された別の種類のカメラであり得、本発明の原理に従って写真／画像及び／またはビデオを生成するようにＣＥデバイスプロセッサ５８により制御可能であり得る。また、第１のＣＥデバイス４４は、ブルートゥース（登録商標）送受信器６８と他の近距離無線通信（ＮＦＣ）素子７０とを含み得、これらは、ブルートゥース（登録商標）及び／またはＮＦＣ技術をそれぞれ使用して、他のデバイスと通信する。例示的なＮＦＣ素子は、無線周波数識別（ＲＦＩＤ）素子であり得る。
さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する１つ以上の補助センサ７２を含み得る（例えば加速度計、ジャイロスコープ、サイクロメータなどのモーションセンサ、あるいは磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えばジェスチャコマンドを感知する）など）。第１のＣＥデバイス４４は、例えば１つ以上の気候センサ７４（例えば気圧計、湿度センサ、風センサ、光センサ、温度センサなど）及び／または１つ以上の生体センサ７６などのさらに他のセンサを含み得、これらは、ＣＥデバイスプロセッサ５８に入力を提供する。前述に加えて、いくつかの実施形態では、第１のＣＥデバイス４４はまた、赤外線データ協会（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信器及び／またはＩＲ受信器及び／またはＩＲ送受信器７８を含み得ることに留意されたい。第１のＣＥデバイス４４に給電するために、バッテリ（図示せず）が設けられ得る。ＣＥデバイス４４は、前述の通信モード及び関連コンポーネントのうちのいずれかを介して、ＡＶＤ１２と通信し得る。
第２のＣＥデバイス４６は、ＣＥデバイス４４に関して示されるコンポーネントのうちのいくつかまたは全てを含み得る。一方または両方のＣＥデバイスは、１つ以上のバッテリにより電力供給され得る。
ここで、上記の少なくとも１つのサーバ８０を参照すると、これは、少なくとも１つのサーバプロセッサ８２と、ディスクベースストレージまたはソリッドステートストレージなどの少なくとも１つの有形コンピュータ可読記憶媒体８４とを含む。実施態様では、媒体８４は、１つ以上のソリッドステートストレージドライブ（ＳＳＤ）を含む。サーバはまた、少なくとも１つのネットワークインターフェース８６を含み、これにより、ネットワーク２２を介して図１の他のデバイスとの通信が可能となり、実際に、本発明の原理に従ってサーバとクライアントデバイスとの間の通信が促進され得る。ネットワークインターフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ－Ｆｉ（登録商標）送受信器、または無線電話送受信器などの他の好適なインターフェースであり得ることに、留意されたい。ネットワークインターフェース８６は、サーバプロセッサ８２を通ることなく、いわゆる「ファブリック」などのネットワークに媒体８４を直接接続するリモートダイレクトメモリアクセス（ＲＤＭＡ）インターフェースであり得る。ネットワークは、イーサネット（登録商標）ネットワーク及び／またはファイバチャネルネットワーク及び／またはインフィニバンドネットワークを含み得る。通常、サーバ８０は、物理サーバ「スタック」に配置され得る「ブレード」と称される複数のコンピュータに、複数のプロセッサを含む。
従って、いくつかの実施形態では、サーバ８０は、インターネットサーバまたは「サーバファーム」全体であり得、「クラウド」機能を含んで実行し得、これにより、例えば本明細書で開示されるドメイン適応などの例示的な実施形態では、システム１０のデバイスがサーバ８０を介して「クラウド」環境にアクセスし得る。付加的または代替的に、サーバ８０は、図１に示される他のデバイスと同じ部屋または近くに存在する１つ以上のゲームコンソールまたは他のコンピュータにより、実施され得る。
図２は、システム２００を示し、そのコンポーネントは、図１に示される好適なコンポーネントを組み込み得る。ＰｌａｙＳｔａｔｉｏｎ（登録商標）コントローラ、Ｘｂｏｘ（登録商標）コントローラ、または他のコントローラなどのコンピュータシミュレーションコントローラ２０２は、タッチパッド２０４を含み得、タッチパッド２０４は、手２０６のタッチ信号を受信し得、コンピュータシミュレーションコンソール２１０及び／またはインターネット対応ＴＶなどのディスプレイデバイス２１２と、有線経路及び／または無線経路２０８を介して通信し得る。下記でさらに説明されるように、ユーザは、タッチパッド２０４を操作して、ディスプレイデバイスと直接信号通信を介して、またはシミュレーションコンソール２１０を介して、ディスプレイデバイス２１２に提示する英数字２１４を生成し得る。より具体的には、タッチパッド２０４を操作することにより、ユーザは、ディスプレイデバイス２１２に提示される仮想キーボード２１６の文字の上に画面カーソルを移動させて、英数字２１４を入力することができる。仮想キーボード２１６は、ＱＷＥＲＴＹ配列を有し得るが、これに限定されない。
図３に概略的に示されるように、本発明の原理では、２種類のタッチ、すなわち「弱」押下３００（タッチパッドに弱い圧力をかける、または圧力ゼロでタッチパッド上に触れている）と、弱押下より強い圧力の「強」押下３０２とが企図され、「弱」押下３００では、ディスプレイデバイス２１２上の画面カーソルは、ディスプレイデバイスに位置データ（すなわちいずれかの特定の仮想キーの選択を示す信号）を送信することなく、仮想キーボード２１６上の所望の位置に移動され、「強」押下３０２では、ディスプレイデバイス２１２上の画面カーソルは、「強」押下３０２に応じて移動され、仮想キーの選択を示す位置データがディスプレイデバイスに送信され得る。このように、ユーザは、タッチパッド２０４から目を離し、タッチパッド上で自分の指を動かしながら仮想キーボード２１６を見て、可視画面カーソルを仮想キーボード上の所望の文字へ移動させ、次に強く押下することで、その文字を選択することができる。各個の「次の」文字がディスプレイに表示されない場合があるが、むしろ次の「最も可能性のある単語」は、ユーザが「スワイプ」を終了した後に表示される場合があることに留意されたい。「最も熱い」キー（ヒートマップに基づく）は、トレースだけでなく、仮想キーボード上でも強調表示され得る。さらに、「スワイプ」は、トレースを形成する連続的な強押下として定義される。
図４は、上記の説明を念頭に置いた例示的なロジックを示す。ロジックは、シミュレーションコントローラ２０２内のプロセッサ、シミュレーションコンソール２１０内のプロセッサ、及びディスプレイデバイス２１２内のプロセッサのうちの１つ以上により実行され得る。
状態４００から開始して、タッチパッド２０４の押下が受信されたか否かが判定される。これは、タッチパッド２０４に対応付けられた１つ以上の近接センサからの信号がタッチパッド２０４に対する指の接触を示すか否かを判定することにより、及び／またはタッチパッド２０４に対応付けられた１つ以上の圧力センサからの信号が少なくとも第１の閾値圧力の圧力を示すか否かを判定することにより、行われ得る。
タッチが受信されたと判定されると、ロジックは状態４０２に進み、タッチが弱押下であるか強押下であるかを判定し、これは、例えば少なくとも閾値圧力のタッチを示すタッチパッド２０４に対応付けられた圧力センサからの信号により示され、通常、この閾値圧力は、状態４００で使用される任意の閾値圧力より大きくなるように設定される。タッチが閾値を満たさない場合、ロジックは、ブロック４０４に移動して、弱押下を返す。いくつかの実施態様では、ロジックは、状態４０６に進んで、弱押下が、例えば期間閾値内、例えば過去５分以内で、初めての弱押下であるか否かを判定し得、そうである場合、ロジックは、ブロック４０８に移動して、ディスプレイデバイス２１２上の仮想キーボード２１６の画像を拡大し得る。いずれの場合でも、テスト結果が否定的である場合の状態４０６から、またはブロック４０８から、ロジックは、ブロック４１０に移動して、押下位置情報を送信することなく画面カーソルを動かす。
他方、状態４０２のテストで強押下が受信されたと判定された場合、その判定はブロック４１２にて返され、画面カーソルはタッチに従って移動され、ユーザがシミュレーションコントローラ２００のタッチパッド２０４を強く押下したことにより選択された仮想キーボードの位置を示す位置情報も送信され得る。
図５は、上記で示唆されたハードウェアブロックとソフトウェアブロックの組み合わせを示す。弱押下５０２及び強押下５０４を表す信号を出力するために、１つ以上の近接センサ及び／または圧力センサ５００がタッチパッド２０４に設けられる。弱押下５０２は、指の焦点ポイント５０６を確立する。強押下５０４は、センサ（複数可）５００により検出されるタッチパッド上のポイントを確立する。弱押下はカーソルの焦点ポイントを表し、一方「センサによるポイント」は「センサにより送信される連続ポイント」を意味する。
５１０にて、図６～図８を参照して下記でさらに論じられるヒートマップアルゴリズムにアクセスし、強押下５０４に従って文字シーケンス５１２が出力される。文字シーケンス５１２は、辞書５１４と共に、削減ブロック５１６に入力され、削減ブロック５１６は、文字シーケンス５１２の修正形または完了形を成す可能性があり得る候補リストを削減する。辞書５１４は、本質的に、誤入力された単語を訂正するために使用され得る文字シーケンスの辞書及び／またはシソーラスであり、例えば、辞書５１４は、「ｔｈｗ」を「ｔｈｅ」に相関させて、「ｔｈｗ」の入力に応じて単語「ｔｈｅ」を返し得る。
削減された候補リスト５１６は、予測単語（複数可）を出力して画面上に提示するモジュール５１８に提供され、これによりユーザは、予測単語（複数可）の全ての文字を入力することなく、自身が所望する入力を選択により完了することができる。モジュール５１８は、下記でさらに説明されるように、１つ以上のニューラルネットワーク（ＮＮ）により確立され得る。予測単語（複数可）を生成するために、モジュール５１８は、コンテキストユーザブロック５２０から入力を受信し得、コンテキストユーザブロック５２０は、以前の入力の繰り返しの可能性があると推測される、現在の入力を含むユーザが使用した以前の単語列を提供し、例えば「ｄｏ ｙｏｕ」は、以前の入力では複数回「ｋｎｏｗ ｗｈａｔ Ｉ ｍｅａｎ」が続いたことがあり、この情報は、モジュール５１８のトレーニング及び実行に役立てるために入力され得る。
さらに、図５の右側に示されるように、同様のトレーニング／実行支援がモジュール５１８に入力され得る。具体的には、他のコンピュータゲーマーのクエリ及びチャットデータ５２２が、双方向長・短期記憶（ＢＩＬＳＴＭ）５２４などの文字ベースＮＮに入力され、共通入力文字列のパターンが学習され、機械学習文字シーケンスモデル５２６に提供され得る。このモデル５２６は、次の予測単語（複数可）をレンダリングする際、モジュール５１８に入力され得る、またはモジュール５１８によりアクセスされ得る。
図６～図８Ｂは、図５のヒートマップアルゴリズム５１０の使用を示す。基本的に、指の「スワイプ」（強押下）の「経路」または「結合ポイント」、及び各文字の確率は、スワイプに沿って特定の時間間隔で、「減算及び累積」される。各時間間隔にて、最も確率の高い文字が抽出され、これはまた、下記でさらに詳しく述べられるように、特定の閾値を超えた場合にのみ、シーケンスに追加され得る。
図６～図８Ｂでは、仮想キーボード２１６の可能な仮想キーボードレイアウトの一例として、開示を明確にするために、ＱＷＥＲＴＹキーボードの左上隅にある最初の４文字（すなわち、Ｑ、その隣の「Ｗ」、その左下の「Ａ」、及び右下の「Ｓ」）のみが示されていることを理解されたい。図示される例示的なヒートマップ５１０では、特定の文字のヒートマップの各領域は、３×３のグリッドで合計９つの区分（幾何学的矩形として示される）に分割され、特定の文字の中央区分６００は、カーソルが中央領域にある時にその文字が所望されている確率が１であることを示す。対照的に、ヒートマップ５１０は、文字の中央区分６００を囲む境界区分６０２では、１未満であるがゼロより大きい確率を示し、確率は、中央区分６００の文字及び境界区分６０２に直接隣接する文字（複数可）に対応付けられる（あるいは別の文字に隣接していない境界区分の場合、１未満の確率のみが中央区分の文字に対応付けられる）。
図７の７００に示されるように、弱押下を使用して、目的の入力の開始文字の位置を決定する。次に、図８の８００に示されるように、強押下を使用して、開始文字、示される例では「Ｑ」の選択が指示される。これにより、「Ｑ」は確率１で選択され、周囲の文字（示される例では「Ｗ」、「Ａ」、及び「Ｓ」）は選択されない、すなわち確率０であるというデータが収集される。
図８Ａ及び図８Ｂは、その後のスワイプの結果を示す。図８Ａでは、スワイプは、図８で始まる位置から、手の画像により示される位置８０４まで、８０２で示される。ここで、ユーザは、自身の指を文字「Ａ」に向かって動かした。これにより、図８Ａに示されるアルゴリズムを使用して、境界区分６０２上のスワイプ経路に従って、新たなヒートマップ統計が集計される。「Ｑ」の確率は、「Ｗ」（ゼロ）、「Ａ」（０．３）、及び「Ｓ」（ゼロ）の確率よりも高いため、シーケンスは「Ｑ」を返す。
図８Ｂは、手の画像により示される位置８０８までスワイプが続けられたことを、８０６で示す。これにより、図８Ｂに示されるアルゴリズムを使用して、境界区分６０２上のスワイプ経路に従って、さらなるヒートマップ統計が集計される。「Ａ」の確率は、「Ｗ」（ゼロ）、「Ｑ」（０．３）、及び「Ｓ」（ゼロ）の確率よりも高いため、シーケンスは「Ａ」を返し、これは図８Ａで「Ｑ」が返された後に追加され、結果、シーケンスは「ＱＡ」となる。
従って、指の「スワイプ」（強押下）の「経路」または「結合ポイント」が追跡され、各文字の確率が、スワイプに沿って特定の時間間隔で、減算及び累積されることが、ここで理解されよう。文字の確率が閾値確率（例えば確率０．４）を満たすとシーケンスに追加されるという条件のいくつかの実施形態では、各時間間隔で、最も高い確率の文字が抽出される。
図９は、例えば図５のＮＮベースモジュールのうちのいずれかで使用され得る例示的なＮＮアーキテクチャを示す。ＮＮのネットワーク９００は、ヒートマップから確率９０４の入力文字９０２を受信して、確率９０８に対応付けられた時間分散予測文字９０６を出力し得る。示される例では、図示される一連の長・短期記憶（ＬＳＴＭ）９１０などのそれぞれのリカレントＮＮ（ＲＮＮ）に、各文字９０２は入力され得る。図９の右側に示されるＬＳＴＭ９１０は、入力ゲート９１２、忘却ゲート９１４、及び出力ゲート９１６を含み得、これらは全て、図９のギリシャ文字σで示されるシグモイド関数を実行し得る。ゲート９１２は、新たな値がセルに流入する範囲を制御し、忘却ゲート９１４は、値がセルに残る範囲を制御し、出力ゲート９１６は、ＬＳＴＭユニットの出力活性化関数を計算するためにセル内の値が使用される範囲を制御する。
示されるように、入力される現在の値ｘｉと、以前の反復から非表示状態のｈｔ－１とが、３つのゲート全てに入力される。入力ゲート９１２のシグモイド関数の出力は、第１の結合演算子９２０にて、双曲線正接関数９１８と結合され得、これは要素ごとの積であり得る。第１の結合演算子９２０の出力は、第３の結合演算子９２４にて第２の結合演算子９２２の出力と、必要に応じて合計することにより、結合される。第３の結合演算子９２４の出力は、忘却ゲート９１４の出力と結合するために、第２の結合演算子９２２にフィードバックされ得る。さらに、第３の結合演算子９２４の出力は、必要に応じて双曲線正接関数９２６により演算され、次いで第４の結合演算子９２８にて出力ゲート９１６の出力と結合され、後続の反復で使用するために非表示状態のベクトル９３０がレンダリングされ得る。
図１０～図１２は、予測テキストを生成するためのネットワーク９００の使用のシーケンスを示す。下側に示される文字１０００の行は、仮想キーボード２１６のキーの強押下から、及び／または以前予測された文字及び／または単語の選択から、受信された入力を表す。これらは、トレーニング済みのネットワーク９００に入力される。１００２に示されるヒートマップの文字相関確率を使用して、次の予測文字１００４が生成され、モデルにフィードバックされる。図１０～図１２に示されるシーケンスでは、「ｐｌａｙ」という最初の入力に対し予測文字が生成され、その結果、「ＰｌａｙＳｔａｔｉｏｎ（登録商標）」という単語が生成された。
図１３は、本発明の原理と一致する、例示的なロジックのフローチャートである。本明細書で説明されるＮＮシステム（複数可）は、ブロック１３００にてトレーニングされる。ブロック１３０２に移動すると、タッチパッド上で強押下が受信され、ブロック１３０４にて、必要に応じてヒートマップを使用して、タッチパッドに基づいて文字が確立される。ブロック１３０６にて、文字はＮＮシステムに入力され、ブロック１３０８にて、ＮＮシステムは、予測文字または予測単語または予測単語列を出力する。ブロック１３１０にて、予測文字／単語は画面上に提示される。
状態１３１２にて、ユーザが予測を受諾しない場合、状態１３１４にて、予測は提示から除外され得る。ユーザが予測を受諾した場合、ブロック１３１６にて、受諾された予測が確定され、強押下により確立された文字の後に順番に提示される。
本発明の原理は、数ある中でも画像、ビデオ、及びオーディオのデータ処理を行うための全ての可能な深層学習ベースの方法で、使用され得る。
従って、前述の詳細説明から理解され得るように、本発明の原理は、本明細書で説明される技術的解決策により、ニューラルネットワークの適応及びトレーニングを向上させる。
本発明の原理は、いくつかの例示的な実施形態を参照して説明されたが、これらは限定を意図するものではなく、本明細書で特許請求される発明の主題を実施するために、様々な代替的構成が使用されてもよいことが、理解されよう。

Claims (20)

  1. 少なくとも１つのプロセッサと、
    一時的信号ではなく、かつ命令を含む少なくとも１つのコンピュータストレージと、
    を備える装置であって、
    前記命令は、前記少なくとも１つのプロセッサにより、
    コンピュータシミュレーションコントローラのタッチパッドでタッチ信号を受信することと、
    第１の圧力を示す前記タッチ信号に応じて、前記コントローラから離れたディスプレイ上でカーソルを移動させるが、文字の選択は確立しないことと、
    前記第１の圧力よりも大きい第２の圧力を示す前記タッチ信号に応じて、第１の英数字の選択を確立し、前記第１の英数字を前記ディスプレイ上に提示することと、
    を実行可能である、前記装置。
  2. 前記プロセッサは、前記コンピュータシミュレーションコントローラ内に組み込まれる、請求項１に記載の装置。
  3. 前記プロセッサは、前記コンピュータシミュレーションコントローラと通信するように構成されたコンピュータシミュレーションコンソール内に組み込まれる、請求項１に記載の装置。
  4. 前記命令は、
    前記第２の圧力を示す前記タッチ信号に応じて、前記ディスプレイ上で前記カーソルを移動させること、
    を実行可能である、請求項１に記載の装置。
  5. 前記命令は、
    前記第１の圧力を示す前記タッチ信号に応じて、前記ディスプレイ上でキーボードの画像を拡大すること、
    を実行可能である、請求項１に記載の装置。
  6. 前記命令は、
    前記第１の英数字を、少なくとも第１のニューラルネットワーク（ＮＮ）に入力することと、
    前記第１のＮＮから、少なくとも第１の予測英数字を含む予測英数字シーケンスを受信することと、
    を実行可能である、請求項１に記載の装置。
  7. 前記命令は、
    前記第１の英数字の隣に、少なくとも前記第１の予測英数字を含む前記予測英数字シーケンスを、前記ディスプレイ上に提示すること、
    を実行可能である、請求項６に記載の装置。
  8. 前記第１のＮＮは、複数の長・短期記憶（ＬＳＴＭ）ネットワークを備える、請求項６に記載の装置。
  9. コンピュータシミュレーションコントローラから、タッチ信号を受信することと、
    第１の圧力を示す前記タッチ信号に応じて、前記ディスプレイ上でカーソルを移動させることと、
    前記第１の圧力よりも大きい第２の圧力を示す前記タッチ信号に応じて、少なくとも第１の文字を確立することと、
    前記ディスプレイ上に前記第１の文字を提示することと、
    を含む方法。
  10. 前記第１の文字を、少なくとも第１のニューラルネットワーク（ＮＮ）に入力することと、
    前記第１のＮＮにより生成された少なくとも第１の予測文字を、前記ディスプレイ上に提示することと、
    を含む、請求項９に記載の方法。
  11. 前記第１のＮＮにより生成された前記第１の予測文字を含む少なくとも予測文字シーケンスを、前記ディスプレイ上に提示すること、
    を含む、請求項１０に記載の方法。
  12. ネットワーク上のコンピュータシミュレーションプレーヤにより入力されたテキストを使用して、前記第１のＮＮをトレーニングすること、
    を含む、請求項９に記載の方法。
  13. 前記トレーニングは、少なくとも１つの双方向長・短期記憶（ＬＳＴＭ）ネットワークを使用して、コンピュータシミュレーションプレーヤにより入力された前記テキストを処理することを含む、請求項１２に記載の方法。
  14. 前記第１のＮＮが使用可能なシミュレーション辞書からの単語を前記第１のＮＮに入力して、前記第１の予測文字を生成すること、
    を含む、請求項１０に記載の方法。
  15. 前記第１のＮＮが使用可能な前記コンピュータシミュレーションコントローラに以前入力された単語を前記第１のＮＮに入力して、前記第１の予測文字を生成すること、
    を含む、請求項１０に記載の方法。
  16. 少なくとも１つの双方向長・短期記憶（ＬＳＴＭ）ネットワークにより生成された文字シーケンスモデルであって、前記第１のＮＮが使用可能な前記文字シーケンスモデルからのデータを、前記第１のＮＮに入力して、前記第１の予測文字を生成すること、
    を含む、請求項１０に記載の方法。
  17. 少なくとも１つのコンピュータシミュレーションコントローラと、
    前記コンピュータシミュレーションコントローラにより支持された少なくとも１つのタッチパッドと、
    命令を含む少なくとも１つのコンピュータストレージと、
    を備えるアセンブリであって、
    前記命令は、少なくとも１つのプロセッサにより、
    前記タッチパッド上のタッチ入力に応じて、ディスプレイ上に英数字を提示することと、
    前記タッチパッド上の前記タッチ入力に応じて前記ディスプレイ上に提示される前記英数字に少なくとも部分的に基づいて、予測英数字を前記ディスプレイ上に提示することと、
    を実行可能である、前記アセンブリ。
  18. 前記プロセッサを含む少なくとも１つのコンピュータシミュレーションコントローラであって、前記ディスプレイ及び前記コンピュータシミュレーションコントローラと通信するように構成された、前記少なくとも１つのコンピュータシミュレーションコントローラを備える、請求項１７に記載のアセンブリ。
  19. 前記プロセッサは、前記コンピュータシミュレーションコントローラ内に組み込まれる、請求項１７に記載のアセンブリ。
  20. 前記プロセッサは、前記タッチパッド上の前記タッチ入力により生成された信号を受信するように構成された少なくとも１つのネットワークサーバに組み込まれる、請求項１７に記載のアセンブリ。
JP2021563633A 2019-04-26 2020-04-14 タッチパッド入力を備えたゲームコントローラ Active JP7315705B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/396,379 US11554322B2 (en) 2019-04-26 2019-04-26 Game controller with touchpad input
US16/396,379 2019-04-26
PCT/US2020/028099 WO2020219300A1 (en) 2019-04-26 2020-04-14 Game controller with touchpad input

Publications (2)

Publication Number Publication Date
JP2022529856A true JP2022529856A (ja) 2022-06-24
JP7315705B2 JP7315705B2 (ja) 2023-07-26

Family

ID=72921126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563633A Active JP7315705B2 (ja) 2019-04-26 2020-04-14 タッチパッド入力を備えたゲームコントローラ

Country Status (7)

Country Link
US (1) US11554322B2 (ja)
EP (1) EP3959721A4 (ja)
JP (1) JP7315705B2 (ja)
KR (1) KR102416421B1 (ja)
CN (1) CN114072755A (ja)
TW (1) TWI743748B (ja)
WO (1) WO2020219300A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529062B (zh) * 2020-12-04 2021-06-15 齐鲁工业大学 一种基于灵巧手触觉信息的物体分类方法
US20220355211A1 (en) * 2021-05-04 2022-11-10 Sony Interactive Entertainment Inc. Controller action recognition from video frames using machine learning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010536076A (ja) * 2007-06-28 2010-11-25 パナソニック株式会社 仮想キーパッドシステム及び方法
JP2012248153A (ja) * 2011-05-31 2012-12-13 Kddi Corp 文字入力装置およびプログラム
JP2013522972A (ja) * 2010-03-12 2013-06-13 ニュアンス コミュニケーションズ， インコーポレイテッド 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム
JP2014010688A (ja) * 2012-06-29 2014-01-20 Kddi Corp 入力文字推定装置およびプログラム
JP2014526822A (ja) * 2011-09-12 2014-10-06 マイクロソフト コーポレーション ソフトキーボードインタフェース
US20160345048A1 (en) * 2013-08-23 2016-11-24 Korea Electronics Technology Institute Remote controller having dual touch pads and method of control using the same
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680510A (en) 1995-01-26 1997-10-21 Apple Computer, Inc. System and method for generating and using context dependent sub-syllable models to recognize a tonal language
US7171498B2 (en) * 2003-01-09 2007-01-30 Sony Computer Entertainment America Inc. Alphanumeric keyboard input system using a game controller
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US20090213081A1 (en) 2007-01-10 2009-08-27 Case Jr Charlie W Portable Electronic Device Touchpad Input Controller
US8542927B2 (en) 2008-06-26 2013-09-24 Microsoft Corporation Character auto-completion for online east asian handwriting input
US20100138221A1 (en) 2008-12-02 2010-06-03 Boys Donald R Dedicated hardware/software voice-to-text system
KR101553629B1 (ko) 2009-05-06 2015-09-17 삼성전자주식회사 인터페이스 제공 방법
KR101597553B1 (ko) 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US8754746B2 (en) 2009-11-16 2014-06-17 Broadcom Corporation Hand-held gaming device that identifies user based upon input from touch sensitive panel
US20170017393A1 (en) 2010-04-23 2017-01-19 Handscape Inc., A Delaware Corporation Method for controlling interactive objects from a touchpad of a computerized device
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
US9377863B2 (en) * 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US8997013B2 (en) 2013-05-31 2015-03-31 Google Inc. Multiple graphical keyboards for continuous gesture input
US20150019539A1 (en) * 2013-07-15 2015-01-15 Blackberry Limited Methods and devices for providing a text prediction
US9626354B2 (en) 2014-01-21 2017-04-18 Lenovo (Singapore) Pte. Ltd. Systems and methods for using tone indicator in text recognition
KR102204919B1 (ko) 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US9678664B2 (en) * 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
US10282090B2 (en) * 2015-09-30 2019-05-07 Apple Inc. Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
US11068660B2 (en) 2016-01-26 2021-07-20 Koninklijke Philips N.V. Systems and methods for neural clinical paraphrase generation
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US20180018086A1 (en) 2016-07-14 2018-01-18 Google Inc. Pressure-based gesture typing for a graphical keyboard
US10855550B2 (en) 2016-11-16 2020-12-01 Cisco Technology, Inc. Network traffic prediction using long short term memory neural networks
US10146768B2 (en) * 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10228892B2 (en) * 2017-03-17 2019-03-12 Dell Products L.P. Information handling system management of virtual input device interactions
WO2018194569A1 (en) * 2017-04-18 2018-10-25 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
TWI635435B (zh) 2017-07-13 2018-09-11 宏碁股份有限公司 電子裝置、感測儲存裝置及其操作方法
US11087210B2 (en) 2017-08-18 2021-08-10 MyFitnessPal, Inc. Context and domain sensitive spelling correction in a database
US20200019609A1 (en) * 2018-07-13 2020-01-16 Asapp, Inc. Suggesting a response to a message by selecting a template using a neural network
US11216510B2 (en) * 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages
CN109493977B (zh) * 2018-11-09 2020-07-31 天津新开心生活科技有限公司 文本数据处理方法、装置、电子设备及计算机可读介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010536076A (ja) * 2007-06-28 2010-11-25 パナソニック株式会社 仮想キーパッドシステム及び方法
JP2013522972A (ja) * 2010-03-12 2013-06-13 ニュアンス コミュニケーションズ， インコーポレイテッド 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム
JP2012248153A (ja) * 2011-05-31 2012-12-13 Kddi Corp 文字入力装置およびプログラム
JP2014526822A (ja) * 2011-09-12 2014-10-06 マイクロソフト コーポレーション ソフトキーボードインタフェース
JP2014010688A (ja) * 2012-06-29 2014-01-20 Kddi Corp 入力文字推定装置およびプログラム
US20160345048A1 (en) * 2013-08-23 2016-11-24 Korea Electronics Technology Institute Remote controller having dual touch pads and method of control using the same
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置

Also Published As

Publication number Publication date
CN114072755A (zh) 2022-02-18
US20200338445A1 (en) 2020-10-29
EP3959721A4 (en) 2023-01-18
EP3959721A1 (en) 2022-03-02
KR20200125514A (ko) 2020-11-04
WO2020219300A1 (en) 2020-10-29
TWI743748B (zh) 2021-10-21
JP7315705B2 (ja) 2023-07-26
US11554322B2 (en) 2023-01-17
TW202121265A (zh) 2021-06-01
KR102416421B1 (ko) 2022-07-04

Similar Documents

Publication Publication Date Title
JP7101315B2 (ja) 画像データを自然言語の説明に変換するためのシステム及び方法
JP7470137B2 (ja) 視覚的特徴をサウンドタグに相関させることによるビデオタグ付け
JP7277611B2 (ja) テキスト類似性を使用した視覚的タグのサウンドタグへのマッピング
JP7315705B2 (ja) タッチパッド入力を備えたゲームコントローラ
WO2021158391A1 (en) Automated weapon selection for new players using ai
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
US10579732B2 (en) Accessibility menu from remote control
US10845954B2 (en) Presenting audio video display options as list or matrix
US11351453B2 (en) Attention-based AI determination of player choices
US20180081484A1 (en) Input method for modeling physical objects in vr/digital
US10051331B1 (en) Quick accessibility profiles
WO2019245726A1 (en) Gesture-based user interface for ar and vr with gaze trigger
US11048356B2 (en) Microphone on controller with touchpad to take in audio swipe feature data
US11503361B1 (en) Using signing for input to search fields
US11317293B2 (en) Methods for authenticating a user of an electronic device
US11778261B2 (en) Electronic content glossary
CN110121380A (zh) 通过仿真进行重新录制
US11471765B2 (en) Handwriting recognition using cardinal directions between sample points

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7315705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150