CN114072755A - 具有触控板输入的游戏控制器 - Google Patents

具有触控板输入的游戏控制器 Download PDF

Info

Publication number
CN114072755A
CN114072755A CN202080033653.3A CN202080033653A CN114072755A CN 114072755 A CN114072755 A CN 114072755A CN 202080033653 A CN202080033653 A CN 202080033653A CN 114072755 A CN114072755 A CN 114072755A
Authority
CN
China
Prior art keywords
display
letter
predicted
processor
computer simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080033653.3A
Other languages
English (en)
Inventor
C.赵
C-H.余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of CN114072755A publication Critical patent/CN114072755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/02—Miscellaneous game characteristics having an effect on the human senses
    • A63F2250/025—Miscellaneous game characteristics having an effect on the human senses related to sense of touch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一种游戏控制器(200)，包括触控板(204)，查看屏幕(212)上的虚拟键盘(216)的用户(206)可轻触(300)所述触控板以移动所述屏幕上的光标，并且然后重触(302)所述触控板以移动所述光标并还将位置数据发送到处理器以从所述虚拟键盘输入字母。使用机器学习来预测下一字母或下一字词。

Description

具有触控板输入的游戏控制器
技术领域
本申请总体上涉及技术上创新的非常规解决方案，这些解决方案必须源于计算机技术并产生具体的技术改进。特别地，本申请涉及具有触控板输入的计算机模拟控制器。
背景技术
机器学习(有时也称为深度学习)可用于与数据理解、检测和/或分类有关的多种有用应用。
发明内容
在计算机模拟行业(诸如游戏行业)中，可能存在可从机器学习受益以提高精度和鲁棒性的多种数据输入模式。
因此，一种设备包括：至少一个处理器；以及至少一个计算机存储设备，所述至少一个计算机存储设备不是瞬时信号并且包括指令，所述指令能够由所述处理器执行以在计算机模拟控制器的触控板上接收触摸信号。所述指令能够执行以响应于所述触摸信号指示第一压力，移动在远离与所述控制器的显示器上的光标并且不建立对字母的选择。所述指令还能够执行以响应于所述触摸信号指示大于所述第一压力的第二压力，建立对第一字母数字字符的选择并且在所述显示器上呈现所述第一字母数字字符。
在一个示例实施方案中，所述处理器体现在所述计算机模拟控制器中。或者，所述处理器可体现在计算机模拟控制台中，所述计算机模拟控制台被配置用于与所述计算机模拟控制器通信。
在一些实现方式中，所述指令可能够执行以响应于所述触摸信号指示所述第二压力，移动所述显示器上的所述光标。所述指令可能够执行以响应于所述触摸信号指示所述第一压力，放大所述显示器上的键盘的图像。
在某些实施方案中，所述指令可能够执行以：将所述第一字母数字字符输入到至少第一神经网络(NN)；以及从所述第一NN接收包括至少第一预测的字母数字字符的预测的字母数字字符序列。在此类实施方案中，所述指令可能够执行以在所述显示器上紧接着所述第一字母数字字符呈现包括至少所述第一预测的字母数字字符的所述预测的字母数字字符序列。如果需要，所述第一NN可包括多个长短期记忆(LSTM)网络。
在另一方面，一种方法包括：从计算机模拟控制器接收触摸信号；以及响应于所述触摸信号指示第一压力，移动显示器上的光标。所述方法还包括：响应于所述触摸信号指示大于所述第一压力的第二压力，建立至少第一字母；以及在所述显示器上呈现所述第一字母。
在另一方面，一种组件包括：至少一个计算机模拟控制器；至少一个触控板，所述至少一个触控板由所述计算机模拟控制器支持；以及至少一个计算机存储设备，所述至少一个计算机存储设备具有指令，所述指令能够由至少一个处理器执行以响应于所述触控板上的触摸输入而在显示器上呈现字母数字字符。所述指令可被执行以至少部分地基于响应于所述触控板上的所述触摸输入而在所述显示器上呈现的所述字母数字字符来在所述显示器上呈现预测的字母数字字符。
参考附图可最好地理解本申请的关于其结构和操作两者的细节，在附图中，相同的附图标记指代相同的部分，并且在附图中：
附图说明
图1是符合本发明原理的示例系统的框图；
图2是具有触控板的计算机模拟控制器的透视图，该触控板被用于输入呈现在显示器(诸如TV或直接地或经由例如计算机游戏控制台与游戏控制器通信的其他音频视频装置)上的文本；
图3是示出在控制器触控板上的轻按和重按的示意图；
图4是符合与图3相关的本发明原理的示例逻辑的流程图；
图5是符合本发明原理的逻辑流程图、数据结构和处理部件的组合；
图6至图8B是在图5中被称为热图的数据结构的示意图，示出了使用中的步骤；
图9是被配置为用于基于当前的用户输入来输出预测的下一字词的多个长短期记忆(LSTM)网络的示例神经网络(NN)的框图；
图10至图12是示出训练后的图9中的NN的操作的示意图；并且
图13是符合本发明原理的示例总体逻辑的流程图。
具体实施方式
本公开总体上涉及计算机生态系统，该计算机生态系统包括消费性电子(CE)装置网络的各方面，诸如但不限于分布式计算机游戏网络、增强现实(AR)网络、虚拟现实(VR)网络、视频广播、内容递送网络、虚拟机以及人工神经网络和机器学习应用。
本文的系统可包括服务器和客户端部件，所述服务器和客户端部件通过网络连接使得可在客户端和服务器部件之间交换数据。客户端部件可包括一个或多个计算装置，所述一个或多个计算装置包括AR耳机、VR耳机、游戏控制台(诸如Sony
Figure BDA0003337726320000031
)和相关母板、游戏控制器、便携式电视(例如智能TV、支持互联网的TV)、便携式计算机(诸如膝上型计算机和平板计算机)以及其他移动装置(包括智能电话和下文所论述的额外示例)。这些客户端装置可在多种操作环境下操作。例如，客户端计算机中的一些可采用例如Orbis或Linux操作系统、来自Microsoft的操作系统、或Unix操作系统，或者由Apple公司或Google生产的操作系统。这些操作环境可用于执行一个或多个程序/应用程序，诸如由Microsoft或Google或Mozilla制作的浏览器，或可访问由下文所论述的互联网服务器托管的网站的其他浏览器程序。此外，根据本发明原理的操作环境可用于执行一个或多个计算机游戏程序/应用程序和实施本发明原理的其他程序/应用程序。
服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置为通过诸如互联网的网络来接收和传输数据。另外地或替代地，客户端和服务器可通过本地内联网或虚拟专用网络进行连接。服务器或控制器可由游戏控制台和/或其一个或多个母板(诸如Sony
Figure BDA0003337726320000041
)、个人计算机等实例化。
可经由网络在客户端与服务器之间交换信息。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储设备和代理，以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可形成实现根据本发明原理的向网络用户提供诸如在线社交网站或视频游戏网站的安全社区以众包地通信的方法的设备。
如本文所使用，指令是指用于在系统中处理信息的计算机实现的步骤。指令可在软件、固件或硬件中实现，并且包括由系统的部件承担的任何类型的经编程步骤。
处理器可以是可通过各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑的任何常规的通用单芯片或多芯片处理器。
通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。
如上文所指示，本文所述的本发明原理可实现为硬件、软件、固件或它们的组合；因此，依据说明性部件、框、模块、电路和步骤的功能性对它们进行阐述。
除上文已经提到的内容之外，下文所述的逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或被设计来执行本文所述功能的其他可编程逻辑装置(诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件部件或它们的任何组合)来实现或执行。处理器可由控制器或状态机或计算装置的组合来实现。
下文描述的功能和方法可以硬件电路或软件电路来实现。当以软件实现时，功能和方法可用诸如但不限于Java、C#或C++的适当语言编写，并且可存储在计算机可读存储介质上或通过计算机可读存储介质进行传输，所述计算机可读存储介质诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储设备(诸如数字通用光盘(DVD))、磁盘存储设备或包括可移除拇指驱动器的其他磁存储装置等。连接可建立计算机可读介质。此类连接可包括例如硬连线电缆，包括光纤和同轴线以及数字用户线(DSL)和双绞线。此类连接可包括无线通信连接，包括红外线和无线电。
在一个实施方案中所包括的部件可按照任何适当的组合用于其他实施方案中。例如，本文描述且/或在图中描绘的各种部件中的任一者可进行组合、互换或从其他实施方案排除。
“具有A、B和C中的至少一者的系统”(同样地，“具有A、B或C中的至少一者的系统”和“具有A、B、C中的至少一者的系统”)包括以下系统：仅具有A；仅具有B；仅具有C；同时具有A和B；同时具有A和C；同时具有B和C；和/或同时具有A、B和C等。
现在具体地参考图1，示出了示例系统10，该系统可包括根据本发明原理的上文所提及且下文进一步描述的示例装置中的一者或多者。系统10中包括的示例装置中的第一者是诸如音频视频装置(AVD)12的消费性电子(CE)装置，诸如但不限于带有TV调谐器(等效地，控制TV的机顶盒)的支持互联网的TV。然而，替代地，AVD 12可以是家电或家居用品，例如，计算机化的支持互联网的冰箱、洗涤器或干燥器。替代地，AVD 12还可以是计算机化的支持互联网(“智能”)的电话、平板计算机、笔记本计算机、增强现实(AR)耳机、虚拟现实(VR)耳机、支持互联网的或“智能”眼镜、另一种类型的可佩戴的计算机化装置，诸如计算机化的支持互联网的手表、计算机化的支持互联网的手镯、计算机化的支持互联网的音乐播放器、计算机化的支持互联网的头戴式耳机、计算机化的支持互联网的可植入装置(诸如可植入皮肤装置)、其他计算机化的支持互联网的装置等。无论如何，应理解，AVD 12被配置为实施本发明原理(例如，与其他消费性电子(CE)装置通信以实施本发明原理、执行本文描述的逻辑以及执行本文描述的任何其他功能和/或操作)。
因此，为了实施此类原理，AVD 12可由图1所示的部件中的一些或全部建立。例如，AVD 12可包括一个或多个显示器14，该一个或多个显示器可由高清晰度或超高清晰度“4K”或更高的平面屏幕实现，并且可支持触摸以用于经由显示器上的触摸来接收用户输入信号。AVD 12可包括一个或多个扬声器16以用于根据本发明原理输出音频，以及至少一个附加的输入装置18(诸如音频接收器/麦克风)以用于向AVD 12输入可听命令来控制AVD 12。示例AVD 12还可包括一个或多个网络接口20，以用于在一个或多个处理器的控制下通过至少一个网络22(诸如互联网、WAN、LAN等)进行通信。因此，接口20可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。此外，应注意，网络接口20可以是例如有线或无线调制解调器或路由器，或者其他适当的接口，诸如例如无线电话收发器或如上所提及的Wi-Fi收发器等。
应理解，一个或多个处理器控制AVD 12来实施本发明原理，包括本文所述的AVD12的其他元件，诸如控制显示器14来在显示器上呈现图像和从显示器接收输入。一个或多个处理器可包括中央处理单元(CPU)24以及图形卡25A上的图形处理单元(GPU)25。
除前述内容之外，AVD 12还可包括一个或多个输入端口26，诸如例如用于物理地连接(例如，使用有线连接)到另一个消费性电子(CE)装置的高清晰度多媒体接口(HDMI)端口或USB端口和/或用于将耳机连接到AVD 12以通过头戴式耳机将来自AVD 12的音频呈现给用户的头戴式耳机端口。例如，输入端口26可经由有线或无线地连接到音频视频内容的有线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是包含内容的游戏控制台或磁盘播放器，所述内容可被用户视为用于信道分配目的的最爱。当被实现为游戏控制台时，源26a可包括下面关于CE装置44描述的部件中的一些或全部，并且可实现本文所描述的逻辑中的一些或全部。
AVD 12还可包括不是瞬时信号的一个或多个计算机存储器28，诸如基于磁盘的存储设备或固态存储设备，在一些情况下，所述一个或多个计算机存储器在AVD的机壳中体现为独立装置，或者体现为在AVD的机壳内部或外部的用于回放AV节目的个人视频记录装置(PVR)或视频磁盘播放器，或者体现为可移除存储器介质。此外，在一些实施方案中，AVD 12可包括位置或地点接收器(诸如但不限于手机接收器、GPS接收器和/或高度计30)，所述位置或地点接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供该信息和/或结合处理器24来确定AVD 12被设置在的高度。然而，应理解，根据本发明原理，可使用除手机接收器、GPS接收器和/或高度计之外的另一个合适的位置接收器，以例如在所有的三个维度上确定AVD 12的地点。
继续对AVD 12的描述，在一些实施方案中，根据本发明原理，AVD 12可包括一个或多个相机32，所述一个或多个相机可以是例如热成像相机、诸如网络摄像机的数码相机、红外(IR)相机和/或集成到AVD 12中并且可由处理器24控制以生成图片/图像和/或视频的相机。在AVD 12上还可包括蓝牙收发器34和其他近场通信(NFC)元件36，以用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例NFC元件可以是射频识别(RFID)元件。
此外，AVD 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器，诸如加速计、陀螺仪、回转计或磁传感器、红外(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。AVD 12可包括无线TV广播端口38，以用于接收向处理器24提供输入的OTATV广播。除前述内容之外，应注意，AVD 12还可包括红外(IR)发射器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为AVD 12供电。
仍参考图1，除AVD 12之外，系统10还可包括一个或多个其他消费性电子(CE)装置类型。在一个示例中，第一CE装置44可用于经由直接发送到AVD 12的命令和/或通过下面描述的服务器向AVD12发送计算机游戏音频和视频，而第二CE装置46可包括与第一CE装置44相似的部件。在所示的示例中，第二CE装置46可被配置为用户47所佩戴的AR或VR耳机，如图所示。在所示的示例中，仅示出两个CE装置44、46，应理解，根据本发明原理，也可使用更少或更多的装置。
在所示的示例中，假定所有的三个装置12、44、46都是例如在家庭中的网络(诸如安全或加密网络、娱乐网络或Wi-Fi)的构件，或者至少在特定地点彼此接近出现并且能够彼此通信并与本文所述的服务器通信。然而，除非另有明确要求，否则本发明原理不限于特定地点或网络。
示例非限制性第一CE装置44可由上述装置(例如，智能电话、数字助理、便携式无线膝上型计算机或笔记本计算机或游戏控制器(也称为“控制台”))中的任一者建立，并且因此可具有下文描述的部件中的一个或多个。第二CE装置46可由但不限于AR耳机、VR耳机、“智能”的支持互联网的眼镜、或者甚至视盘播放器(诸如蓝光播放器)、游戏控制台等来建立。此外，在一些实施方案中，第一CE装置44可以是用于例如将AV播放和暂停命令发布到AVD 12的遥控装置(RC)，或者它可以是更复杂的装置，诸如平板计算机、经由有线或无线链路与由图1所示的装置中的另一个实现的游戏控制台通信并且控制AVD 12上的视频游戏呈现的游戏控制器、个人计算机、无线电话等。
因此，第一CE装置44可包括一个或多个显示器50，所述一个或多个显示器可支持触摸以用于经由显示器50上的触摸来接收用户输入信号。另外地或替代地，显示器50可以是至少部分透明的显示器，诸如AR耳机显示器或“智能”眼镜显示器或“抬头”显示器，以及VR耳机显示器或者被配置用于呈现AR和/或VR图像的其他显示器。
第一CE装置44还可包括一个或多个扬声器52以用于根据本发明原理输出音频，以及至少一个附加的输入装置54(诸如例如音频接收器/麦克风)以用于向第一CE装置44输入可听命令来控制装置44。示例第一CE装置44还可包括一个或多个网络接口56，以用于在一个或多个CE装置处理器58的控制下通过网络22进行通信。因此，接口56可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的示例，包括网状网络接口。应理解，处理器58控制第一CE装置44来实施本发明原理，包括本文所述的第一CE装置44的其他元件，诸如例如控制显示器50来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口56可以是例如有线或无线调制解调器或路由器，或者其他适当的接口，诸如无线电话收发器或如上所提及的Wi-Fi收发器等。
此外，应注意，除处理器58之外，第一CE装置44还可包括在图形卡55A上的图形处理单元(GPU)55。图形处理单元55可被配置为尤其用于在显示器50上呈现AR和/或VR图像。
除前述内容之外，第一CE装置44还可包括用于物理地连接(例如，使用有线连接)到另一个CE装置的一个或多个输入端口60(诸如例如HDMI端口或USB端口)和/或用于将头戴式耳机连接到第一CE装置44以用于通过头戴式耳机将来自第一CE装置44的音频呈现给用户的头戴式耳机端口。第一CE装置44还可包括一个或多个有形计算机可读存储介质62，诸如基于磁盘的存储设备或固态存储设备。此外，在一些实施方案中，第一CE装置44可包括位置或地点接收器(诸如但不限于手机和/或GPS接收器和/或高度计64)，所述位置或地点接收器被配置为例如使用三角测量从至少一个卫星和/或手机塔接收地理位置信息并且向CE装置处理器58提供该信息和/或结合CE装置处理器58来确定第一CE装置44被设置在的高度。然而，应理解，根据本发明原理，可使用除手机和/或GPS接收器和/或高度计之外的另一个合适的位置接收器，以例如在所有的三个维度上确定第一CE装置44的地点。
继续对第一CE装置44的描述，在一些实施方案中，根据本发明原理，第一CE装置44可包括一个或多个相机66，所述一个或多个相机可以是例如热成像相机、IR相机、诸如网络摄像机的数码相机和/或集成到第一CE装置44中并且可由CE装置处理器58控制以生成图片/图像和/或视频的另一种类型的相机。在第一CE装置44上还可包括蓝牙收发器68和其他近场通信(NFC)元件70，以用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例NFC元件可以是射频识别(RFID)元件。
此外，第一CE装置44可包括向CE装置处理器58提供输入的一个或多个辅助传感器72(例如，运动传感器，诸如加速计、陀螺仪、回转计或磁传感器、红外(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一CE装置44可包括向CE装置处理器58提供输入的另外的其他传感器，诸如例如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或一个或多个生物识别传感器76。除前述内容之外，应注意，在一些实施方案中，第一CE装置44还可包括红外(IR)发射器和/或IR接收器和/或IR收发器78，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为第一CE装置44供电。CE装置44可通过上述通信模式和相关部件中的任一者与AVD 12进行通信。
第二CE装置46可包括针对CE装置44示出的部件中的一些或全部。任一个或两个CE装置可由一个或多个电池供电。
现在参考前述至少一个服务器80，它包括至少一个服务器处理器82、至少一个有形计算机可读存储介质84(诸如基于磁盘的存储设备或固态存储设备)。在实现方式中，介质84包括一个或多个固态存储驱动器(SSD)。根据本发明原理，服务器还包括至少一个网络接口86，所述至少一个网络接口允许通过网络22与图1的其他装置进行通信，并且实际上可促进服务器与客户端装置之间的通信。应注意，网络接口86可以是例如有线或无线调制解调器或路由器、Wi-Fi收发器或其他适当的接口，诸如无线电话收发器。网络接口86可以是远程直接存储器访问(RDMA)接口，其将介质84直接连接到诸如所谓的“结构”的网络而无需通过服务器处理器82。所述网络可包括以太网和/或光纤信道网络和/或无限带宽网络。通常，服务器80包括多个计算机中的被称为“刀片”的多个处理器，其可布置在物理服务器“堆栈”中。
因此，在一些实施方案中，服务器80可以是互联网服务器或整个“服务器场”，并且可包括并执行“云”功能，使得在例如如本文所公开的域自适应的示例实施方案中，系统10的装置可经由服务器80来访问“云”环境。另外地或替代地，服务器80可由与图1示出的其他装置在同一房间中或在附近的一个或多个游戏控制台或其他计算机实现。
图2示出了系统200，该系统的部件可结合图1所示的适当部件。计算机模拟控制器202(诸如Play
Figure BDA0003337726320000121
控制器、
Figure BDA0003337726320000122
控制器或其他控制器)可包括触控板204，该触控板可从手206接收触摸信号并且经由有线和/或无线路径208与计算机模拟控制台210和/或显示装置212(诸如支持互联网的TV)通信。如下文进一步解释，用户可操纵触控板204来生成字母数字字符214，以通过与显示装置的直接信号传达或通过模拟控制台210呈现在显示装置212上。更具体地，通过操纵触控板204，用户可使屏幕光标在呈现在显示装置212上的虚拟键盘216上的字母上方移动以输入字母数字字符214。虚拟键盘216可具有但不限于QWERTY布局。
如图3示意性地示出，本发明原理设想了两种类型的触摸，即，“轻”按300(在触控板上使用轻压力或以零压力悬停在触控板上方)，其中显示装置212上的屏幕光标被移动到虚拟键盘216上的期望位置而不向显示装置发送位置数据(即，指示对任何特定虚拟键的选择的信号)；以及压力比轻按大的“重”按302，响应于重按，显示装置212上的屏幕光标可被移动并且位置数据可被发送到显示装置以指示对虚拟键的选择。以此方式，用户可将目光从触控板204移开并且查看虚拟键盘216，同时在触控板上移动他或她的手指以将可见的屏幕光标移动到虚拟键盘上的期望字母，并且然后施加重按以选择那个字母。应注意，在用户完成“滑动(swipe)”之后，显示器上不会呈现单独的“下一”字母，而是可能显示下一“最有可能的字词”。“最热”键(基于热图)可突出显示在虚拟键盘以及轨迹上。另外，“滑动”被定义为形成轨迹的连续重按。
图4示出了考虑到以上描述的示例逻辑。该逻辑可由模拟控制器202中的处理器、模拟控制台210中的处理器和显示装置212中的处理器中的一者或多者执行。
以状态400开始，确定是否已经接收到对触控板204的按压。这可通过确定来自与触控板204相关联的一个或多个接近传感器的信号是否指示手指在触控板204附近悬停和/或通过确定来自与触控板204相关联的一个或多个压力传感器的信号是否指示至少第一阈值压力的压力来完成。
当确定已经接收到触摸时，逻辑进行到状态402以确定触摸是轻按还是重按，如由例如来自与触控板204相关联的压力传感器的指示至少阈值压力的触摸的信号所指示，该阈值压力典型地被设定为大于在状态400处使用的任何阈值压力。如果触摸不满足阈值，则逻辑移动到框404以返回轻按。在一些实现方式中，逻辑可进行到状态406以确定轻按是否是在例如时段阈值内(例如，在过去五分钟内)的第一次轻按，并且如果是，则逻辑可移动到框408以放大显示装置212上的虚拟键盘216的图像。在任何情况下，从状态406(如果测试为否定的)或从框408，逻辑移动到框410以移动屏幕光标而不发送按压位置信息。
在另一方面，如果在状态402处的测试确定接收到重按，则在框412处返回重按，并且可根据触摸来移动屏幕并且也发送指示用户已经借助在模拟控制器200的触控板204上的重按来选择的虚拟键盘的位置的位置信息。
图5示出了上文提到的硬件块和软件块的组合。一个或多个接近和/或压力传感器500设置在触控板204中以输出代表轻按502和重按504的信号。轻按502建立手指聚焦点506。重按504在触控板上建立由传感器500检测到的点。轻按代表光标聚焦点，而“传感器的点”表示“由传感器发送的连续点”。
在510处，访问下文参考图6至图8进一步讨论的热图算法以根据重按504来输出字母序列512。字母序列512与字典514一起输入到精简块516，该精简块精简可能形成字母序列512的校正或完成的候选列表。字典514本质上是字母序列的字典和/或同义词典，其可用来校正打错的字词，例如，字典514可将“thw”与“the”相关，以响应于输入“thw”而返回字词“the”。
将精简的候选列表516提供给模块518，该模块输出预测的网络或字词以呈现在屏幕上，然后，用户可选择该预测的网络或字词以完成他或她的期望输入而无需键入一个或多个预测的字词的每个字母。模块518可由一个或多个神经网络(NN)建立，如下文进一步描述。为了产生一个或多个预测的字词，模块518可从上下文用户块520接收输入，该输入提供用户采用的先前字词串，其中当前输入被推断为可能是先前输入的重复，例如，“你是否”在先前输入中可能多次后接“明白我的意思”，并且可输入该信息以帮助训练和执行模块518。
此外，可将类似的训练/执行辅助输入到模块518，如图5的右侧所示。具体地，可将来自其他计算机游戏玩家的查询和聊天数据522输入到基于字符的NN，诸如双向长短期记忆(BILSTM)524，以学习常见输入串的模式来提供到机器学习字符序列模型526。该模型526可被输入到模块518或由该模块访问以渲染一个或多个下一预测的字词。
图6至图8B示出了对图5中的热图算法510的采用。基本上，手指“滑动”(重按)的“路径”或“连接点”以及每个字母的概率以沿滑动的特定时间间隔“折算并累加”。在每个时间间隔上，提取概率最高的字母，该字母也可能必须通过特定阈值才能添加到如下文进一步开发的序列。
在图6至图8B中，将理解，为了公开的清楚起见，仅示出在QWERTY键盘的左上角中的前四个字母(即，Q，在其旁边是“W”，并且在其下面从左到右是“A”和“S”)作为虚拟键盘216的可能的虚拟键盘布局的一个示例。在所示的示例热图510中，热图的特定字母的每个区域被分成共九个分格(被示出为几何正方形)的三乘三网格，其中特定字母的中心分格600指示当光标在中心区域中时期望该字母的概率为1。相反，热图510指示在包围字母的中心分格600的边界分格602中，概率小于一但大于零，其中概率与中心分格600的字母和紧邻边界分格602的字母相关联(或者，在不邻近另一个字母的边界分格的情况下，仅有对于中心分格的字母的小于一的概率)。
如在图7中的700处所示，轻按用于定位预期输入的起始字母。然后，如在图8中的800处所示，重按用于指示对起始字母(在所示的示例中为“Q”)的选择。这导致收集到以下数据：以概率为一选择“Q”而未选择周围字母(在所示的示例中为“W”、“A”和“S”)，即，概率为零。
图8A和图8B示出了接着发生的滑动的结果。在图8A中，在802处示出从在图8中开始的位置到由手的图像指示的位置804的滑动。这里，用户已经将他的手指移向字母“A”。这导致使用图8A所示的算法根据在边界分格602上方滑动的路径来聚合新的热图统计。由于“Q”的概率高于“W”的概率(其为零)、“A”的概率(其为0.3)和“S”的概率(其为零)，因此序列返回“Q”。
图8B在806处示出滑动已经继续到由手的图像示出的位置808。这导致使用图8B所示的算法根据在边界分格602上方滑动的路径来聚合另一个热图统计。由于“A”的概率高于“W”的概率(其为零)、“Q”的概率(其为0.3)和“S”的概率(其为零)，因此该序列在图8A中返回了“Q”之后追加地返回“A”，从而产生序列“QA”。
因此，现在可了解，跟踪手指“滑动”(重按)的“路径”或“连接点”，并且以沿滑动的特定时间间隔折算并累加每个字母的概率。在每个时间间隔上，提取概率最高的字母，在一些实施方案中，假设该字母的概率满足要添加到序列的阈值概率(例如，0.4)。
图9示出了可在例如图5的基于NN的模块中的任一者中使用的示例NN架构。NN的网络900可从热图接收具有概率904的输入字母902以输出具有相关联的概率908的时间分布的预测字母906。在所示的示例中，每个字母902可被输入到相应的循环NN(RNN)，诸如如图所示的长短期记忆(LSTM)910的序列。如图9的右侧所示的LSTM 910可包括输入门912、遗忘门914和输出门916，所有这些门都可执行如图9中的希腊字母σ所指示的sigmoid函数。输入门912控制新值流入到单元中的程度，遗忘门914控制值保留在单元中的程度，并且输出门916控制将单元中的值用于计算LSTM单元的输出激活的程度。
将正在输入的当前值xi和来自先前迭代的隐藏状态ht-1输入到所有三个门，如图所示。输入门912的sigmoid函数的输出可在第一组合运算子920处与双曲正切函数918组合，该第一组合运算子可以是逐元素乘积。第一组合运算子920的输出在第三组合运算子924处与第二组合运算子922的输出组合，如在需要时通过求和来进行。第三组合运算子924的输出可被反馈到第二组合运算子922来与遗忘门914的输出组合。另外，如果需要，可通过双曲正切函数926对第三组合算子924的输出进行运算，并且然后在第四组合运算子928处与输出门916的输出进行组合来渲染隐藏状态向量930以供随后的迭代使用。
图10至图12示出了使用网络900来生成预测文本的序列。下排字母1000代表从在虚拟键盘216的键上的重按和/或从对先前预测的字母和/或字词的选择接收到的输入。这些是经训练的网络900的输入。使用来自热图的与字母相关的概率，如在1002处所示，生成下一预测的字母1004并且将其反馈到模型。图10至图12所示的序列为初始输入“play”生成预测字母，从而得到字词“Play Station”。
图13是符合本发明原理的示例逻辑的流程图。在框1300处，训练本文描述的NN系统。移动到框1302，在触控板上接收重按，并且在框1304处，使用热图(如果需要的话)基于该重按来建立字母。在框1306处，将字母输入到NN系统，这在框1308处输出预测的字母或字词或字词串。在框1310处，将预测的字母/字词呈现在屏幕上。
如果在状态1312处，用户不接受预测，则在状态1314处，可移除这些预测。否则，在框1316处，确认接受的预测，并且在通过重按建立的字母之后按顺序呈现这些接受的预测。
本发明原理可用于所有可能的基于深度学习的方法以进行图像、视频和音频数据处理等等。
如从前述详细描述中可了解，本发明原理因此通过本文描述的技术解决方案来改进神经网络的自适应和训练。
将了解，虽然已经参考一些示例实施方案描述了本发明原理，但是这些实施方案并不意图是限制性的，并且可使用各种替代布置来实现本文所要求保护的主题。

Claims (20)

1.一种设备，所述设备包括：
至少一个处理器；以及
至少一个计算机存储设备，所述至少一个计算机存储设备不是瞬时信号并且包括指令，所述指令能够由所述至少一个处理器执行以：
在计算机模拟控制器的触控板上接收触摸信号；
响应于所述触摸信号指示第一压力，移动在远离所述控制器的显示器上的光标并且不建立对字母的选择；以及
响应于所述触摸信号指示大于所述第一压力的第二压力，建立对第一字母数字字符的选择并且在所述显示器上呈现所述第一字母数字字符。
2.如权利要求1所述的设备，其中所述处理器体现在所述计算机模拟控制器中。
3.如权利要求1所述的设备，其中所述处理器体现在计算机模拟控制台中，所述计算机模拟控制台被配置用于与所述计算机模拟控制器通信。
4.如权利要求1所述的设备，其中所述指令能够执行以：
响应于所述触摸信号指示所述第二压力，移动所述显示器上的所述光标。
5.如权利要求1所述的设备，其中所述指令能够执行以：
响应于所述触摸信号指示所述第一压力，放大所述显示器上的键盘的图像。
6.如权利要求1所述的设备，其中所述指令能够执行以：
将所述第一字母数字字符输入到至少第一神经网络(NN)；以及
从所述第一NN接收包括至少第一预测的字母数字字符的预测的字母数字字符序列。
7.如权利要求6所述的设备，其中所述指令能够执行以：
在所述显示器上紧接着所述第一字母数字字符呈现包括至少所述第一预测的字母数字字符的所述预测的字母数字字符序列。
8.如权利要求6所述的设备，其中所述第一NN包括多个长短期记忆(LSTM)网络。
9.一种方法，所述方法包括：
从计算机模拟控制器接收触摸信号；
响应于所述触摸信号指示第一压力，移动显示器上的光标；
响应于所述触摸信号指示大于所述第一压力的第二压力，建立至少第一字母；以及
在所述显示器上呈现所述第一字母。
10.如权利要求9所述的方法，所述方法包括：
将所述第一字母输入到至少第一神经网络(NN)；以及
在所述显示器上呈现由所述第一NN生成的至少第一预测的字母。
11.如权利要求10所述的方法，所述方法包括：
在所述显示器上呈现包括由所述第一NN生成的所述第一预测的字母的至少预测的字母序列。
12.如权利要求9所述的方法，所述方法包括：
使用由计算机模拟玩家在网络上输入的文本来训练所述第一NN。
13.如权利要求12所述的方法，其中所述训练包括使用至少一个双向长短期记忆(LSTM)网络来处理由计算机模拟玩家输入的所述文本。
14.如权利要求10所述的方法，所述方法包括：
将来自模拟字典的所述第一NN能够使用的字词输入到所述第一NN，以生成所述第一预测的字母。
15.如权利要求10所述的方法，所述方法包括：
将先前输入到所述计算机模拟控制器的所述第一NN能够使用的字词输入到所述第一NN，以生成所述第一预测的字母。
16.如权利要求10所述的方法，所述方法包括：
将来自由至少一个双向长短期记忆(LSTM)网络生成的字符序列模型且所述第一NN能够使用的数据输入到所述第一NN，以生成所述第一预测的字母。
17.一种组件，所述组件包括：
至少一个计算机模拟控制器；
至少一个触控板，所述至少一个触控板由所述计算机模拟控制器支持；以及
至少一个计算机存储设备，所述至少一个计算机存储包括指令，所述指令能够由至少一个处理器执行以：
响应于所述触控板上的触摸输入而在显示器上呈现字母数字字符；以及
至少部分地基于响应于所述触控板上的所述触摸输入而在所述显示器上呈现的所述字母数字字符来在所述显示器上呈现预测的字母数字字符。
18.如权利要求17所述的组件，所述组件包括至少一个计算机模拟控制台，所述至少一个计算机模拟控制台包括所述处理器并且被配置用于与所述显示器和所述计算机模拟控制器通信。
19.如权利要求17所述的组件，其中所述处理器体现在所述计算机模拟控制器中。
20.如权利要求17所述的组件，其中所述处理器体现在被配置用于接收由所述触控板上的所述触摸输入生成的信号的至少一个网络服务器上。
CN202080033653.3A 2019-04-26 2020-04-14 具有触控板输入的游戏控制器 Pending CN114072755A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/396,379 US11554322B2 (en) 2019-04-26 2019-04-26 Game controller with touchpad input
US16/396,379 2019-04-26
PCT/US2020/028099 WO2020219300A1 (en) 2019-04-26 2020-04-14 Game controller with touchpad input

Publications (1)

Publication Number Publication Date
CN114072755A true CN114072755A (zh) 2022-02-18

Family

ID=72921126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080033653.3A Pending CN114072755A (zh) 2019-04-26 2020-04-14 具有触控板输入的游戏控制器

Country Status (7)

Country Link
US (1) US11554322B2 (zh)
EP (1) EP3959721A4 (zh)
JP (1) JP7315705B2 (zh)
KR (1) KR102416421B1 (zh)
CN (1) CN114072755A (zh)
TW (1) TWI743748B (zh)
WO (1) WO2020219300A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529062B (zh) * 2020-12-04 2021-06-15 齐鲁工业大学 一种基于灵巧手触觉信息的物体分类方法
US20220355211A1 (en) * 2021-05-04 2022-11-10 Sony Interactive Entertainment Inc. Controller action recognition from video frames using machine learning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759372A (zh) * 2003-01-09 2006-04-12 美国索尼电脑娱乐公司 使用游戏控制器的字母数字键盘输入系统
US20160345048A1 (en) * 2013-08-23 2016-11-24 Korea Electronics Technology Institute Remote controller having dual touch pads and method of control using the same
US20170090749A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Systems and Methods for Disambiguating Intended User Input at an Onscreen Keyboard Using Dual Strike Zones
US20170322623A1 (en) * 2016-05-05 2017-11-09 Google Inc. Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
CN107665042A (zh) * 2012-03-26 2018-02-06 苹果公司 增强的虚拟触摸板和触摸屏
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置
CN109493977A (zh) * 2018-11-09 2019-03-19 天津新开心生活科技有限公司 文本数据处理方法、装置、电子设备及计算机可读介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680510A (en) 1995-01-26 1997-10-21 Apple Computer, Inc. System and method for generating and using context dependent sub-syllable models to recognize a tonal language
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US20090213081A1 (en) 2007-01-10 2009-08-27 Case Jr Charlie W Portable Electronic Device Touchpad Input Controller
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8542927B2 (en) 2008-06-26 2013-09-24 Microsoft Corporation Character auto-completion for online east asian handwriting input
US20100138221A1 (en) 2008-12-02 2010-06-03 Boys Donald R Dedicated hardware/software voice-to-text system
KR101553629B1 (ko) 2009-05-06 2015-09-17 삼성전자주식회사 인터페이스 제공 방법
KR101597553B1 (ko) 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US8754746B2 (en) 2009-11-16 2014-06-17 Broadcom Corporation Hand-held gaming device that identifies user based upon input from touch sensitive panel
EP2545426A4 (en) * 2010-03-12 2017-05-17 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
US20170017393A1 (en) 2010-04-23 2017-01-19 Handscape Inc., A Delaware Corporation Method for controlling interactive objects from a touchpad of a computerized device
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
JP5731281B2 (ja) * 2011-05-31 2015-06-10 Kddi株式会社 文字入力装置およびプログラム
US9262076B2 (en) * 2011-09-12 2016-02-16 Microsoft Technology Licensing, Llc Soft keyboard interface
JP5852930B2 (ja) * 2012-06-29 2016-02-03 Kddi株式会社 入力文字推定装置およびプログラム
US8997013B2 (en) 2013-05-31 2015-03-31 Google Inc. Multiple graphical keyboards for continuous gesture input
US20150019539A1 (en) * 2013-07-15 2015-01-15 Blackberry Limited Methods and devices for providing a text prediction
US9626354B2 (en) 2014-01-21 2017-04-18 Lenovo (Singapore) Pte. Ltd. Systems and methods for using tone indicator in text recognition
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9678664B2 (en) * 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
WO2017130089A1 (en) 2016-01-26 2017-08-03 Koninklijke Philips N.V. Systems and methods for neural clinical paraphrase generation
US20180018086A1 (en) 2016-07-14 2018-01-18 Google Inc. Pressure-based gesture typing for a graphical keyboard
US10855550B2 (en) 2016-11-16 2020-12-01 Cisco Technology, Inc. Network traffic prediction using long short term memory neural networks
US10146768B2 (en) * 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10228892B2 (en) * 2017-03-17 2019-03-12 Dell Products L.P. Information handling system management of virtual input device interactions
US11392237B2 (en) * 2017-04-18 2022-07-19 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
TWI635435B (zh) 2017-07-13 2018-09-11 宏碁股份有限公司 電子裝置、感測儲存裝置及其操作方法
US11087210B2 (en) 2017-08-18 2021-08-10 MyFitnessPal, Inc. Context and domain sensitive spelling correction in a database
US20200019609A1 (en) * 2018-07-13 2020-01-16 Asapp, Inc. Suggesting a response to a message by selecting a template using a neural network
US11216510B2 (en) * 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759372A (zh) * 2003-01-09 2006-04-12 美国索尼电脑娱乐公司 使用游戏控制器的字母数字键盘输入系统
CN107665042A (zh) * 2012-03-26 2018-02-06 苹果公司 增强的虚拟触摸板和触摸屏
US20160345048A1 (en) * 2013-08-23 2016-11-24 Korea Electronics Technology Institute Remote controller having dual touch pads and method of control using the same
US20170090749A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Systems and Methods for Disambiguating Intended User Input at an Onscreen Keyboard Using Dual Strike Zones
US20170322623A1 (en) * 2016-05-05 2017-11-09 Google Inc. Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置
CN109493977A (zh) * 2018-11-09 2019-03-19 天津新开心生活科技有限公司 文本数据处理方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
US11554322B2 (en) 2023-01-17
JP2022529856A (ja) 2022-06-24
EP3959721A4 (en) 2023-01-18
KR20200125514A (ko) 2020-11-04
KR102416421B1 (ko) 2022-07-04
US20200338445A1 (en) 2020-10-29
JP7315705B2 (ja) 2023-07-26
TW202121265A (zh) 2021-06-01
TWI743748B (zh) 2021-10-21
EP3959721A1 (en) 2022-03-02
WO2020219300A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7470137B2 (ja) 視覚的特徴をサウンドタグに相関させることによるビデオタグ付け
US10228810B2 (en) Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
JP7277611B2 (ja) テキスト類似性を使用した視覚的タグのサウンドタグへのマッピング
CN107172471A (zh) 实现在显示设备上运行触摸屏应用的装置和显示设备
WO2021158391A1 (en) Automated weapon selection for new players using ai
KR102416421B1 (ko) 터치 패드 입력을 갖는 게임 컨트롤러
US20220258045A1 (en) Attention-based ai determination of player choices
WO2019099182A1 (en) Generation and customization of personalized avatars
US9807444B2 (en) Running touch screen applications on display device not having touch capability using a remote controller not having any touch sensitive surface
US10845954B2 (en) Presenting audio video display options as list or matrix
US10579732B2 (en) Accessibility menu from remote control
US20180081484A1 (en) Input method for modeling physical objects in vr/digital
US20190391662A1 (en) Gesture-based user interface for ar and vr with gaze trigger
US11471765B2 (en) Handwriting recognition using cardinal directions between sample points
US11778261B2 (en) Electronic content glossary
US11048356B2 (en) Microphone on controller with touchpad to take in audio swipe feature data
US20220355211A1 (en) Controller action recognition from video frames using machine learning
US11474620B2 (en) Controller inversion detection for context switching
WO2023010020A1 (en) Using signing for input to search fields
US20210121784A1 (en) Like button

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination