CN102609185A - 用于触摸显示器的虚拟控制器 - Google Patents

用于触摸显示器的虚拟控制器 Download PDF

Info

Publication number
CN102609185A
CN102609185A CN2011104484715A CN201110448471A CN102609185A CN 102609185 A CN102609185 A CN 102609185A CN 2011104484715 A CN2011104484715 A CN 2011104484715A CN 201110448471 A CN201110448471 A CN 201110448471A CN 102609185 A CN102609185 A CN 102609185A
Authority
CN
China
Prior art keywords
finger
controller
lowering position
detect
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104484715A
Other languages
English (en)
Other versions
CN102609185B (zh
Inventor
O·伯克斯
J·H·马修斯三世
A·盖格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102609185A publication Critical patent/CN102609185A/zh
Application granted granted Critical
Publication of CN102609185B publication Critical patent/CN102609185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/609—Methods for processing data by generating or executing the game program for unlocking hidden game elements, e.g. features, items, levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明涉及用于触摸显示器的虚拟控制器。提供了用于具有包括被配置成检测用户的手指的触敏的触摸传感器的触敏显示器的计算设备的系统和方法。该方法可包括通过触摸传感器检测所述显示器上的初始手指落下位置，以及在所述手指落下位置建立虚拟控制器的空档位置。该方法可进一步包括检测手指相对于初始手指落下位置的后续移动，以及根据手指相对于初始手指落下位置的后续移动确定控制器输入参数。该方法可进一步包括生成指示所确定的控制器输入参数的控制器输入消息。

Description

用于触摸显示器的虚拟控制器
技术领域
本发明涉及具有触敏显示器的计算设备，尤其涉及用于触摸显示器的虚拟控制器。
背景技术
便携式游戏设备被世界上许多用户所喜爱。一种类型的这样的游戏设备既包括硬按钮控制器又包括触摸屏，其中硬按钮控制器向用户提供触觉反馈来加强手指在控制器上的正确定位，而触摸屏使用户能够使用例如指示笔来与游戏交互。这种设备的一个缺陷是硬按钮设备中的宝贵空间，限制了显示器的大小，且增加了外壳的大小。减小硬按钮的大小是有挑战性的，因为小按钮通常对于用户而言是难以操纵的，特别是在玩快节奏游戏。另外，在也充当多功能平板计算设备或移动电话的游戏设备的上下文中，对于不玩游戏的消费者而言，设备正面上特别专用于玩游戏的专用按钮可能会有损于设备的有用性或外观。
发明内容
提供了使用具有触摸感应显示屏的计算设备所需要的方法和系统，该显示屏中包含了用于检测玩家指头宽度的触摸传感器。其中包括通过触摸传感器检测手指在触摸屏上的初次触摸的方法，以及在手指触摸位置确立虚拟控制器空闲位置的方法。还包括手指相对于初始触摸位置相对移动顺序的方法和基于手指相对于初始触摸位置移动确立控制器输入参数的方法。以及生成用于指出已确定控制器输入参数的控制器输入信息。
提供本发明内容是为了以简化的形式介绍在以下“具体实施方式”中进一步描述的一些概念。本发明内容不旨在标识出所要求保护的主题的关键特征和必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开中的任何部分所记录的任何或全部缺点的实现方式。
附图说明
图1是示出用于触摸显示器的虚拟控制器的一个实施例的计算设备的透视图。
图2是图1的计算设备的示意图。
图3是示出图1的虚拟控制器的相对移动的空档位置的图示视图。
图4是图1的虚拟控制器的空档位置的重新定位的图示视图。
图5是操纵图1的控制器图标的拇指抬起事件的图示视图。
图6是示出用于被配置为输出用于触敏显示器的虚拟控制器的计算设备的方法的流程图。
具体实施方式
图1是示出用于触敏显示器的虚拟控制器14的计算设备10的一个实施例的透视图。计算设备10可被配置为例如移动电话、平板计算机、或其他手持计算设备。计算设备10可包括诸如多触点显示器12之类的触敏显示器，该多触点显示器12包括被配置成检测用户的手指的多个触摸的触摸传感器，这将关于图2更详细地被讨论。另外，计算设备10还可以被配置为经该多个触摸从玩家接收输入，并可实现一输入方法，以便控制虚拟控制器14。这一方法将关于图6详细被描述。
首先转到图1，在使得用户能够控制诸如视频游戏之类的程序的配置中，计算设备10可以在多点触摸显示器12上显示虚拟控制器14。在所描绘的实施例中，虚拟控制器14是包括可用于控制视频游戏的各方面以允许在游戏显示区域16中进行游戏的虚拟操纵杆控制器的游戏控制器。通常，虚拟控制器以不会不适当地干扰游戏显示区域的显示的方式被呈现。在另一实施例中，虚拟控制器输入模块可以通过扬声器/话筒单元26提供对应于虚拟控制器输入的听觉反馈。
虚拟控制器14可以对用户手指的多个触摸作出响应。例如，手指可以为拇指18，拇指可以在任何常规方向移动，而该移动可由虚拟控制器14转换成一个或多个控制器输入参数。控制器输入参数可包括对应于拇指18移动的方向、速度、及/或相对大小等。结果，在某些实施例中，一个或多个控制图标20可向用户提供关于控制的定位的视觉指示，该视觉指示随着用户移动他的或她的手指而更新。
一个或多个控制图标20可表示可允许用户能够控制游戏的不同方面的一个或多个虚拟控制器14和/或辅助控制器。控制图标20各自可以是虚拟操纵杆、按钮、D-pad(方向键)按钮、滑块、以及可被操纵来控制游戏的某一方面的任何其他特征中的一个或多个。在图1所示的实施例中，将理解虚拟控制器实现MICROSOFT
Figure BDA0000126095800000031
XBOX
Figure BDA0000126095800000032
控制器。也可以使用其它控制器实现。
通常，虚拟控制器是以不会在视觉上不适当地干扰游戏显示区域的显示的方式被呈现。从而，在某些实施例中，显示画面上不提供控制器图标，以将显示画面上的游戏区域的可视面积最大化。在其他实施例中，图标可部分透明以显露其下面的游戏，或者可以短暂的时间段呈现图标然后逐渐消失。
图2是示出图1的计算设备10的软件和硬件组件的示意图。计算设备10包括多点触摸显示器12、处理器22、存储器单元24、扬声器/话筒单元26、以及大容量存储单元28，所有这些单元均被配置为通过一个或多个数据总线彼此通信。
多点触摸显示器12可采用各种显示技术来产生可视图像，且可包括例如图形用户界面(GUI)32。多点触摸显示器12可被配置为例如液晶显示器(LCD)或由多个发光像素组成的有机发光二级管(OLED)显示器。多点触摸显示器12还可包括触摸传感器30和压力传感器34。
与多点触摸显示器12耦合的触摸传感器30可检测用户手指的多个触摸，例如触摸36。与多点触摸显示器12耦合的压力传感器34可以从与手指相关联的触摸36的区域随时间的变化或从与增加的压力相关联的电特性的变化检测压力，从而充当应变仪。不背离本公开的范围，多点触摸显示器12可包括附加的或替代的传感器。
大容量存储单元28可包括各种程序和模块，这些程序和模块包括虚拟控制器输入模块42和程序38，可由处理器22使用存储器单元24和显示器12执行以实现本文所述的各种功能。另外，大容量存储单元28可存储可被配置成例如发送可控制多点触摸显示器12上的GUI 32的显示的显示输出40的一个或多个程序38。
将理解计算设备10可包括操作系统，操作系统包括应用程序编程接口(API)，通过API各种程序与操作系统资源通信并利用操作系统资源。在某些实施例中，虚拟控制器输入模块42可被实现为计算设备上的API 48。替代地，虚拟控制器输入模块可被实现为计算设备10上执行的程序、库、服务、或其他软件组件。
虚拟控制器输入模块42可由计算设备10的处理器22执行。虚拟控制器输入模块42可被配置为通过触摸传感器30、压力传感器34和/或附加传感器来在多触点显示器12上按照触摸检测用户的手指以及对应于这些触摸的移动。以这种方式，虚拟控制器输入模块42可转换一个或多个传感器接收到的数据，基于该数据生成控制器输入消息46，以及将该消息发送到程序38。
例如，虚拟控制器输入模块42可以通过触摸传感器30检测多点触摸显示器12上的初始手指落下位置。另外，虚拟控制器输入模块42可在初始手指落下位置处建立虚拟控制器14的空档位置。也就是说，虚拟控制器输入模块42可以在手指接触多点触摸显示器12时检测初始触摸。进一步，虚拟控制器输入模块42可被配置为显示锚定到空挡位置或可控地以空挡位置为中心的控制图标。在建立了空档位置后，虚拟控制器输入模块42可被配置为例如检测手指相对于该初始手指落下位置的后续移动。其中，这些触摸和移动将关于图3至图6被更详细地讨论。
虚拟控制器输入模块42可被配置为基于例如手指相对于该初始手指落下位置的该后续移动来确定控制器输入参数44。确定控制器输入参数44可包括例如确定手指相对于该初始手指落下位置的该后续移动的方向、速度和/或相对大小。进一步，可由虚拟控制器输入模块42生成指示出所确定的控制器输入参数44的控制器输入消息46，并将其发送到程序38。控制器输入消息46充当虚拟控制器输入模块和程序38之间通信通道，程序如上所述可以是视频游戏或其他程序。该消息可包括基于检测到的后续移动的控制器输入参数44，和/或下文讨论的各种其他控制器输入参数。
作为另一控制器输入参数44的一个示例，控制器输入消息46可包括关于在某一后续移动期间手指对多点触摸显示器12的压力的指示，其中该压力是基于从压力传感器34接收的信号而被检测的。检测到的压力可基于例如与手指相关联的触摸的区域随时间的变化，或基于应变仪检测到的电特性的变化。
另外，虚拟控制器输入模块42可以检测用户的手指对其他控制器的多个触摸，例如可控制游戏的各方面的与虚拟控制器14不同的辅助控制器。这些辅助控制器可与辅助控制区相关联，将关于图5更详细地讨论。基于来自这些辅助控制器的输出的控制器输入参数也可被包括在控制器输入消息46中。
如上文所述，虚拟控制器输入模块42可被实现为应用程序编程接口(API)48。从而，例如检测初始手指落下位置、建立空档位置、检测后续移动、确定控制器输入参数44以及生成控制器输入消息46可由计算设备10上执行的应用程序编程接口48执行。另外，应用程序编程接口48可将控制器输入消息46输出到要在计算设备10上被执行的程序38。在其他实施例中，虚拟控制器输入模块42可被实现为驱动器独立可执行程序、库、服务或其他类型的软件组件。
图3是示出图1的虚拟控制器14的相对移动的空档位置50的图示视图。如所示，用户的手指可做出对应于初始手指落下位置的接触，并在初始手指落下位置建立空档位置50，如上所述。用户可通过做出相对于空档位置50的移动控制虚拟控制器14。例如，用户可做出后续移动使得手指移动到位置52，或用户可做出后续移动使得手指移动到位置54。每次移动可在手指连续接触多点触摸显示器12时发生，并可以转换为由程序36以不同方式解释的不同的控制输入。例如，到位置52的后续移动可导致虚拟车辆向前行驶且向左转向，而到位置54的后续移动可导致使虚拟车辆向后开。将理解可在除了所描述的那些位置之外的位置中检测后续移动。
图4是图1的虚拟控制器14的空档位置50的重新定位的图示视图。用户有时可能从多点触摸显示器12的表面抬起手指，且继之以后续的手指落下位置以控制虚拟控制器14。在不重新定位虚拟控制器的情况下，用户可发现他或她对计算设备的紧握导致后续手指落下位置的徐变。结果，用户可能无意中错误点击虚拟控制器，导致不令人满意的用户体验、视频游戏中的悲剧结果等。
为解决这个问题，虚拟控制器输入模块42被配置为在检测到这种徐变时重新定位空档位置。该重新定位可以如下被实现。如图4所示，用户的手指可做出对应于初始手指落下位置的接触，并在该初始手指落下位置建立虚拟控制器14的空档区域，如上所述。虚拟控制器输入模块42可被配置为检测手指抬起事件58，其中，手指抬起事件58可以是例如手指不与多点触摸显示器12接触达预定的阈值时间段。
虚拟控制器输入模块42可被配置为检测第一和第二后续手指落下位置，并在后续手指落下位置的中心或相对于后续手指落下位置的其他位置将将空档位置重新定位到50B、50C处的对应位置，从而导致虚拟控制器被如14B和14C处所示那样重新定位。
在某些情形中，用户可这样定位手指使得空档位置可能相当靠近多点触摸显示器12的边缘，且可能因此导致部分虚拟控制器。为解决这个问题，可确定空档位置的最近可接受位置，并可在最近可接受位置显示控制图标。从而虚拟控制器输入模块42可被配置为如果手指落下位置和/或后续手指落下位置出现在靠近触敏显示器的边界(这会导致虚拟控制器的可操纵区域被边界阻碍)，则确定最近可接受虚拟控制器位置。在某些实施例中，该最近可接受位置可被看作是最靠近用户的手指落下位置、使虚拟控制器的整个可操纵区域位于显示画面上的位置。该特征可任选地被包括在例如新手模式期间，以允许用户变得自在掌握虚拟控制器。
在另一示例中，可拒绝检测到的空档位置而无需确定最近可接受位置，从而控制图标不被显示在该最近可接受位置处。在另一示例中，可允许部分虚拟控制器。例如，如果用户选择高级模式，可启用该部分虚拟控制器，使得可用减少的功能来控制游戏，因为边界阻碍了虚拟控制器的可操纵区域的一部分。在这种情况下，虚拟控制器可以在虚拟控制器的可操纵区域中包括控制图标的部分显示。从而，部分虚拟控制器可允许仅来自用户可见的虚拟控制器的那些部分的控制。类似地，虚拟控制器的被显示器的边界遮挡的部分可能在视图外且不可操纵，导致减少的功能。
图5是在用户尝试在使用诸如上述的虚拟操纵杆之类的主控制图标之后操纵一辅助控制图标时可检测到的拇指抬起事件的图示视图。如图5所示，可以建立空档位置50来控制虚拟控制器14。一旦建立，虚拟控制器输入模块42即可检测手指抬起事件58，并可进一步检测后续手指落下位置，例如在辅助控制区56内的手指触摸60处。
辅助控制区56可被配置为虚拟按钮或方向键(D-pad)控制器62，或其他用户输入机制。从而，辅助控制图标可被显示在对应于虚拟按钮、D-pad等的辅助控制区56中。通过显示这一辅助控制图标，虚拟控制器输入模块42可以向用户提供关于辅助控制区56的位置的指示。进一步，虚拟控制器输入模块42可被配置为基于用户手指在辅助控制区中的后续位置或相对移动来确定辅助控制输入参数。因此，虚拟控制器输入模块42可生成控制器输入消息46，以便进一步包括关于辅助控制输入参数的指示。将理解，辅助控制区56可替代地被配置成各种其他配置，以允许与其他程序相关的用户输入。
在一些实施例中，在检测到辅助控制区中的后续手指落下位置时，虚拟控制器输入模块42可被配置为禁止空档位置的重新定位。在这种情况下，虚拟控制器输入模块确定用户手不是因为无意徐变而移动，而是由于玩家控制离用作主控制的虚拟控制器预定距离和方向的辅助控制的意图。在这一情况下，虚拟控制器输入模块阻止对虚拟控制器的重新定位，而代之以使用户能够与位于辅助控制区的辅助控制进行交互。以此方式，用户可在例如主操纵杆控制器和辅助D-pad控制器之间来回切换他的或她的拇指。
图6是示出用于被配置为通过多点触摸显示器的虚拟控制器14接收输入的计算设备的方法600的流程图。方法600可以是用于具有诸如包括被配置成检测用户的手指的多个触敏的触摸传感器的多触点显示器之类的触敏显示器的计算设备的输入方法。将理解，方法600可以使用上文所述的计算设备10的软件和硬件组件或使用其他合适的组件来执行。
方法600开始于602，并包括通过触摸传感器检测触敏显示器上的初始手指落下位置。方法600前进至604，并包括如上所述在手指落下位置建立虚拟控制器的空档位置。
方法600继续至606，且包括检测手指相对于初始手指落下位置的后续移动。方法600前进到608且包括基于手指相对于初始手指落下位置的后续移动确定控制器输入参数。例如，控制器输入参数可包括与到诸如多点触摸显示器上显示的虚拟操纵杆之类的控制图标的后续移动相关联的方向、速度和/或大小。还可以检测其他控制器输入参数，如上所述。
方法600还可以继续至610，并可包括检测后续移动期间手指对多点触摸显示器的压力。因此，方法600可继续到612，并包括生成指示所确定的控制器输入参数的控制器输入消息并可进一步包括关于所检测到的压力的指示。
从612，方法600可继续至614和622两者。在622，方法600包括向计算设备上运行的程序发送包括控制器参数的控制器输入消息。在一些实施例中，步骤602-622可由API实现，而步骤624可以由计算设备上执行的程序实现。从而，从622到624的处理流程可退出操作系统/API空间，并进入程序空间。在624，该方法可包括在程序中基于接收到的控制器输入消息调整GUI元素。从624，方法600可结束，或者可替代地循环到步骤606以继续检测输入。
返回到步骤612的结束，该方法也可分支到614，在614处，该方法包括例如基于检测到在预定的时间段内没有与显示器的接触来判断是否发生手指抬起事件。如果对614的回答是“否”，则方法600继续至606并重新开始检测输入。如果对614的回答是“是”，则方法600继续至616且包括检测后续手指落下位置。
然后方法600继续至618并包括确定是否已在辅助控制区中检测到后续手指落下位置。如果对618的答案是“否”，则方法600继续至604，以重新建立空档控制器位置。也就是说，604可包括如上所述的在后续手指落下位置重新定位虚拟控制器的空档位置。
如果对618的回答是“是”，则不重新定位空档位置。相反，方法600继续至620，并包括基于辅助控制区中的后续手指落下位置确定辅助控制输入参数。例如，可以将辅助控制图标显示在辅助控制区中，辅助控制图标可被配置为D-pad控制器，示例辅助控制输入参数可以是D-pad控制器按下事件。上文还讨论了其他示例。从620，方法600返回至612，在612，生成控制器输入消息可包括关于辅助控制输入参数的指示。
如上文所讨论的，在一些实施例中，方法600的一些部分可由计算设备中执行的API执行。例如，API可执行检测初始手指落下位置、建立空档位置、检测后续移动、确定控制器输入参数和/或生成控制器输入消息。
如上文所讨论的，在一些实施例中，方法600的一些部分可进一步包括在诸如手指落下位置和/或后续手指落下位置之类的手指触摸出现在靠近触敏显示器的边界的区域中(这会导致虚拟控制器的可操纵区域被边界妨碍)的情况下，确定最近可接受虚拟控制器位置。该最近可接受虚拟控制器位置可以如上所述地被确定。在该最近可接受虚拟控制器位置而不是在手指触摸所检测到的空档位置处，虚拟控制器可被定位且一控制图标可被显示。在其他示例中，可以拒绝所检测到的空档位置而不显示最近可接受虚拟控制器位置，或者虚拟控制器可部分地可见以及可被操纵，如上所讨论的。
将理解，上述系统和方法可被实现来使得用户能够使用显示在被配置为接受相对输入且还可具有相关联的辅助控制的触敏显示器上的虚拟控制器来与程序交互。另外，虚拟控制器可在玩家同时紧握设备并操纵控制时，方便地重新定位其空档位置以跟踪用户的手位置的任何变化。结果，可避免控制器错误点击，且可增强用户体验。
本文使用术语“模块”、“程序”和“引擎”来指代在计算设备的处理器执行时执行一个或多个特定功能的软件。这些术语意图包含例如个体的或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录。本文所述的实施例示出了这些模块、程序和引擎等的一个示例组织，但应理解的是，本文所描述的功能可由被不同地组织的软件组件来实现。此外，将理解的是，多点触摸显示器是一种能够在显示器上同时感测多个触摸的显示器。
要理解的是，本文所述的配置和/或方法在本质上是示例性的，且不应在限制性的意义上考虑这些特定的实施例或示例，因为许多变型是可能的。本文所述的特定例程和方法可代表任何数量的处理策略中的一个或多个。如此，所示各种动作可以按所示顺序执行，以其他顺序执行，并行执行，或在某些情况下被省略。类似地，上述的过程的顺序可被改变。
本公开的主题包括本文所揭示的各种过程、系统和配置以及其他特征、功能、动作和/或特性，以及它们的任何和全部等同物的所有新颖和非显而易见的组合和子组合。

Claims (20)

1.一种用于计算设备的输入方法，所述计算设备具有包括被配置成检测用户的手指的触摸的触摸传感器的触敏显示器，所述方法包括：
通过所述触摸传感器检测在所述触敏显示器上的初始手指落下位置；
在所述手指落下位置建立虚拟控制器的空档位置；
检测手指相对于所述初始手指落下位置的后续移动；
基于手指相对于所述初始手指落下位置的所述后续移动确定控制器输入参数；以及
生成指示所确定的控制器输入参数的控制器输入消息。
2.如权利要求1所述的方法，其特征在于，还包括：
检测手指抬起事件；
检测后续手指落下位置；以及
在所述后续手指落下位置重新定位所述虚拟控制器的所述空档位置。
3.如权利要求2所述的方法，其特征在于，所述手指抬起事件是手指与所述显示器不接触达预定阈值时间段。
4.如权利要求2所述的方法，其特征在于，还包括：
如果所述手指落下位置和/或所述后续手指落下位置出现在靠近所述触敏显示器的边界的区域内，则确定最近可接受虚拟控制器位置，其中所述手指落下位置和/或所述后续手指落下位置出现在靠近所述触敏显示器的边界的区域内会导致所述虚拟控制器的可操纵区域受到所述边界的妨碍。
5.如权利要求1所述的方法，其特征在于，所述手指是拇指，而所述虚拟控制器是虚拟操纵杆控制器。
6.如权利要求1所述的方法，其特征在于，确定控制器输入参数包括确定所述手指相对于所述初始手指落下位置的后续移动的方向、速度和/或相对大小。
7.如权利要求1所述的方法，其特征在于，检测初始手指落下位置、建立空档位置、检测后续移动、确定控制器输入参数以及生成控制器输入消息是由计算设备上执行的应用程序编程接口执行的，所述方法进一步包括：
从所述应用程序编程接口向所述计算设备上执行的程序输出所述控制器输入消息。
8.如权利要求1所述的输入方法，其特征在于，还包括：
检测所述后续移动期间所述手指对所述触敏显示器的压力，其中生成控制器输入消息包括关于所检测到的压力的指示。
9.如权利要求8所述的输入方法，其特征在于，检测压力包括从与所述手指相关联的触摸的区域随时间的变化确定压力，和/或从耦合于所述触敏显示器的压力传感器确定压力。
10.如权利要求1所述的输入方法，其特征在于，还包括：
检测手指抬起事件；
检测辅助控制区中的后续手指落下位置；
在检测到所述辅助控制区中的后续手指落下位置时，禁止对所述空档位置的重新定位；以及
基于所述辅助控制区中的所述后续手指落下位置确定辅助控制输入参数；
其中，所生成的控制器输入消息包括关于所述辅助控制输入参数的指示。
11.如权利要求10所述的输入方法，其特征在于，所述辅助控制区被配置为虚拟按钮或方向键。
12.一种计算设备，包括：
包括被配置为检测用户的手指的触摸的触摸传感器的触敏显示器；
由所述计算设备的处理器执行的虚拟控制器输入模块，所述虚拟控制器输入模块被配置为：
通过所述触摸传感器检测所述触敏显示器上的初始手指落下位置；
在所述初始手指落下位置建立虚拟控制器的空档位置；
检测所述手指相对于所述初始手指落下位置的后续移动；
根据所述手指相对于所述初始手指落下位置的后续移动确定控制器输入参数；以及
生成指示所确定的控制器输入参数的控制器输入消息。
13.如权利要求12所述的计算设备，其特征在于，所述虚拟控制器输入模块被配置为：
检测手指抬起事件；
检测后续手指落下位置；以及
在所述后续手指落下位置重新定位所述虚拟控制器的空档位置。
14.如权利要求12所述的方法，其特征在于，所述手指是拇指，而所述虚拟控制器是虚拟操纵杆控制器。
15.如权利要求12所述的计算设备，其特征在于，所述虚拟控制器输入模块被配置为显示锚定在所述空档位置的控制图标，所述控制图标向所述用户提供关于控制的定位的可视指示。
16.如权利要求12所述的计算设备，其特征在于，所述计算设备被配置为移动电话或平板计算机。
17.如权利要求12所述的计算设备，其特征在于，所述控制器输入消息包括关于在所述后续移动期间所述手指对所述显示器的压力的指示，其中所述压力是基于从与所述触敏显示器耦合的压力传感器接收的信号或基于与所述手指相关联的触摸的区域随时间的变化而被检测的。
18.如权利要求12所述的计算设备，其特征在于，所述虚拟控制器输入模块进一步被配置为：
检测手指抬起事件；
检测在辅助控制区中的后续手指落下位置；
在检测到所述辅助控制区中的所述后续手指落下位置时，禁止对所述空档位置的重新定位；
基于在所述辅助控制区中的后续用户触摸，确定辅助控制输入参数；以及
生成所述控制器输入消息以进一步包括关于所述辅助控制输入参数的指示。
19.如权利要求18所述的计算设备，其特征在于，所述辅助控制区被配置为虚拟按钮或方向键，并且其中所述虚拟控制器输入模块被配置为在所述触敏显示器上在所述辅助控制区中显示辅助控制图标，以提供关于所述辅助控制区的位置的指示。
20.一种用于计算设备的输入方法，所述计算设备具有包括被配置成检测用户的手指的多个触摸的触摸传感器的多点触摸显示器，所述方法包括：
通过所述触摸传感器检测所述多点触摸显示器上的初始手指落下位置；
在所述手指落下位置建立虚拟控制器的空档位置；
检测所述手指相对于所述初始手指落下位置的后续移动；
根据所述手指相对于所述初始手指落下位置的后续移动的方向、速度和/或相对大小确定控制器输入参数；
生成指示所确定的控制器输入参数的控制器输入消息；
检测手指抬起事件；
检测后续手指落下位置；以及
在所述后续手指落下位置重新定位所述虚拟控制器的所述空档位置。
CN201110448471.5A 2010-12-29 2011-12-28 包括虚拟控制器的计算设备及其输入方法 Active CN102609185B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/981,139 US9411509B2 (en) 2010-12-29 2010-12-29 Virtual controller for touch display
US12/981,139 2010-12-29

Publications (2)

Publication Number Publication Date
CN102609185A true CN102609185A (zh) 2012-07-25
CN102609185B CN102609185B (zh) 2015-11-18

Family

ID=46380321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110448471.5A Active CN102609185B (zh) 2010-12-29 2011-12-28 包括虚拟控制器的计算设备及其输入方法

Country Status (8)

Country Link
US (2) US9411509B2 (zh)
EP (1) EP2659340B1 (zh)
JP (1) JP5951638B2 (zh)
KR (1) KR101885685B1 (zh)
CN (1) CN102609185B (zh)
HK (1) HK1172419A1 (zh)
TW (2) TW201714646A (zh)
WO (1) WO2012092296A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
CN106362393A (zh) * 2015-07-20 2017-02-01 新游网络科技有限公司 用于控制游戏的方法、设备和记录介质
CN107678662A (zh) * 2016-08-01 2018-02-09 腾讯科技（深圳）有限公司 一种基于按键的控制方法、装置及智能终端
CN107810471A (zh) * 2015-06-26 2018-03-16 微软技术许可有限责任公司 触敏显示设备的选择性指针偏移
CN109716267A (zh) * 2017-01-19 2019-05-03 谷歌有限责任公司 用于虚拟控制器的功能分配
WO2019242194A1 (zh) * 2018-06-22 2019-12-26 网易（杭州）网络有限公司 虚拟对象控制方法及装置、电子设备、存储介质
CN112930518A (zh) * 2018-11-06 2021-06-08 沃尔沃卡车集团 用于处理用户的用户输入的手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法
CN114489457A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 虚拟对象的控制方法、装置、可读介质和电子设备

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999031411A1 (en) 1997-12-12 1999-06-24 Caterpillar Inc. Face seal assembly with interfitting load ring
US20120192078A1 (en) * 2011-01-26 2012-07-26 International Business Machines Method and system of mobile virtual desktop and virtual trackball therefor
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
JP5379250B2 (ja) * 2011-02-10 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 入力装置、情報処理装置および入力値取得方法
US9132735B2 (en) * 2011-02-17 2015-09-15 George Black Electric car systems
CN102760049A (zh) * 2011-04-26 2012-10-31 蓝云科技股份有限公司 行动装置及其与具有显示功能的电子装置互动的方法
EP2722742A4 (en) * 2011-09-13 2015-06-17 Sony Computer Entertainment Inc INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, DATA STRUCTURE OF CONTENT FILE, GUI PLACEMENT SIMULATOR, AND GUI PLACEMENT SETTING ASSIST METHOD
EP2776908A4 (en) 2011-11-09 2015-07-15 Blackberry Ltd INPUT DEVICE AND METHOD FOR ELECTRONIC APPARATUS
US9454617B1 (en) 2011-12-30 2016-09-27 hopTo Inc. Client rendering
US9367931B1 (en) 2011-12-30 2016-06-14 hopTo Inc. Motion vectors for cross-platform display
US9223534B1 (en) 2011-12-30 2015-12-29 hopTo Inc. Client side detection of motion vectors for cross-platform display
US9218107B1 (en) 2011-12-30 2015-12-22 hopTo Inc. Cloud-based text management for cross-platform display
TW201334843A (zh) * 2012-02-20 2013-09-01 Fu Li Ye Internat Corp 具有觸控面板媒體的遊戲控制方法及該遊戲媒體
US9868062B2 (en) * 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
US9106612B1 (en) 2012-05-18 2015-08-11 hopTo Inc. Decomposition and recomposition for cross-platform display
US9124562B1 (en) 2012-05-18 2015-09-01 hopTo Inc. Cloud-based decomposition and recomposition for cross-platform display
KR101431581B1 (ko) * 2012-06-22 2014-09-23 성균관대학교산학협력단 모바일 단말기를 기반으로 한 가상 게임 컨트롤러 장치 및 이를 이용한 원격 컨트롤 시스템
JP5563633B2 (ja) * 2012-08-31 2014-07-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9588515B2 (en) * 2012-12-31 2017-03-07 General Electric Company Systems and methods for remote control of a non-destructive testing system
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2014147511A (ja) 2013-01-31 2014-08-21 Gree Inc プログラム、表示システム及びサーバ装置
JP6095393B2 (ja) * 2013-02-12 2017-03-15 株式会社スクウェア・エニックス ビデオゲーム装置、及びビデオゲーム処理プログラム
US9250782B1 (en) * 2013-03-15 2016-02-02 hopTo Inc. Using split windows for cross-platform document views
US9430134B1 (en) 2013-03-15 2016-08-30 hopTo Inc. Using split windows for cross-platform document views
KR101371660B1 (ko) * 2013-04-17 2014-03-10 인제대학교 산학협력단 가상 트랙볼을 이용한 터치스크린 제어방법
US20140327643A1 (en) * 2013-05-02 2014-11-06 Nvidia Corporation Display panel protection with overpressure sensor on mobile device
TWI514196B (zh) 2013-08-05 2015-12-21 Ind Tech Res Inst 觸覺回饋裝置
TW201530421A (zh) * 2014-01-23 2015-08-01 Zeroplus Technology Co Ltd 用於智慧型手持裝置之透明輔助指向元件
KR102516422B1 (ko) * 2014-02-25 2023-03-31 주식회사 넥슨코리아 터치 입력에 의해 제어되는 단말 및 단말 제어 방법
KR20150107528A (ko) 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
JP6990962B2 (ja) * 2014-06-09 2022-01-12 雅人 桑原 情報処理装置
JP2014208258A (ja) * 2014-06-12 2014-11-06 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9940774B2 (en) * 2014-09-08 2018-04-10 Bally Gaming, Inc. Multi-touch gesture gaming system and method
US10088993B2 (en) 2015-04-01 2018-10-02 Ebay Inc. User interface for controlling data navigation
US10484459B2 (en) 2015-09-03 2019-11-19 Nvidia Corporation Dynamically providing host input control for streaming applications
US9977569B2 (en) 2016-01-29 2018-05-22 Visual Supply Company Contextually changing omni-directional navigation mechanism
US9910563B2 (en) * 2016-01-29 2018-03-06 Visual Supply Company Contextually changing omni-directional navigation mechanism
KR102481632B1 (ko) * 2016-04-26 2022-12-28 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
JP2018010541A (ja) * 2016-07-14 2018-01-18 望月 貴里子 ユーザーインターフェース
JP6661513B2 (ja) * 2016-10-31 2020-03-11 株式会社バンク・オブ・イノベーション ビデオゲーム処理装置、及びビデオゲーム処理プログラム
WO2018091861A1 (en) * 2016-11-15 2018-05-24 Space Ape Games (Uk) Ltd Graphical user interface for single-input controls in a racing game on a touchscreen device
JP2018152042A (ja) * 2017-03-13 2018-09-27 ウィキパッド，インコーポレーテッド タッチスクリーンを支持する可撓性のブリッジを備えるゲームコントローラ
JP6450794B2 (ja) * 2017-03-27 2019-01-09 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
JP2018161446A (ja) * 2017-03-27 2018-10-18 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
US10369470B2 (en) * 2017-04-28 2019-08-06 PlayFusion Limited User interface control cluster for enhancing a gaming experience
KR102335141B1 (ko) * 2017-05-29 2021-12-03 주식회사 엔씨소프트 게임 입력 오류 보정 장치 및 방법
CN107426412B (zh) * 2017-06-09 2020-08-04 网易（杭州）网络有限公司 信息处理方法及装置、存储介质、电子设备
KR20190021774A (ko) * 2017-08-23 2019-03-06 삼성전자주식회사 터치 이벤트를 처리하는 전자 장치 및 그 제어 방법
JP6418299B1 (ja) * 2017-09-15 2018-11-07 株式会社セガゲームス 情報処理装置及びプログラム
CN108579077B (zh) * 2018-03-12 2019-09-06 网易（杭州）网络有限公司 信息处理方法、装置、存储介质及电子设备
JP7037177B2 (ja) 2018-03-29 2022-03-16 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
WO2019187619A1 (ja) * 2018-03-29 2019-10-03 株式会社コナミデジタルエンタテインメント 情報処理装置およびそのプログラムを記録した記録媒体
JP6964884B2 (ja) * 2018-04-25 2021-11-10 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
WO2019235180A1 (ja) * 2018-06-06 2019-12-12 株式会社コナミデジタルエンタテインメント 記録媒体、及び、情報処理装置
US11045719B2 (en) * 2018-09-12 2021-06-29 King.Com Ltd. Method and computer device for controlling a touch screen
CN109395373B (zh) * 2018-09-14 2021-12-07 深圳市腾讯信息技术有限公司 对象控制方法和装置、存储介质及电子装置
JP7409770B2 (ja) * 2018-12-28 2024-01-09 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及び端末装置
CN109840043B (zh) * 2019-01-30 2021-08-10 腾讯科技（深圳）有限公司 在虚拟环境中建造建筑物的方法、装置、设备及存储介质
KR102658803B1 (ko) * 2019-08-22 2024-04-19 엘지전자 주식회사 이동 단말기 및 이동 단말기를 구비한 전자장치
US10872499B1 (en) * 2019-09-12 2020-12-22 Igt Electronic gaming machines with pressure sensitive inputs for evaluating player emotional states
JP7064789B2 (ja) * 2020-09-16 2022-05-11 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
JP7434601B2 (ja) 2021-05-14 2024-02-20 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド ウィジェットの表示方法、装置、機器及びコンピュータプログラム
JP2023001762A (ja) * 2021-06-21 2023-01-06 株式会社アニプレックス ゲームをプレイヤに提供するプログラムおよび情報処理装置
US11745101B2 (en) * 2021-09-11 2023-09-05 Sony Interactive Entertainment Inc. Touch magnitude identification as input to game

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080076200A (ko) * 2007-02-15 2008-08-20 오의진 터치스크린을 이용한 데이터 입력장치
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
KR20100027311A (ko) * 2008-09-02 2010-03-11 황재엽 당구게임의 사용자인터페이스 제공 방법
CN101681234A (zh) * 2007-06-13 2010-03-24 苹果公司 速度/位置模式转换
WO2010075136A2 (en) * 2008-12-22 2010-07-01 Palm, Inc. Touch-sensitive display screen with absolute and relative input modes
KR20100134339A (ko) * 2009-06-15 2010-12-23 주식회사 인프라웨어 터치스크린을 구비한 정보통신단말기에서 화면의 확대축소 인터페이스를 제공하는 방법 및 이를 구현한 프로그램을 담고 있는 정보기록매체

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541866B2 (ja) 1997-08-21 2004-07-14 日立プリンティングソリューションズ株式会社 インクジェットヘッドの接着不良診断方法
JP4280314B2 (ja) 1997-11-27 2009-06-17 富士フイルム株式会社 画面表示部を有する機器の操作装置
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP4032404B2 (ja) 1998-07-10 2008-01-16 フジノン株式会社 操作装置
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US6572108B1 (en) 2002-01-30 2003-06-03 Radica China Ltd Game pad controller
US7780527B2 (en) 2002-05-14 2010-08-24 Atronic International Gmbh Gaming machine having three-dimensional touch screen for player input
JP4269155B2 (ja) 2003-06-25 2009-05-27 日本電気株式会社 ポインティングデバイス制御システムおよび電子機器
JP4127536B2 (ja) 2004-01-20 2008-07-30 任天堂株式会社 ゲーム装置及びゲームプログラム
JP3734820B1 (ja) 2004-09-03 2006-01-11 任天堂株式会社 ゲームプログラム、ゲーム装置、および入力装置
JP2006139615A (ja) 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
US20060111180A1 (en) 2004-11-25 2006-05-25 Zeroplus Technology Co., Ltd. Touch-control game controller
JP4748657B2 (ja) 2005-06-24 2011-08-17 任天堂株式会社 入力データ処理プログラムおよび入力データ処理装置
JP2009025848A (ja) 2005-11-08 2009-02-05 Panasonic Corp 入力手段を有する表示装置及びそれを備えた情報機器装置、ならびに入力手段を有する表示装置の駆動方法
US8882590B2 (en) 2006-04-28 2014-11-11 Nintendo Co., Ltd. Touch-controlled game character motion providing dynamically-positioned virtual control pad
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
JP2008217548A (ja) 2007-03-06 2008-09-18 Tokai Rika Co Ltd 操作入力装置
US8074178B2 (en) 2007-06-12 2011-12-06 Microsoft Corporation Visual feedback display
WO2009089050A1 (en) 2008-01-08 2009-07-16 Cirque Corporation Game controller touchpad providing touch stick functionality and relative and absolute position input
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
US20100064261A1 (en) * 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
JP5464684B2 (ja) 2008-09-19 2014-04-09 株式会社ソニー・コンピュータエンタテインメント 入力装置及び入力操作補助パネル
JP4932010B2 (ja) 2010-01-06 2012-05-16 株式会社スクウェア・エニックス ユーザインタフェース処理装置、ユーザインタフェース処理方法、およびユーザインタフェース処理プログラム
JP5237325B2 (ja) 2010-04-28 2013-07-17 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith
JP5418532B2 (ja) 2011-03-29 2014-02-19 アイシン・エィ・ダブリュ株式会社 表示装置および表示装置の制御方法並びにプログラム
US8678927B2 (en) 2011-10-04 2014-03-25 Microsoft Corporation Game controller on mobile touch-enabled devices
US20130093690A1 (en) 2011-10-17 2013-04-18 Matthew Nicholas Papakipos Multi-Action Game Controller with Touch Screen Input Device
US9868062B2 (en) 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
JP5563633B2 (ja) 2012-08-31 2014-07-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080076200A (ko) * 2007-02-15 2008-08-20 오의진 터치스크린을 이용한 데이터 입력장치
CN101681234A (zh) * 2007-06-13 2010-03-24 苹果公司 速度/位置模式转换
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
KR20100027311A (ko) * 2008-09-02 2010-03-11 황재엽 당구게임의 사용자인터페이스 제공 방법
WO2010075136A2 (en) * 2008-12-22 2010-07-01 Palm, Inc. Touch-sensitive display screen with absolute and relative input modes
KR20100134339A (ko) * 2009-06-15 2010-12-23 주식회사 인프라웨어 터치스크린을 구비한 정보통신단말기에서 화면의 확대축소 인터페이스를 제공하는 방법 및 이를 구현한 프로그램을 담고 있는 정보기록매체

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
CN107810471A (zh) * 2015-06-26 2018-03-16 微软技术许可有限责任公司 触敏显示设备的选择性指针偏移
CN106362393A (zh) * 2015-07-20 2017-02-01 新游网络科技有限公司 用于控制游戏的方法、设备和记录介质
CN107678662A (zh) * 2016-08-01 2018-02-09 腾讯科技（深圳）有限公司 一种基于按键的控制方法、装置及智能终端
CN109716267A (zh) * 2017-01-19 2019-05-03 谷歌有限责任公司 用于虚拟控制器的功能分配
WO2019242194A1 (zh) * 2018-06-22 2019-12-26 网易（杭州）网络有限公司 虚拟对象控制方法及装置、电子设备、存储介质
CN112930518A (zh) * 2018-11-06 2021-06-08 沃尔沃卡车集团 用于处理用户的用户输入的手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法
CN112930518B (zh) * 2018-11-06 2024-05-24 沃尔沃卡车集团 手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法
CN114489457A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 虚拟对象的控制方法、装置、可读介质和电子设备
CN114489457B (zh) * 2022-01-27 2024-01-19 北京字跳网络技术有限公司 虚拟对象的控制方法、装置、可读介质和电子设备

Also Published As

Publication number Publication date
JP5951638B2 (ja) 2016-07-13
EP2659340A2 (en) 2013-11-06
EP2659340B1 (en) 2023-02-22
EP2659340A4 (en) 2017-11-15
CN102609185B (zh) 2015-11-18
TW201714646A (zh) 2017-05-01
TWI568480B (zh) 2017-02-01
HK1172419A1 (zh) 2013-04-19
TW201228694A (en) 2012-07-16
US9817569B2 (en) 2017-11-14
WO2012092296A2 (en) 2012-07-05
US20160328069A1 (en) 2016-11-10
JP2014506364A (ja) 2014-03-13
WO2012092296A3 (en) 2012-11-29
KR20130133224A (ko) 2013-12-06
US20120169610A1 (en) 2012-07-05
KR101885685B1 (ko) 2018-08-07
US9411509B2 (en) 2016-08-09

Similar Documents

Publication Publication Date Title
CN102609185B (zh) 包括虚拟控制器的计算设备及其输入方法
JP4138340B2 (ja) コンピュータシステムの補助用コントロールを検出してフィードバックを与える方法
JP4737912B2 (ja) コンピュータ入力装置に近接する物理的存在の感知に応答して情報を表示する方法
EP2508972B1 (en) Portable electronic device and method of controlling same
CN101526880B (zh) 触摸事件模型
US20130057472A1 (en) Method and system for a wireless control device
EP1942399A1 (en) Multi-event input system
US20130217498A1 (en) Game controlling method for use in touch panel medium and game medium
US20110199393A1 (en) Foot Gestures for Computer Input and Interface Control
EP2341419A1 (en) Device and method of control
US8754872B2 (en) Capacitive touch controls lockout
KR20140112470A (ko) 터치 가능한 모바일 기기 상의 게임 컨트롤러
KR20120016054A (ko) 적응 입력 장치를 위한 콘텍스트 기반 상태 변경
CN110413187B (zh) 交互智能设备的批注的处理方法和装置
CN110545889A (zh) 游戏系统、游戏控制装置以及程序
TW200941303A (en) Multi-object direction touch selection method and device, electronic device, computer accessible recording media and computer program product
US20130321322A1 (en) Mobile terminal and method of controlling the same
CN110673810B (zh) 显示设备及其显示方法、装置、存储介质和处理器
EP3340047B1 (en) Display and method in an electric device
US20100038151A1 (en) Method for automatic switching between a cursor controller and a keyboard of depressible touch panels
JP5841023B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2019080928A (ja) ゲームシステム、ゲーム制御装置、及びプログラム
JP2013175174A (ja) 電子機器、入力システムおよび制御方法
US11908097B2 (en) Information processing system, program, and information processing method
JP5773818B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1172419

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150722

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150722

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1172419

Country of ref document: HK