CN108139861B - 基于操作历史来预测触摸对象的计算机可读介质、电子装置、系统和控制方法 - Google Patents

基于操作历史来预测触摸对象的计算机可读介质、电子装置、系统和控制方法 Download PDF

Info

Publication number
CN108139861B
CN108139861B CN201680059170.4A CN201680059170A CN108139861B CN 108139861 B CN108139861 B CN 108139861B CN 201680059170 A CN201680059170 A CN 201680059170A CN 108139861 B CN108139861 B CN 108139861B
Authority
CN
China
Prior art keywords
event
touch
candidate
events
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680059170.4A
Other languages
English (en)
Other versions
CN108139861A (zh
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN108139861A publication Critical patent/CN108139861A/zh
Application granted granted Critical
Publication of CN108139861B publication Critical patent/CN108139861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的是基于操作历史来预测触摸的对象。本发明是用于使具有显示单元和接触式位置输入单元的电子装置执行以下步骤的程序：将包括与事件相关联的对象的画面显示在显示单元上的步骤；在检测到对接触式位置输入单元的触摸并且两个以上的对象位于相对于所检测到的触摸的坐标的预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；在检测到不明确触摸的情况下选择候选对象的步骤，该候选对象是位于相对于所检测到的触摸的坐标的预定距离内的两个以上的对象；基于候选事件、紧前执行的事件的序列、以及事件历史信息来确定与各候选事件的发生有关的权重的步骤，该候选事件是与所选择的各候选对象相关联的事件；以及执行或提示具有最高权重的候选事件的步骤。

Description

基于操作历史来预测触摸对象的计算机可读介质、电子装置、 系统和控制方法
技术领域
本发明涉及基于操作历史来预测触摸对象的程序、电子装置、系统和控制方法。
背景技术
随着近年来触摸屏技术的提高，经由用户界面来在触摸屏上进行用户输入的类型的电子装置已经变得普及。此外，在电子装置上所执行的游戏中，代替经由传统的物理控制器来进行用户输入，经由电子装置上所设置的触摸屏来进行的形式的用户输入正变得普及。
特别地，诸如智能电话等的小型便携式电子装置快速普及，并且在这种便携式电子装置上执行的大量游戏已经被发布。在游戏者利用手指等来操作这种游戏时，存在游戏者设想的轻击位置相对于电子装置所识别出的轻击事件的位置存在很大偏差的情况。
此外，在游戏者的操作自由度高的游戏中，在涉及可以选择的用户界面对象的数量多的情况下，智能电话的画面在面积方面受到限制，这导致对象变得密集地集中的趋势。在操作密集地集中的对象时，难以正确地轻击特定用户界面对象的中心，因而误输入趋于发生。
用作误输入的解决方案的现有技术包括切换操作模式以改变用于识别轻击位置的方法的方案、以及专利文献1中所述的在如软键盘那样的静态布局的用户界面上针对误轻击的输入进行校正的方案。
引用列表
专利文献
专利文献1：日本特开2000-66817
发明内容
发明要解决的问题
然而，尚不存在使得在具有如游戏那样的动态布局的用户界面的状态下能够在无需改变操作模式的情况下无缝地校正误轻击的技术。
如上所述，在游戏者对对象密集地集中的画面进行操作的情况下，由于游戏者难以正确地轻击特定对象，因此误轻击的可能性高。具体地，在将手指的大小(10～15mm)和电子装置所识别出的轻击事件的发生的点的大小(1点＝0.16～0.35mm)彼此进行比较的情况下，存在约30倍～100倍的大小方面的差异，因而游戏者设想的轻击位置相对于电子装置所识别出的轻击事件的位置存在很大偏差。特别地，在3D对象在画面上密集显示的游戏中，由于轻击位置的识别的这种不一致而执行不意图的控制的可能性高。随着显示器的分辨率变得越高，这种不一致变得越显著。这可能向游戏者施加不是游戏本来意图的压力，因而会妨碍游戏者变得专注于游戏所创建的世界。
本申请的申请人定义了难以唯一判断出选择了哪一对象的触摸(轻击)作为不明确触摸(轻击)，并且考虑了上述的误轻击是不明确轻击的起因。因此，本发明的目的是在进行不明确触摸时，通过估计游戏者设想的触摸位置以排除触摸操作中的不明确性来校正误触摸。
用于解决问题的方案
本发明是有鉴于上述问题而作出的，并且具有以下特征。具体地，根据本发明的方面的程序是一种程序，其在电子装置上执行，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述程序使所述电子装置执行：将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤。
作为本发明的方面，将所检测到的触摸检测为不明确触摸的步骤是在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下所执行的步骤，所述程序还使所述电子装置执行：在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件的步骤。
作为本发明的方面，所述事件历史信息包括事件频率信息，所述事件频率信息表示包含所执行的事件的历史中的两个以上的连续事件的事件序列的各模式的发生频率。
作为本发明的方面，所述事件频率信息包括表示包含N个以下的连续事件的事件序列的各模式的发生频率的信息，其中N≥2，确定权重的步骤包括：基于所述事件频率信息中的n个连续事件的序列的发生频率来计算表示各个所述候选事件的发生可能性的分数的步骤，其中，2≤n≤N，所述n个连续事件的序列包含所述候选事件以及紧挨在所述候选事件之前所执行的事件或事件的序列。
作为本发明的方面，计算分数的步骤包括：针对各个所述候选事件利用n＝n1～n2的各值来计算分数、将所计算出的分数乘以与n的值的大小相对应的预定系数、并且将各结果相加在一起的步骤，其中，2≤n1＜n2≤N。
作为本发明的方面，所述程序还使所述电子装置执行：存储所执行的事件的步骤。
作为本发明的方面，所述电子装置经由网络而连接至服务器，以及所述程序还使所述电子装置执行：从所述服务器接收所述事件历史信息的步骤；以及将包括所执行的事件的信息发送至所述服务器以将所执行的事件存储在所述服务器的步骤。
根据本发明的方面的程序是一种程序，其在经由网络而连接至服务器的电子装置上执行，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述程序使所述电子装置执行：将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；将包括候选事件的信息发送至所述服务器以使所述服务器基于所述候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；从所述服务器接收所述权重的步骤；以及执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤。
作为本发明的方面，将所检测到的触摸检测为不明确触摸的步骤是在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下所执行的步骤，以及所述程序还使所述电子装置执行：在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件的步骤。
作为本发明的方面，所述事件历史信息包括事件频率信息，所述事件频率信息表示包含过去所执行的事件中的两个以上的连续事件的事件序列的各模式的发生频率。
作为本发明的方面，所述程序还使所述电子装置执行：将包括所执行的事件的信息发送至所述服务器以将所执行的事件存储在所述服务器的步骤。
根据本发明的方面的电子装置是一种电子装置，其具有显示单元和接触式位置输入单元，所述电子装置还包括：触摸位置检测部，其被配置为以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置；画面显示部，其被配置为将包括与事件相关联的对象的画面显示在所述显示单元上；不明确触摸检测部，其被配置为在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下，将所检测到的触摸检测为不明确触摸；候选对象选择部，其被配置为在检测到所述不明确触摸的情况下选择候选对象，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；权重确定部，其被配置为基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息，来确定与各个所述候选事件的发生有关的权重，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及被配置为执行具有最高权重的候选事件的候选事件执行部或者被配置为向游戏者提示用于执行具有最高权重的候选事件的确认的候选事件提示部。
根据本发明的方面的系统是一种系统，其包括服务器和经由网络连接至所述服务器的电子装置，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述服务器或所述电子装置包括：画面显示部，其被配置为将包括与事件相关联的对象的画面显示在所述显示单元上；不明确触摸检测部，其被配置为在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下，将所检测到的触摸检测为不明确触摸；候选对象选择部，其被配置为在检测到所述不明确触摸的情况下选择候选对象，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；权重确定部，其被配置为基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息，来确定与各个所述候选事件的发生有关的权重，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及被配置为执行具有最高权重的候选事件的候选事件执行部或者被配置为向游戏者提示用于执行具有最高权重的候选事件的确认的候选事件提示部。
作为本发明的方面，所述不明确触摸检测部是被配置为在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下检测到所述不明确触摸的部件，所述电子装置还包括：事件执行部，其被配置为在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件。
作为本发明的方面，所述系统中的所述服务器或所述电子装置还包括存储部，所述存储部被配置为存储所执行的事件，以及其中，所述存储部创建包括事件频率信息的事件历史信息，其中所述事件频率信息表示包含所述存储部中所存储的事件的历史中的两个以上的连续事件的事件序列的各模式的发生频率。
作为本发明的方面，所述事件频率信息包括表示包含N个以下的连续事件的事件序列的各模式的发生频率的信息，其中N≥2，所述权重确定部包括：分数计算部，其被配置为基于所述事件频率信息中的n个连续事件的序列的发生频率来计算表示各个所述候选事件的发生可能性的分数，其中，2≤n≤N，所述n个连续事件的序列包含所述候选事件以及紧挨在所述候选事件之前所执行的事件或事件的序列。
根据本发明的方面的控制方法是一种系统的控制方法，所述系统包括服务器和经由网络连接至所述服务器的电子装置，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述控制方法包括：将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤，其中，各个上述步骤是利用所述服务器或者所述电子装置来执行的。
作为本发明的方面，将所检测到的触摸检测为不明确触摸的步骤是在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下所执行的步骤，所述控制方法还包括：利用所述服务器或者所述电子装置所执行的、在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件的步骤。
发明的效果
根据本发明，通过实现用于基于游戏者的过去操作历史来估计游戏者利用触摸期望选择的对象的用户界面，可以在无需进行游戏内的模式切换操作的情况下解决利用触摸难以从密集地集中的对象组中选择期望对象的情形。在用于预测游戏者所意图的动作的、缩减了包括庞大数量的组合的操作历史的处理中，由于使用相对于物理触摸位置位于预定距离内的对象作为搜索关键字，因此可以快速缩减操作历史。通过以上述方式实时连续地预测并校正触摸操作，在要求高响应性能的游戏的领域中，可以实现大数据的实时使用和利用，由此实现用于预测游戏者的接着的操作的动作预测引擎的基础。此外，还通过实时获得游戏者的操作历史，使得能够在游戏者无需明确进行设置的情况下学习游戏者的触摸操作的趋势。
附图说明
图1示出根据本发明的一个实施例的电子装置的硬件结构。
图2是示出根据本发明的一个实施例的电子装置的触摸屏的坐标轴的图。
图3是根据本发明的一个实施例的电子装置的功能框图。
图4是示出根据本发明的一个实施例的信息处理的流程图。
图5a是示出根据本发明的一个实施例的游戏画面的图。
图5b是示出根据本发明的一个实施例的已经触摸了游戏画面的状态的图。
图5c是示出利用人的手指能够触摸到的区域的图。
图5d是示出根据本发明的一个实施例的用于检测游戏画面内的不明确触摸的方法的图。
图6a示出根据本发明的一个实施例的游戏者的操作历史。
图6b示出根据本发明的一个实施例的将游戏者的操作历史分割成N个连续元素的组合的状态。
图6c示出根据本发明的一个实施例的合计了游戏者的操作历史中的N个连续元素的各组合的发生频率并且创建了指标的状态。
图7示出根据本发明的一个实施例的score函数中所使用的wi函数的示例。
图8是示出根据本发明的另一实施例的信息处理的流程图。
图9示出根据本发明的实施例的系统的整体结构的示例。
图10示出根据本发明的实施例的服务器的硬件结构。
图11是示出根据本发明的一个实施例的系统的功能框图。
图12示出根据本发明的一个实施例的系统的系统架构。
具体实施方式
现在，将参考附图来说明本发明的实施例。根据本发明的实施例的系统可以通过经由网络连接多个电子装置的系统或者通过单个电子装置来实现。首先将说明通过单个电子装置来实现系统的实施例，然后将说明连接至网络的系统。尽管在说明书中假定连接至网络的系统是服务器-客户端系统，但是该系统还可以被配置为不包括服务器的系统，诸如点对点系统等。
此外，尽管这些实施例将主要在游戏系统的上下文中进行说明，但是这些实施例可以用在其它系统中。这些实施例中所涉及的游戏是在画面上配置多个对象的游戏。这些对象包括与事件相关联的对象和与事件不相关联的对象。在选择了与事件相关联的对象的情况下，执行与该对象相关联的预定游戏处理或者控制。在选择了与事件不相关联的对象的情况下，尽管不执行预定游戏处理或控制，但是可以指示游戏者触摸了对象。以下，除非特别说明，否则简单称为对象的情况是指与事件相关联的对象。
[电子装置所实现的实施例]
图1是示出根据本发明的实施例的电子装置100的硬件结构的框图。电子装置100包括处理单元101、显示单元102、接触式位置输入单元103、存储单元104和通信单元105。这些组件经由总线110而彼此连接；然而，可选地，这些组件可以根据需要而单独连接。
电子装置100优选为智能电话；然而，其例如可以是平板电脑、视频游戏机、便携式游戏机或者配备有诸如触摸板等的接触式输入装置的计算机。
处理单元101基于从接触式位置输入单元103输入的数据或者从通信单元105接收到的数据来执行诸如游戏处理和图像生成处理等的各种处理。处理单元101包括用于控制电子装置100的组件的处理器，并且处理单元101通过使用处理器中所包括的寄存器或者存储单元104作为工作区域来执行各种处理。
存储单元104包括硬盘、主存储器和缓冲存储器。硬盘存储程序106。然而，代替硬盘，可以使用能够存储信息的任何类型的非易失性存储器。硬盘还可以是可移除类型的。例如，在电子装置100是智能电话的情况下，存储单元104包括ROM和RAM。存储单元104存储程序106以及在执行这些程序时能够参考的各种数据。这些程序可以包括操作系统或者用于需要用户输入的各种应用程序，诸如视频游戏和Web浏览器等。各种数据例如包括用于显示出现在游戏中的诸如对象等的各种图像的图像数据、以及游戏期间可以写入至存储单元104的坐标数据。此外，存储单元104包括与游戏者的操作的历史信息和游戏者连续进行的操作的频率信息有关的数据库107。优选地，数据库107包括与同所执行的事件有关的信息的事件历史信息相关的事件历史信息数据库、以及与基于事件历史信息并且表示由两个以上的连续事件构成的事件序列的各模式的发生频率的事件频率信息相关的事件频率信息数据库。
通信单元105使用以太网(注册商标)线缆等的有线通信、或者用以连接至网络101的诸如移动通信或无线LAN通信等的无线通信。
显示单元(显示器)102显示作为程序106的执行结果而输出的图像。显示单元102优选为液晶显示器；然而，可选地，显示单元102可以是有机EL显示器或者等离子体显示器等。
接触式位置输入单元103(如触摸板)向电子装置100提供基于游戏者所触摸的位置的输入。优选地，显示单元102和接触式位置输入单元103可以被一体化成触摸屏；然而，可选地，显示单元102和接触式位置输入单元103可以作为独立单元被配置在不同的位置处。例如，在显示单元102和接触式位置输入单元103被一体化成触摸屏的情况下，接受基于显示单元102上的游戏者的触摸的输入，并且接触式位置输入单元103检测与游戏者所触摸的位置相对应的坐标，并且将该坐标提供给电子装置100。尽管可以使用诸如用于触摸屏的静电电容式方法等的任何检测方法，但是优选地，接触式位置输入单元103是可以检测同时触摸两个以上的点的游戏者的手指等并且将与所检测到的各位置相对应的坐标信息提供给电子装置100的类型。
这里，触摸是指手指等与接触式位置输入单元103(即本实施例中的触摸屏)相接触的操作或状态。尽管在本实施例的说明中假定游戏者的触摸是通过使用游戏者的手指来进行的，但是任何手指可以用于触摸，或者可以使用诸如触笔等的其它事物。另一方面，释放是手指等从触摸屏离开的操作或状态。游戏者通过触摸和释放来操作电子装置100。这些触摸操作可以包括触摸、长触摸、多触摸、释放、滑动、轻击、双击、长击、拖拽、轻拂等。例如，轻击是在不移动所触摸的位置的情况下的触摸之后进行释放的操作。优选地，处理单元101基于利用手指等对触摸屏的接触、接触位置、接触时间段或接触次数来在所有或者一部分这些类型的触摸操作之间进行区分。
例如，在使用智能电话作为电子装置100的情况下，显示单元102和接触式位置输入单元103被一体化成触摸屏108。在接触式位置输入单元103中，通过使用由第一轴和与第一轴大致垂直的第二轴定义的坐标平面、以坐标形式来指定位置。优选地，如图2所示，第一轴与具有大致矩形形状的触摸屏108(接触式位置输入单元103)的短边侧大致平行，第二轴与触摸屏108的长边侧大致平行，并且基于第一轴方向(横轴)的坐标轴和第二轴方向(纵轴)的坐标轴，以坐标(x,y)的形式来表示位置。处理单元101可以通过使用程序等采用这种坐标(x,y)的数据的形式来获得触摸屏108所检测到的触摸位置。例如，在触摸屏108的检测精度为640点×1136点的情况下，可以实现横轴方向上640点并且纵轴方向上1136点的分辨率。在这种情况下，各点可以是单个点或者特定区域(单元)。然而，注意，点之间的距离通常在触摸屏(电子装置)之间变化。在本说明书中，除非明确说明，否则术语“距离”应当被解释成表示坐标的距离。图2所示的坐标的设置是示例，并且还可以通过程序来设置坐标轴。可选地，可以设置极坐标，并且可以经由坐标变换来设置其它类型的坐标系。
作为另一示例，在显示单元102和接触式位置输入单元103作为独立单元而被配置在不同位置处的情况下，可以在接触式位置输入单元103中如上所述那样设置坐标，同时在显示单元102中设置与接触式位置输入单元103的坐标相对应的坐标。
图3示出根据本发明的电子装置的功能框图的示例。电子装置100包括触摸位置检测部301、画面显示单元302、不明确触摸检测部303、候选对象选择部304、权重确定部305、事件执行部306、事件提示部307、存储部308、通信部309、学习部310和临时存储部311。
触摸位置检测部301具有用于检测游戏者在接触式位置输入单元103上所触摸的位置并且将该位置提供给电子装置100的功能。画面显示单元302具有用于将来自电子装置100的输出显示在显示单元102上的功能，以使得可以将与事件相关联的对象显示在显示单元102上。
不明确触摸检测部303具有用于在基于所检测到的触摸的触摸位置不能唯一地确定一个对象的情况下将所检测到的触摸检测为不明确触摸的功能。例如，不明确触摸检测部303可以在所检测到的触摸位置的特定距离内存在两个以上的对象的情况下将所检测到的触摸检测到不明确触摸。
候选对象选择部304具有用于基于被检测为不明确触摸的触摸的触摸位置来选择作为游戏者可能意图触摸的对象的候选对象的功能。
权重确定部305具有用于基于与候选对象相关联的候选事件、紧前所执行的事件或事件序列(两个以上的连续事件)、以及包括与所执行的事件有关的信息的事件历史信息来确定与各候选事件的发生有关的权重的功能。例如，与该发生有关的权重可以是表示发生的可能性的分数或者可以是与发生有关的优先级。
事件执行部306具有用于在可以基于所检测到的触摸位置确定一个对象的情况下执行与该对象相关联的事件、或者执行具有最高权重的候选事件的功能。另一方面，事件提示部307具有用于按权重的降序顺序向游戏者提示候选事件的执行的确认的功能。
存储部308具有用于将程序、数据等存储在存储单元104中的功能。存储部308中所包括的临时存储部311具有用于临时累积数据的缓冲功能，并且其将与对象相关联的事件的执行历史累积在缓冲器中。因而，在检测到不明确触摸的情况下，临时存储部311处于累积了直至紧挨着检测到不明确触摸之前的事件历史信息的状态。优选地，存储部308定期将缓冲器中所累积的历史信息作为事件历史信息累积在事件历史信息数据库中。此外，存储单元308基于事件历史信息来对由两个以上的连续事件构成的事件序列的各模式的发生频率进行合计，并且将表示发生频率的事件频率信息存储在事件频率信息数据库中。权重确定部305可以通过使用缓冲器中所累积的事件历史信息作为查询来查询数据库107，以获得确定权重所需的事件历史信息或事件频率信息。在本实施例中，事件历史信息和事件频率信息应当优选为分别存储在独立的数据库中。然而，由于事件频率信息是基于事件历史信息所创建的信息，因此事件历史信息可以被解释成具有包含事件频率信息的广泛概念的构成要素。注意，考虑到实现本发明的游戏的类型、性质等，除了事件历史信息以外，还可以在考虑一些其它信息的情况下创建事件频率信息。事件频率信息不一定是仅根据事件历史信息所创建的信息。
通信部309具有用于执行无线通信和有线通信的功能。存储部308可以经由通信部309从服务器、光盘等获得程序或数据，并且将程序或数据存储于其中。
学习部310具有用于学习游戏者的操作的功能。具体地，学习部310可以通过基于从游戏者所获得的操作历史信息而改变数据库107中所存储的连续操作的频率信息，来提高游戏者的操作的动作预测的精度。
电子装置100的这些功能是通过执行程序106来实现的。因而，一个部件中的一部分功能可以在其它部件中提供。注意，这些功能中的一部分功能还可以通过配置电子电路等来实现。
将说明本发明的一个实施例中的本发明的操作。在本实施例中，使用智能电话作为电子装置100，并且在由智能电话执行的游戏中，针对游戏者所进行的不能唯一确定对象的不明确触摸来执行控制。在流程中主要假定轻击作为触摸操作。
图4是示出根据本发明的一个实施例的信息处理的流程图。在流程开始时，智能电话处于正执行游戏程序并且用户正进行游戏的状态。在步骤401中，智能电话显示包括与事件相关联的对象的画面。图5a示出触摸屏108上所显示的游戏画面的示例。图5a中所显示的对象(Obj1～Obj7)501是与事件相关联的对象。在通过游戏者所进行的触摸来选择对象的情况下，执行与该对象相关联的预定游戏处理或控制。例如，在所显示的各对象是物品的情况下，游戏者可以通过利用触摸选择各对象来选择与该对象相对应的物品。在该阶段，智能电话等待游戏者对触摸屏的触摸(步骤402)。
图5b示出利用游戏者的手指触摸了触摸屏的状态。在步骤402中判断对触摸屏的触摸，并且在判断为正触摸触摸屏的情况下以坐标形式检测触摸位置(步骤403)。
在本实施例中，使用智能电话作为电子装置100。通常，智能电话以规定的时间间隔进行触摸检测，并且以规定的时间间隔更新画面。例如，用于更新画面的单位时间可以是1/30秒、1/60秒、1/120秒等。在该流程图中，优选地，与画面更新周期同步地进行触摸检测。除非特别说明，否则将所检测到的触摸位置坐标临时存储在存储单元中，或者存储在存储单元中直到根据流程的处理结束为止。此外，还与画面更新同步地更新通过程序所识别出的对象的坐标范围。
然后，在步骤404中，判断所检测到的触摸是否为不明确触摸。这里，不明确触摸是指不能唯一地确定游戏者的意图的触摸。图5c示出利用人的手指502可以触摸到的区域503。如附图中所示，利用触摸，手指与画面上能够触摸的多个区域504相接触。如上所述，根据触摸屏的检测分辨率来检测触摸位置。由于将手指与画面相接触的多个点之一用于所触摸的点的识别的情况对于用户而言经常是违反直觉的，因此通常智能电话操作系统估计手指的实际位置并且使用该位置作为触摸位置。然而，在手指的假定范围或者所估计出的触摸位置落在多个对象的区域上的情况下，不能唯一地确定所触摸的对象。因而，在这种情况下，可以判断为所检测到的触摸是不明确触摸。
图5d示出根据一个实施例的用于检测不明确触摸的方法。图5d中的触摸位置505表示基于触摸手指的中心位置所检测到的触摸位置。智能电话检测相对于触摸位置位于预定距离506内的对象，并且在检测到两个以上的对象的情况下检测到不明确触摸。这里，预定距离表示触摸屏的坐标上的距离，这表示游戏者相对于所检测到的触摸位置所进行的触摸的假定范围。在检测到两个以上的对象的情况下，不能确定游戏者意图触摸哪一对象。因而，在两个以上的对象相对于触摸位置位于预定距离内的情况下，将所检测到的触摸检测为不明确触摸。可以根据触摸屏的检测精度和大小来将预定距离设置成不同的值。
在没有检测到不明确触摸的情况下，处理进入步骤405。在没有检测到对象的情况下，立即终止处理。在检测到一个对象的情况下，执行与该对象相关联的事件处理(步骤414)。注意，由于在检测到不明确触摸的步骤414中检测到相对于触摸位置位于预定距离内的对象，因此可以与步骤404同时执行步骤405。
在检测到不明确触摸的情况下，在步骤406中选择所检测到的候选对象。如图5d所示，选择相对于触摸位置位于预定距离内的Obj3、Obj4和Obj5作为候选对象。通过以这种方式缩减候选对象，可以缩短随后的信息处理所需的时间。
然后，在步骤407中，确定与同作为与所选择的各候选对象相关联的事件的各候选事件的发生有关的权重。例如，在与发生有关的权重是表示发生可能性的分数的情况下，计算各候选事件的分数作为与各候选事件的发生有关的权重。分数是基于游戏者的操作历史和操作历史的频率信息所计算出的，并且以数值方式表示各候选事件的发生可能性。
在该流程图中，计算分数。具体地，基于候选事件、紧前所执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来计算各候选事件的分数。
在本实施例中，如图6a所示那样存储游戏者的操作历史。所存储的操作历史是与对象相关联的事件的历史。临时存储部311将与对象相关联的事件的表示游戏者的操作历史的执行历史作为事件历史信息累积在缓冲器中，并且存储部308将所累积的数据存储在事件历史数据库中。优选地，存储部308定期将所累积的数据存储在事件历史数据库中。存储部308根据事件历史信息对由两个以上的连续事件构成的事件序列的各模式的发生频率进行合计，并且将表示发生频率的事件频率信息存储在事件频率信息数据库中。然而，注意，由于游戏者的操作历史中所涉及的事件与对象相关联，并且该事件可以被认为是与对象自身等效的概念。因而，例如，如图6a所示那样存储的操作历史可以是对象的历史。存储部308可以被配置为不将缓冲器中所累积的事件历史信息存储在事件历史信息数据库中。在这种情况下，将预先获得的事件历史信息存储在事件历史信息数据库中。
在计算分数时，通过使用向缓冲器中所累积的事件历史信息的一部分或全部添加了候选事件的事件序列作为查询来查询事件频率信息数据库。
步骤407包括基于游戏者的过去操作历史或者过去操作历史的频率信息的动作预测方法的全部处理。作为其一个实施例，将说明基于n-gram的分数计算方法。
首先，将说明作为事件频率信息的存储在数据库107中的数据。作为用于预测游戏者的紧前的(N-1)个触摸的事件日志的下一触摸操作的模型，为了分析如(N＝2)之前的一个日志、(N＝3)之前的两个日志以及(N＝4)之前的三个日志的事件日志之间的联系，根据要追溯的操作数来创建用于累积操作频率信息的指标。如上所述，如图6a所示那样存储游戏者的操作历史。在图6a的示例中，记录了游戏者按顺序A→B→A→B→C→D所进行的操作。在n-gram模型中，如图6b所示，将该操作历史分割成如2-gram、3-gram和4-gram等的N个连续组合(事件序列)，并且对各组合的发生频率进行合计。例如，在2-gram的情况下，将操作历史A→B→A→B→C→D分割成两个元素AB、BA、AB、BC和CD的五种类型的组合，并且针对相应的频率信息分别添加这些组合的发生。在3-gram的情况下，将操作历史A→B→A→B→C→D分割成三个元素ABA、BAB、ABC和BCD的四种类型的组合，并且针对相应的频率信息分别添加这些组合的发生。通过以这种方式分割N个连续操作的历史并计算发生频率，如图6c所示，可以创建具有高发生频率的组合表示由游戏者频繁使用的操作的组合的指标。例如，图6c所示的指标的数据结构H如下所述：
H:＝{<ngram1,frequency1>,<ngram2,frequency2>,…,<ngramk,frequencyk>}
这里，ngramk表示第k种类型的n-gram，以及frequencyk表示与其相关联的发生频率的值。
接着，将说明针对事件频率信息的比较的方法。将说明用于计算在选择候选对象X、Y和Z的情况下的分数的方法。首先，生成将各候选对象添加至末尾的n-gram关键字。在游戏者以如图6a所示那样的顺序A→B→A→B→C→D进行了操作的情况下根据候选对象X、Y和Z来生成以下的n-gram：
针对候选对象X，重复生成组合，直到达到N元素的组合为止，如DX(2-gram)、CDX(3-gram)和BCDX(4-gram)等。
对于候选对象Y，重复生成组合，直到达到N元素的组合为止，如DY(2-gram)、CDY(3-gram)和BCDY(4-gram)等。
对于候选对象Z，重复生成组合，直到达到N元素的组合为止，如DZ(2-gram)、CDZ(3-gram)和BCDZ(4-gram)等。
本系统将所生成的n-gram作为查询与历史数据库中所累积的全部频率信息进行比较，并且随着发生频率变得越高以及n-gram的n的值的增大而向候选对象赋予更高的分数。用于计算根据一个实施例的分数的函数score采用以下公式(1)来表示。
[等式1]
Figure GDA0002757792140000191
这里，p表示游戏者已经输入的紧前的(N-1)个触摸操作的序列，x表示候选对象，以及H表示目前为止所累积的全部频率信息的数据库。函数score使用两个内部函数。一个是query(p,i,x)。利用该函数Q(query(p,i,x))，从游戏者已经输入的紧前的(N-1)个触摸操作的序列的末尾取出(n-1)个元素，并且将x添加至这些元素的末尾，以生成新的组合。利用该函数，可以如上所述那样生成用作查询的n-gram。第二个函数是freq(H,Q)。这是用于计算通过query()函数所生成的查询在频率信息数据库的发生频率的函数。此外，在本实施例中，优选地，具有更长组合(事件序列)的匹配被认为更明确地匹配游戏者的意图，并且随着附标n的值增大，赋予更大的系数。在公式中，该系数为wi。由于i是从2增大到n的变量，因此可以将wi实现为随着i的值增大而分数的反映度变得更强的函数。例如，如图7所示，可以采用wi随着i增大而非线性增大的函数。
返回参考图4所示的流程图，判断步骤407中所确定出的各候选事件的分数中的最高分数是否大于或等于预定阈值(步骤408)。在该步骤中，可以直接判断各候选事件的分数是否大于或等于预定阈值。由于该阈值是针对为了以高可靠性判断游戏者的动作预测而计算的分数所使用的值，因此两个以上的候选事件的分数不会大于或等于该阈值。在分数大于或等于预定阈值的情况下，在执行具有该分数的候选事件之前，显示用于接受游戏者对候选事件的执行的取消的画面(步骤409)。以预定时间段显示该取消接受画面，并且在该预定时间段内没有检测到与取消按钮相对应的坐标处的触摸的情况下(步骤410)，执行事件处理(步骤414)。在步骤408中分数小于预定阈值的情况下，或者在步骤410中在预定时间段内检测到与取消按钮相对应的坐标处的触摸的情况下，显示示出按分数的降序配置的候选对象的列表的画面(步骤411)，以让游戏者选择候选对象之一(步骤412)。在选择了候选对象之一的情况下，针对与所选择的候选对象相关联地候选事件，学习游戏者的动作历史(步骤413)，并且执行事件处理(步骤414)。在步骤412中不存在候选对象的情况下，立即终止处理。
对于步骤413中对游戏者的动作历史的学习，可以在步骤410中、在预定时间段内检测到与取消按钮相对应的坐标处的触摸的情况下，进行学习以改变相关频率信息。注意，可以省略步骤413。
在执行了步骤414中的事件处理之后，在步骤415中，作为图6a所示的游戏者的操作历史中的最近历史信息，将具有最高分数的候选事件、或者与步骤412中所选择的候选对象相关联的候选事件累积在缓冲器中。此外，可以仅删除经过了特定时间段的历史信息，或者可以在超过特定数量的历史信息累积在缓冲器中的情况下从旧的历史信息中删除过多的历史信息。
作为图4的省略的变形实施例，代替步骤408～413，在步骤407中确定了候选事件的分数之后，可以确定所确定出的各候选事件的分数中的具有最高分数的候选事件，并且可以在步骤414中直接执行用于该候选事件的处理。
图8是示出根据本发明的另一实施例的信息处理的流程图。如图8所示，除了步骤416以外，该流程图与图4的流程图相同。在该流程图中，在步骤403中检测到触摸位置之后，判断利用所检测到的触摸是否可以唯一地确定对象。即，判断所检测到的触摸位置是否是仅与一个对象的坐标范围相对应的位置。在所检测到的触摸位置是仅与一个对象相对应的位置的情况下，处理进入步骤414，其中在步骤414中，执行与该对象相对应的事件处理。在所检测到的触摸位置没有落入一个对象的坐标范围的情况下，与图4同样地，处理进入步骤404，其中在步骤404中，判断该触摸是否为不明确触摸。
由于在检测到触摸之后立即进行不明确触摸的检测并且进行触摸操作的预测和校正，因此图4的流程图所示的信息处理在游戏者触摸对象密集地配置的画面情况下是有效的。另一方面，由于在检测到触摸之后立即确认与所触摸的位置相对应的唯一的对象，因此图8的流程图所示的信息处理对于在明确选择了一个对象的情况下使得能够在进行不明确触摸的检测之前进行对象选择而言是有效的。
[系统所实现的实施例]
图9示出根据本发明的实施例的系统的整体结构的示例。系统900被配置为包括多个电子装置100和服务器1000。这些组件经由网络950而彼此连接；然而，可选地，这些组件可以根据需要单独连接。此外，在多个电子装置之一还用作服务器的情况下，系统900可以被配置为不包括服务器1000。此外，系统900还可以包括数据库1100。在系统900包括数据库1100的情况下，数据库1100存储游戏者的操作的历史信息和游戏者连续进行的操作的频率信息，并且电子装置100或服务器1000可以通过查询数据库1100来获得期望数据。尽管在以下说明中主要假定服务器1000中的数据库的使用，但是说明同样适用于使用直接连接至网络的数据库1100的情况。
图10是示出根据本发明的实施例的服务器1000的硬件结构的框图。服务器1000包括处理单元1001、显示单元1002、输入单元1003、存储单元1004和通信单元1005。这些组件经由总线1010而彼此连接；然而，可选地，这些组件可以根据需要单独连接。
处理单元1001包括用于控制服务器1000的组件的处理器，并且处理单元1001通过使用存储单元1004作为工作区域来执行各种处理。显示单元1002具有用于向用户显示信息的功能。输入单元1003具有用于接受来自用户的输入的功能，如键盘和鼠标。
存储单元1004包括硬盘、主存储器和缓冲存储器。硬盘存储程序1006。然而，代替硬盘，可以使用能够存储信息的任何类型的非易失性存储器。硬盘还可以是可移除类型的。存储单元1004存储程序1006以及在执行这些程序时能够参考的各种数据。此外，存储单元1004可以包括与游戏者的操作的历史信息和游戏者连续进行的操作的频率信息有关的数据库1007。在这种情况下，数据库1007优选包括与同所执行的事件有关的信息的事件历史信息相关的事件历史信息数据库、以及与基于事件历史信息并且表示由两个以上的连续事件构成的事件序列的各模式的发生频率的事件频率信息相关的事件频率信息数据库。通信单元1005使用以太网(注册商标)线缆等的有线通信、或者用以连接至网络950的诸如移动通信或无线LAN通信等的无线通信。
例如，服务器1000是系统运营商等在运行并管理游戏服务时所使用的信息处理装置。服务器1000当接收到来自电子装置100的各种命令(请求)时，可以分发(作为应答发送)能够在电子装置100上运行的游戏程序、与电子装置100所用的标准相兼容的标记语言所创建的Web页面或游戏画面等。此外，服务器1000是包括数据库的游戏服务器，并且可以响应于来自电子装置100的查询而输出数据。
服务器1000的各种功能通过执行程序1006来实现；然而，可选地，这些功能中的一些功能还可以通过配置电子电路等来实现。
图1示出电子装置100的硬件结构。
图11示出根据本发明的系统的功能框图的示例。图11所示的功能与图3所示的功能相等。图11所示的系统900的各种功能可以通过向电子装置和/或服务器1000提供图11所示的各种功能来实现。将在电子装置100或服务器1000包括数据库107或数据库1007的情况的上下文中说明以下实施例；然而，如上所述，系统900可以包括连接至网络的与电子装置100或服务器1000分开的数据库1100。在这种情况下，电子装置100或服务器1000可以获得来自数据库1100的数据。
作为根据一个实施例的系统，电子装置100包括触摸位置检测部901、画面显示部902、不明确触摸检测部903、候选对象选择部904、事件执行部906、事件提示部907、存储部908、通信部909、学习部910和临时存储部911，并且服务器1000包括权重确定部905、存储部908、通信部909和学习部910。在本实施例中，假定使用数据库1007，并且数据库107和1100应当优选从结构中省略。例如，系统900可以执行图4的流程图所示的处理，并且在这种情况下，电子装置100除执行步骤407以外的步骤，并且服务器1000执行步骤407。服务器1000将步骤407中所计算出的分数发送至电子装置100，并且电子装置100可以通过接收分数来连续执行步骤408及其之后的处理。这里，通过临时存储部911来将表示游戏者的操作历史的事件历史信息累积在电子装置100的缓冲器中，并且电子装置100优选通过通信部909定期将所累积的数据发送至服务器1000，并且存储部908将所接收到的数据存储在数据库1007的事件历史信息数据库中。此外，存储部908可以根据事件历史信息来对由两个以上的连续事件构成的事件序列的各模式的发生频率进行合计，并且将表示发生频率的事件频率信息存储在数据库1007的事件频率信息数据库中。此外，关于步骤413中所学习的游戏者的动作历史，电子装置100将与相关频率信息的变化有关的信息发送至服务器1000，因而服务器1000可以在确定权重时使用该信息。
作为根据另一实施例的系统，电子装置100没有包括数据库107，并且具有除存储部908中的数据库的功能以外的功能，并且服务器1000包括数据库1007并具有存储部908和通信部909的功能。例如，系统900可以执行图4的流程图所示的信息处理，并且在这种情况下，电子装置100执行全部步骤。然而，在步骤407中，针对事件历史信息和/或事件频率信息查询数据库1007，以获得用于确定权重的期望数据。通过临时存储部911来将表示游戏者的操作历史的事件历史信息累积在电子装置100的缓冲器中。电子装置100优选通过通信部909定期将所累积的数据发送至服务器1000，并且存储部908将所接收到的数据存储在数据库1007的事件历史信息数据库中。
在系统的上述实施例中，经由网络950将数据库1100或1007连接至多个电子装置100。因而，存储部908除了进行操作的游戏者的操作历史以外、还可以将表示操作其它电子装置的其它游戏者的操作历史的事件历史信息存储在数据库中，根据所存储的事件历史信息来合计事件频率信息，并且存储事件频率信息。在这种情况下，除了进行操作的游戏者之外，还可以使电子装置用作用于预测一般的游戏者的接着的操作的动作预测引擎。
此外，作为游戏者的操作历史的又一实施例，可以在充分累积了游戏者的学习数据、因而变得能够计算超过步骤408中的阈值的分数的情况下完成学习，并且可以利用诸如“使智能选择有效”等的消息向游戏者通知该功能的可用性。因此，游戏者从开始起以充分的精度体验触摸位置校正，因而满足度将变高。此外，在游戏的初始阶段，由于起初并不存在许多选项，因此根据本发明自动校正不明确触摸的需求低。在初始阶段之后的阶段，在游戏变得复杂的情况下，可以防止由于复杂化而导致用户体验的劣化。
如上所述，根据本实施例的系统可以通过单个电子装置或者经由网络连接多个电子装置的系统来实现。该系统具有图3或图11所示的功能。根据一个实施例的系统构架1200可以包括图12所示的八个模块。该模块化使得能够通过修改这些模块中的一些模块而适用于各种游戏。
不明确轻击检测器1201是用于检测不明确轻击的模块，并且被实现为在电子装置100上运行的游戏系统的一部分。该模块具有与不明确触摸检测部903相对应的功能。由于轻击位置的不明确性与游戏的性质强烈相关，因此该模块应当优选针对各游戏标题来修改。
UI对象位置缓冲器1202是用于记录显示在游戏画面上的UI对象的位置的缓冲器。短期存储缓冲器1203是用于记录游戏者所进行的紧前的(N-1)个操作的历史的缓冲器。该模块与存储单元中所包括的缓冲器相对应，并且具有与上述的存储部908的一部分或者临时存储部911相对应的功能。不明确轻击检测器1201通过使用从UI对象位置缓冲器1202和短期存储缓冲器1203获得的信息来检测不明确轻击。
游戏者动作预测引擎1204是用于预测游戏者的接着的动作的软件模块，并且具有与权重确定部905相对应的功能。由于该模块在动作预测中使用包括大规模数据的连续操作频率数据库1205，因此该模块应当优选在与数据库相同的装置上实现。
连续操作频率数据库1205是用于存储连续进行的操作的频率信息的数据库，对应于数据库1007等，并且具有与存储部908的一部分相对应的功能。本系统被构成为使得短期存储缓冲器1203中所存储的操作历史被定期转发或发送至连续操作频率数据库。
学习模块1206是通过使用来自游戏者的反馈信息来改变连续操作频率数据库1205中的连续操作的频率信息的模块。该模块具有与学习部910相对应的功能。尽管反映该反馈信息在实现本发明时不是必需的，但是可以通过使用反馈信息的学习来提高游戏者的动作预测的精度。该反馈信息可以从预测动作取消UI 1207或者候选可轻击元素选择UI1208获得。
预测动作取消UI 1207是用于使得游戏者能够在系统高可靠性地预测了游戏者的动作并且自动执行事件的情况下取消所判断出的事件的用户界面。该界面与用于执行图4所示的流程图的信息处理中的步骤409～410的功能的一部分相对应。在游戏者经由该UI取消了事件的情况下，本系统通过学习模块1206进行学习，以减少相关频率信息。
候选可轻击元素选择UI 1208是用于在游戏者对动作的预测的可靠性不是充分高的情况下促使游戏者进行再选择的用户界面，并且具有与事件提示部相对应的功能。具体地，可以考虑显示相邻的可轻击元素，并且让用户选择这些元素之一。
在上述处理或操作中，可以自由修改处理或操作，只要在处理或操作中不会产生矛盾(例如，特定步骤涉及在该步骤中尚不可用的数据的使用的矛盾)即可。上述实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以各种形式实现，只要这些形式不偏离本发明的主旨即可。
附图标记列表
100 电子装置
101,1001 处理单元
102,1002 显示单元
103 接触式位置输入单元
104,1004 存储单元
105,1005 通信单元
106,1006 程序
107,1007 数据库
108 触摸屏
110 总线
301,901 触摸位置检测部
302,902 画面显示部
303,903 不明确触摸检测部
304,904 候选对象选择部
305,905 权重确定部
306,906 事件执行部
307,907 事件提示部
308,908 存储部
309,909 通信部
310,910 学习部
311,911 临时存储部
501 对象
502 手指
503,504 区域
505 触摸位置
506 预定距离
900 系统
950 网络
1000 服务器
1003 输入单元
1100 数据库
1200 系统架构
1201 不明确轻击检测器
1202 UI对象位置缓冲器
1203 短期存储缓冲器
1204 游戏者动作预测引擎
1205 连续操作频率数据库
1206 学习模块
1207 预测操作取消UI
1208 候选可轻击元素选择UI

Claims (20)

1.一种计算机可读介质，其存储用于在电子装置上执行的程序，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述程序使所述电子装置执行：
将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；
在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；
在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及
执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤。
2.根据权利要求1所述的计算机可读介质，其中，
将所检测到的触摸检测为不明确触摸的步骤是在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下所执行的步骤，
所述程序还使所述电子装置执行：
在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件的步骤。
3.根据权利要求1所述的计算机可读介质，其中，所述事件历史信息包括事件频率信息，所述事件频率信息表示包含所执行的事件的历史中的两个以上的连续事件的事件序列的各模式的发生频率。
4.根据权利要求3所述的计算机可读介质，其中，
所述事件频率信息包括表示包含N个以下的连续事件的事件序列的各模式的发生频率的信息，其中N≥2，
确定权重的步骤包括：
基于所述事件频率信息中的n个连续事件的序列的发生频率来计算表示各个所述候选事件的发生可能性的分数的步骤，其中，2≤n≤N，所述n个连续事件的序列包含所述候选事件以及紧挨在所述候选事件之前所执行的事件或事件的序列。
5.根据权利要求4所述的计算机可读介质，其中，计算分数的步骤包括：
针对各个所述候选事件利用n＝n1～n2的各值来计算分数、将所计算出的分数乘以与n的值的大小相对应的预定系数、并且将各结果相加在一起的步骤，其中，2≤n1＜n2≤N。
6.根据权利要求1至5中任一项所述的计算机可读介质，其中，所述程序还使所述电子装置执行：
存储所执行的事件的步骤。
7.根据权利要求1至5中任一项所述的计算机可读介质，其中，
所述电子装置经由网络而连接至服务器，以及
所述程序还使所述电子装置执行：
从所述服务器接收所述事件历史信息的步骤；以及
将包括所执行的事件的信息发送至所述服务器以将所执行的事件存储在所述服务器的步骤。
8.一种计算机可读介质，其存储用于在经由网络而连接至服务器的电子装置上执行的程序，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述程序使所述电子装置执行：
将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；
在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；
在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
将包括候选事件的信息发送至所述服务器以使所述服务器基于所述候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；
从所述服务器接收所述权重的步骤；以及
执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤。
9.根据权利要求8所述的计算机可读介质，其中，
将所检测到的触摸检测为不明确触摸的步骤是在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下所执行的步骤，以及
所述程序还使所述电子装置执行：
在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件的步骤。
10.根据权利要求8所述的计算机可读介质，其中，所述事件历史信息包括事件频率信息，所述事件频率信息表示包含过去所执行的事件中的两个以上的连续事件的事件序列的各模式的发生频率。
11.根据权利要求8至10中任一项所述的计算机可读介质，其中，所述程序还使所述电子装置执行：
将包括所执行的事件的信息发送至所述服务器以将所执行的事件存储在所述服务器的步骤。
12.一种电子装置，其具有显示单元和接触式位置输入单元，所述电子装置还包括：
触摸位置检测部，其被配置为以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置；
画面显示部，其被配置为将包括与事件相关联的对象的画面显示在所述显示单元上；
不明确触摸检测部，其被配置为在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下，将所检测到的触摸检测为不明确触摸；
候选对象选择部，其被配置为在检测到所述不明确触摸的情况下选择候选对象，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
权重确定部，其被配置为基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息，来确定与各个所述候选事件的发生有关的权重，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及
被配置为执行具有最高权重的候选事件的候选事件执行部、或者被配置为向游戏者提示用于执行具有最高权重的候选事件的确认的候选事件提示部。
13.一种包括服务器和经由网络连接至所述服务器的电子装置的系统，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述服务器或所述电子装置包括：
画面显示部，其被配置为将包括与事件相关联的对象的画面显示在所述显示单元上；
不明确触摸检测部，其被配置为在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下，将所检测到的触摸检测为不明确触摸；
候选对象选择部，其被配置为在检测到所述不明确触摸的情况下选择候选对象，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
权重确定部，其被配置为基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息，来确定与各个所述候选事件的发生有关的权重，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及
被配置为执行具有最高权重的候选事件的候选事件执行部、或者被配置为向游戏者提示用于执行具有最高权重的候选事件的确认的候选事件提示部。
14.根据权利要求13所述的系统，其中，
所述不明确触摸检测部是被配置为在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下检测到所述不明确触摸的部件，
所述电子装置还包括：
事件执行部，其被配置为在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件。
15.根据权利要求13或14所述的系统，其中，
所述系统中的所述服务器或所述电子装置还包括存储部，所述存储部被配置为存储所执行的事件，以及
其中，所述存储部创建包括事件频率信息的事件历史信息，其中所述事件频率信息表示包含所述存储部中所存储的事件的历史中的两个以上的连续事件的事件序列的各模式的发生频率。
16.根据权利要求15所述的系统，其中，
所述事件频率信息包括表示包含N个以下的连续事件的事件序列的各模式的发生频率的信息，其中N≥2，
所述权重确定部包括：
分数计算部，其被配置为基于所述事件频率信息中的n个连续事件的序列的发生频率来计算表示各个所述候选事件的发生可能性的分数，其中，2≤n≤N，所述n个连续事件的序列包含所述候选事件以及紧挨在所述候选事件之前所执行的事件或事件的序列。
17.一种系统的控制方法，所述系统包括服务器和经由网络连接至所述服务器的电子装置，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述控制方法包括：
将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；
在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；
在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
基于候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；以及
执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤，
其中，各个上述步骤是利用所述服务器或者所述电子装置来执行的。
18.根据权利要求17所述的控制方法，其中，
将所检测到的触摸检测为不明确触摸的步骤是在所检测到的触摸的坐标没有落在与所述对象相对应的坐标范围内的情况下所执行的步骤，
所述控制方法还包括：
利用所述服务器或者所述电子装置所执行的、在所检测到的触摸的坐标落在与所述对象相对应的坐标范围内的情况下执行与该对象相关联的事件的步骤。
19.一种电子装置的控制方法，所述电子装置经由网络而连接至服务器，所述电子装置具有显示单元和接触式位置输入单元，并且所述电子装置用于以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置，所述控制方法包括：
将包括与事件相关联的对象的画面显示在所述显示单元上的步骤；
在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下将所检测到的触摸检测为不明确触摸的步骤；
在检测到所述不明确触摸的情况下选择候选对象的步骤，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
将包括候选事件的信息发送至所述服务器以使所述服务器基于所述候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重的步骤，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；
从所述服务器接收所述权重的步骤；以及
执行具有最高权重的候选事件、或者向游戏者提示用于执行具有最高权重的候选事件的确认的步骤。
20.一种电子装置，其具有显示单元和接触式位置输入单元，所述电子装置还包括：
触摸位置检测部，其被配置为以所述接触式位置输入单元上的坐标的形式来检测与游戏者对所述接触式位置输入单元的触摸相对应的触摸位置；
画面显示部，其被配置为将包括与事件相关联的对象的画面显示在所述显示单元上；
不明确触摸检测部，其被配置为在检测到对所述接触式位置输入单元的触摸并且两个以上的所述对象相对于所检测到的触摸的坐标位于预定距离内的情况下，将所检测到的触摸检测为不明确触摸；
候选对象选择部，其被配置为在检测到所述不明确触摸的情况下选择候选对象，其中所述候选对象是相对于所检测到的触摸的坐标位于所述预定距离内的两个以上的所述对象；
发送部，其被配置为将包括候选事件的信息发送至经由网络与所述电子装置连接的服务器，以使所述服务器基于所述候选事件、紧前执行的事件或事件的序列、以及包括与所执行的事件有关的信息的事件历史信息来确定与各个所述候选事件的发生有关的权重，其中所述候选事件是与所选择的各个所述候选对象相关联的事件；
接收部，其被配置为从所述服务器接收所述权重；以及
被配置为执行具有最高权重的候选事件的候选事件执行部、或者被配置为向游戏者提示用于执行具有最高权重的候选事件的确认的候选事件提示部。
CN201680059170.4A 2015-08-05 2016-08-04 基于操作历史来预测触摸对象的计算机可读介质、电子装置、系统和控制方法 Active CN108139861B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-155244 2015-08-05
JP2015155244A JP5906345B1 (ja) 2015-08-05 2015-08-05 操作履歴に基づいてタッチ対象を予測するプログラム、電子装置、システム及び制御方法
PCT/JP2016/072972 WO2017022834A1 (ja) 2015-08-05 2016-08-04 操作履歴に基づいてタッチ対象を予測するプログラム、電子装置、システム及び制御方法

Publications (2)

Publication Number Publication Date
CN108139861A CN108139861A (zh) 2018-06-08
CN108139861B true CN108139861B (zh) 2021-05-07

Family

ID=55755978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680059170.4A Active CN108139861B (zh) 2015-08-05 2016-08-04 基于操作历史来预测触摸对象的计算机可读介质、电子装置、系统和控制方法

Country Status (5)

Country Link
US (1) US10599256B2 (zh)
JP (1) JP5906345B1 (zh)
CN (1) CN108139861B (zh)
HK (1) HK1254972A1 (zh)
WO (1) WO2017022834A1 (zh)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN106878372B (zh) * 2016-11-07 2020-10-02 阿里巴巴集团控股有限公司 信息推送方法及装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
JP2019067214A (ja) * 2017-10-02 2019-04-25 ヤフー株式会社 判定プログラム、判定方法、端末装置、学習データ、及びモデル
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
JP6440050B2 (ja) * 2018-05-25 2018-12-19 株式会社ドリコム ゲームシステム、アイテム整理方法、ならびに、プログラム
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11422689B1 (en) * 2018-08-09 2022-08-23 Apple Inc. Detecting touch user interface on a display under partial wet conditions
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP6677788B1 (ja) * 2018-11-29 2020-04-08 株式会社Ｃｙｇａｍｅｓ 情報処理プログラム、情報処理方法およびゲーム装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109908580B (zh) * 2019-01-25 2022-11-29 深圳优依购互娱科技有限公司 游戏界面的优化方法、计算机设备和存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
EP3983099A4 (en) * 2019-06-14 2023-06-14 Fighter Base Publishing, Inc. METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE POWERED USER INTERFACE
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
JP6748281B1 (ja) * 2019-12-10 2020-08-26 株式会社Ｃｙｇａｍｅｓ サーバ、処理システム、処理方法及びプログラム
CN111552429B (zh) * 2020-04-29 2021-07-23 杭州海康威视数字技术股份有限公司 一种图形选中方法、装置及电子设备
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220049407A (ko) 2020-10-14 2022-04-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2022107486A1 (ja) * 2020-11-18 2022-05-27 富士フイルム株式会社 Ｇｕｉ設定装置、ｇｕｉ設定方法、およびｇｕｉ設定プログラム
CA3212951A1 (en) * 2021-03-10 2022-09-15 Bungie, Inc. Controller state management for client-server networking
CN115494990A (zh) * 2022-09-09 2022-12-20 贝壳找房(北京)科技有限公司 辅助交互的方法和装置
GB2629189A (en) * 2023-04-20 2024-10-23 Sony Interactive Entertainment Inc Content interaction system and method
CN117785589B (zh) * 2024-02-27 2024-05-17 深圳市众悦科技有限公司 一种笔记本电脑灵动触控检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526879A (zh) * 2008-03-04 2009-09-09 苹果公司 设备上的语言输入接口
CN102272700A (zh) * 2008-12-30 2011-12-07 三星电子株式会社 使用不同触摸区域控制电子装置的特定操作的设备和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
JPH10275046A (ja) * 1997-03-31 1998-10-13 Toshiba Corp 単語入力装置及び方法
US5882258A (en) * 1997-09-08 1999-03-16 Rlt Acquisition, Inc. Skill-based card game
JP2000066817A (ja) 1998-08-20 2000-03-03 Nec Corp キーボード装置
JP4158195B2 (ja) * 2003-05-28 2008-10-01 日本電気株式会社 学習型入力判定回路を有する携帯電話機
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
JP5350304B2 (ja) * 2010-03-29 2013-11-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
KR20110109551A (ko) * 2010-03-31 2011-10-06 삼성전자주식회사 터치스크린 장치 및 터치스크린 장치의 입력 처리 방법
JP5654932B2 (ja) * 2011-04-01 2015-01-14 株式会社Ｎｔｔドコモ ユーザインタフェース装置、表示装置による操作受付方法及びプログラム
JP5731281B2 (ja) * 2011-05-31 2015-06-10 Kddi株式会社 文字入力装置およびプログラム
US10140011B2 (en) * 2011-08-12 2018-11-27 Microsoft Technology Licensing, Llc Touch intelligent targeting
US20150089435A1 (en) * 2013-09-25 2015-03-26 Microth, Inc. System and method for prediction and recognition of input sequences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526879A (zh) * 2008-03-04 2009-09-09 苹果公司 设备上的语言输入接口
CN102272700A (zh) * 2008-12-30 2011-12-07 三星电子株式会社 使用不同触摸区域控制电子装置的特定操作的设备和方法

Also Published As

Publication number Publication date
US10599256B2 (en) 2020-03-24
US20180157372A1 (en) 2018-06-07
JP2017033451A (ja) 2017-02-09
JP5906345B1 (ja) 2016-04-20
WO2017022834A1 (ja) 2017-02-09
HK1254972A1 (zh) 2019-08-02
CN108139861A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108139861B (zh) 基于操作历史来预测触摸对象的计算机可读介质、电子装置、系统和控制方法
US10489508B2 (en) Incremental multi-word recognition
CN107305585B (zh) 由键盘作出的搜索查询预测
CN105229574A (zh) 减少基于触摸的键盘的错误率
US10282090B2 (en) Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
US9471220B2 (en) Posture-adaptive selection
CN103038728B (zh) 例如在移动电话上使用触摸屏的多模式文本输入系统
CN107085471B (zh) 一种基于用户输入速度的输入法纠错方法和装置
US10474355B2 (en) Input pattern detection over virtual keyboard for candidate word identification
US20150220265A1 (en) Information processing device, information processing method, and program
US20120189368A1 (en) Overloaded typing apparatuses, and related devices, systems, and methods
JP2014010688A (ja) 入力文字推定装置およびプログラム
CN106325488B (zh) 一种输入方法、输入装置、服务器和输入系统
JP2011511370A (ja) ダイナミックソフトキーボード
CN111600729B (zh) 群成员添加方法及电子设备
CN112684910A (zh) 输入法候选词显示方法、装置及电子设备
CN111367459B (zh) 利用压力触控板的文本输入方法和智能电子设备
CN104049772A (zh) 一种输入方法、装置和系统
EP3008554B1 (en) Modifying input delivery to applications
US20160274667A1 (en) Apparatus and method for inputting character
WO2017116259A1 (en) Dynamic contextual re-ordering of suggested query hints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1254972

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant