CN102981747B - 信息处理装置、信息处理方法和计算机程序 - Google Patents

信息处理装置、信息处理方法和计算机程序 Download PDF

Info

Publication number
CN102981747B
CN102981747B CN201210157381.5A CN201210157381A CN102981747B CN 102981747 B CN102981747 B CN 102981747B CN 201210157381 A CN201210157381 A CN 201210157381A CN 102981747 B CN102981747 B CN 102981747B
Authority
CN
China
Prior art keywords
state
input
unit
instrument
information processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210157381.5A
Other languages
English (en)
Other versions
CN102981747A (zh
Inventor
本间文规
山野郁男
笠原俊
笠原俊一
梨子田辰志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102981747A publication Critical patent/CN102981747A/zh
Application granted granted Critical
Publication of CN102981747B publication Critical patent/CN102981747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及信息处理装置、信息处理方法和计算机程序。所提供的信息处理装置包括:事件处理单元,其用于在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理,并且用于在第一状态中的操作工具进入第二状态时,使用在背景中执行的处理来执行用于操作输入的反馈处理。

Description

信息处理装置、信息处理方法和计算机程序
技术领域
本公开涉及用于使得根据操作输入来执行处理的信息处理装置、信息处理方法和计算机程序。
背景技术
为了能够实现直观且易用的用户界面(以下,也称为“UI”),针对用于公共交通的售票机、位于银行的ATM(自动柜员机)等开发了触摸面板。近来,触摸面板变得能够检测用户的动作,并且能够实现无法通过过去的按钮操作来达到的机器操作。因而,近来,触摸面板正越来越频繁地用在诸如移动电话和游戏机的便携式机器中。
此外,如JP 2008-117371A中所示的,提出了如下的触摸面板:其不仅检测诸如手指或者触摸笔的操作工具在检测表面上的接触,而且还检测操作工具对于检测表面的接近。从而使得可实现各种操作输入。
发明内容
然而,当使用触摸面板作为用来执行操作输入的输入单元时,在检测到操作输入之后开始用于执行与该操作输入相对应的处理的预处理。因此,人们必须在执行操作输入之后等待用于预处理的处理时间,直到执行了与该操作输入相对应的处理之后为止,并且在给用户的GUI(图形用户界面)反馈中可能发生延迟。
例如,如图3中所示,考虑如下情况:从显示器10上显示的、诸如zip文件的压缩文件的列表11中选择一个压缩文件,并且执行处理来将该压缩文件解压缩。在手指接触用于确认是否将用户已从列表11选择的压缩文件解压缩的确认屏幕12上的用于开始解压缩的解压缩按钮13时,开始用于将所选择的压缩文件解压缩的预处理。随后,在解压缩了压缩文件时,开始解压缩文件的显示处理,并且在屏幕10上显示文件的内容。此时,因为在检测到操作输入之后执行压缩文件的解压缩处理,所以存在轻微延迟,直到为操作输入提供了反馈为止。
在压缩文件的解压缩之外,在Samba中的文件解压缩、音乐/视频解压缩、pdf文件的翻页处理、钢琴软件合成器的解码处理等中,也存在这样的延迟。例如,在钢琴软件合成器的解码处理的情况中,重要的是在操作输入的瞬间的音频输出反馈,并且可操作性可能由于预处理的延迟而降低。
此外,如图14中所示,例如考虑如下情况:在诸如日本象棋的计算机策略游戏中,使用人工智能(AI)来处理计算机的操作输入。在该情况中,因为必须使用AI处理来执行大量的计算处理以确定计算机的、响应于用户的操作输入的操作输入,所以存在计算机仍处于思考状态中的时段。因而,可能发生轻微延迟,直到完成了由计算机进行的思考(就是说,完成了AI处理)并且能够进行用户的下一操作输入为止。
在通过网络来提供针对用户的操作输入的反馈的情况中,也易于发生处理中的延迟。例如,如图15和16中所示,考虑如下情况:通过网络从连接到显示设备的屏幕10的服务器获取地图信息。如图15中所示,在通过将两个手指放在屏幕上并扩宽手指之间的间隙的捏合放大(pinch-out)动作来放大对屏幕10上显示的地图信息的显示的情况中,在检测到捏合放大动作之后开始从服务器获取放大的地图信息。因而,从检测到操作输入起到对放大的地图信息的读取处理为止以及到图像在屏幕10上的显示为止,可能发生轻微延迟。
类似地,如图16中所示,在通过将两个手指放在屏幕上并且缩窄手指之间的间隙的捏合缩小(pinch-in)动作来缩小对屏幕10上显示的地图信息的显示的情况中,在检测到捏合缩小动作之后开始从服务器获取缩小的地图信息。因而,从检测到操作输入起到对缩小的地图信息的读取处理为止以及到图像在屏幕10上的显示为止,可能发生轻微延迟。
由此,在执行诸如叩击或多点触摸手势的操作输入之后直到用户接收到针对操作输入的反馈为止存在特定处理时间的应用的情况中,想要的是防止这样的延迟以不降低可操作性。
根据本公开,提供了一种信息处理装置,其包括:事件处理单元,其用于在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理,并且用于在第一状态中的操作工具进入第二状态时,使用在背景中执行的处理来执行针对操作输入的反馈处理。
而且,根据本公开,提供了一种信息处理方法,其包括:在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理;以及在第一状态中的所述操作工具进入第二状态时,使用在背景中执行的处理来执行针对操作输入的反馈处理。
此外,根据本公开,提供了一种用于使得计算机用作信息处理装置的计算机程序,该信息处理装置包括:事件处理单元,其用于在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理,并且用于在第一状态中的操作工具进入第二状态时,使用在背景中执行的处理来执行针对操作输入的反馈处理。
根据本公开,通过执行用于根据第一状态中的操作工具的状态来估计的操作输入的处理,可以在操作工具进入第二状态并且执行所估计的操作输入时执行反馈处理而没有延迟。
如上所述,根据本公开,通过估计操作输入并且在背景中执行用于要发生的处理的预处理,可以防止直到提供了GUI反馈为止的轻微延迟。
附图说明
图1是示出了由根据本公开的第一实施例的信息处理装置执行的处理和操作输入之间的关系的说明图;
图2是示出了根据该实施例的信息处理装置的硬件配置的示例的硬件配置图;
图3是根据该实施例的信息处理装置的功能配置的功能框图;
图4是示出了该根据实施例的信息处理装置的、直到提供了针对操作输入的反馈为止的处理的流程图;
图5是描述了在存在一个悬停(hover)的手指时估计的处理的说明图;
图6是描述了在两个悬停的手指彼此相邻时估计的处理的说明图;
图7是描述了在两个悬停的手指彼此隔开时估计的处理的说明图;
图8是描述了在估计为捏合放大的情况下直到反馈为止的处理内容的说明图;
图9是描述了在估计为捏合缩小的情况下直到反馈为止的处理内容的说明图;
图10是描述了在该根据实施例的压缩文件的解压缩处理中的反馈的说明图;
图11是描述了在该根据实施例的AI处理中的反馈的说明图;
图12是示出了由根据本公开的第二实施例的信息处理装置执行的处理和操作输入之间的关系的说明图;
图13是描述了在压缩文件的解压缩处理中的反馈的延迟的说明图;
图14是描述了在AI处理中的反馈的延迟的说明图;
图15是描述了在通过网络的处理中的反馈的延迟的说明图,并且示出了执行捏合放大动作的情况;并且
图16是描述了在通过网络的处理中的反馈的延迟的说明图,并且示出了执行捏合缩小动作的情况。
具体实施方式
以下,将参照附图来详细描述本公开的优选实施例。注意,在本说明书和附图中,利用相同的附图标记来指代具有基本上相同的功能和配置的结构元件,并且省略对这些结构元件的重复说明。
此外,将按照以下顺序给出说明。
1.第一实施例(对操作工具在检测表面上的接近和接触的检测)
1.1.对信息处理装置的处理的概述
1.2.硬件配置
1.3.功能配置
1.4.针对操作输入的反馈处理
2.第二实施例(对操作工具在检测表面上的接触和按压的检测)
根据本公开的实施例,提供了一种信息处理装置,其包括:事件处理单元,其用于在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理,并且用于在第一状态中的操作工具进入第二状态时,使用在背景中执行的处理来执行针对操作输入的反馈处理。
而且,根据本公开的实施例,还提供了一种信息处理方法,其包括:在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理;以及在第一状态中的所述操作工具进入第二状态时,使用在背景中执行的处理来执行针对操作输入的反馈处理。
<1.第一实施例>
[1.1对信息处理装置的处理的概述]
首先,将参照图1来给出对根据本公开的第一实施例的信息处理装置的处理的概述。此外,图1是示出了由根据本实施例的信息处理装置执行的处理和操作输入之间的关系的说明图。
根据本实施例的信息处理装置是与诸如触摸面板的显示设备相连接并且处理从该显示设备发送的信息的设备。这样的信息处理装置估计用户的操作输入,并且在背景中执行用于提供针对所估计的操作输入的反馈的预处理,以便防止在接收操作输入和提供针对该操作输入的反馈之间的延迟。如图1中所示,在本实施例中,在检测到第一状态(就是说,诸如手指或者触摸笔的操作工具接近检测表面200)时,信息处理装置获取所检测的接近的操作工具的状态。随后,基于所获取的操作工具的状态来估计用户即将执行的操作输入,并且在背景中执行用于提供针对已估计的操作输入的反馈的预处理。
随后,在检测到第二状态时,就是说,在操作工具接触显示设备的显示表面时,信息处理装置基于在背景中执行的预处理的处理结果来提供GUI反馈。以这种方式,通过估计用户的操作输入并且预先在背景中执行预处理,可以缩短直到提供GUI反馈为止的时间。以下,将详细描述根据本实施例的信息处理装置的配置及其功能。
[1.2.硬件配置]
首先,将参照图2来描述根据本公开的第一实施例的信息处理装置100的硬件配置。此外,图2是示出了根据本实施例的信息处理装置100的硬件配置的示例的硬件配置图。
如图2中所示,根据本实施例的信息处理装置100包括RAM(随机存取存储器)101、非易失性存储器102、显示设备103、CPU(中央处理单元)104和接近检测触摸面板105。
RAM 101临时地存储在CPU 104的执行中使用的程序、在程序的执行中任意地改变的参数等。这些元件通过由CPU总线等来配置的主机总线来彼此连接。非易失性存储器102存储由CPU 104使用的程序、运算参数等。例如也可以使用ROM(只读存储器)、闪存存储器等作为非易失性存储器102。
显示设备103是输出信息的输出设备的示例。例如可以使用液晶显示器(LCD)设备、有机发光二极管(OLED)设备等作为显示设备103。在本实施例中,显示设备103不一定在信息处理装置100中提供,而可以作为连接到信息处理装置100以便能够接收/发送信息的外部机器来提供。
CPU 104用作运算处理单元和控制单元,并且根据各种程序来控制信息处理装置100内的整体操作。此外,CPU 104还可以是微处理器。接近检测触摸面板105通过层叠在显示设备的显示表面上来提供,并且例如通过感测静电的电信号来检测诸如手指的操作工具的接近和接触。
[1.3.功能配置]
接下来,将基于图3来描述根据本实施例的信息处理装置100的功能配置。此外,图3是示出根据本实施例的信息处理装置100的功能配置的功能框图。图3图示了执行直到提供了针对用户的操作输入的GUI反馈为止的处理所需的功能单元,并且根据本实施例的信息处理装置100也可以包括其他功能单元。
如图3中所示,根据本实施例的信息处理装置100包括接近检测单元110、操作估计单元120、事件处理单元130、操作状态确定单元140、输出单元150和设定存储单元160。
接近检测单元110是用于检测操作工具在检测表面上的接近和接触的检测单元,并且对应于图2中的接近检测触摸面板105。接近检测单元110的检测表面例如可以在显示设备的显示表面上或者在设备的壳体上提供。在将检测表面提供在显示设备的显示表面上的情况中,可以提供创建了就像由操作工具直接操作显示给用户的信息一样的感觉的GUI,并且因而能够进行直观的操作输入。
当操作工具变得比垂直位于检测表面200上方并与检测表面200隔开预定距离h的接近检测位置210更靠近检测表面时,接近检测单元110可以检测操作工具相对于检测表面200的位置。此外,接近检测单元110也可以检测操作工具在检测表面200上的接触。尽管取决于接近检测单元110的检测方法,但是例如在使用感测静电的电信号的检测方法时,可以基于电信号的大小来检测接近状态和接触状态。以诸如每次获取检测值的预定间隔,将接近检测单元110的检测结果(例如,静电的电信号)输出到操作估计单元120和操作状态确定单元140。
操作估计单元120基于接近检测单元110的检测结果,确定操作工具是否接近检测表面。而且,在通过确定结果确定了操作工具接近检测表面的情况中,操作估计单元120基于接近状态中的操作工具的状态,估计有可能要执行的操作输入。操作工具的状态和操作输入之间的对应关系例如预先存储在设定存储单元160中,并且操作估计单元120可以使用该对应关系来估计操作输入。操作估计单元120向事件处理单元130输出所估计的操作输入。
此外,操作估计单元120基于从稍后描述的操作状态确定单元140输入的操作工具的操作状态,确定已估计的操作输入被执行的可能性。此时,如果确定了已估计的操作输入被执行的可能性低,则操作估计单元120向事件处理单元130输出用于取消正在执行的用于反馈的预处理的指令。
事件处理单元130在实际执行由操作估计单元120估计的操作输入之前,在背景中执行提供与该操作输入相对应的反馈所需的预处理。例如将针对操作输入的反馈预先存储在设定存储单元160中,并且事件处理单元130基于所估计的操作输入来参考设定存储单元160并识别相对应的反馈。随后,在背景中执行用于提供反馈的处理。
此外,在实际执行所估计的操作输入时,事件处理单元130使用在背景中已执行的预处理来提供反馈。因而可以防止用户的操作输入和提供反馈之间的轻微延迟。事件处理单元130向输出单元150输出针对操作输入的反馈。
操作状态确定单元140基于接近检测单元110的检测结果,确定由接近检测单元110检测到的操作工具的操作状态,并且将确定结果输出到操作估计单元120。如上所述,操作估计单元120基于由操作状态确定单元140输入的操作工具的操作状态,确定已估计的操作输入被执行的可能性。像操作估计单元120一样,操作状态确定单元140也能够使用设定存储单元160中存储的、操作工具的操作状态和操作输入之间的对应关系来估计操作输入。
操作估计单元120、事件处理单元130和操作状态确定单元140例如可以由图2中的CPU 104来实现。
输出单元150是用于从事件处理单元130输出反馈的接口。输出单元150例如可以是直接向用户提供反馈的显示设备或者诸如扬声器的音频输出设备,或者可以是连接到外部显示设备或音频输出设备和信息处理装置100的信息发送/接收单元。
设定存储单元160是存储执行直到提供了针对用户的操作输入的GUI反馈为止的处理所需各种类型的信息的存储单元,并且例如对应于图2中的RAM 101或者非易失性存储器102。要存储在设定存储单元160中的信息例如可以是操作工具的状态和操作输入之间的对应关系、操作输入及其反馈之间的关系等。这些信息可以预先存储为信息处理装置100的初始设定,或者可以由用户设定。
[1.4.针对操作输入的反馈处理]
如上所述,在检测到第一状态(就是说,操作工具接近显示设备的显示表面)时,根据本实施例的信息处理装置100获取位于接近位置的所检测的操作工具的状态。随后,基于已获取的操作工具的状态来估计用户即将执行的操作输入,并且在背景中执行预处理用于提供对于已估计的操作输入的反馈。随后,在检测到第二状态时,就是说,在操作工具接触显示设备的显示表面时,信息处理装置基于在背景中执行的预处理的处理结果来提供GUI反馈。以这种方式,通过估计用户的操作输入并且预先在背景中执行预处理,缩短了直到提供GUI反馈为止的时间。
以下,将基于图4至9来描述根据本实施例的信息处理装置100的、直到提供了对于操作输入的反馈为止的处理内容,作为根据本公开的实施例提供的信息处理方法的示例。图4是示出了根据实施例的信息处理装置100的、直到提供了针对操作输入的反馈为止的处理的流程图。图5是描述了在存在一个悬停的手指时估计的处理的说明图。图6是描述了在两个悬停的手指彼此相邻时估计的处理的说明图。图7是描述了在两个悬停的手指彼此隔开时估计的处理的说明图。图8是描述了在估计为捏合放大的情况下直到反馈为止的处理内容的说明图。图9是描述了在估计为捏合缩小的情况下直到反馈为止的处理内容的说明图。
此处,将描述运行如下应用的情况作为示例:该应用与对可以从通过网络连接的服务器获取的地图信息的显示有关。此外,将操作工具假定为手指。
首先,信息处理装置100的操作估计单元120基于接近检测单元110的检测结果,检测是否存在作为操作工具的手指位于检测表面上方(S100:悬停检测)。接近检测单元110可以在手指变得比竖直位于检测表面200上方并与检测表面200隔开预定距离h的接近检测位置210更靠近检测表面时,检测手指相对于检测表面的位置。随后,在基于接近检测单元110的检测结果确定了存在不与检测表面接触但是比接近检测位置210更靠近检测表面的手指时,就是说,在确定了存在悬停的手指时,操作估计单元120执行步骤S102的处理。
在步骤S102中,操作估计单元120基于接近检测单元110的检测结果,确定悬停的手指的数量及其状态。可以基于接近检测单元110的结果来识别手指是否与检测表面接触以及检测到的手指相对于检测表面的位置。操作估计单元120从而可以识别所检测的手指的数量以及检测到的手指的状态。操作估计单元120通过识别悬停的手指及其数量,估计用户即将执行的操作输入。
在本示例中,例如存在叩击、捏合放大、捏合缩小等作为在显示从服务器获取的地图信息时用户执行的操作输入。如图5中所示,例如,在接近区域(检测表面和竖直地位于检测表面上方并且与检测表面隔开预定距离h的接近检测位置之间的空间区域)内仅检测到一个点P1的情况中,可以估计为仅存在一个悬停的手指。在该情况中,可以假定即将执行利用一个手指叩击地图信息的动作。而且,如图6中所示,例如,在接近区域内检测到两个点P1和P2并且两个点P1和P2之间的距离L小于预定距离Ls的情况中,可以估计为两个手指是悬停的并且这些手指彼此相邻。在该情况中,可以假定即将执行利用两个手指捏合放大地图信息的动作。
此外,如图7中所示,例如,在接近区域内检测到两个点P1和P2并且两个点P1和P2之间的距离L是预定距离Ls或者更大的情况中,可以估计为两个手指是悬停的并且这些手指是彼此隔开的。在该情况中,可以假定即将执行利用两个手指捏合缩小地图信息的动作。将手指的状态和操作输入之间的这样的对应关系预先存储在设定存储单元160中,并且操作估计单元120可以基于接近检测单元110的检测结果,通过参考设定存储单元160,估计用户即将执行的操作输入。此外,预定距离Ls例如可以基于以前用户第一次执行捏合放大动作或者捏合缩小动作时的手指之间的距离来设定。
在本示例中,在步骤S102中识别出悬停的手指的数量是一个的情况中,操作估计单元120估计用户即将执行的操作输入(事件,Event)是叩击(S104)。而且,在步骤S102中识别出悬停的手指的数量是两个并且它们彼此相邻的情况中,操作估计单元120估计用户即将执行的操作输入是捏合放大(S106)。此外,在步骤S102中识别出悬停的手指的数量是两个并且它们彼此隔开的情况中,操作估计单元120估计用户即将执行的操作输入是捏合缩小(S108)。将步骤S104、S106或S108中估计的操作输入从操作估计单元120输出到事件处理单元130(S110)。
已经由操作估计单元120通知了所估计的操作输入的事件处理单元130在对象侧上在背景中执行预读取事件处理(S112)。在步骤S112中,事件处理单元130在实际执行操作输入之前,预先执行在执行所估计的操作输入的情况中要提供的反馈的处理。例如,在由操作估计单元120估计将执行叩击的情况中,事件处理单元130根据地图信息显示应用,从设定存储单元160获取基于叩击动作的反馈的处理的内容。例如,在通过叩击动作来显示在叩击位置处显示的地点的地址或区域信息的情况中,事件处理单元130在背景中执行用于从服务器获取该地点的地址或区域信息的处理。
此外,例如,在由操作估计单元120估计将执行捏合放大的情况中,事件处理单元130根据地图信息显示应用,从设定存储单元160获取基于捏合放大动作的反馈的处理的内容。例如,在通过捏合放大动作来放大并显示在手指接触的位置处显示的部分的情况中,事件处理单元130估计手指接近的位置是手指将接触的位置,并且在背景中执行用于从服务器获取地图信息的处理,如图8中所示,该地图信息以放大的方式示出了在该位置处显示的部分。
此外,例如,在由操作估计单元120估计将执行捏合缩小的情况中,事件处理单元130根据地图信息显示应用,从设定存储单元160获取基于捏合缩小动作的反馈的处理的内容。例如,在通过捏合缩小动作来缩小并显示在手指接触的位置处显示的部分的情况中,事件处理单元130估计手指接近的位置是手指将接触的位置,并且在背景中执行用于从服务器获取地图信息的处理,如图9中所示,该地图信息以缩小的方式示出了在该位置处显示的部分。
以该方式,在步骤S112中,基于所估计的操作输入来在背景中执行在执行操作输入时将执行的处理。另一方面,操作状态确定单元140基于接近检测单元110的检测结果,监控当前检测到的手指的状态的改变(S114)。在本示例中,操作状态确定单元140获取悬停状态中的手指的位置,并且确定是否存在手指的运动以及是否当前检测到的手指位于与不同的对象相对应的位置处。从而可以判定将在背景中执行的处理是否将根据当前检测到的手指的位置而改变。
假定在步骤S114中操作状态确定单元140确定了检测到的手指以悬停状态移动并且位于与不同对象相对应的位置处。在该情况中,操作估计单元120向事件处理单元130输出用于取消当前正在背景中执行的处理的指令(S116)。事件处理单元130取消正在背景中执行的处理,并且随后,信息处理装置100从步骤S100的处理起再次启动。
可替选地,假定在步骤S114中操作状态确定单元140确定了检测到的手指没有处于如下状态:以悬停状态移动并且存在于与不同对象相对应的位置处。在该情况中,继续在步骤S112中开始的背景中的处理。随后,在操作状态确定单元140基于接近检测单元110的检测结果确定了悬停的手指变为接触时,操作估计单元120指令事件处理单元130来执行针对所估计的操作输入的反馈的处理。
接收了该指令的事件处理单元130首先确定是否完成了背景中的预读取事件处理(S120),并且如果没有完成,则继续背景中的处理。随后,在完成了背景中的处理时,事件处理单元130通过使用在背景中执行的预读取事件处理来提供对于操作输入的反馈(S122)。以这种方式,通过预先在背景中执行处理,可以没有延迟地提供针对实际操作输入的反馈。
此外,在步骤S100中确定了没有悬停的检测时,也以相同的方式执行步骤S118至S122的处理。例如,在没有悬停的手指并且检测到检测表面上的接触的情况中,确定接触时的操作输入,并且执行用于提供相应反馈的处理。
在步骤S118中没有接触的检测时,或者在步骤S122中提供了针对操作输入的反馈时,操作状态确定单元140确定悬停的手指是否移动到了无法由接近检测单元110检测的区域(悬停检测区域外部)(S124)。在步骤S124中确定了悬停的手指没有移动到悬停检测区域外部的情况中,信息处理装置100结束图4中所示的处理,并且再次从步骤S100起执行处理。另一方面,在步骤S124中确定了悬停的手指移动到了悬停检测区域外部的情况中,操作估计单元120向事件处理单元130输出用于取消当前正在背景中执行的处理的指令(S116)。事件处理单元130取消正在背景中执行的处理,并且随后信息处理装置100从步骤S100的处理起再次开始进行处理。
前文中,已经描述了根据本公开的第一实施例的信息处理装置100及其针对操作输入的反馈处理。根据本实施例,基于接近检测单元110的检测结果,识别接近状态中的手指,并且估计操作输入。随后,在背景中执行用于提供与所估计的操作输入相对应的反馈的预处理。随后,在执行所估计的操作输入时,使用在背景中执行的处理来提供反馈。从而可以防止用户的操作输入和提供与该操作输入相对应的反馈之间的轻微延迟。
尽管已经参照图4至9描述了防止在从通过网络连接的服务器获取地图信息时发生轻微延迟的方法,但是也可以通过图4中所示的处理来防止在将压缩文件解压缩时发生延迟或者在执行AI处理时发生延迟。
例如,考虑执行如下处理的情况,如图10中所示:选择并解压缩显示在屏幕200上的、诸如zip文件的压缩文件的列表201中的一个压缩文件。在用于确认是否将由用户从列表201中选择的压缩文件解压缩的确认屏幕202上检测到手指接近用于开始解压缩的解压缩按钮203时,在背景中开始用于将所选择的压缩文件解压缩的预处理。随后,在手指实际触摸了解压缩按钮203时,信息处理装置100开始对在背景中解压缩的文件的显示处理,并且在屏幕200上显示文件的内容。
以这种方式,通过在手指变得接近解压缩按钮203时在背景中执行对压缩文件的解压缩处理,可以防止在手指接触解压缩按钮203和在屏幕200上显示文件的内容之间的轻微延迟。
此外,例如,如图11中所示,在诸如日本象棋的计算机策略游戏中计算机对操作输入执行AI处理的情况中,信息处理装置100估计要执行的是针对如下情况的处理:选择与接近检测表面的手指的位置相对应的对象。在估计出操作输入时,事件处理单元130在背景中执行在执行所估计的执行操作输入时将执行的处理。
此处,用户可以在思考下一操作输入的同时,根据他/她所思考的是什么来移动悬停状态中的手指。在与手指的位置相对应的对象由于悬停状态中的手指移动而改变时,所估计的操作输入也改变。在该情况中,操作估计单元120取消正在背景中执行的处理,并且在背景中执行在执行新估计的操作输入时将执行的处理。以该方式,监控操作状态,并且在背景中执行用于提供针对很可能要执行的操作输入的反馈的预处理。在实际执行操作输入时,信息处理装置100使用在背景中执行的处理来提供反馈。从而可以缩短计算机的思考时间,并且防止直到用户能够进行下一操作输入为止发生轻微延迟。
此外,根据本实施例的信息处理装置100基于接近状态中的手指的状态(手指的数量、接近位置等),决定在背景中执行处理时要考虑的目标。此处,信息处理装置100例如可以随着悬停的手指的数量的增加而扩宽要在背景中执行的处理的目标范围。或者,可以根据悬停的手指的运动的范围而扩宽要在背景中执行的处理的目标范围。从而可以调节要在背景中执行的处理,并且可以降低在处理中发生延迟的可能性。
例如,在图11中所示的示例中,根据悬停状态中的手指按照用户的思考而运动的范围,扩宽要在背景中执行的处理的目标范围。通过在背景中执行用于每个在执行手指的运动的范围中所包括的对象时要执行的处理的预处理,可以为多个可能的操作输入中的任一个提供反馈而没有延迟。
此外,信息处理装置100可以根据手指的状态,优先地在背景中执行在手指接触手指最靠近检测表面的位置处时要执行的处理。例如,假定在图11中示出的示例中检测到了多个手指的接近。在该情况中,如果针对基于各个手指的位置而估计的所有操作输入执行预处理,则可以会给信息处理装置100沉重的负担。因而,在检测到多个手指的接近的情况中,在手指接触手指最靠近检测表面的位置处时要执行的处理被决定为最可能要执行的处理,并且优先地在背景中执行。从而可以减轻对于信息处理装置100的负担。
此外,在根据本实施例的信息处理装置100的情况中,操作估计单元120可以基于接近检测单元110的检测结果,估计可能由用户执行的多个操作输入。在该情况中,操作估计单元120可以向事件处理单元130通知所估计的操作输入当中执行优先级最高的操作输入。将执行优先级设定为指明最有可能执行的操作输入。执行优先级可以例如基于接近检测表面的手指的数量来设定,或者在检测到多个手指的情况下基于其位置关系来设定。或者,执行优先级可以从最希望优先执行的处理内容开始预先设定为最高。通过以这种方式设定执行优先级,可以唯一地确定所估计的操作输入。
此外,可以取检测为接近的多个手指的中心位置,而非最靠近检测表面的手指的位置,作为最有可能被手指接触的位置。
<2.第二实施例>
接下来,将参照图12来给出根据本公开的第二实施例的信息处理装置的处理的概况。此外,图12是示出了由根据本公开的第二实施例的信息处理装置执行的处理和操作输入之间的关系的说明图。
如第一实施例一样,根据本实施例的信息处理装置是与诸如触摸面板的显示设备相连接并且处理从该显示设备发送的信息的设备。为了防止接收操作输入和提供针对该操作输入的反馈之间的延迟,这样的信息处理装置估计用户的操作输入,并且在背景中执行用于提供针对所估计的操作输入的反馈的预处理。
如图12中所示,在检测到第一状态(就是说,诸如手指或者触摸笔的操作工具接触检测表面200)时,根据本实施例的信息处理装置获取在接触位置处的所检测的操作工具的状态。随后,基于所获取的操作工具的状态来估计即将由用户执行的操作输入,并且在背景中执行用于提供针对所估计的操作输入的反馈的预处理。
随后,在检测到第二状态时,就是说,在操作工具在显示设备的显示表面上施加了高于预定压力Pth的压力时,信息处理装置基于在背景中执行的预处理的处理结果来提供GUI反馈。以这种方式,通过估计用户的操作输入并且预先在背景中执行预处理,可以缩短直到提供GUI反馈为止的时间。
可以用与根据第一实施例的信息处理装置100相同的方式来配置根据本实施例的信息处理装置。然而,根据本实施例的信息处理装置使用感测显示表面上的压力的改变并检测手指的接触的压力感测接触面板,而非图2的接近检测触摸面板105。从而可以区分作为用于在背景中执行处理的触发器的第一状态和作为实际开始反馈的触发器的第二状态。其他配置和功能与第一实施例的配置和功能相同。
本领域普通技术人员应该理解,取决于设计需求和其他因素,可以出现各种修改、组合、子组合和替换,只要它们在所附权利要求或其等同物的范围内即可。
例如,在以上实施例中,信息处理装置应用于压缩文件的解压缩、AI处理、通过网络的信息获取等,但是本技术不限于这样的示例。例如,通过将根据以上实施例的信息处理装置应用于从音乐回放列表获取音乐片段的获取处理或者视频获取处理,可以以相同方式防止轻微的处理延迟。
此外,以下配置也在本公开的技术范围内:
(1)一种信息处理装置,其包括:
事件处理单元,其用于在背景中执行与基于第一状态中的操作工具的状态来估计的操作输入相对应的处理,并且用于在所述第一状态中的所述操作工具进入第二状态时,使用在所述背景中执行的所述处理来执行针对所述操作输入的反馈处理。
(2)根据(1)所述的信息处理装置,其包括:
检测单元,其用于检测所述操作工具的状态;
操作估计单元,其用于基于所述检测单元的检测结果,估计通过所述操作工具进行的操作输入;以及
操作状态确定单元,其用于确定所述第一状态中的所述操作工具的状态的改变,并将其通知给所述操作估计单元;
其中,在基于所述检测单元的所述检测结果来将所述操作工具确定为在所述第一状态中时,所述操作估计单元估计通过所述操作工具进行的操作输入,并将其通知给所述事件处理单元;并且
其中,在所述操作状态确定单元基于所述检测单元的检测结果来确定所述操作工具从所述第一状态进入所述第二状态时,所述操作估计单元将用于执行针对所述操作输入的所述反馈处理的指令通知给所述事件处理单元。
(3)根据(2)所述的信息处理装置,其中,所述操作估计单元基于所述第一状态中的操作工具的数量和位置中的至少一项来估计所述操作输入。
(4)根据(2)或(3)所述的信息处理装置,其中,在通过所述操作估计单元来估计多个操作输入时,所述事件处理单元基于执行优先级来确定在所述背景中要执行的处理。
(5)根据(4)所述的信息处理装置,其中,所述执行优先级是基于所述第一状态中的所述操作工具的状态来确定的。
(6)根据(1)至(5)中任一项所述的信息处理装置,其中,所述事件处理单元基于所述第一状态中的所述操作工具的状态,确定在所述背景中执行处理时要考虑的目标。
(7)根据(1)至(6)中任一项所述的信息处理装置,其中,所述第一状态是所述操作工具接近检测表面的状态,而所述第二状态是所述操作工具与所述检测表面相接触的状态。
(8)根据(1)至(6)中任一项所述的信息处理装置,其中,所述第一状态是所述操作工具与检测表面相接触的状态,而所述第二状态是所述操作工具以高于预定压力的力来按压所述检测表面的状态。
本申请包含与2011年5月27日提交日本专利局的日本在先专利申请JP 2011-118573中公开的主题内容相关的主题内容,并且该在先专利申请的全部内容通过引用合并于此。

Claims (7)

1.一种信息处理装置,其包括:
事件处理单元,其用于在背景中执行与基于第一状态中的操作工具的状态而估计的操作输入相对应的预处理,并且用于在所述第一状态中的所述操作工具进入第二状态时,使用在所述背景中执行的所述预处理来执行针对所述操作输入的反馈处理,
其中,所述第一状态是所述操作工具接近检测表面的状态,而所述第二状态是所述操作工具与所述检测表面相接触的状态;或者,其中,所述第一状态是所述操作工具与检测表面相接触的状态,而所述第二状态是所述操作工具以高于预定压力的力来按压所述检测表面的状态。
2.根据权利要求1所述的信息处理装置,其包括:
检测单元,其用于检测所述操作工具的状态;
操作估计单元,其用于基于所述检测单元的检测结果,估计通过所述操作工具进行的操作输入;以及
操作状态确定单元,其用于确定所述第一状态中的所述操作工具的状态的改变,并将其通知给所述操作估计单元;
其中,在基于所述检测单元的所述检测结果来将所述操作工具确定为在所述第一状态中时,所述操作估计单元估计通过所述操作工具进行的操作输入,并将其通知给所述事件处理单元;并且
其中,在所述操作状态确定单元基于所述检测单元的所述检测结果来确定所述操作工具从所述第一状态进入所述第二状态时,所述操作估计单元将用于执行针对所述操作输入的所述反馈处理的指令通知给所述事件处理单元。
3.根据权利要求2所述的信息处理装置,其中,所述操作估计单元基于所述第一状态中的操作工具的数量和位置中的至少一项来估计所述操作输入。
4.根据权利要求2所述的信息处理装置,其中,在通过所述操作估计单元来估计多个操作输入时,所述事件处理单元基于执行优先级来确定在所述背景中要执行的预处理。
5.根据权利要求4所述的信息处理装置,其中,所述执行优先级是基于所述第一状态中的所述操作工具的状态来确定的。
6.根据权利要求1所述的信息处理装置,其中,所述事件处理单元基于所述第一状态中的所述操作工具的状态,确定在所述背景中执行预处理时要考虑的目标。
7.一种信息处理方法,其包括:
在背景中执行与基于第一状态中的操作工具的状态而估计的操作输入相对应的预处理;以及
在所述第一状态中的所述操作工具进入第二状态时,使用在所述背景中执行的所述预处理来执行针对所述操作输入的反馈处理,
其中,所述第一状态是所述操作工具接近检测表面的状态,而所述第二状态是所述操作工具与所述检测表面相接触的状态;或者,其中,所述第一状态是所述操作工具与检测表面相接触的状态,而所述第二状态是所述操作工具以高于预定压力的力来按压所述检测表面的状态。
CN201210157381.5A 2011-05-27 2012-05-18 信息处理装置、信息处理方法和计算机程序 Active CN102981747B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011118573A JP2012247960A (ja) 2011-05-27 2011-05-27 情報処理装置、情報処理方法およびコンピュータプログラム
JP2011-118573 2011-05-27

Publications (2)

Publication Number Publication Date
CN102981747A CN102981747A (zh) 2013-03-20
CN102981747B true CN102981747B (zh) 2017-05-31

Family

ID=47220182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210157381.5A Active CN102981747B (zh) 2011-05-27 2012-05-18 信息处理装置、信息处理方法和计算机程序

Country Status (3)

Country Link
US (1) US9658761B2 (zh)
JP (1) JP2012247960A (zh)
CN (1) CN102981747B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9459160B2 (en) 2012-06-13 2016-10-04 Microsoft Technology Licensing, Llc Input device sensor configuration
US9684382B2 (en) 2012-06-13 2017-06-20 Microsoft Technology Licensing, Llc Input device configuration having capacitive and pressure sensors
JP6024466B2 (ja) * 2013-01-16 2016-11-16 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP6144501B2 (ja) * 2013-02-12 2017-06-07 富士通テン株式会社 表示装置、および、表示方法
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
JP2015099526A (ja) 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
JP6410537B2 (ja) 2014-09-16 2018-10-24 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP5784211B1 (ja) * 2014-12-19 2015-09-24 株式会社Cygames 情報処理プログラムおよび情報処理方法
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN105094325B (zh) * 2015-07-17 2018-12-04 百度在线网络技术(北京)有限公司 一种用于确定应用背景信息的方法与设备
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
CN106775681A (zh) * 2016-12-01 2017-05-31 珠海市魅族科技有限公司 误操作处理方法和误操作处理装置
CN106708645B (zh) * 2016-12-01 2020-05-15 珠海市魅族科技有限公司 误操作处理方法、误操作处理装置和终端
CN106775728A (zh) * 2016-12-20 2017-05-31 珠海市魅族科技有限公司 一种移动终端的控制方法及装置
CN106775727B (zh) * 2016-12-20 2020-09-25 珠海市魅族科技有限公司 一种移动终端的控制方法及装置
CN106598613A (zh) * 2016-12-20 2017-04-26 珠海市魅族科技有限公司 一种移动终端的控制方法及装置
JP7540173B2 (ja) 2020-03-23 2024-08-27 ヤマハ株式会社 音処理方法、音処理システムおよびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7730401B2 (en) * 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
JP4093478B2 (ja) * 2003-09-10 2008-06-04 日本電信電話株式会社 リンク先コンテンツの先読み装置及び先読み方法
JP4766340B2 (ja) 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
JP5532544B2 (ja) * 2008-03-28 2014-06-25 カシオ計算機株式会社 情報出力装置およびプログラム
US9606663B2 (en) * 2008-09-10 2017-03-28 Apple Inc. Multiple stimulation phase determination
JP4752887B2 (ja) * 2008-09-12 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
US8291348B2 (en) * 2008-12-31 2012-10-16 Hewlett-Packard Development Company, L.P. Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis

Also Published As

Publication number Publication date
US20120304199A1 (en) 2012-11-29
CN102981747A (zh) 2013-03-20
JP2012247960A (ja) 2012-12-13
US9658761B2 (en) 2017-05-23

Similar Documents

Publication Publication Date Title
CN102981747B (zh) 信息处理装置、信息处理方法和计算机程序
EP3724797B1 (en) Electronic device and fingerprint authentication interface method thereof
US20200150833A1 (en) Electronic device having touchscreen and input processing method thereof
CN104375758B (zh) 用于基于图标的应用控制的方法和装置
EP3680770B1 (en) Method for editing main screen, graphical user interface and electronic device
KR101424259B1 (ko) 휴대단말에서 입력 피드백 제공 방법 및 장치
KR102081817B1 (ko) 디지타이저 모드 전환 방법
US8648816B2 (en) Information processing apparatus, threshold value setting method, and threshold value setting program
KR102496531B1 (ko) 지문 인식을 위한 방법, 전자 장치 및 저장 매체
US20090066653A1 (en) Systems and methods for using a keyboard as a touch panel
JP2011221640A (ja) 情報処理装置、情報処理方法およびプログラム
US11650674B2 (en) Electronic device and method for mapping function to button input
KR102625254B1 (ko) 입력기를 통해 이미지와 관련된 정보를 어플리케이션에 제공하는 전자 장치 및 방법
TWI540464B (zh) 用於操控噪音為基的姿勢控制的行動裝置、方法、設備及非暫時電腦可讀儲存媒體
KR20130097331A (ko) 터치 스크린을 구비하는 전자기기에서 객체를 선택하기 위한 장치 및 방법
US20140240252A1 (en) Electronic apparatus, method of controlling the same, and computer-readable recording medium
CN115023683A (zh) 触控笔、终端及其控制方法和计算机可读存储介质
CN105045471B (zh) 触摸操作输入装置、触摸操作输入方法和记录介质
CN108845752A (zh) 触控操作方法、装置、存储介质及电子设备
KR20150002312A (ko) 페이지 표시 방법 및 이를 구현하는 전자 장치
CN107179849B (zh) 终端及其输入控制方法、计算机可读存储介质
US20110316887A1 (en) Electronic device with a touch screen and touch operation control method utilized thereby
CN111338494A (zh) 一种触控显示屏操作方法和用户设备
KR101013219B1 (ko) 터치 방식을 이용한 입력 제어 방법 및 시스템
US20170277340A1 (en) Terminal control method and terminal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant