CN101727240A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN101727240A
CN101727240A CN200910209131A CN200910209131A CN101727240A CN 101727240 A CN101727240 A CN 101727240A CN 200910209131 A CN200910209131 A CN 200910209131A CN 200910209131 A CN200910209131 A CN 200910209131A CN 101727240 A CN101727240 A CN 101727240A
Authority
CN
China
Prior art keywords
operating
unit
contacts
coordinate system
bodies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910209131A
Other languages
English (en)
Other versions
CN101727240B (zh
Inventor
宫泽悠介
本间文规
梨子田辰志
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101727240A publication Critical patent/CN101727240A/zh
Application granted granted Critical
Publication of CN101727240B publication Critical patent/CN101727240B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了信息处理装置、信息处理方法和程序。一种信息处理装置具有:被至少两个操作体进行接触操作的接触操作单元;检测单元,用于检测与接触操作单元接触的每个操作体的接触状态;坐标系确定单元,用于根据由检测单元检测到的操作体的操作方向来确定接触操作单元的坐标系;相对位置计算单元,用于根据通过由检测单元检测到的操作体的接触位置以及由坐标系确定单元确定的接触操作单元的坐标系,来计算两个或更多个操作体中的每一个的相对位置;以及命令发出单元,用于基于在由相对位置计算单元计算出的相对位置处的由检测单元检测到的每个操作体的接触状态,来发出预定的操作命令。

Description

信息处理装置、信息处理方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序,具体而言涉及能够通过使用触摸屏来执行任何操作的信息处理装置、信息处理方法和程序。
背景技术
一种显示设备是在液晶显示器等等的显示单元的表面上设有电容型接触传感器或电阻膜型接触传感器的触摸屏(触摸面板)。就这种触摸屏而言,对信息处理装置进行的输入是通过接触显示单元的屏幕来完成的,这可以有助于用户对信息处理装置的操作。
在通过使用触摸屏进行的输入方面,公开了一种为用户改善合用性的技术(例如,参见日本专利申请早期公开No.2005-339420)。根据日本专利申请早期公开No.2005-339420,可以接收通过触摸屏进行的线条描绘输入,根据由触摸屏检测到的手指的姿态来显示菜单屏幕图像和切换屏幕图像。
发明内容
然而,存在这样的问题,即,用户在执行期望的操作时必须在视觉上识别显示屏并且核对显示屏幕。例如,当用户通过使用提包或衣袋中的触摸屏来执行任何操作时,他需要将设备从提包或衣袋中取出以在视觉上识别显示屏。另外,为了以确定的姿态来对设备进行操作,他需要在一定的方向上握持着设备。
于是,考虑到上述问题作出了本发明,希望提供一种新颖且改进的信息处理装置、信息处理方法和程序,其能够通过使用触摸屏面板来执行期望的操作,而无需在视觉上识别显示屏。
根据本发明的一个实施例,提供了一种信息处理装置,包括:被操作体进行接触操作的接触操作单元;检测单元,用于检测与接触操作单元接触的每个操作体的接触状态;坐标系确定单元,用于根据由检测单元检测到的操作体的操作方向来确定接触操作单元的坐标系;相对位置计算单元,用于根据通过两个或更多个操作体的附加接触操作而由检测单元检测到的该两个或更多个操作体的接触位置以及由坐标系确定单元确定的接触操作单元的坐标系,来计算两个或更多个操作体中的每一个的相对位置;以及命令发出单元,用于基于在由相对位置计算单元计算出的两个或更多个操作体的相对位置处的由检测单元检测到的两个或更多个操作体中的每一个的接触状态,来发出预定的操作命令。
根据此结构,检测与接触操作单元接触的每个操作体的操作状态,以根据操作体的操作方向来确定接触操作单元的坐标系。然后,通过两个或更多个操作体的附加接触操作而由检测单元检测到的两个或更多个操作体的接触位置以及所确定的坐标系被用于计算两个或更多个操作体的相对位置。并且,这些相对位置处这两个或更多个操作体的接触状态被用作发出预定操作命令的基础。
因此,不论信息处理装置的壳体的方向如何,都判断操作体的操作方向,以便用户无需关注壳体的方向就能够执行期望操作。因此,用户可以在无需从视觉上识别信息处理装置的壳体或显示屏的情况下利用触摸屏面板来执行期望的操作。例如,当信息处理装置被放置在提包或衣袋中时,用户无需将其从衣袋或提包中取出就可以执行期望的操作。
坐标系确定单元可在y轴是与由检测单元检测到的操作体的操作方向相平行的方向并且x轴是与该操作方向相垂直的方向的条件下确定接触操作单元的坐标系。
坐标系确定单元可在检测单元检测到与接触操作单元相接触、相互分开预定的距离并且在接触操作单元上移动了预定距离的两个或更多个操作体时确定接触操作单元的坐标系。
相对位置计算单元可在坐标系确定单元确定接触操作单元的坐标系之后,根据通过两个或更多个操作体的附加接触操作而由检测单元检测到的两个或更多个操作体的接触位置,来计算两个或更多个操作体中的每一个的相对位置。
信息处理装置可包括模式选择单元,用于选择第一模式或第二模式,在该第一模式中,y轴是信息处理装置的壳体的垂直方向,x轴是壳体的水平方向,在该第二模式中,y轴是与每个操作体的操作方向相平行的方向,x轴是与该操作方向垂直的方向。模式选择单元在检测单元检测到与接触操作单元相接触、相互分开预定的距离并且在接触操作单元上移动了预定距离的两个或更多个操作体时选择第二模式,
当模式选择单元选择第二模式时,坐标系确定单元可根据两个或更多个操作体中的每一个的操作方向来确定接触操作单元的坐标系,并且相对位置计算单元在模式选择单元选择第二模式之后,基于由坐标系确定单元确定的接触操作单元的坐标系和由检测单元检测到的两个或更多个操作体的接触位置,来计算两个或更多个操作体的相对位置。检测单元可检测包括两个或更多个操作体的接触顺序和接触次数在内的接触状态,并且命令发出单元根据这两个或更多个操作体的接触顺序和接触次数来发出预定的操作命令。
根据本发明的另一个实施例,提供了一种信息处理方法,包括以下步骤:检测与接触操作单元接触的每个操作体的接触状态;根据检测到的每个操作体的操作方向来确定接触操作单元的坐标系;根据通过两个或更多个操作体的附加接触操作而由检测单元检测到的该两个或更多个操作体的接触位置以及由坐标系确定单元确定的接触操作单元的坐标系,来计算两个或更多个操作体中的每一个的相对位置;以及基于在计算出的两个或更多个操作体的相对位置处的所检测到的两个或更多个操作体中的每一个的接触状态,来发出预定的操作命令。
根据本发明的另一个实施例,提供了一种用于使得计算机充当信息处理装置的程序,该信息处理装置包括:被操作体进行接触操作的接触操作单元;检测单元,用于检测与接触操作单元接触的每个操作体的接触状态;坐标系确定单元,用于根据由检测单元检测到的操作体的操作方向来确定接触操作单元的坐标系;相对位置计算单元,用于根据通过两个或更多个操作体的附加接触操作而由检测单元检测到的该两个或更多个操作体的接触位置以及由坐标系确定单元确定的接触操作单元的坐标系,来计算两个或更多个操作体中的每一个的相对位置;以及命令发出单元,用于基于在由相对位置计算单元计算出的两个或更多个操作体的相对位置处的由检测单元检测到的两个或更多个操作体中的每一个的接触状态,来发出预定的操作命令。
如上所述,根据本发明,可以通过使用触摸屏面板来执行期望的操作,而无需在视觉上识别显示屏。
附图说明
图1是示出根据本发明一个实施例的信息处理装置的握持示例的截面图;
图2是示出根据该实施例的信息处理装置的硬件配置的框图;
图3是示出根据该实施例的信息处理装置的功能结构的框图;
图4是用于说明根据该实施例检测到的两个或更多个操作体的接触状态的说明图;
图5是用于说明根据该实施例由坐标确定单元进行的对接触操作单元的坐标系的确定的说明图;
图6是用于说明根据该实施例的信息处理方法的流程图;
图7是用于说明根据该实施例的盲模式(blind mode)判定处理的流程图;
图8是示出根据该实施例的从操作体的接触状态检测到命令发出的处理的流程图;
图9是用于说明根据该实施例的操作历史的说明图;
图10是用于说明根据该实施例的两个操作体的接触操作示例的说明图;
图11是用于说明根据该实施例的两根手指的接触操作示例的说明图;
图12是用于说明根据该实施例的三根手指的接触操作示例的说明图;
图13是用于说明根据该实施例当两根手指被用于执行模式切换时的接触操作示例的说明图;
图14是用于说明根据该实施例当三根手指被用于执行模式切换时的接触操作示例的说明图;
图15是用于说明根据该实施例的信息处理装置10的层次结构的说明图;并且
图16是用于说明在提供了根据该实施例的层次结构的情况下的接触操作的说明图。
具体实施方式
下面,将参考附图详细描述本发明的优选实施例。注意,在说明书和附图中,用相同的标号来表示具有基本相同的功能和结构的结构要素,并且省略对这些结构要素的重复说明。
此外,此“具体实施方式”部分的描述将按以下顺序进行。
[1]此实施例的目的
[2]信息处理装置的硬件配置
[3]信息处理装置的功能结构
[4]信息处理装置的操作
[5]接触操作和命令示例
[1]此实施例的目的
首先,描述本发明的本实施例的目的。在显示设备当中,有一种在液晶显示器等等的显示单元的表面上设有电容型接触传感器或电阻膜型接触传感器的触摸屏(触摸面板)。利用该触摸屏,通过接触显示单元的屏幕则可以对信息处理装置进行输入,这可以有助于用户对信息处理装置的操作。
近年来,触摸屏不仅用于接收线条描绘的输入,并且还用于根据由触摸屏检测到的手指姿态来显示菜单屏幕图像或改变屏幕图像。这种结构可以为用户改善用触摸屏进行输入时的合用性。
在现有技术中,当配备有硬件按钮的设备被解锁后,即使它处于提包或衣袋中,也可以通过摸索到该硬件按钮来对该设备进行期望的操作。这种操作是按以下过程来执行的。
(1)在一定的方向上握持设备
(2)摸索到解锁按钮并解锁
(3)摸索到设备的硬件按钮
(4)通过按压硬件按钮等等来执行期望的操作
在上述操作(1)至(4)中,通常,音乐设备中的硬件按钮被指派以诸如播放、快进、前进一项(step forward)、倒回、后退一项(stepbackward)之类的功能中的每一种(以下称之为“基本功能”)。因此,即使不在桌子上在视觉上识别设备,也可以操作这些按钮。下面,在无需视觉识别设备的情况下执行的操作被称为“盲操作”。在盲操作中,设备需要被握持在一定的方向上,并且用手指摸索到按钮是比较困难的。
使用触摸屏的设备需要在视觉上识别显示屏并且核对按钮的位置才能进行操作。因此,上述的盲操作是非常困难的。此外,对于经常使用的基本功能,需要握持着设备、在视觉上识别显示屏、对其进行解锁并且再次在视觉上识别显示屏。因此,对于使用触摸屏的设备来说,用户即使在使用基本功能时也必须在视觉上识别显示屏,这导致了加重用户操作负担的问题。
为了解决上述问题,例如,已经提出了在设备上安装单独的小型操作装置,并且利用该小型操作装置来执行基本功能。然而,当使用这种小型操作装置时,首先,必须将该装置附着于衣物等等上,并且必须在视觉上识别并操作该小型操作装置。此外,制造这种小型操作装置的成本增加了。
此外,已经提出了一种使用触摸屏的桌面大小设备或者在用一只手握持着的同时用另一只手来操作的设备。对于这种设备,重放或停止是通过复杂姿态的输入来操作的。然而,用一只手操作的设备需要被握持着才能操作,因此,手指的操作范围较小,并且难以输入复杂的姿态。
如上所述,已经提出了许多使用触摸屏的操作方法,然而,这些方法的前提是在操作期间在视觉上识别设备本身或显示屏。另外,需要在识别设备的操作方向的同时执行每个操作。鉴于此,当操作方向相对于设备有所改变时,用户操作的内容有时被误识别。因此,在任意方向上握持着设备的同时操作设备,这是较困难的。
例如,当通过使用提包或衣袋中的触摸屏来进行任何操作时,需要将设备从提包或衣袋中取出,以在视觉上识别显示屏,这使得操作不方便。另外,当以确定的姿态来操作设备时,需要将设备握持在一定的方向上。
于是,考虑到上述情形,创建了根据本发明实施例的信息处理装置10。利用根据本实施例的信息处理装置10,可以通过使用触摸屏面板来执行期望的操作,而无需在视觉上识别显示屏。
在此实施例中,以图1所示的小型音频播放器或媒体播放器或者PDA(个人数字助理)、便携式电话作为示例来描述信息处理装置10。然而,本发明并不限于此,而是可以应用到个人计算机等等。此外,信息处理装置与诸如显示屏之类的显示设备构成一体。然而,本发明并不限于此,信息处理装置10也可与显示设备分开构成。
此外,如图1的握持示例502和504中所示,用户可以在用一只手握持着信息处理装置10的同时用两根或更多根手指来对触摸屏进行接触。如握持示例502和504中所示,手指的方向依据用户握持信息处理装置10的方式而有所不同。换言之,在握持示例502中,用户手指的方向与信息处理装置10的壳体的垂直方向平行,而在握持示例504中,用户手指的方向既不与信息处理装置10的壳体垂直也不与之平行。
当信息处理装置10处于提包或衣袋中时,用户如握持示例502或握持示例504中所示那样握持信息处理装置10。如果信息处理装置10需要被握持在一定的方向上,用户必须将信息处理装置10从提包或衣袋中取出并且核对壳体和显示屏的方向。然而,对于根据此实施例的信息处理装置10来说,无需在一定方向上握持信息处理装置10,就可以通过使用触摸屏面板来执行期望的操作。
[2]信息处理装置的硬件配置
接下来参考图2描述根据本实施例的信息处理装置10的硬件配置。图2是示出根据本实施例的信息处理装置10的硬件配置的框图。
如图2所示,信息处理装置10具有CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机访问存储器)103、主机总线104、桥接器105、外部总线106、接口107、输入设备108、输出设备109、存储设备(HDD)110、驱动器111和通信设备112。
CPU 101充当操作设备或控制设备,并且根据各种程序来控制信息处理装置10内的整体操作。此外,CPU 101可以是微处理器。ROM 102存储CPU 101使用的程序、操作参数等等。RAM 103主要存储用于CPU 101的运行的程序和在其运行期间适当改变的参数。这些组件通过由CPU总线等等构成的主机总线104而彼此相连。
主机总线104经由桥接器105连接到诸如PCI总线(外围组件互连/接口)之类的外部总线106。这里,主机总线104、桥接器105和外部总线106不一定是分开构成的,而可以实现在具有这些总线的功能的一个总线中。
输入设备108被构造为具有诸如鼠标、键盘、触摸屏、按钮、麦克风、开关和操作杆之类的供用户输入信息的输入装置,以及用于基于用户输入来生成输入信号并将该信号输出到CPU 101的输入控制电路。信息处理装置10的用户操作输入设备108,从而将各种数据输入到信息处理装置10中并给出处理操作的指令。
在此实施例中,用户的操作主要是由触摸屏检测诸如用户手指之类的操作体来接受的。触摸屏具有显示和输入这两个功能。根据本实施例的触摸屏不仅能够接收通过用户手指等等的操作而进行的线条描绘的输入,还能够检测两根或更多根用户手指的姿态。换言之,触摸屏是能够检测两个以上的多个接触点的输入设备。作为检测接触点的方式,可以采用任何方式来检测操作体在显示屏中的位置信息,例如利用形成透明电极的金属薄膜的电阻膜型和用于通过检测手指末端和导电膜之间的电容变化来检测位置的电容系统。
输出设备109被构造为例如包括诸如CRT(阴极射线管)显示设备、LCD(液晶显示器)设备、OLED(有机发光显示器)设备和灯之类的显示设备,以及诸如扬声器和头戴式耳机之类的音频输出设备。输出设备109例如输出播放的内容。具体而言,显示设备以文本或图像的形式显示诸如菜单屏幕图像和播放的图像数据之类的各种信息,而音频输出设备将播放的音频数据等等转换为声音并将其输出。
存储设备110是用于数据存储的设备,并且被构造为根据本实施例的信息处理装置10的存储装置的示例。存储设备110可以包括记录介质、用于在记录介质中记录数据的记录设备、用于从记录介质中读取数据的读取设备、用于删除记录介质中记录的数据的删除设备,等等。存储设备110被构造为包括例如HDD(硬盘驱动器)。该存储设备110驱动硬盘并且存储由CPU 101运行的程序和各种数据。
驱动器111是用于记录介质的读取器/写入器,并且是与信息处理装置10一体设置的或者是在信息处理装置10外部设置的。驱动器111读取诸如磁盘、光盘、磁光盘、半导体存储器等等之类的安装在其上的可移动记录介质120中记录的信息,并且将该信息输出到RAM 103。
通信设备112是被构造为包括例如用于连接到通信网络121等等的通信设备的通信接口。另外,通信设备112可以是与无线LAN(局域网)兼容的通信设备、兼容无线USB的通信设备和用于线缆通信的有线通信设备中的任一者。该通信设备112经由通信网络121与外部设备执行各种数据的发送和接收。
[3]信息处理装置的功能结构
至此,已经参考图2描述了根据本实施例的信息处理装置10的硬件配置。接下来参考图3描述根据本实施例的信息处理装置10的功能。
图3是示出根据本实施例的信息处理装置10的功能结构的框图。如图3所示,根据本实施例的信息处理装置10主要具有接触操作单元202、检测单元204、模式选择单元206、坐标系确定单元208、相对位置计算单元210、命令发出单元212等等。
接触操作单元202和检测单元204是上述触摸屏的示例。接触操作单元202是触摸屏的显示单元并且被至少两个操作体进行接触操作。该至少两个操作体例如可以是用户的手指、手、触笔等等。然而,以下描述是以两根或更多根用户手指作为操作体作出的。
检测单元204具有检测与接触操作单元202接触的两个或更多个操作体的接触状态的功能。检测单元204将检测到的两个或更多个操作体的接触状态提供给模式选择单元206或坐标系确定单元208。由检测单元204检测到的两个或更多个操作体的接触状态包括这两个或更多个操作体的接触顺序、接触位置、接触次数、接触时间等等。这里,参考图4,描述由检测单元204检测到的两个或更多个操作体的接触状态。
图4是用于说明由检测单元204检测到的两个或更多个操作体的接触状态的说明图。如图4所示,检测单元204获得操作体的接触点的位置、接触次数(接触时间)等等,其中y轴是信息处理装置10的壳体的垂直方向,x轴是壳体的水平方向,并随后获得数据阵列402。数据阵列402中的数值指示出操作体的接触强度,并且数值越高就表明接触越强。通过例如每秒获得二十个数据,可以检测包括操作体的接触次数、接触中心等等在内的接触状态。
参考图3,被提供了来自检测单元204的检测结果的模式选择单元206基于检测到的接触状态从盲模式或正常模式中执行模式选择。盲模式是用户在没有从视觉上识别信息处理装置10的壳体和显示屏的情况下进行操作的模式。具体而言,它是这样的模式:其中,y轴是与两个或更多个操作体的操作方向平行的方向,x轴是与操作方向垂直的方向。该模式是本发明的第二模式的示例。
然后,正常模式是用户在从视觉上识别信息处理装置10的壳体和显示屏的情况下进行操作的模式。具体而言,它是这样的模式:其中,y轴是信息处理装置10的壳体的垂直方向,x轴是壳体的水平方向。该模式是本发明的第一模式的示例。当检测单元204的检测结果表明,两个或更多个操作体与接触操作单元202接触且被定位成其间有预定的间隔,并且它们在接触操作单元202上移动预定的距离时,模式选择单元206可以判定其为盲模式。模式选择单元206通知坐标系确定单元208模式是否是正常模式(第一模式)或盲模式(第二模式)。
坐标系确定单元208具有根据由检测单元204检测到的两个或更多个操作体的操作方向来确定接触操作单元202的坐标系的功能。此外,坐标系确定单元208可被构造为在其接收到来自模式选择单元206的盲模式通知时确定接触操作单元202的坐标系。将参考图5来描述坐标系确定单元208对接触操作单元202的坐标系的确定。
图5是用于说明由坐标系确定单元208进行的对接触操作单元202的坐标系的确定的说明图。如图5的接触状态506中所示,两个或更多个操作体20,即两根用户手指,在接触操作单元202上按接触方向30所示的方向移动。坐标系确定单元208通过把与操作体20的操作方向30平行的方向设定为y轴并把垂直于操作方向30的方向设定为x轴来确定坐标系。
参考图3,相对位置计算单元210具有根据由检测单元204检测到的两个或更多个操作体的操作位置和由坐标系确定单元208确定的接触操作单元202的坐标系来确定这两个或更多个操作体的相对位置的功能。相对位置计算单元210可被构造为在坐标系确定单元208确定出接触操作单元202的坐标系之后根据由检测单元204检测到的两个或更多个操作体的接触位置来计算这两个或更多个操作体的相对位置。另外,相对位置计算单元210可被构造为在模式选择单元206选择盲模式(第二模式)之后根据由检测单元204检测到的两个或更多个操作体的接触位置和由坐标系确定单元208确定的接触操作单元202的坐标系来计算这两个或更多个操作体的相对位置。
命令发出单元212具有在由相对位置计算单元210计算出的两个或更多个操作体的相对位置处,基于由检测单元204检测到的这两个或更多个操作体的接触状态,来发出预定的操作命令的功能。命令发出单元212根据这两个或更多个操作体的相对位置和操作体的接触状态的组合,来指定用于运行信息处理装置10的预定功能的命令。在信息处理装置10是具有音乐重放功能的设备的情况下,信息处理装置10的预定功能可以是音乐重放、停止、快进、倒回、前进一项、后退一项和其他功能。命令发出单元212发出的命令将下文中详细描述。
[4]信息处理装置的操作
至此,已经描述了信息处理装置10的功能结构。接下来参考图6至图8描述信息处理装置10的信息处理方法。图6是用于说明信息处理装置10的信息处理方法的流程图。
首先,检测单元204检测两个或更多个操作体的接触状态(S102)。然后,模式选择单元206判定是正常模式还是盲模式(S104)。这里,参考图7描述图6的步骤S104中关于是否盲模式的判定处理的细节。图7是用于说明盲模式的判定处理的流程图。在图7中,操作体是两个操作体。
如图7所示,首先,检测单元204判定两个操作体的两个接触点是否与接触操作单元202接触(S202)。在步骤S202中,如果判定两个操作体的两个接触点未与接触操作单元202接触,则维持当前模式(S216)。
在步骤S202中,如果判定两个操作体的两个接触点与接触操作单元202接触,则计算两个接触点的拖动距离(S204)。在步骤S204中计算的拖动距离是两个操作体在接触操作单元202上的移动距离。然后,判定在步骤S204中计算出的拖动距离是否等于或大于阈值(S206)。
步骤S206中的阈值例如是30mm左右,然而,该值可根据信息处理装置10的壳体的大小而改变。当在步骤S206中判定拖动距离等于或大于阈值时,通过步骤S208及其后的步骤的处理来切换模式。即,当两个操作体的拖动距离等于或大于阈值时,两个操作体的操作意味着模式切换指令。模式切换指令是指正常模式要被切换到盲模式,盲模式要被切换到正常模式。
在步骤S206中,当拖动距离等于或大于阈值时,判定当前模式是否是盲模式(S208)。当在步骤S206中拖动距离等于或小于阈值时,维持当前模式(S216)。
在步骤S208中,如果判定当前模式是盲模式,则给出正常模式指令以切换到正常模式(S214)。另一方面,在步骤S208中,如果判定当前模式不是盲模式,则计算盲模式的坐标系基(coordinate system base),以切换到盲模式(S210)。然后,指示盲输入模式,并确定接触操作单元202的坐标系基(S212)。
返回图6,在步骤S104中,当步骤S102中对接触状态的检测结果表明,两个或更多个操作体接触且被定位成相互分开预定的间隔,并且它们在接触操作单元上移动预定的距离时,模式选择单元206判定当前模式为盲模式。
当在步骤S104中判定是盲模式时,坐标系确定单元208确定接触操作单元202的坐标系(S106)。然后,相对位置计算单元210利用在步骤S106中确定的接触操作单元202的坐标系和两个或更多个操作体的接触位置来确定这两个或更多个操作体的相对位置(S108)。在步骤S104中,当判定模式不是盲模式,即,当判定当前模式是正常模式时,像通常那样计算两个或更多个操作体的接触位置,其中假定y轴是壳体的垂直方向,并且x轴是水平方向(S110)。
然后,检测单元204检测两个或更多个操作体的接触状态(S112)。接下来,命令发出单元212基于在步骤S108中计算出的相对位置处在步骤S112中检测到的接触状态来发出预定的操作命令。当在步骤S104中判定是正常模式时,基于在步骤S110中计算出的位置处的接触状态来发出预定的操作命令(S114)。
这里,参考图8,详细说明步骤S112中对操作体的接触状态的检测和命令发出。图8是示出从检测操作体的接触状态的处理到发出命令的处理的流程的流程图。如图8所示,首先,判定操作体是否与接触操作单元202接触(S302)。在步骤S302中,当判定操作体与接触操作单元202接触时,判定操作体的数目是否改变了(S304)。在步骤S302中,当判定操作体未与接触操作单元202接触时,不输出命令(S312)。
在步骤S304中,如果判定操作体的数目没有改变,则更新操作历史数据402的操作历史(S306)。
在步骤S304中,如果判定与接触操作单元202接触的操作体的数目改变了,则基于操作历史数据来识别命令(S308)。然后,在步骤S308中识别的命令被输出(S310)。
这里,参考图9,描述步骤S308中的命令识别。图9是用于说明操作历史数据402的说明图。如图9所示,在操作历史数据示例410中,食指(第一操作体)接触的时刻被设定为开始1。然后,在预定的时间之后,中指(第二操作体)接触,并且中指的接触时间等于或小于预定时间的时刻被设定为开始2。在操作历史数据示例410中,在开始2发出命令“前进一项”。即,当接触的手指的数目像1、2然后1这样改变时,发出命令“前进一项”。
然后,说明操作历史数据示例412。在操作历史数据示例412中,食指(第一操作体)接触的时刻被设定为开始1。然后,在预定的时间之后,中指(第二操作体)接触,并且中指的接触时间等于或小于预定时间的时刻被设定为开始2。在操作历史示例412中,如果在经过开始2之后中指保持接触达预定的时间,则在中指接触的时间段期间发出命令“快进”。
[5]接触操作和命令的示例
至此,已经描述了信息处理装置10的信息处理方法。接下来参考图10至图16来描述命令发出单元212发出的命令的示例。图10是用于说明两个操作体的接触操作的示例的说明图。在图10中,两个操作体被描述为食指和中指。接触操作示例21示出这样一个状态,其中,食指被用于在接触表面上拂动(flick and drag),而中指没有接触。这里,拂动指的是用手指在接触表面上拂动的动作。
接触操作示例22示出了用食指和中指同时敲击(tap)接触表面。这里,敲击指的是用手指敲击或轻拍接触表面的动作。接触操作示例23示出了按先食指后中指的顺序用食指和中指顺序地敲击接触表面。接触操作示例24示出了用食指和中指同时双击接触表面。
接下来参考图11来描述用两根手指进行的接触操作的示例。图11是用于说明两根手指的接触操作示例的说明图。如图11所示,接触操作示例25示出了用两根手指在接触表面上拂动。例如,食指和中指交替地上下拂动,或者只用食指在屏幕上拂动,同时中指保持接触。可以同时用中指和食指在屏幕上拂动。
接触操作示例26示出了用两根手指仅执行敲击。例如,同时或交替地用食指和中指敲击屏幕。此外,接触操作示例27示出了用食指和中指中的任一个来敲击接触表面和在接触表面上拂动。例如,仅用食指或中指在屏幕上拂动,或者仅用食指或中指敲击屏幕。
接下来参考图12来描述用三根手指进行的接触操作的示例。图12是用于说明三根手指的接触操作示例的说明图。如图12所示,接触操作示例28示出了用食指、中指和无名指这三根手指中的任意两者在接触表面上拂动。例如,可以同时执行用中指拂动和用无名指敲击,或者同时用中指和无名指拂动。
接触操作示例29示出了用三根手指中的任意两者来敲击接触表面。例如,用食指和无名指同时敲击屏幕,或者用中指和无名指逐一敲击屏幕。接触操作示例30示出了用三根手指中的任意一者来在接触表面上拂动或者敲击接触表面。例如,只用食指敲击屏幕,或者只用无名指在屏幕上拂动。
接触操作示例31示出了用三根手指中的任意手指来执行拂动。例如,只用食指在表面上拂动,同时中指和无名指与接触表面接触。或者,用中指和无名指在表面上拂动,同时食指与接触表面相接触。接触操作示例32和接触操作示例33示出了用三根手指来敲击接触表面的状态。例如,同时用食指和中指敲击表面,然后,用无名指敲击表面。或者,用三根手指逐一敲击表面。
接下来参考图13来描述利用两根手指来进行模式切换等等的示例。如图13所示,接触操作示例41示出了通过同时用两根手指拂动来切换模式。例如,当用两根手指在表面上从上往下拂动时,盲模式被开启。当用两根手指在表面上从下往上拂动时,盲模式被关闭。
接触操作示例42示出了通过用两根手指中的任一者双击接触表面或者用两根手指同时敲击接触表面来重放和停止音乐内容。例如,为了重放音乐,仅用食指来双击接触表面,为了停止音乐内容的重放,用食指和中指同时敲击表面。
接触操作示例43和接触操作示例44示出了通过用两根手指逐一地敲击接触表面来执行音乐内容的“快进”、“前进一项”、“倒回”、“后退一项”。例如,为了“快进”和“前进一项”,按先食指后中指的顺序用食指和中指敲击表面。为了“倒回”和“后退一项”,按先中指后食指的顺序用中指和食指敲击表面。接触操作示例45示出了通过用两根手指中的任一者在接触表面上拂动来增大或减小音量。例如,为了增大音量,用食指在表面上从下往上拂动。为了减小音量,用食指在表面上从上往下拂动。
接下来参考图14来描述在模式切换等等时使用三根手指的接触操作示例。如图14所示,接触操作示例46示出了这样的状态,其中同时用三根手指在屏幕上拂动,以便进行模式切换。例如,当用三根手指在屏幕上从上往下拂动时,盲模式可被开启。当用三根手指在屏幕上从下往上拂动时,盲模式可被关闭。
接触操作示例47示出了通过同时或逐一用三根手指双击接触表面来重放和停止音乐内容。例如,为了重放音乐,用食指和无名指同时敲击表面,然后,用中指敲击表面。为了停止音乐内容的重放,用中指敲击表面,然后,用食指和无名指同时敲击表面。
接触操作示例48和接触操作示例49示出了通过同时或逐一用三根手指敲击接触表面来执行音乐内容的“快进”、“前进一项”、“倒回”、“后退一项”的状态。例如,为了“快进”或“前进一项”,用食指和中指同时敲击表面,然后,用无名指敲击表面。为了“倒回”和“后退一项”,用中指和无名指同时敲击表面,然后,用食指敲击表面。接触操作示例50示出了通过用三根手指中的任意手指在接触表面上拂动来增大或减小音量。例如,为了增大音量,用中指在表面上从下往上拂动,同时食指和无名指与表面接触。为了减小音量,用中指在表面上从上往下动,同时食指和无名指与表面接触。
接下来,参考图15和图16来描述在信息处理装置10具有与用于重放音乐内容的典型应用(以下称之为“音乐内容重放应用”)的用户界面的层次结构类似的层次结构的情况下的接触操作。在以下描述中,假定用三根手指改变层次体系的选择范围和在层次体系中上下移动。
图15是用于说明层次结构中存储的内容的说明图。如图15所示,该结构从上面起按顺序有类型、艺术家、专辑、歌曲和播放列表这些层。用户利用两根或三根手指执行接触操作,从而改变选择范围或者移动到更高层或更低层。
参考图16,说明改变选择目标或者移动到另一层的接触操作示例。在图16中,接触操作示例52至54是用于说明用户用两根手指进行的接触操作的说明图。接触操作示例52示出了通过用两根手指逐一接触来改变选择目标。例如,首先用食指接触,然后用中指连续接触从而前进一个选择目标,或者首先用食指接触,然后用中指敲击,从而顺序地前进多个选择目标。
接触操作示例53示出了通过同时用两根手指敲击来移动到更高层。例如,同时用食指和中指两者敲击屏幕,从而移动到更高层。接触操作示例54示出了通过用两根手指中的任一者双击来移动到更低层。例如,仅用食指双击屏幕,从而移动到更低层。
图16中的接触操作示例55至57是用于说明用户用三根手指进行的接触操作的说明图。接触操作示例55示出了通过同时或逐一用三根手指接触来改变选择目标。例如,同时用食指和中指接触屏幕,然后用无名指连续接触,从而前进一个选择目标,或者用中指和无名指接触屏幕,然后用食指敲击,从而连续地前进多个选择目标。
接触操作示例56示出了通过用三根手指双击或敲击来移动到更高层。例如,同时用三根手指接触屏幕,然后,用食指双击屏幕,之后用中指和无名指敲击,从而移动到更上层。接触操作示例57示出了通过用三根手指双击或敲击来移动到更低层。例如,同时用三根手指接触屏幕,然后用食指和中指敲击屏幕,之后用无名指双击,从而移动到更低层。以上已经描述了接触操作和命令的示例。
在根据此实施例的信息处理装置10中,检测与接触操作单元202接触的两个或更多个操作体的操作状态,以根据这两个或更多个操作体的操作方向来确定接触操作单元202的坐标系。然后,用所确定的坐标系和两个或更多个操作体的接触位置来计算这两个或更多个操作体的相对位置,并且用相对位置处这两个或更多个操作体的接触状态作为基础来发出各种操作命令。
利用此结构,无论信息处理装置10的壳体的方向如何,都判断操作体的操作方向,以便用户无需关注壳体的方向就能够执行期望操作。因此,用户可以在无需从视觉上识别信息处理装置10的壳体或显示屏的情况下利用触摸屏面板来执行期望的操作。例如,当信息处理装置10被放置在提包或衣袋中时,用户无需将其从衣袋或提包中取出就可以执行期望的操作。
本领域的技术人员应当理解,取决于设计要求和其他因素,可以进行各种修改、组合、子组合和变更,只要它们处于所附权利要求或其等同物的范围之内。
例如,已经以用户无需在视觉上识别信息处理装置10的壳体和显示屏就能够执行期望操作的情况为例描述了本实施例。然而,本发明并不限于此示例。例如,当除了用于重放音乐内容的应用(以下称之为“音乐内容重放应用”)以外的应用运行时,无需切换所显示的应用就可执行重放和停止音乐内容重放等等的操作。换言之,在除音乐内容重放应用以外的应用运行时,上述利用操作体进行的具体操作被执行来切换到盲模式并检测操作体的操作。由于操作体的操作在切换到盲模式之后被检测到,因此除音乐内容重放应用以外的应用可以继续运行以便重放、停止音乐内容等等。
本发明包含与2008年10月30日向日本专利局提交的日本在先专利申请JP 2008-280021中公开的主题相关的主题,这里通过引用将该申请的全部内容并入。

Claims (9)

1.一种信息处理装置,包括:
被操作体进行接触操作的接触操作单元;
检测单元,用于检测与所述接触操作单元接触的每个操作体的接触状态;
坐标系确定单元,用于根据由所述检测单元检测到的操作体的操作方向来确定所述接触操作单元的坐标系;
相对位置计算单元,用于根据通过两个或更多个操作体的附加接触操作而由所述检测单元检测到的该两个或更多个操作体的接触位置以及由所述坐标系确定单元确定的所述接触操作单元的坐标系,来计算所述两个或更多个操作体中的每一个的相对位置;以及
命令发出单元,用于基于在由所述相对位置计算单元计算出的所述两个或更多个操作体的相对位置处的由所述检测单元检测到的所述两个或更多个操作体中的每一个的接触状态,来发出预定的操作命令。
2.根据权利要求1所述的信息处理装置,其中,所述坐标系确定单元在y轴是与由所述检测单元检测到的操作体的操作方向相平行的方向并且x轴是与该操作方向相垂直的方向的条件下确定所述接触操作单元的坐标系。
3.根据权利要求1所述的信息处理装置,其中,所述坐标系确定单元在所述检测单元检测到与所述接触操作单元相接触、相互分开预定的距离并且在所述接触操作单元上移动了预定距离的两个或更多个操作体时确定所述接触操作单元的坐标系。
4.根据权利要求1所述的信息处理装置,其中,所述相对位置计算单元在所述坐标系确定单元确定所述接触操作单元的坐标系之后,根据通过所述两个或更多个操作体的附加接触操作而由所述检测单元检测到的所述两个或更多个操作体的接触位置,来计算所述两个或更多个操作体中的每一个的相对位置。
5.根据权利要求1所述的信息处理装置,包括模式选择单元,用于选择第一模式或第二模式,在该第一模式中,y轴是所述信息处理装置的壳体的垂直方向,x轴是所述壳体的水平方向,在该第二模式中,y轴是与每个操作体的操作方向相平行的方向,x轴是与该操作方向垂直的方向,其中
所述模式选择单元在所述检测单元检测到与所述接触操作单元相接触、相互分开预定的距离并且在所述接触操作单元上移动了预定距离的两个或更多个操作体时选择所述第二模式。
6.根据权利要求5所述的信息处理装置,其中,当所述模式选择单元选择所述第二模式时,所述坐标系确定单元根据所述两个或更多个操作体中的每一个的操作方向来确定所述接触操作单元的坐标系,并且
所述相对位置计算单元在所述模式选择单元选择所述第二模式之后,基于由所述坐标系确定单元确定的所述接触操作单元的坐标系和由所述检测单元检测到的所述两个或更多个操作体的接触位置,来计算所述两个或更多个操作体的相对位置。
7.根据权利要求1所述的信息处理装置,其中,所述检测单元检测包括所述两个或更多个操作体的接触顺序和接触次数在内的接触状态,并且
所述命令发出单元根据所述两个或更多个操作体的接触顺序和接触次数来发出所述预定的操作命令。
8.一种信息处理方法,包括以下步骤:
检测与接触操作单元接触的每个操作体的接触状态;
根据检测到的每个操作体的操作方向来确定所述接触操作单元的坐标系;
根据通过两个或更多个操作体的附加接触操作而由所述检测单元检测到的该两个或更多个操作体的接触位置以及由所述坐标系确定单元确定的所述接触操作单元的坐标系,来计算所述两个或更多个操作体中的每一个的相对位置;以及
基于在计算出的所述两个或更多个操作体的相对位置处的所检测到的所述两个或更多个操作体中的每一个的接触状态,来发出预定的操作命令。
9.一种用于使得计算机充当信息处理装置的程序,该信息处理装置包括:
被操作体进行接触操作的接触操作单元;
检测单元,用于检测与所述接触操作单元接触的两个或更多个操作体中的每一个的接触状态;
坐标系确定单元,用于根据由所述检测单元检测到的操作体的操作方向来确定所述接触操作单元的坐标系;
相对位置计算单元,用于根据通过所述两个或更多个操作体的附加接触操作而由所述检测单元检测到的该两个或更多个操作体的接触位置以及由所述坐标系确定单元确定的所述接触操作单元的坐标系,来计算所述两个或更多个操作体中的每一个的相对位置;以及
命令发出单元,用于基于在由所述相对位置计算单元计算出的所述两个或更多个操作体的相对位置处的由所述检测单元检测到的所述两个或更多个操作体中的每一个的接触状态,来发出预定的操作命令。
CN200910209131XA 2008-10-30 2009-10-28 信息处理装置、信息处理方法和程序 Expired - Fee Related CN101727240B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-280021 2008-10-30
JP2008280021A JP4853507B2 (ja) 2008-10-30 2008-10-30 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN101727240A true CN101727240A (zh) 2010-06-09
CN101727240B CN101727240B (zh) 2012-05-30

Family

ID=41698409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910209131XA Expired - Fee Related CN101727240B (zh) 2008-10-30 2009-10-28 信息处理装置、信息处理方法和程序

Country Status (6)

Country Link
US (1) US9507507B2 (zh)
EP (1) EP2184673A1 (zh)
JP (1) JP4853507B2 (zh)
CN (1) CN101727240B (zh)
BR (1) BRPI0914286A2 (zh)
RU (1) RU2533646C2 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426495A (zh) * 2011-09-22 2012-04-25 深圳市同洲电子股份有限公司 移动终端遥控数字电视接收终端的方法及移动终端
CN103577092A (zh) * 2012-07-18 2014-02-12 富士施乐株式会社 信息处理设备和信息处理方法
CN103853418A (zh) * 2012-11-30 2014-06-11 联想(北京)有限公司 一种数据处理方法和电子设备
TWI470537B (zh) * 2010-12-20 2015-01-21 Apple Inc 事件辨識方法及其相關聯之電子器件與電腦可讀儲存媒體
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
CN105117147A (zh) * 2015-07-24 2015-12-02 上海修源网络科技有限公司 一种基于手势操控车载操作系统的方法、装置及车载设备
CN105278777A (zh) * 2014-07-01 2016-01-27 义隆电子股份有限公司 电容式触控电子装置、触控装置及其模式选择方法
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
CN106293051A (zh) * 2015-08-21 2017-01-04 北京智谷睿拓技术服务有限公司 基于手势的交互方法、交互装置及用户设备
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US20110138284A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
JP5091267B2 (ja) * 2010-02-18 2012-12-05 シャープ株式会社 操作機器、その操作機器を備えた電子機器および画像処理装置ならびに操作方法
JP5649851B2 (ja) * 2010-05-18 2015-01-07 オリンパス株式会社 顕微鏡コントローラを有する顕微鏡システム
WO2011125985A1 (ja) 2010-04-05 2011-10-13 オリンパス株式会社 顕微鏡コントローラ及び該顕微鏡コントローラを有する顕微鏡システム
JP5158987B2 (ja) * 2010-05-21 2013-03-06 パナソニック株式会社 携帯端末、情報処理方法、及びプログラム
JP5728008B2 (ja) * 2010-06-16 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 情報入力装置、情報入力方法及びプログラム
TW201201067A (en) 2010-06-23 2012-01-01 Novatek Microelectronics Corp Touch sensing method and touch sensing system
US20120075196A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
JP2012155600A (ja) * 2011-01-27 2012-08-16 Fujitsu Ltd 情報処理装置、制御方法、および制御プログラム
CN103444165B (zh) * 2011-03-15 2017-09-08 富士通先端科技株式会社 摄像装置和摄像方法
CN102693057B (zh) * 2011-03-21 2017-09-29 联想(北京)有限公司 便携式终端及其操作方法
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US20120319959A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Device interaction through barrier
JP5855862B2 (ja) 2011-07-07 2016-02-09 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
JP5451944B2 (ja) 2011-10-07 2014-03-26 パナソニック株式会社 撮影装置及び撮影方法
JP5810824B2 (ja) * 2011-10-20 2015-11-11 富士通株式会社 プログラム、方法、および情報処理装置
US8773382B2 (en) 2011-10-28 2014-07-08 Nintendo Co., Ltd. Computer-readable storage medium, coordinate processing apparatus, coordinate processing system, and coordinate processing method
EP2587348B1 (en) * 2011-10-28 2020-12-02 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US8760423B2 (en) 2011-10-28 2014-06-24 Nintendo Co., Ltd. Computer-readable storage medium, information processing apparatus, information processing system, and information processing method
JP5827870B2 (ja) 2011-10-28 2015-12-02 任天堂株式会社 座標処理プログラム、座標処理装置、座標処理システムおよび座標処理方法
US9024891B2 (en) * 2011-11-03 2015-05-05 Synaptics Incorporated Single substrate touch sensor
JP5776525B2 (ja) * 2011-12-05 2015-09-09 株式会社デンソー 入力装置
US9030407B2 (en) * 2011-12-21 2015-05-12 Nokia Technologies Oy User gesture recognition
US8796566B2 (en) 2012-02-28 2014-08-05 Grayhill, Inc. Rotary pushbutton and touchpad device and system and method for detecting rotary movement, axial displacement and touchpad gestures
JP5999309B2 (ja) * 2012-03-21 2016-09-28 パナソニックIpマネジメント株式会社 負荷コントローラ
US20130307788A1 (en) * 2012-05-16 2013-11-21 Motorola Solutions, Inc. Device and method for automated use of force sensing touch panels
WO2014129565A1 (ja) * 2013-02-21 2014-08-28 京セラ株式会社 装置
JP6079337B2 (ja) * 2013-03-18 2017-02-15 富士通株式会社 入力装置および入力制御方法並びに入力制御プログラム
JP6221049B2 (ja) * 2013-03-29 2017-11-01 パナソニックIpマネジメント株式会社 冷蔵庫
WO2014184902A1 (ja) * 2013-05-15 2014-11-20 三菱電機株式会社 ユーザインタフェース装置
US10031586B2 (en) * 2013-06-12 2018-07-24 Amazon Technologies, Inc. Motion-based gestures for a computing device
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
WO2015060280A1 (ja) 2013-10-25 2015-04-30 株式会社村田製作所 電子機器、および、操作入力プログラム
CN103558970A (zh) * 2013-10-29 2014-02-05 广东欧珀移动通信有限公司 音量调节方法
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US9372587B2 (en) 2013-11-26 2016-06-21 Synaptics Incorporated Methods and apparatus for arranging electrode layers and associated routing traces in a sensor device
JP5965966B2 (ja) * 2014-11-06 2016-08-10 オリンパス株式会社 顕微鏡コントローラ及び該顕微鏡コントローラを有する顕微鏡システム
BR112017012783A2 (pt) * 2014-12-24 2018-01-02 Sony Corp dispositivo eletrônico, e, método de controle de dispositivo eletrônico.
JP6065939B2 (ja) * 2015-06-11 2017-01-25 カシオ計算機株式会社 表示装置、及び表示方法
JP6197012B2 (ja) * 2015-10-27 2017-09-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6109282B2 (ja) * 2015-12-09 2017-04-05 オリンパス株式会社 電子機器、撮像方法およびプログラム
JP6674095B2 (ja) * 2016-04-18 2020-04-01 富士通クライアントコンピューティング株式会社 タッチセンサ、端末装置及び押下検出プログラム
JP6410900B2 (ja) * 2017-08-28 2018-10-24 富士ゼロックス株式会社 表示制御装置、画像表示装置、およびプログラム
CN108646973B (zh) * 2018-05-10 2022-03-15 Oppo广东移动通信有限公司 熄屏显示方法、移动终端以及计算机可读存储介质
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11023067B2 (en) * 2018-12-19 2021-06-01 Intel Corporation Input control using fingerprints

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3169946B2 (ja) * 1987-04-28 2001-05-28 キャノン株式会社 画像処理方法及び画像処理装置
US5451724A (en) * 1992-08-05 1995-09-19 Fujitsu Limited Touch panel for detecting a coordinate of an arbitrary position where pressure is applied
JP3006545B2 (ja) * 1997-06-09 2000-02-07 日本電気株式会社 オンライン文字認識装置
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US6861946B2 (en) 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
JP2001326843A (ja) 2000-05-18 2001-11-22 Sony Corp 撮像装置及びその操作方法
WO2002088853A1 (en) 2001-04-26 2002-11-07 Caveo Technology, Llc Motion-based input system for handheld devices
US7088343B2 (en) * 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
KR100474724B1 (ko) * 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
FI20022282A0 (fi) 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
RU2246749C2 (ru) * 2003-01-14 2005-02-20 Пшеницин Юрий Михайлович Устройство для ввода информации
US20070274530A1 (en) 2004-04-05 2007-11-29 Koninklijke Philips Electronics, N.V. Audio Entertainment System, Device, Method, And Computer Program
JP4855654B2 (ja) 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP4789232B2 (ja) * 2004-10-05 2011-10-12 ソニー株式会社 情報処理装置及び入力操作モード制御方法
KR102058832B1 (ko) * 2005-03-04 2019-12-23 애플 인크. 다기능 휴대용 장치
WO2007049255A2 (en) 2005-10-28 2007-05-03 Koninklijke Philips Electronics N.V. System and method and for controlling a device using position and touch
JP4548614B2 (ja) * 2006-03-24 2010-09-22 株式会社デンソー 入力装置
US20070257881A1 (en) 2006-05-08 2007-11-08 Marja-Leena Nurmela Music player and method
JP5179378B2 (ja) * 2006-12-22 2013-04-10 パナソニック株式会社 ユーザインターフェイス装置
CN100485595C (zh) * 2007-07-25 2009-05-06 广东威创视讯科技股份有限公司 一种触摸屏装置与多点触摸定位方法
US20090153289A1 (en) * 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
US9503562B2 (en) 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
JP2009278294A (ja) 2008-05-13 2009-11-26 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10613741B2 (en) 2007-01-07 2020-04-07 Apple Inc. Application programming interface for gesture operations
US9760272B2 (en) 2007-01-07 2017-09-12 Apple Inc. Application programming interfaces for scrolling operations
US11954322B2 (en) 2007-01-07 2024-04-09 Apple Inc. Application programming interface for gesture operations
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
US9665265B2 (en) 2007-01-07 2017-05-30 Apple Inc. Application programming interfaces for gesture operations
US11449217B2 (en) 2007-01-07 2022-09-20 Apple Inc. Application programming interfaces for gesture operations
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US9575648B2 (en) 2007-01-07 2017-02-21 Apple Inc. Application programming interfaces for gesture operations
US10817162B2 (en) 2007-01-07 2020-10-27 Apple Inc. Application programming interfaces for scrolling operations
US10481785B2 (en) 2007-01-07 2019-11-19 Apple Inc. Application programming interfaces for scrolling operations
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
US10521109B2 (en) 2008-03-04 2019-12-31 Apple Inc. Touch event model
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US10936190B2 (en) 2008-03-04 2021-03-02 Apple Inc. Devices, methods, and user interfaces for processing touch events
US9971502B2 (en) 2008-03-04 2018-05-15 Apple Inc. Touch event model
US11740725B2 (en) 2008-03-04 2023-08-29 Apple Inc. Devices, methods, and user interfaces for processing touch events
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US9690481B2 (en) 2008-03-04 2017-06-27 Apple Inc. Touch event model
US9720594B2 (en) 2008-03-04 2017-08-01 Apple Inc. Touch event model
US11755196B2 (en) 2009-03-16 2023-09-12 Apple Inc. Event recognition
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US11163440B2 (en) 2009-03-16 2021-11-02 Apple Inc. Event recognition
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US9965177B2 (en) 2009-03-16 2018-05-08 Apple Inc. Event recognition
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
TWI470537B (zh) * 2010-12-20 2015-01-21 Apple Inc 事件辨識方法及其相關聯之電子器件與電腦可讀儲存媒體
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
CN102426495A (zh) * 2011-09-22 2012-04-25 深圳市同洲电子股份有限公司 移动终端遥控数字电视接收终端的方法及移动终端
CN103577092A (zh) * 2012-07-18 2014-02-12 富士施乐株式会社 信息处理设备和信息处理方法
CN103577092B (zh) * 2012-07-18 2018-09-21 富士施乐株式会社 信息处理设备和信息处理方法
CN103853418A (zh) * 2012-11-30 2014-06-11 联想(北京)有限公司 一种数据处理方法和电子设备
CN103853418B (zh) * 2012-11-30 2017-05-24 联想(北京)有限公司 一种数据处理方法和电子设备
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US11429190B2 (en) 2013-06-09 2022-08-30 Apple Inc. Proxy gesture recognizer
CN105278777A (zh) * 2014-07-01 2016-01-27 义隆电子股份有限公司 电容式触控电子装置、触控装置及其模式选择方法
CN105278777B (zh) * 2014-07-01 2018-02-02 义隆电子股份有限公司 电容式触控电子装置、触控装置及其模式选择方法
CN105117147A (zh) * 2015-07-24 2015-12-02 上海修源网络科技有限公司 一种基于手势操控车载操作系统的方法、装置及车载设备
US10642481B2 (en) 2015-08-21 2020-05-05 Beijing Zhigu Rui Tuo Tech Co., Ltd. Gesture-based interaction method and interaction apparatus, and user equipment
CN106293051B (zh) * 2015-08-21 2020-01-10 北京智谷睿拓技术服务有限公司 基于手势的交互方法、交互装置及用户设备
CN106293051A (zh) * 2015-08-21 2017-01-04 北京智谷睿拓技术服务有限公司 基于手势的交互方法、交互装置及用户设备

Also Published As

Publication number Publication date
US20100110031A1 (en) 2010-05-06
RU2533646C2 (ru) 2014-11-20
RU2009140128A (ru) 2011-05-10
EP2184673A1 (en) 2010-05-12
JP4853507B2 (ja) 2012-01-11
CN101727240B (zh) 2012-05-30
BRPI0914286A2 (pt) 2012-03-13
US9507507B2 (en) 2016-11-29
JP2010108273A (ja) 2010-05-13

Similar Documents

Publication Publication Date Title
CN101727240B (zh) 信息处理装置、信息处理方法和程序
TWI291161B (en) Automatic switching for a dual mode digitizer
JP4632102B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US8369898B2 (en) Portable terminal with touch screen and method for displaying tags in the portable terminal
CN102968267B (zh) 具有触摸屏的移动终端及在移动终端提供用户界面的方法
CN104145236B (zh) 用于移动终端中的内容的方法和装置
CN103513927B (zh) 选择性地拒绝触摸表面的边缘区域中的触摸接触
CN101526880B (zh) 触摸事件模型
CN102375597B (zh) 信息处理装置和信息处理方法
CN103329075B (zh) 用于基于手势控制的方法和装置
US20050046621A1 (en) Method and device for recognizing a dual point user input on a touch based user input device
US20090066659A1 (en) Computer system with touch screen and separate display screen
CN107340910A (zh) 一种触摸按键的响应方法、装置、存储介质及电子设备
CN102119376A (zh) 触敏显示器的多维导航
CN102272699A (zh) 手势检测分区
CN101651796A (zh) 遥控方法及装置
CN104541239A (zh) 文本选择和录入
US20110254806A1 (en) Method and apparatus for interface
CN105824495A (zh) 一种单手操作移动终端的方法以及移动终端
CN104885051A (zh) 锚拖动触摸符号辨识
CN107463290A (zh) 触摸操作的响应控制方法、装置、存储介质及移动终端
CN104679224B (zh) 输入设备及输入管理系统
CN108920055A (zh) 触控操作方法、装置、存储介质及电子设备
CN105549894A (zh) 触摸信息处理、获取的方法、装置及触摸信息处理系统
US20120050032A1 (en) Tracking multiple contacts on an electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20151028

EXPY Termination of patent right or utility model