CN101901072A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN101901072A
CN101901072A CN2010101826631A CN201010182663A CN101901072A CN 101901072 A CN101901072 A CN 101901072A CN 2010101826631 A CN2010101826631 A CN 2010101826631A CN 201010182663 A CN201010182663 A CN 201010182663A CN 101901072 A CN101901072 A CN 101901072A
Authority
CN
China
Prior art keywords
messaging device
pattern
operation tool
state
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101826631A
Other languages
English (en)
Other versions
CN101901072B (zh
Inventor
宫崎丽子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101901072A publication Critical patent/CN101901072A/zh
Application granted granted Critical
Publication of CN101901072B publication Critical patent/CN101901072B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种信息处理设备，其包括：操作工具检测单元，用于至少检测操作工具对信息处理设备的接触操作；状态检测单元，用于检测信息处理设备的静止/非静止状态或取向；以及模式控制单元，用于根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制检测操作工具对信息处理设备的操作的模式。这使得能够根据信息处理设备的静止/非静止状态或取向来控制用于检测操作工具对信息处理设备的操作的模式，从而能够根据用户的操作状态适当地控制检测模式。

Description

信息处理设备、信息处理方法和程序
技术领域
本发明涉及一种信息处理设备、信息处理方法和程序。
背景技术
已知有检测诸如手指、手或笔的操作工具的运动并执行与用户的交互的信息处理设备。例如，该信息处理设备检测操作工具对传感器的接触/接近、被传感器捕捉的操作工具M的远程运动等，并识别由用户输入的操作。
特别地，在执行支持操作工具的接近操作或接近和远程操作以及接触操作的应用的情况下，可能期望根据用户的操作状态适当地控制用于检测每个操作的模式。这是因为，在信息处理设备不处于静止状态的情况下，由于例如检测准确性等问题，接触操作被执行而接近操作和远程操作(特别是远程操作)难以执行。
发明内容
如果试图在没有控制检测模式的同时检测每种操作，则对应于接近操作或接近和远程操作的检测处理与接触操作一起执行，因此检测处理的效率降低。此外，在接触操作的检测单元、接近操作的检测单元和远程传感器具有不同的供电系统的情况下，电力被提供给不必要的检测单元或传感器，从而功耗增加。此外，很可能出现以下情况：用户所要进行的接触操作被错误地检测为接近操作，或者用户所要进行的远程操作被错误地检测为接近操作。
虽然也已知有能够手动控制检测模式的信息处理设备，但是在这种情况下，用户临时停止操作以进行手动控制，使得不一定能享受到良好的操作环境。
鉴于上述情况，期望提供一种信息处理设备、信息处理方法和程序，其能根据用户的操作状态适当地控制检测操作工具对信息处理设备的操作的模式。
根据本发明的第一实施例，提供一种信息处理设备，其包括：操作工具检测单元，用于至少检测操作工具对信息处理设备的接触操作；状态检测单元，用于检测信息处理设备的静止/非静止状态或取向；以及模式控制单元，用于根据信息处理设备的被检测到的静止/非静止状态或取向来控制检测操作工具对信息处理设备的操作的模式。这使得能够根据信息处理设备的静止/非静止状态或取向来控制检测操作工具对信息处理设备的操作的模式，以根据用户的操作状态适当控制检测模式。
操作工具检测单元可以检测操作工具对信息处理设备的显示板的接触操作和接近操作，状态检测单元可以检测信息处理设备的静止/非静止状态，并且模式控制单元可以在检测到信息处理设备的静止状态的情况下使能检测接近操作的接近检测模式，并且可以在没有检测到信息处理设备的静止状态的情况下禁用接近检测模式。这使得能够根据用户的操作状态将检测接近操作的模式控制为有效或无效。
操作工具检测单元可以检测操作工具对信息处理设备的远程操作以及操作工具对信息处理设备的显示板的接触操作和接近操作，状态检测单元可以检测信息处理设备的静止/非静止状态，并且模式控制单元在检测到信息处理设备的静止状态的情况下可以使能检测远程操作的远程检测模式，并且可以禁用检测接近操作的接近检测模式，并且在没有检测到信息处理设备的静止状态的情况下可以禁用检测远程操作的远程检测模式并使能检测接近操作的接近检测模式。这使得能够根据用户的操作状态将检测接近操作或远程操作的模式控制为有效或无效。
操作工具检测单元可以检测操作工具对提供给信息处理设备的两个或更多个接触检测单元的接触操作，状态检测单元可以检测信息处理设备的取向，并且模式控制单元可以根据信息处理设备的取向使能用于检测对两个或更多个接触检测单元之一的接触操作的第一接触检测模式或用于检测对两个或更多个接触检测单元中的另一个的接触操作的第二接触检测模式。这使得能够根据用户的操作状态控制通过两个或更多个检测单元检测接触操作的模式。
根据本发明的第二实施例，提供一种信息处理方法，包括检测信息处理设备的静止/非静止状态或取向的步骤，以及根据信息处理设备的所检测到的静止/非静止状态或取向来控制检测操作工具对信息处理设备的操作的模式。
根据本发明的第三实施例，提供使计算机执行根据本发明的第二实施例的信息处理方法的程序。
根据上述本发明的实施例，可提供信息处理设备、信息处理方法和程序，其能够根据用户的操作状态适当地控制检测操作工具对信息处理设备的操作的模式。
附图说明
图1是示出根据本发明的一个实施例的信息处理设备的概要的图；
图2是示出根据本发明的实施例的信息处理设备的功能配置的示例的框图；
图3A是示出显示板上的操作工具的状态的图；
图3B是示出在图3A所示的状态下的传感器图像的指定区域的图；
图4A是示出显示板上的操作工具的状态的图；
图4B是示出图4A所示的状态下的传感器图像上的指定区域的图；
图5A是示出图3A中的A-A线上的亮度值分布的图；
图5B是示出图3A中的B-B线上的亮度值分布的图；
图6是示出操作方向的识别处理的流程图；
图7A是示出操作方向的识别处理的示意图；
图7B是示出操作方向的识别处理的示意图；
图7C是示出操作方向的识别处理的示意图；
图8A是示出操作方向的识别处理的示意图；
图8B是示出操作方向的识别处理的示意图；
图9是示出显示方向的旋转处理的流程图；
图10A示出显示方向的旋转处理的示意图；
图10B示出显示方向的旋转处理的示意图；
图11是示出基于接近手势的操作的识别处理的流程图；
图12A是示出基于接近手势(静止手势)的操作的识别处理的示意图；
图12B是示出基于接近手势(摇摆手势)的操作的识别处理的示意图；
图12C是示出基于接近手势(移动手势)的操作的识别处理的示意图；
图13是示出基于接触手势的操作的识别处理的流程图；
图14A是示出基于接触手势(点手势)的操作的识别处理的示意图；
图14B是示出基于接触手势(按手势)的操作的识别处理的示意图；
图14C是示出基于接触手势(覆盖手势)的操作的识别处理的示意图；
图15是示出基于接触/接近状态的操作的识别处理的流程图；
图16是示出接近检测模式的控制处理的流程图；
图17A是示出接近检测模式的控制处理的示意图；
图17B是示出接近检测模式的控制处理的示意图；
图18是示出接近和远程检测模式的控制处理的流程图；
图19A是示出接近和远程检测模式的控制处理的示意图；
图19B是示出接近和远程检测模式的控制处理的示意图；
图20是示出接触检测模式的控制处理的流程图；
图21A是示出接触检测模式的控制处理的示意图；
图21B是示出接触检测模式的控制处理的示意图；
图22是示出应用激活的控制处理的流程图；
图23A是示出应用激活的控制处理的示意图；
图23B是示出应用激活的控制处理的示意图；
图23C是示出应用程序激活的控制处理的示意图；以及
图24是示出信息处理设备的硬件配置的一个示例的框图。
具体实施方式
下面，将参照附图详细描述本发明的优选实施例。应注意，在本说明书和附图中，具有大致相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
[1.信息处理设备100的概要]
图1是示出根据本发明的一个实施例的信息处理设备100的概要的图。根据本发明的一个实施例的信息处理设备100至少检测诸如手指、手或笔的操作工具M与显示板101的接触。此外，根据本发明一些实施例的信息处理设备100检测操作工具M对显示板101的接近和/或操作工具M相对于信息处理设备100的远程运动。另外，虽然接下来将描述信息处理设备100包括显示板101的情况，但是信息处理设备100可以经由通信装置连接到显示板101。
信息处理设备100检测信息处理设备100的静止/非静止状态或取向，并且根据信息处理设备100的被检测到的静止/非静止状态或取向来控制检测操作工具M对信息处理设备100的操作的模式。这里，信息处理设备100通过加速度传感器、陀螺仪等来检测信息处理设备100的静止/非静止状态或取向。由于通过这样来根据设备的静止/非静止的状态或取向控制用于检测操作工具M对信息处理设备100的操作的模式，能够根据用户的操作状态适当地控制检测模式。
特别地，根据本发明的实施例的信息处理设备100检测操作工具M对信息处理设备100的显示板101的接触操作和接近操作，并且同时检测信息处理设备100的静止/非静止状态。于是，在检测到信息处理设备100的静止状态的情况下，信息处理设备100使能用于检测接近操作的接近操作模式，并且在没有检测到信息处理设备100的静止状态的情况下禁用该接近操作模式。由此，能够根据用户的操作状态将检测接近操作的模式控制为有效或无效。
[2.信息处理设备100的功能构造]
图2是示出根据本发明实施例的信息处理设备100的功能构造的示例的框图。信息处理设备100包括显示板101、远程传感器107、操作工具检测单元109、状态检测单元111、存储单元113、显示控制单元115、以及控制单元117。
显示板101充当接触/接近传感器103和显示单元105。该接触/接近传感器103捕捉操作工具M的接触/接近状态。接触/接近传感器103是例如光学传感器或电容式传感器，但在下面将假设是基于显示板101的光接收状态来捕捉操作工具M的接触/接近状态的情况。显示单元105在显示控制单元115的控制下显示对象、内容、应用的处理结果等。此外，例如，对象是组成GUI的任意对象，诸如图标、按钮、缩略图等。
远程传感器107包括立体摄像机等，其成像和捕捉操作工具M的远程运动，诸如预定手势。
操作工具检测单元109通过使用接触/接近传感器103和远程传感器107检测操作工具M的状态。操作工具检测单元109检测操作工具M的接触/接近/运动和远程运动。操作工具检测单元109尤其检测操作工具M的指示方向、预定状态等。操作工具检测单元109检测操作工具M相对于显示板101的指示方向，尤其是检测操作工具M接触显示面板101时移动的指示方向和移动方向。此外，操作工具M的指示方向可以在接近时以及接触时检测。
基于光接收状态，操作工具检测单元109检测操作工具M的接触/接近的存在或不存在、操作工具M的接触/接近区域、操作工具M相对显示板101的指示方向和接触/接近的手势。此外，将在下面详细说明通过接触/接近传感器103检测操作工具M的方法。操作工具检测单元109基于远程传感器107的成像结果检测远程手势。操作工具检测单元109通过将操作工具M的接触/接近/远程运动与预先登记的手势信息进行比较来检测预定手势。
状态检测单元111包括加速度传感器、陀螺仪等，并检测信息处理设备100的静止/非静止状态和取向。显示控制单元115控制显示单元105对对象、内容、应用的处理结果等的显示。
存储单元113存储信息处理程序、应用程序、对象数据、手势信息等。控制单元117通过信息处理程序的执行来控制每个单元并控制信息处理设备100的整体操作。
控制单元117充当操作识别单元，用于基于操作工具M的指示方向识别操作工具M输入的操作方向。这里，控制单元117尤其基于检测到的操作工具M的指示方向和移动方向识别由操作工具M输入的操作的方向。
此外，控制单元117作为模式控制单元，用于根据信息处理设备100的静止/非静止状态或取向来控制检测操作工具M对信息处理设备100的操作的模式。
[3.操作工具M的检测方法]
在显示板101上，RGB像素和光接收传感器被布置成矩阵。光接收传感器充当接触/接近传感器103，通过接收从显示板101发出并被操作工具M反射的光，并基于光接收状态捕捉操作工具M的接触/接近状态。然后，操作工具检测单元109通过数字地处理接触/接近传感器103的输出结果来创建传感器图像S。
操作工具检测单元109基于传感器图像S计算对应于每个像素并指示光接收状态的亮度值，并通过使用两个预定阈值Th1和Th2对该亮度值执行三元处理。在三元处理中，每个像素的亮度值被分为第一、第二和第三类，传感器图像S的区域被分为对应于每个类的第一、第二和第三区域A1、A2和A3。第一、第二、第三区域A1、A2和A3对应于高亮度、中等亮度和低亮度的区域，并分别被指定为操作工具M的接触区域、接近区域和非接触/非接近区域。
操作工具检测单元109基于第一区域A1的存在来检测操作工具M与显示板101的接触，并且基于第二区域A2的存在来检测操作工具M对显示板101的接近。此外，操作工具检测单元109通过计算第一和第二区域A1和A2的面积来检测操作工具M的接触区域和接近区域中的每个。
具体地，操作工具检测单元109计算第一和第二区域A1和A2的重心G1和G2的位置，计算连接所计算的重心G1和G2的位置的直线(重心线)的方向，并基于第一区域A1的重心G1的位置和重心线检测操作工具M的指示方向。操作工具M的指示方向定义为沿重心线指示第一区域A1的重心G1的方向。
下面，将参照图3和图5描述操作工具M的指示方向的检测方法。图3和图4是示出操作工具M在显示板101的状态(图3A和图4A)及在传感器图像S1和S2上指定的第一和第二区域(图3B和图4B)的图。图5是示出图3B中的传感器图像S1上的亮度值分布的图，图5A和图5B分别示出A-A线和B-B线上的亮度值分布。
图3和图4示出改变操作工具M在显示板101上的指示方向的情况。在这种情况下，操作工具M的端部(指尖)触摸显示板101，并且操作工具M的除顶端之外的一部分(手指肚)接近显示板101。
在图3中显示的状态下，操作工具M指示GUI显示的向上方向(见图3A)。在这种情况下，操作工具检测单元109基于传感器图像S1上的亮度值分布将操作工具M的指示方向检测为GUI显示的向上方向(见图3B)。例如，在图5所示的示例中，操作工具M的接触和接近是从A-A线上检测到的第一和第二区域A1和A2检测的(见图5A)，并且操作工具M的接近是从B-B线上检测到的第二区域A2检测的(见图5B)。
在图4所示的状态下，操作工具M指示GUI显示的左上方向(见图4A)。在这种情况下，操作工具检测单元109基于传感器图像S2的亮度值分布将操作工具M的指示方向检测为GUI显示的左上方向(见图4B)。
[4-1.操作方向的识别处理]
下面，将给出对操作工具M所输入的操作的方向进行识别的处理的描述，该识别基于在触摸显示板101时移动的操作工具M的指示方向和移动方向。
图6是示出操作方向的识别处理的流程图，并且图7和图8是显示操作方向的识别处理的示意图。
当操作工具检测单元109检测到操作工具M的接触时(步骤S103)，操作工具检测单元109基于以上描述的操作工具M的检测方法检测操作工具M的指示方向(S103)。这里，操作工具M的指示方向可以在操作工具M移动的状态下或者在操作工具不移动的状态下被检测。
例如，基于如图7所示的虚拟地设置在显示板101上的坐标系，操作工具M的指示方向被定义为角度θ1。坐标系的设置可以独立于显示板101的取向，但是下面将假设基于显示板101的垂直方向和水平方向设置通常的直角坐标系的情况。在这种情况下，从直角坐标系的第一象限到第四象限沿逆时针方向测量角度θ1。
操作工具检测单元109确定是否针对预定数量的帧连续地检测到角度θ1(S105)。例如，每个检测值被存储在图中未示出的缓存中。然后，如果检测结果的改变小于预定阈值θt(S107)，操作工具检测单元109将角度θ1确定为检测结果的中间值等(S109)。
确定角度θ1后，操作工具检测单元109检测操作工具M的移动起点和移动终点(S111)，并确定操作工具M的移动方向(S113)。基于与角度θ1相同的坐标系，操作工具M的移动方向被定义为基于连接操作工具M的移动起点和终点的移动向量V的角度θ2，如图7B所示。
下面，为描述方便将假设操作工具M沿直线移动的情况。在这种情况下，移动起点被定义为在没有检测到操作工具M的接触的状态下第一次检测到操作工具M的接触的点。以同样的方式，移动终点被定义为在检测到操作工具M接触的状态下第一次检测到操作工具M的非接触的点。此外，在操作工具M以曲线移动的情况下，可以基于移动方向改变点来为每个曲线移动确定移动起点和移动终点。
控制单元117确定指示操作工具M的指示方向和移动方向的角度θ1和θ2之间的差值Δθ(＝θ1-θ2)(S115)。控制单元117基于该差Δθ来识别由操作工具M输入的操作的方向(S117、S119、S121)。如图7C所示，操作方向是基于角度θ1和θ2之间的差Δθ确定的。
操作方向，例如，在-45°≤Δθ＜45°的情况下被识别为向上(S123)并且在45°≤Δθ＜135°的情况下被识别为向左(S125)。以同样的方式，在135≤Δθ＜180°或-180°≤Δθ＜-135°的情况下操作方向被识别为向下(S127)，并且在-135°≤Δθ＜-45°的情况下被识别为向右(S129)。
另外，为了提高操作方向识别的准确度，可在-30°≤Δθ＜30°的角度范围内将操作方向识别为向上。此外，可以根据用户的惯用手调整角度范围。
作为操作方向识别处理的示例，在图8中示出选择在GUI显示上竖直显示的滑动条O的标签T和向上操作标签的情况。
如图8A所示，在显示板101相对于用户的取向与GUI显示的取向相同的情况下(即，显示板101按照其顶部相对于用户是向上的方式设置的情况)，用户相对于显示板101向上拖动标签T，从而对应于GUI显示的向上的方向。此处，可以对作为对象的标签T执行拖动操作，或者可以在标签T被选择的状态下执行拖动操作，例如，在没有对象被显示的区域。
例如，当操作工具M的指示方向和移动方向被检测为角度θ1＝135°和角度θ2＝120°时，差为Δθ＝15°，因此如图7C所示，识别向上操作。这使用户能够向上操作标签T。
另一方面，如图8B所示，显示板101相对于用户的取向不同于GUI显示的取向(例如，显示板101按照将其顶部相对于用户朝向左侧的方式设置的情况)，用户相对于显示板101向上拖动标签T，从而对应于GUI显示的右侧方向。
例如，当操作工具M的指示方向和移动方向被检测为角度θ1＝45°并且角度θ2＝20°时，差为Δθ＝25°，因此如图7C所示，识别向上操作。这使用户甚至在显示板101相对于用户的取向不同于GUI显示的取向的情况下(图8B)，能够以与两者取向相同的情况一样的方式(图8A)，通过相对于显示板101向上拖动标签T来向上操作标签T。
因此，在识别GUI显示的取向后，用户不必执行拖动操作以对应于GUI显示的取向或在改变显示板101的取向之后执行拖动操作。因此，不依赖于GUI显示的取向(即显示板101的取向)的操作是可能的，并且操作环境能够得到改善。
例如，在通过向上/向下方向的操作来调整音量大/小的情况下、在通过向左/向右的操作来调整向前/向后的播放位置的情况下、以及在对应于向上/向下/向左/向右方向的操作滚动显示板101的显示的情况下，不依赖于显示板101的取向的直观操作是可能的。特别地，在未识别对象而直接操作内容本身的情况下(在未识别显示板101上位置而执行拖动操作的情况)能够改进操作。
[4-2.显示方向的旋转处理]
下面，将描述基于操作工具M的指示方向识别显示板101的GUI显示的旋转操作的方向的处理。
图9和图10是示出显示方向的旋转处理的流程图和示意图。图10示出显示方向向下旋转的情况(图10A)和显示方向向左旋转的情况(图10B)。
当操作工具检测单元109检测到操作工具M的接触时(步骤S201)，操作工具检测单元109基于上文所述的操作工具M的检测方法检测操作工具M的指示方向(S203)。这里，无论是在操作工具M移动的状态下还是在操作工具不移动的状态下，操作工具M的指示方向均可以被检测。
例如，如图10A和图10B所示，基于在显示板101上虚拟设置的坐标系，操作工具M的指示方向被定义为角度θ1。下面，将假设基于显示板101的竖直方向和水平方向设置通常的直角坐标系的情况。在这种情况下，以逆时针方向从直角坐标系的第一象限到第四象限测量角度θ1。
该操作工具检测单元109确定是否针对预定数量的帧连续地检测到角度θ1(S205)。然后，如果检测结果的改变小于预定阈值θt(S207)，操作工具检测单元109将角度θ1确定为检测结果的中间值等。
控制单元117基于指示操作工具M的指示方向的角度θ1识别显示板101的GUI显示的旋转操作的方向(S211、S213、S215)。该显示方向是，例如，在45°≤θ1＜135°的情况下被识别为向下(S217)，在135°≤θ1＜225°的情况下被识别为向右(S219)。以同样的方式，显示方向在225°≤θ1＜315°的情况下被识别为向上(S221)和在0°≤θ1＜45°或315°≤θ1＜360°的情况下被识别为向左(S223)。
此外，为了改善操作方向识别准确度，操作方向可在角度范围30°≤Δθ＜120°内被识别为向下。此外，可以根据用户的惯用手调整角度范围。
这里，旋转后的GUI显示的方向被定义为正常使用时(在正常位置)相对于显示板101显示GUI显示的顶部的取向。也就是说，向下的显示方向意味着在正常位置的显示板101的底部显示GUI显示的顶部，并且向左的方向意味着在正常位置的显示板101的左边显示GUI显示的顶部。
当显示方向被识别时，显示控制单元115在显示方向需要被改变的情况下(S225)控制显示单元105根据所识别的操作方向旋转显示板101的GUI显示(S227)。此外，当指示方向再次改变时，显示方向根据改变的指示方向而改变。
因此，通过基于操作工具M的指示方向来旋转显示板101的GUI显示方向，不依赖于GUI显示的方向(即显示板101的取向)的操作是可能的，并且操作环境可以得到改善。
[4-3.基于接近手势的操作的识别处理]
下面，将描述基于操作工具M针对显示板101的接近手势识别由操作工具M输入的操作的处理。
图11和图12是示出基于接近手势的操作的识别处理的流程图和示意图。作为接近手势的示例，图12给出操作工具M的静止手势(图12A)、操作工具M的摇摆手势(图12B)、以及操作工具M的移动手势(图12C)。
例如，操作工具M的静止手势被检测为在显示板101上方保持手静止的动作。操作工具M的摇摆手势被检测为在显示板101上方水平(和/或竖直)摇摆手的动作。操作工具M的移动手势被检测为在显示板101上方水平(和/或竖直)移动手的动作。
下面，将描述识别三种操作的情况，其对应于操作工具M的静止手势、摇摆手势、和移动手势，但可以基于其它接近手势识别四种或更多的手势。此外，假设每个接近手势事先与手势信息和特定操作相关联。
当操作工具检测检测单元109检测到操作工具M的接近时(S301)，操作工具检测单元109确定是否在预定时间段(如500毫秒)内连续地检测到操作工具M的接近(S303)。如果连续地检测到操作工具的接近，则操作工具检测单元109开始检测移动状态(S305)，并且如果没有连续地检测到操作工具的接近，则操作工具检测单元109继续检测操作工具M的接近。
操作工具M的移动状态被检测为操作工具M相对于显示板101在接触/接近传感器103的检测范围内的横向移动和/或竖直移动。操作工具M的移动状态，例如，被检测为操作工具M的移动距离/速度/加速度等，但下面将假设为检测操作工具M的移动速度v的情况。
操作工具检测单元109确定是否针对预定数量的帧连续检测到操作工具M的移动速度v(S307)。
控制单元117确定操作工具M的移动速度v的绝对值是否小于预定阈值vt(S313)。然后，在肯定的确定结果的情况下，控制单元117识别对应于静止手势的操作(S315)。另一方面，如果移动速度v等于或大于预定阈值vt且在移动速度v的变化方面观测到恒定的重复性(在步骤S317中“是”的情况)，则控制单元117识别对应于摆动手势的操作(S319)。此外，如果移动速度v等于或大于预定阈值vt且在移动速度v的变化方面未观察到恒定的重复性(在步骤S317中“否”的情况下)，控制单元117识别对应于移动手势的操作(S321)。
这里，操作工具检测单元109可以除操作工具M的移动速度v之外还检测接近面积Aa(S309)。控制单元117能够仅当接近面积满足预定阈值Aat(例如，显示板101的70％的面积)时通过基于移动速度v识别操作来准确地识别基于接近手势的操作(S311)。此外，可以在通过比较(S313、S317)移动速度v和阈值vt而进行的确定之后确定接近面积Aa。
由此，能够基于操作工具M针对显示板101的接近手势输入各种操作。因此，用户能够在不使得操作工具M接触显示板101上的对象(或信息处理设备100的按钮)的情况下用操作工具M快速输入期望的操作。此外，用户能够通过将任意含义赋予每个接近手势来执行直观操作，诸如将静止手势关联到静音操作、将摇摆手势关联到播放列表的打乱操作、或将移动手势关联到播放顺序中的跳过操作。
[4-4.基于接触手势的操作的识别处理]
下面，将描述基于操作工具M针对显示板101的接触手势识别由操作工具M输入的操作的处理。
图13和图14是示出基于接触手势的操作的识别处理的流程图和示意图。作为接触手势的示例，在图14中示出通过点手势指定对象(图14A)、通过按手势指定对象(图第14B)、通过覆盖手势使得没有对象被指定(图14C)。
例如，点手势是使得指尖接触对象的移动，而按手势是使得手指肚接触对象的移动。此外，例如，覆盖手势是用多个手指覆盖显示板101的移动。这里，基于检测操作工具M相对于显示板101的接触面积(和/或接触形式)来检测每个接触手势。
下面，将描述识别对应于点手势、按手势和覆盖手势的三种操作的情况，但可以基于其它接触手势识别四种或更多的手势。此外，假设每个接触手势预先与手势信息和具体操作关联。
当操作工具检测单元109检测到操作工具M的接触时(S401)，操作工具检测单元109检测操作工具M的接触位置P和接触面积At(S403)。
控制单元117确定操作工具M的接触位置P是否在特定对象的区域内(S405)。基于存储在存储单元113中的对象的位置确定接触位置P和对象区域之间关系。此外，在接触位置P位于多个对象区域内的情况下，不指定对象的手势被检测到。
然后，在肯定的确定结果的情况下，控制单元117比较接触面积At与预定阈值Att1(S407)。然后，如果接触面积At小于阈值Att1，则控制单元117识别对应于点手势的操作(S409)，并且如果接触面积At等于或大于阈值Att1，则控制单元117识别对应于按手势的操作(S411)。
另一方面，在步骤S405的确定结果为否定的情况下，控制单元117比较接触面积At与预定阈值Att2(Att1＜Att2)(S413)。然后，如果接触面积At等于或大于阈值Att2，则控制单元117识别对应于覆盖手势的操作(S415)。
这里，可以在通过接触位置P和对象区域的比较(S405)而进行的确定之后确定接触面积At。此外，操作工具检测单元109可以除接触面积Aa之外还检测接触区域的形状、操作工具M的接近状态等。然后，控制单元117能够仅在基于接触区域的形状或操作工具M的接近状态检测到指尖、手指肚等的接触时，通过基于接触面积At识别操作来准确地识别基于接触手势的操作。
由此，能够基于操作工具M针对显示板101的接触手势来输入各种操作。特别是，用户能够通过赋予每个接触手势任意含义来执行直观的操作，诸如将本地操作关联于使用指尖的手势、或将全局操作关联于使用手掌的手势。
[4-5.基于接触/接近状态的操作的识别处理]
下面，将描述基于操作工具M针对显示板101的接触/接近状态识别由操作工具M输入的操作的处理。
图15是示出基于接触/接近状态的操作的识别处理的流程图。
当识别处理开始，操作工具检测检测单元109检测操作工具M相对于显示板101存在或不存在接触，当检测到接触时(S501)，操作工具检测单元109检测操作工具M的接触位置P和接触面积At(S503)。
控制单元117确定接触面积At是否小于阈值Att(S505)。在确定结果为否定的情况下，控制单元117识别接触遮蔽操作(对应于覆盖手势的操作)(S513)。另一方面，在确定结果为肯定的情况下，控制单元117确定输入的起点和接触位置p之间的距离是否等于或大于阈值Mt(S507)，并且在确定结果为肯定的情况下，控制单元117识别拖动操作(S509)。如果在此识别拖动操作，则执行上述操作方向的识别处理(S511)。另一方面，在确定结果为否定的情况下，处理重新开始。
当处理开始时，操作工具检测单元109检测操作工具M相对于显示板101存在或不存在接近(S515)。当检测到接近时，且如果操作工具M的接近是在预定时间内连续检测到的(步骤S517中的“是”)，操作工具检测单元109开始检测操作工具M的运动速度v和接近面积Aa(S519)，并且如果不是连续检测到的(步骤S517中的“否”)，则处理重新开始。随后，控制单元117确定接近面积Aa是否等于或大于阈值Aat(S521)，并且在确定结果为否定的情况下，处理重新开始。
另一方面，在步骤S521中的确定结果为肯定的情况下，控制单元117确定针对预定数量的帧连续检测到的移动速度v的绝对值是否小于阈值vt(S523)。然后，在确定结果为肯定的情况下，控制单元117识别接近遮蔽操作(操作对应于静止手势)(S525)，并且在确定结果为否定的情况下，控制单元117识别接近摇动操作(对应于摆动手势的操作)(S527)。
当处理开始时，控制单元117确定操作工具M的接触是否被连续地检测到(S529)。控制单元117确定接触面积At是否低于预定阈值Att(S531)。然后，在确定结果为肯定的情况下，控制单元117确定输入起点和接触位置P之间的距离是否小于阈值Mt(S533)，并且如果确定结果是肯定的，则控制单元117识别轻击(tap)操作(S535)。另一方面，在步骤S529、S531和S533的确定结果为否定的情况下，处理重新启动。
在检测操作工具M的接近状态的情况下，显示板101和操作工具M是相互分离的，因此与接触状态的检测相比有较高的误检测可能性。然而，通过只在检测到的接近面积Aa等于或大于预定阈值Aat时捕捉接近手势，误检测能够被抑制。
此外，在同时检测操作工具M的接触/接近状态的情况下，捕捉手势有较高的误检测可能性，其将用户本意是接触手势的手势捕捉为接近手势。然而，通过仅当在预定持续时间内检测到接近状态时捕捉接近手势，误检测能够被抑制。
[5.检测模式的控制方法]
下面，将描述根据信息处理设备100(以下也称为信息处理设备100)的静止/非静止状态或取向来控制检测操作工具M对信息处理设备100操作的模式的方法。
[5-1.接近检测模式的控制方法]
首先，将描述本实施例的变化，其中根据信息处理设备100的静止/非静止状态控制用于检测操作工具M对显示板101的接近操作的模式。
接触/接近传感器103包括接触操作检测单元和接近操作的检测单元。接触/接近传感器103在信息处理设备100运行时连续地充当接触传感器，并且当支持接近手势的应用运行时还充当接近传感器。下面，将假设分别为接触操作的检测单元和接近操作的检测单元提供电源系统的情况。状态检测单元111包括加速度传感器并且检测操作工具本身的静止/非静止状态。
控制单元117充当模式控制单元，用于根据信息处理设备100的静止/非静止状态控制检测操作工具M对信息处理设备100的操作的模式。特别地，控制单元117控制接近检测模式，该模式用于检测操作工具M对显示板101的接近操作。
图16和图17是示出接近检测模式的控制处理的流程图和示意图。
控制单元117确定支持接近操作的应用是否在运行(S601)，并在确定结果为肯定的情况下，控制单元117根据状态检测单元111的检测结果确定信息处理设备100是否处在静止状态(S603)。另一方面，在确定结果为否定的情况下，控制单元117继续确定该应用是否被激活。
在信息处理设备100处于静止状态的情况下，控制单元117确定是否持续预定时间(S605)，并在确定结果为肯定的情况下，控制单元117使能接近检测模式(S607)。另一方面，在步骤S603和S605处的确定结果为否定的情况下，控制单元117禁用接近检测模式(S609)。在这种情况下，对应于接近操作的检测处理和供电被省略。
图17A显示出一种情况，其中信息处理设备100由用户持有并处于静止状态，当支持接近操作的应用运行时。在这种情况下，接近检测模式有效，且用户能够通过改变操作工具M相对于显示板101的接近状态来执行接近操作(接触操作也可在该状态下执行)。
图17B示出信息处理设备100被偶然移动的情况。在这种情况下，如果操作工具M接近显示板101，用户非故意的接近操作被检测到，除非接近检测模式变为无效。然而，由于信息处理设备100处在移动状态，接近检测模式将自动变为无效并且没有接近操作被检测到，用户非故意的接近操作为被检测到。然后，当信息处理设备100再变为静止状态时，接近检测模式变为有效，从而使用户能够重新开始接近操作。
这使得能够根据信息处理设备100的静止/非静止状态来控制接近检测模式，因此在不需要检测接近操作的情况下，对应于接近操作的检测处理和供电可以被省略。另外，用户非故意的接近操作不被检测。此外，用户可以无缝地执行接触操作和接近操作，而不必手动控制检测模式。
[5-2.接近和远程检测模式的控制方法]
随后，将描述当前实施例的变化，其中根据信息处理设备100的静止/非静止状态来控制用于检测操作工具M对显示板101的接近和远程操作的模式。
接触/接近传感器103和状态检测单元111与上述变型中的相同。远程传感器107成像并捕捉操作工具M的诸如预定手势的远程移动。远程传感器107包括立体摄像机等，并且当支持远程手势的应用运行时工作。下面将假设为接触/接近传感器103和远程传感器107分别提供电源系统的情况。
控制单元117具体控制用于检测操作工具M对显示板101的接近操作的接近检测模式，以及用于检测操作工具M对遥控传感器107的远程操作的远程检测模式。
图18和图19是示出接近和远程检测模式的控制处理的流程图和示意图。
控制单元117确定支持接近操作和远程操作的应用是否在运行(S701)，并在肯定的确定结果的情况下，控制单元117根据状态检测单元111的检测结果确定信息处理设备100是否处在静止状态(S703)。另一方面，在否定的检测结果的情况下，控制单元117继续确定应用是否被激活。
在信息处理设备100处在静止状态的情况下，控制单元117确定该静止状态是否持续预定时间(S705)，并在肯定的确定结果的情况下，控制单元117禁用接近检测模式而使能远程检测模式(S707)。在这种情况下，不执行对应于接近操作的检测处理和供电。另一方面，在步骤S703和S705的否定的确定结果的情况下，控制单元117使能接近检测模式而禁用远程检测模式(S709)。在这种情况下，与远程操作对应的检测处理和供电被忽略。
图19A示出在支持接近操作和远程操作的应用正在运行时信息处理设备100被布置于桌子上并且处于静止状态的情形。在这种情形下，远程检测模式有效而接近检测模式无效，从而用户能够通过改变操作工具M相对于信息处理设备100的远程移动来执行远程操作(在这种状态下也能够执行接触操作)。
图19B示出信息处理设备100是由用户持有并且在汽车等中处于移动(振动)状态的情形。在这种情形下，因为信息处理设备100处于移动状态，用户非故意的远程操作可能会被检测到，除非远程检测模式变为无效。然而，由于信息处理设备100处于移动状态，远程检测模式自动变为无效并且没有远程操作被检测，用户非故意的远程操作不被检测。然后，当信息处理设备100再次变为静止状态时，远程检测模式变得有效，从而用户能够重新开始远程操作。
这使得能够根据信息处理设备100的静止/非静止状态控制接近检测模式和远程检测模式，因此在接近操作或远程检测模式不需要被检测的情况下，与接近操作或远程检测模式相对应的检测处理和供电可以被省略。此外，用户非故意的远程操作不被检测。此外，用户能够无缝地执行接近操作和远程操作，而不需要手动控制检测模式。
[5-3.接触检测模式的控制方法]
此外，将描述根据信息处理设备100的取向控制操作工具M对信息处理设备100的接触操作的检测模式的方法。
在本变型中，在信息处理设备100的显示板101上提供主传感器103，在信息处理设备100的沿长轴的每一侧提供辅传感器104R和104L并且在沿短轴的每一侧提供辅传感器104U和104D。主传感器103检测操作工具M对显示板101的接触操作，并且辅传感器104R、104L、104U和104D检测操作工具M的接触操作，例如，为了滚动显示板101的GUI显示。下面，将描述分别为辅传感器104R、104L、104U和104D提供电源系统的情形。
状态检测单元111包括陀螺仪并且检测信息处理设备100的取向。下面，信息处理设备100的长轴和短轴的方向对于用户为竖直的情形将分别被称为竖直取向和水平方向。状态检测单元111检测信息处理设备100是竖直朝向还是水平朝向。
控制单元117具体地控制用于检测对辅传感器104R、104L、104U和104D的接触操作的检测模式。例如，在信息处理设备100是竖直朝向的情况下，控制单元117使能辅传感器104R和104L的检测而禁用辅传感器104U和104D的检测，并且在信息处理设备100为水平朝向的情况下，控制单元117禁用辅传感器104R和104L的检测而使能辅传感器104U和104D的检测。具体地，控制单元117根据信息处理设备100的取向来使能对应于用户的惯用手的辅传感器104R、104L、104U和104D。下面，将假设用户惯用右手的情况。
图20和图21是示出接触检测模式的控制处理的流程图和示意图。
控制单元117根据来自状态检测单元111的传感器输出确定信息处理设备100是否为竖直朝向(S801)，并在肯定的确定结果的情况下(图21A)，控制单元117确定信息处理设备100是否在预定时间内保持竖直朝向(S803)。然后，在肯定的确定结果的情况下，控制单元117使能用户右侧的辅传感器104R并禁用其它辅传感器104L、104U和104D(S805)。
另一方面，在信息处理设备100是水平朝向的情况下(例如，显示板101的顶部朝向用户的左侧)，控制单元117确定信息处理设备100是否在预定时间内保持为水平朝向(S807)。在肯定的确定结果的情况下(图21B)，控制单元117使能用户右侧的辅传感器104D并禁用其它辅传感器104R、104L和104U(S809)。
此外，图22和图23是示出应用激活的控制处理的流程图和示意图。
控制单元117根据状态检测单元111的检测结果确定信息处理设备100是否是竖直朝向(S901)，并在肯定的确定结果的情况下(图23A)，控制单元117确定操作工具M是否与辅传感器104R接触(S903)。接下来，在肯定的确定结果的情况下，控制单元117确定操作工具M是否在预定时间内保持与辅传感器104R接触(S905)。然后，在肯定的确定结果的情况下，控制单元117激活数字图书阅读器(S907)。
另一方面，在信息处理设备100是水平朝向的情况下(例如，显示板101的顶部朝向用户的左侧)，控制单元117确定操作工具M是否与辅传感器104U和104D接触(S909)。接着，在肯定的确定结果的情况下，控制单元117确定操作工具M是否在预定时间内保持与辅传感器104U和104D接触(S911)。然后，在肯定的确定结果的情况下(图23B)，控制单元激活游戏(S913)。
此外，控制单元117在以下情况下不需要激活数字图书阅读器，例如信息处理设备100是水平朝向的并且由试图保持信息处理设备100的用户使操作工具M与辅传感器104R、104L、104U和104D之一接触。
这使得能够根据信息处理设备100的取向控制接触检测模式，从而在不受到接触操作的辅传感器104中，可以省略与接触操作对应的检测处理和电源。
[6.信息处理设备100的硬件配置]
图24是示出信息处理设备100的硬件配置的示例的框图。
信息处理设备100主要包括CPU 901、ROM 903、RAM 905、主机总线907、桥909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动921、连接端口923，以及通信设备925。
CPU 901作为运算处理设备和控制设备，并且至少部分地根据ROM903、RAM 905、存储设备917或可移动存储介质927中储存的各种程序控制信息处理设备100的操作。在ROM 903中存储被CPU 901使用的程序、参数等。RAM 905中临时存储由CPU 101执行的程序和在该程序执行时的参数等。CPU 101、ROM 903和RAM 905经由主机总线907互连。主机总线907经由桥909连接到外部总线911。
输入设备915是用户可操作的输入装置，诸如鼠标、键盘、显示板101、按钮或开关。此外，对应于信息处理设备100的操作，输入设备915可以是，例如，使用诸如红外线的电波的远程操作设备或诸如手提电话、PDA等的外部设备929。输入设备915包括，例如，输入控制电路，其用于基于用户使用上述操作装置输入的操作信息生成输入信号，并将该信号输出到CPU 901。在信息处理设备100的用户向信息处理设备100输入各种数据并提供处理操作指令。
输出设备917包括能够视觉地和听觉地通知用户所获得信息的设备，诸如：包括CRT显示器、液晶显示器、显示板101或灯的显示设备，包括扬声器或耳机的音频输出设备，打印机，便携式电话或传真机。输出设备917输出信息处理设备100的处理结果。例如，显示设备将信息处理设备100的处理结果显示为文字信息或图像信息，并且音频输出设备将重放的音频数据、声学数据等的音频信号转换成模拟信号并将其输出。
存储设备919是用于数据存储的设备，包括例如磁存储设备，诸如HDD、半导体存储设备、光学存储设备或磁光存储设备。在存储设备919内存储由CPU 901执行的程序、各种数据、从外部获得的各种数据等。
驱动器921是用于记录介质的读取器/写入器，并且被内嵌入或者外附于信息处理设备100。驱动921从附连的如磁盘、光磁盘、磁光盘或半导体存储器的可移动记录介质927读取所记录的数据，并输出数据到RAM 905和写入将要记录的数据。
连接端口923是用于将外部设备929直接连接到信息处理设备100的端口，如USB端口、SCSI端口、RS232C端口等。信息处理设备100经由连接端口923从连接到连接端口923的外部设备929获得数据并向其提供数据。
通信设备925是通讯接口，包括，例如，用于连接到通信网络N的通信设备。通信设备925例如是有线或无线LAN、WUSB通信卡、ADSL路由器、或通信调制解调器。通信设备925例如按照预定协议执行与因特网或其它通信设备的信号等的传输和接收。连接到通信设备925的通信网络N被有线或无线地连接的网络等配置。例如，通信网络N可以是因特网、家庭LAN、红外数据通信、无线电波通信、卫星通信等。
如上所述，已经描述了根据本发明的实施例的用于实现信息处理设备100的功能的硬件配置的一个示例。此外，上述硬件的每个部件可使用一般用途的设备来配置或者可使用专于每个部件的功能的设备来配置。
[7.总结]
如上所述，根据本发明实施例的信息处理设备100检测信息处理设备100的静止/非静止状态或取向，并控制用于检测操作工具M在信息处理设备100的操作的模式。由此，根据信息处理设备100的静止/非静止状态或取向来控制用于检测操作工具M在信息处理设备100上的操作的模式，从而能够根据用户的操作状态适当地控制检测模式。
虽然本发明的优选实施例已在上文参照附图进行了描述，但本发明不限于此。本领域技术人员应理解，可根据设计要求和其它因素在所附权利要求或其等价的范围内进行各种修改、组合、子组合和替代。
本申请包含与2009年5月26日向日本专利局提交的日本优先专利申请JP2009-126950所公开的主题相关的主题，在此通过引用将其全部内容结合于此。

Claims (6)

1.一种信息处理设备，包括：
操作工具检测单元，用于至少检测操作工具对所述信息处理设备的接触操作；
状态检测单元，用于检测所述信息处理设备的静止/非静止状态或取向；以及
模式控制单元，用于根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制检测所述操作工具对所述信息处理设备的操作的模式。
2.根据权利要求1所述的信息处理设备，
其中，所述操作工具检测单元检测所述操作工具对所述信息处理设备的显示板的接触操作和接近操作，
其中，所述状态检测单元检测所述信息处理设备的所述静止/非静止状态，并且
其中，所述模式控制单元在检测到所述信息处理设备的静止状态的情况下使能用于检测所述接近操作的接近检测模式，并且在未检测到所述信息处理设备的静止状态的情况下禁用所述接近检测模式。
3.根据权利要求1所述的信息处理设备，
其中，所述操作工具检测单元检测所述操作工具对所述信息处理设备的远程操作以及所述操作工具对所述信息处理设备的显示板的所述接触操作和接近操作，
其中，所述状态检测单元检测所述信息处理设备的静止/非静止状态，并且
其中，所述模式控制单元在检测到所述信息处理设备的静止状态的情况下使能用于检测所述远程操作的远程检测模式并禁用用于检测所述接近操作的接近检测模式，并且在未检测到所述信息处理设备的静止状态的情况下禁用用于检测所述远程操作的远程检测模式并使能用于检测所述接近操作的接近检测模式。
4.根据权利要求1所述的信息处理设备，
其中，所述操作工具检测单元检测所述操作工具对为所述信息处理设备提供的两个或更多个接触检测单元的接触操作；
其中，所述状态检测单元检测所述信息处理设备的取向，并且
其中，所述模式控制单元根据所述信息处理设备的取向使能用于检测对所述两个或更多个接触检测单元之一的接触操作的第一接触检测模式或用于检测对所述两个或更多个接触检测单元中的另一个的接触操作的第二接触检测模式。
5.一种信息处理方法，包括步骤：
检测信息处理设备的静止/非静止状态或取向；以及
根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制用于检测操作工具对所述信息处理设备的操作的模式。
6.一种用于使计算机执行信息处理方法的程序，所述信息处理方法包括步骤：
检测信息处理设备的静止/非静止状态或取向；以及
根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制用于检测操作工具对所述信息处理设备的操作的模式。
CN2010101826631A 2009-05-26 2010-05-19 信息处理设备、信息处理方法 Expired - Fee Related CN101901072B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009126950A JP5282661B2 (ja) 2009-05-26 2009-05-26 情報処理装置、情報処理方法およびプログラム
JP2009-126950 2009-05-26

Publications (2)

Publication Number Publication Date
CN101901072A true CN101901072A (zh) 2010-12-01
CN101901072B CN101901072B (zh) 2013-05-01

Family

ID=42543161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101826631A Expired - Fee Related CN101901072B (zh) 2009-05-26 2010-05-19 信息处理设备、信息处理方法

Country Status (4)

Country Link
US (1) US10346027B2 (zh)
EP (1) EP2256591A1 (zh)
JP (1) JP5282661B2 (zh)
CN (1) CN101901072B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102759991A (zh) * 2011-04-28 2012-10-31 宏达国际电子股份有限公司 电子装置及其相关控制方法
CN103097989A (zh) * 2011-01-31 2013-05-08 松下电器产业株式会社 信息处理装置、处理控制方法、程序及记录介质
CN103257732A (zh) * 2012-02-20 2013-08-21 群康科技(深圳)有限公司 电子装置及检测方法
CN103384872A (zh) * 2011-02-22 2013-11-06 惠普发展公司，有限责任合伙企业 便于用户输入的控制区域
CN103577092A (zh) * 2012-07-18 2014-02-12 富士施乐株式会社 信息处理设备和信息处理方法
CN103914161A (zh) * 2013-01-09 2014-07-09 夏普株式会社 输入显示装置和输入显示装置的控制装置
CN104102404A (zh) * 2014-07-11 2014-10-15 北京智谷睿拓技术服务有限公司 相对方位确定方法及装置
CN104238932A (zh) * 2013-06-11 2014-12-24 株式会社东芝 显示控制装置和显示控制方法
CN104915088A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 一种信息处理方法和电子设备
CN105373327A (zh) * 2014-09-02 2016-03-02 联想(北京)有限公司 一种信息处理方法和电子设备
CN106686497A (zh) * 2016-12-27 2017-05-17 广东小天才科技有限公司 一种可穿戴设备的音量调整方法及可穿戴设备
CN108924375A (zh) * 2018-06-14 2018-11-30 Oppo广东移动通信有限公司 铃声音量的处理方法、装置、存储介质及终端
WO2019037008A1 (zh) * 2017-08-24 2019-02-28 深圳双创科技发展有限公司 一种终端操作方法及终端

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI501121B (zh) * 2009-07-21 2015-09-21 Pixart Imaging Inc 手勢辨識方法及使用該方法之觸控系統
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
KR101718893B1 (ko) 2010-12-24 2017-04-05 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
US8847920B2 (en) * 2011-02-28 2014-09-30 Lenovo (Singapore) Pte. Ltd. Time windows for sensor input
JP5595312B2 (ja) * 2011-03-15 2014-09-24 株式会社Ｎｔｔドコモ 表示装置、表示装置の制御方法、及びプログラム
US9417703B2 (en) * 2011-04-20 2016-08-16 Koninklijke Philips N.V. Gesture based control of element or item
JP5329681B2 (ja) * 2012-01-06 2013-10-30 シャープ株式会社 タッチパネルシステムおよび電子機器
TWI518565B (zh) 2011-06-22 2016-01-21 夏普股份有限公司 觸控面板系統及電子機器
US9830026B2 (en) 2011-06-29 2017-11-28 Sharp Kabushiki Kaisha Touch sensor system and electronic device
DE102011110974A1 (de) 2011-08-18 2013-02-21 Volkswagen Aktiengesellschaft Verfahren und Einrichtung zum Bedienen einer elektronischen Einrichtung und/ oder Applikationen
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
US10504485B2 (en) * 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
US9298333B2 (en) 2011-12-22 2016-03-29 Smsc Holdings S.A.R.L. Gesturing architecture using proximity sensing
JP6129214B2 (ja) * 2012-02-23 2017-05-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リモートコントロールデバイス
JP5148004B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
JP5461735B2 (ja) * 2012-04-27 2014-04-02 パナソニック株式会社 入力装置、入力支援方法及びプログラム
JP5610644B2 (ja) 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
JP5875456B2 (ja) * 2012-04-27 2016-03-02 三菱電機株式会社 タッチパネル誤操作防止入出力装置
KR20130124138A (ko) * 2012-11-21 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
US9225307B2 (en) 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
KR101910509B1 (ko) 2012-07-17 2018-10-22 삼성전자주식회사 전자장치에서 자동응답시스템 서비스 이용중 화면 꺼짐 방지를 위한 방법 및 장치
US9173086B2 (en) * 2012-07-17 2015-10-27 Samsung Electronics Co., Ltd. Method and apparatus for preventing screen off during automatic response system service in electronic device
DE102012014910A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
JP5812054B2 (ja) * 2012-08-23 2015-11-11 株式会社デンソー 操作デバイス
US9898183B1 (en) * 2012-09-19 2018-02-20 Amazon Technologies, Inc. Motions for object rendering and selection
CN103713735B (zh) * 2012-09-29 2018-03-16 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
JP6100497B2 (ja) * 2012-10-09 2017-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および画像表示方法
DE102012022312A1 (de) 2012-11-14 2014-05-15 Volkswagen Aktiengesellschaft Informationswiedergabesystem und Verfahren zur Informationswiedergabe
JP6278593B2 (ja) * 2012-11-14 2018-02-14 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10185416B2 (en) * 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
JP2014228939A (ja) * 2013-05-20 2014-12-08 アルプス電気株式会社 入力装置
JP5736005B2 (ja) * 2013-06-11 2015-06-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム
KR20150068001A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 센서를 이용한 동작 인식 방법 및 장치
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
JP6089305B2 (ja) * 2014-09-26 2017-03-08 裕一朗 今田 ポインチング装置
JP2016042383A (ja) * 2015-11-25 2016-03-31 カシオ計算機株式会社 ユーザ操作処理装置、ユーザ操作処理方法及びプログラム
JP6360112B2 (ja) 2016-07-27 2018-07-18 京セラ株式会社 電子機器
JP6239796B1 (ja) * 2017-04-05 2017-11-29 京セラ株式会社 電子機器
JP6255129B1 (ja) * 2017-04-18 2017-12-27 京セラ株式会社 電子機器
JP6209699B1 (ja) * 2017-04-18 2017-10-04 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2018181351A (ja) * 2018-04-24 2018-11-15 京セラ株式会社 電子機器
KR102061254B1 (ko) * 2019-02-18 2020-02-11 삼성전자 주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906565A (zh) * 2004-01-09 2007-01-31 诺基亚公司 自适应用户界面输入设备
CN1949134A (zh) * 2005-10-12 2007-04-18 广达电脑股份有限公司 可自动切换电源模式的可携式电子装置及其切换方法
CN101124621A (zh) * 2003-11-13 2008-02-13 美蓓亚株式会社 机械运动传感器以及低功率触发电路
US20080254822A1 (en) * 2007-04-12 2008-10-16 Patrick Tilley Method and System for Correlating User/Device Activity with Spatial Orientation Sensors

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5996080A (en) 1995-10-04 1999-11-30 Norand Corporation Safe, virtual trigger for a portable data capture terminal
JP2000020199A (ja) * 1998-07-03 2000-01-21 Nec Corp 携帯情報端末及びこれを用いた情報収集システム
JP2000329577A (ja) * 1999-05-18 2000-11-30 Fujitsu Ten Ltd 電子装置
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
JP2002258982A (ja) * 2001-03-05 2002-09-13 Nec Corp ノート型情報処理装置およびその制御方法
US7097810B2 (en) * 2002-06-26 2006-08-29 The Public Health Research Institute Of The City Of New York, Inc. Delivery of metered amounts of liquid materials
JP4006290B2 (ja) * 2002-07-30 2007-11-14 キヤノン株式会社 座標入力装置、座標入力装置の制御方法、プログラム
JP3952896B2 (ja) * 2002-07-30 2007-08-01 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7786623B2 (en) * 2005-09-07 2010-08-31 Amx Llc Power management for electronic devices
JP2007133691A (ja) * 2005-11-10 2007-05-31 Sony Corp 入力装置及び入力方法
US7606552B2 (en) 2005-11-10 2009-10-20 Research In Motion Limited System and method for activating an electronic device
WO2007097414A1 (ja) * 2006-02-23 2007-08-30 Pioneer Corporation 操作入力装置
JP4730784B2 (ja) * 2006-08-09 2011-07-20 アルパイン株式会社 車載表示システム
TWI317898B (en) * 2006-12-12 2009-12-01 Ind Tech Res Inst Inertial sensing input apparatus and method
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
EP2131272A3 (en) * 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US8275412B2 (en) * 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
US8542186B2 (en) * 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
JP5471137B2 (ja) * 2009-08-05 2014-04-16 ソニー株式会社 表示装置、表示方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124621A (zh) * 2003-11-13 2008-02-13 美蓓亚株式会社 机械运动传感器以及低功率触发电路
CN1906565A (zh) * 2004-01-09 2007-01-31 诺基亚公司 自适应用户界面输入设备
CN1949134A (zh) * 2005-10-12 2007-04-18 广达电脑股份有限公司 可自动切换电源模式的可携式电子装置及其切换方法
US20080254822A1 (en) * 2007-04-12 2008-10-16 Patrick Tilley Method and System for Correlating User/Device Activity with Spatial Orientation Sensors

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103097989B (zh) * 2011-01-31 2016-03-16 松下电器产业株式会社 信息处理装置以及处理控制方法
CN103097989A (zh) * 2011-01-31 2013-05-08 松下电器产业株式会社 信息处理装置、处理控制方法、程序及记录介质
CN103384872A (zh) * 2011-02-22 2013-11-06 惠普发展公司，有限责任合伙企业 便于用户输入的控制区域
CN103384872B (zh) * 2011-02-22 2016-10-12 惠普发展公司，有限责任合伙企业 便于用户输入的方法和计算系统
CN102759991A (zh) * 2011-04-28 2012-10-31 宏达国际电子股份有限公司 电子装置及其相关控制方法
CN103257732A (zh) * 2012-02-20 2013-08-21 群康科技(深圳)有限公司 电子装置及检测方法
CN103257732B (zh) * 2012-02-20 2016-04-20 群康科技(深圳)有限公司 电子装置及检测方法
CN103577092A (zh) * 2012-07-18 2014-02-12 富士施乐株式会社 信息处理设备和信息处理方法
CN103577092B (zh) * 2012-07-18 2018-09-21 富士施乐株式会社 信息处理设备和信息处理方法
CN103914161A (zh) * 2013-01-09 2014-07-09 夏普株式会社 输入显示装置和输入显示装置的控制装置
CN103914161B (zh) * 2013-01-09 2017-03-01 夏普株式会社 输入显示装置和输入显示装置的控制装置
CN104238932A (zh) * 2013-06-11 2014-12-24 株式会社东芝 显示控制装置和显示控制方法
CN104915088A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 一种信息处理方法和电子设备
CN104915088B (zh) * 2014-03-10 2018-10-12 联想(北京)有限公司 一种信息处理方法和电子设备
CN104102404B (zh) * 2014-07-11 2017-02-22 北京智谷睿拓技术服务有限公司 相对方位确定方法及装置
CN104102404A (zh) * 2014-07-11 2014-10-15 北京智谷睿拓技术服务有限公司 相对方位确定方法及装置
CN105373327A (zh) * 2014-09-02 2016-03-02 联想(北京)有限公司 一种信息处理方法和电子设备
CN105373327B (zh) * 2014-09-02 2019-06-25 联想(北京)有限公司 一种信息处理方法和电子设备
CN106686497A (zh) * 2016-12-27 2017-05-17 广东小天才科技有限公司 一种可穿戴设备的音量调整方法及可穿戴设备
WO2019037008A1 (zh) * 2017-08-24 2019-02-28 深圳双创科技发展有限公司 一种终端操作方法及终端
CN108924375A (zh) * 2018-06-14 2018-11-30 Oppo广东移动通信有限公司 铃声音量的处理方法、装置、存储介质及终端
CN108924375B (zh) * 2018-06-14 2021-09-07 Oppo广东移动通信有限公司 铃声音量的处理方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN101901072B (zh) 2013-05-01
JP5282661B2 (ja) 2013-09-04
US20100300771A1 (en) 2010-12-02
JP2010277198A (ja) 2010-12-09
EP2256591A1 (en) 2010-12-01
US10346027B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
CN101901072B (zh) 信息处理设备、信息处理方法
CN102428437B (zh) 信息处理设备和信息处理方法
KR102160767B1 (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
KR102081817B1 (ko) 디지타이저 모드 전환 방법
CN107621893B (zh) 在非电子表面上使用电子输入设备的内容创建
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
CN103425334B (zh) 控制电子装置的显示器的方法以及使用该方法的电子装置
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US20140317499A1 (en) Apparatus and method for controlling locking and unlocking of portable terminal
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
CN103729054A (zh) 多显示设备及其控制方法
CN102436338A (zh) 信息处理设备、信息处理方法以及程序
EP2575007A1 (en) Scaling of gesture based input
WO2009142880A1 (en) Proximity sensor device and method with subregion based swipethrough data entry
CN104137045A (zh) 用户手势识别
US20130328833A1 (en) Dual-mode input apparatus
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
CN110007748B (zh) 终端的控制方法、处理装置、存储介质及终端
KR102569170B1 (ko) 사용자 입력이 유지되는 시간에 기반하여 사용자 입력을 처리하는 방법 및 장치
US20230050836A1 (en) Ar/vr navigation with authentication using an integrated scrollwheel and fingerprint sensor user input apparatus
WO2022050604A1 (ko) 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
KR20140066378A (ko) 디스플레이장치와 그 제어방법
WO2015016894A1 (en) Gesture detection
TW201329793A (zh) 基於手勢之輸入之縮放

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130501

Termination date: 20190519

CF01 Termination of patent right due to non-payment of annual fee