CN102449590A - 使用协作输入源和有效动态坐标重映射的双指针管理方法 - Google Patents

使用协作输入源和有效动态坐标重映射的双指针管理方法 Download PDF

Info

Publication number
CN102449590A
CN102449590A CN2010800235045A CN201080023504A CN102449590A CN 102449590 A CN102449590 A CN 102449590A CN 2010800235045 A CN2010800235045 A CN 2010800235045A CN 201080023504 A CN201080023504 A CN 201080023504A CN 102449590 A CN102449590 A CN 102449590A
Authority
CN
China
Prior art keywords
pointer
input equipment
control device
input
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800235045A
Other languages
English (en)
Other versions
CN102449590B (zh
Inventor
P·莫兰
L·里加齐奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102449590A publication Critical patent/CN102449590A/zh
Application granted granted Critical
Publication of CN102449590B publication Critical patent/CN102449590B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本指针管理技术建立了一种用于绝对输入模式和相对输入模式中的双指针管理的协议和方法。该方法定义了用于输入传感器坐标和目标屏幕坐标之间的上下文动态重映射的一组属性/约束条件。左指针(相应地，右指针)的重映射取决于右指针(相应地，左指针)在目标屏幕空间中的位置。这种相互依赖能够实现更加灵活并且更加强大的交互，这是因为它利用了上下文布局在每一时刻对重映射变换进行重新估计。

Description

使用协作输入源和有效动态坐标重映射的双指针管理方法
技术领域
本发明总体上涉及用于响应来自输入设备的输入而在显示系统上生成并且显示指针或光标的方法、控制器和控制装置。更具体地，本发明涉及响应多个输入源并由此生成多个指针或光标的方法、控制器和控制装置。
背景技术
提供新颖并且先进的交互方法的各种新无线或有线控制器正被引入用于消费电子产品。新趋势旨在摆脱传统的基于按钮的方法并且通过诸如触摸板、触摸屏、陀螺仪、加速度计、电容式传感器及类似物的多种传感器的使用来实现新的用户体验。在电视竞争业中，该趋势在某种程度上是对新应用市场的响应，该新应用市场与正在部署的基于因特网的服务、多媒体娱乐和游戏相关联。
应用所需的一种普遍并且通用的交互与用以指向及选择显示系统的图形用户界面上显示的元素的能力有关。该类型的交互依赖于图形指针或光标的使用，用户可以经由例如触摸屏、触摸板或陀螺输入来控制所述图形指针或光标。大多数基于指针的交互系统使用一个单指针，并且实际上利用鼠标指针来模拟在计算机世界中发生的交互。
鉴于单指针方法被普遍并且广泛采用，在过去的几十年中单指针方法无疑已经证明了其便利性及价值。然而，此处认为，许多任务可以极大地得益于双指针交互以便向用户提供增加的便利性和更快的交互速度。在双模式交互中，用户通常将使用两只手(每只手控制一个指针)。用于改进的目标任务尤其包括：
●使用显示在界面上的虚拟键盘来输入文字；以及
●在界面上显示的对象集合中选择多个对象。
可以仅通过使用两个输入源(例如两个触摸板)并且通过独立地管理指针(以绝对输入模式或者以相对输入模式)来实现双指针交互。独立方法包括在整个交互屏幕上的基本指针重叠(即两个指针位于共用区域上)或在显示器上显示为两个静态子区域的交互区域的基本分割(即针对每个指针定义一个区域)。
然而，独立双指针管理方法在指定的便利性、可用性和/或精度上具有缺点和限制。这些限制与两个基本交互观察有关。首先，对于用户而言，控制可能相互交叉的指针令人感到混乱。利用右手控制的指针应该优选地保持在左手操作的指针的右手侧，并且反之亦然。其次，可能令用户失望的是，在指针被限制在特定区域的情况下被迫使用左指针完成一组动作并且使用右手完成另一组动作(例如分割式键盘)。
本发明使用新颖的相互依赖的双指针管理方法有效地克服了这些限制。
发明内容
本文公开的技术通过定义新颖的指针管理方法来使针对基于双指针的输入的交互能够更加直观、更加方便和更加有效率，所述新颖的指针管理方法经由有效率的上下文动态坐标重映射方案来在两个输入源(例如两个触摸板、具有两个输入区域的多触点触摸板、两个操纵杆)之间使用协作模型。
该方案能够实施不交叉的左和右(或上和下)指针，同时使用户能够在任何时间利用任何一个指针指向任何对象，由此给交互带来便利性和直观性。由于指向移动可以更容易地由用户针对每个特定情况进行最优化，所以该方案还使用户能够以更快的速度进行交互。
所公开的实施例将诸如文字输入和多对象选择等特定任务作为目标，尽管其它应用也可以利用本文所公开的技术。可以将双指针概念扩展到具有多于两个输入源以及多于两个指针的多指针应用中。
如本文将更全面地解释的那样，所公开的技术具有许多优点，包括但不限于：
1、定义了实施不交叉指针(例如左指针和右指针)的双指针管理协议，
2、主要以双绝对指针模式为目标，但是核心原理也适用于相对指向，
3、定义了一种相互依赖的重映射过程，该相互依赖的重映射过程使用左指针信息和右指针信息来将输入坐标(例如从一个触摸板)转换为输出坐标(例如到屏幕)，
4、在每个左手指和/或右手指活动之后，重新估计相互依赖的重映射参数(相对于固定重映射的上下文重映射)，
5、重映射功能经由上下文粘性(contextual stickiness)在输入传感器边缘处提供动作的连续性和平滑性，
6、本方法支持从单手操作到双手操作的平滑切换，并且反之亦然。
根据一个方面，所公开的技术提供一种用于在显示屏上生成多个指针的装置。该装置包括多位置输入系统和指针生成系统，所述多位置输入系统能接收来自多个输入设备的位置输入数据，所述指针生成系统生成用于在所述显示屏上显示的多个指针，所述多个指针中的每一个指针均位于不同的指针位置。该装置还包括映射积分处理器，所述映射积分处理器被配置为通过在计算每个指针位置时考虑来自全部所述多个输入设备的所述位置输入数据来计算所述不同的指针位置。所述映射积分处理器还被配置为计算所述不同的指针位置，使得每个位置位于动态边界的不同侧，该处理器基于对来自所述多个输入设备的输入数据的认识来调节所述动态边界。
根据另一方面，所公开的技术提供一种响应于多个输入设备在显示屏上生成多个指针的方法。根据该方法，接收来自第一输入设备的第一位置信号；接收来自第二输入设备的第二位置信号；如果提供了多于两个的输入设备，则接收附加位置信号。这些位置信号被电子地处理以计算在与显示屏相关联的预定义显示坐标系统之内的第一指针位置和第二指针位置。如果接收了多于两个的位置信号，则计算附加指针位置。所计算的指针位置相互不同，并且每个指针位置都基于至少所述第一位置信号和所述第二位置信号两者。在该显示屏上生成第一指针和第二指针，所述第一指针显示在所述第一指针位置，并且所述第二指针显示在所述第二指针位置。如果计算了多于两个的指针位置，则生成附加指针。
根据该方法，执行计算第一指针位置和第二指针位置的处理步骤，使得第一指针位置和第二指针位置被限制在所述显示坐标系统内的动态边界的不同侧，其中基于第一位置信号和第二位置信号来计算地调节该动态边界。
附图说明
图1A是用于实施本发明的控制技术的示例性远程控制设备，其具有两个单独的可点击触摸板；
图1B是用于实施本发明的控制技术的示例性远程控制设备，其具有单个多点触控可点击触摸板；
图2是图1A中的控制设备的示例性说明，其示出了在对映射到显示屏的相同屏幕区域的多个指针进行控制方面的用途，该图说明了为什么在使用双指针系统时用户感到混乱的一个原因；
图3是图1A中的控制设备的示例性说明，其示出了在控制多个指针方面的用途，其中左指针和右指针被限制在屏幕的两个固定子区域，所述子区域可重叠或可以不重叠；
图4是图1A中的控制设备的示例性说明，其示出了在左指针和右指针被限制在屏幕的两个固定子区域的情况下的接近冲突的示例；
图5A和图5B是图1A中的控制设备的示例性说明，其说明了用于右手侧指针的寻址空间如何被左手侧指针x轴位置限定或者限制在左侧，以及用于左手侧指针的寻址空间如何被右手侧指针x轴位置限定或者限制在右侧，其中边界动态地移动；
图6是图1A中的控制设备的示例性说明，其示出了用于双指针管理技术的第一实施例的边界条件；
图7是双指针管理技术的替代实施例的示例性说明，其中动态分割容许适度的指针重叠；
图8是双指针管理技术的又一实施例的示例性说明，其中动态分割实施外部界限限制以提高有效的指针分辨率；
图9是双指针管理技术的另一实施例的示例性说明，其中在相对模式中，由于右交互区域的较大动态区域，屏幕空间中的位移偏移对右指针比起对左指针更重要；
图10是与显示屏一起工作的控制装置的示例性实施例的硬件电路方框图；
图11是流程图，其示出了由图10中的CPU(或处理器)和图形生成器执行用以实现由控制装置提供的功能的示例性操作；
图12是功能方框图，其说明了用于在显示屏上生成多个指针的控制装置的示例性功能；
图13是功能方框图，其说明了采用多位置输入系统的控制装置的替代实施例。
具体实施方式
本发明的技术可以与能够实现双指针或多指针输入的各种输入设备一起使用。为了举例说明的目的，在图1A和图1B中示出了两个示例性输入设备。图1A中说明的设备是特征在于两个单独的可点击触摸板的远程控制器。图1B中说明的设备是特征在于能够同时在多个触摸输入中进行区分的单个多点触控表面的远程控制器。应当理解的是，这些仅是两个可能的示例性实施例；使用其它类型的控制传感器的其它实施例也是可能的。例如，可以使用多个操纵杆、轨迹球、接近传感器或类似物来实施双指针设备。
为了更好地理解本发明中包含的概念，现在将呈现各种指针管理方法的讨论。指针管理方法依赖于在屏幕的指向设备空间(例如触摸板表面)与屏幕的目标区域之间存在的映射类型。本公开将首先集中在绝对指向方法上，但是本文引入的基本概念也与相对指向有关。与均使用静态策略的常规方法(重叠方法、基本分割方法)相比，本发明将动态方法应用于双指针管理或多指针管理中。
如将从本文的描述中理解的是，本文描述的创新技术适用于提供两个或更多个单独寻址空间的任何输入设备；这可以例如使用两个或更多个单独传感器(例如图1A的两个触摸板)或使用具有两个或更多个具有两个逻辑区域的单独区域的单个传感器(图1B的一个多点触控触摸板)来实施。
参考图1A，示例性远程控制器的特征在于两个可点击触摸板20、22和一组可定义应用的按钮24。经由电容式及加速度传感器来自动地检测设备取向(横向、纵向)和手部位置。参考图1B，示例性远程控制器的特征在于单个多点触控触摸板26。如果需要，可以将在触摸板26上的某些指定区域分配给一组可定义应用的按钮，当被轻敲时，该组可定义应用的按钮以与图1A中的实施例的按钮24相同的方式来发挥作用。
重叠指针方法的问题
如在图2中所见的，重叠方法使用目标屏幕区域30与两个触摸板区域20、22中的任一区域之间的1对1映射。用户可以通过无区别地使用右指针或左指针来指向屏幕区域中的任何位置。(在图2中，以及在随后的图2-9中，将右指针和左指针在图形上描绘为人的右拇指和左拇指的局部图像：右指针32和左指针34)。该重叠方法的主要缺点在于左指针和右指针可以容易地相互交叉，这可能使用户有时感到有些混乱。另一问题是由于每个触摸板都覆盖相同的屏幕区域所导致的不好的整体指示分辨率。在水平空间中，两个触摸板宽度(即对应左触摸板和右触摸板)被用于映射成两个屏幕宽度。
分割指针方法的问题
如在图3中所见的，基本分割方法通常在每个触摸板与目标屏幕区域的子部分之间建立1对1映射。实际上，由右手控制的右手侧指针32被限制在屏幕区域的右手侧子部分30R中；相应地，由左手控制的左手侧指针34被限制在屏幕区域的左手侧子部分30L中。使用该方法，左指针和右指针彼此将不交叉，尽管两个指针可以不交叉地在中部30M共存。此外，因为两个触摸板宽度被映射到一个目标屏幕区域宽度，因此分割指针方法改进了指示分辨率。因此，基本分割方法由此比重叠方法具有明显的优点。然而，实验已经表明，由于图4中说明的察觉到的接近冲突(proximityconflict)，用户有时感到有些不适。
如图4所示，出于目标接近的原因，有时候用户会自然地发现想要使用右指针而不是左指针；但是固定的子部分所强加的固定分割阻止了它，由此建立了心理接近冲突。虽然对于大部分用户来说使用右指针32来接近输入目标T是更自然的，但是由于右指针被限制在显示屏的右侧部分从而它不能移动到该位置。
前述问题的解决方案
本发明使用新颖的动态分割方法来满足上文提出的需求并且该需求为：
●不交叉的左指针和右指针
●高指示分辨率
●使用任何手指指向任何目标坐标的能力
利用该新颖的动态分割方法，非静态地定义用于左指针和右指针的屏幕寻址区域，而是基于那些指针的实际位置来动态调节用于左指针和右指针的屏幕寻址区域。如图5A和图5B所示，左手侧指针x轴位置将用于右手侧指针的寻址空间R限定在左侧。相应地，右手侧指针x轴位置将用于左手侧指针的寻址空间L限定在右侧。这些边界随着指针来回移动而实时动态地变化。
利用动态分割方法，可以以多种方式实施本发明以实现绝对指针管理和相对指针管理。下文举例说明了实现这一点的几种方式。图6中示出的基本动态指针管理方法连续地对动态边界进行重新估计，以使右指针和左指针不能跨越到另一指针的区域中。图7中说明的适度指针交叉方法总体上实施绝对指针管理方法的动态方法，但是允许每个指针在另一指针的区域中适度重叠。图8中说明的指针管理方法实施基本动态方式，其加入了利用外部界限限制以进一步提高有效率的指针分辨率的特征。在下文的详细解释中，首先考虑绝对指针管理情况，随后讨论相对指针管理情况。
如将从随后的描述中理解的是，动态边界将共用显示空间细分为左区域和右区域，其中动态边界定义了左区域的右边缘和右区域的左边缘。在基本动态指针管理方法中，可以将动态边界表示为大体垂直的一维线，使得左边缘和右边缘互相重合(即左区域和右区域彼此邻接)。在适度重叠动态指针管理方法中，动态边界表示将左区域和右区域分开的二维边界区域(例如矩形区域)。在该适度重叠情况下，左边缘和右边缘彼此远离，动态边界区域位于左边缘和右边缘之间。
绝对指针管理
基本动态边界方法
由于动态边界，必须连续地对触摸板坐标与屏幕坐标之间的重映射进行重新估计。该新颖的重映射方法定义了一组期望的属性和约束条件以提供连续性和动作平滑性。以下该组表示核心约束条件：
(1)Left_Remap(TLLx(t))＝＝SLLx(t)
(2)Left_Remap(TLRx(t))＝＝SLRx(t)
(3)SLRx(t)＝＝SRx(t)
(4)SRx(t)＝＝Right_Remap(TRx(t))
(5)Right_Remap(TRRx(t))＝＝SRRx(t)
(6)Right_Remap(TRLx(t))＝＝SRLx(t)
(7)SRLx(t)＝＝SLx(t)
(8)SLx(t)＝＝Left_Remap(TLx(t))
(9)SLRx(t)＝＝SRx(t)
(10)SRLx(t)＝＝SLx(t)
以上的约束条件(3)和(7)建立了能够实现可达性和连续性的可变粘性。它在左触摸板的右手侧以及在右触摸板的左手侧最强。假设：例如用户在右触摸板上的手指位置在TRLx处，左指针的任何移动也将使右指针移动。当用户在右触摸板上的手指位置移向TRRx时，粘性逐渐消失。
当将归一化空间分别用于触摸板坐标和屏幕坐标时(即TLLx＝0.0，TRLx＝0.0，SLLx＝0.0，TLRx＝1.0，TRRx＝1.0和SRRx＝1.0)，这些等式可以重新用公式表示如下：
(1)Left_Remap(0.0)＝＝0.0
(2)Left_Remap(1.0)＝＝SLRx(t)
(3)SLRx(t)＝＝SRx(t)
(4)SRx(t)＝＝Right_Remap(TRx(t))
(5)Right_Remap(1.0)＝＝1.0
(6)Right_Remap(0.0)＝＝SRLx(t)
(7)SRLx(t)＝＝SLx(t)
(8)SLx(t)＝＝Left_Remap(TLx(t))
(9)SLRx(t)＝＝SRx(t)
(10)SRLx(t)＝＝SLx(t)
这些约束条件的重要结果为不允许指针交叉，但是同时允许任何指针对目标屏幕区域的任何期望位置进行寻址。若干具有那些目标属性的变换可以被设计出来。
当使用归一化空间时，本发明的优选实施例由以下的用于左指针和右指针的变换来定义：
Left_Remap(TLx(t))＝0.5*TLx(t)+0.5*TRx(t)*TLx(t)
Right_Remap(TRx(t))＝0.5*TLx(t)+1.0*TRx(t)-0.5*TRx(t)*TLx(t)
其可以被表示为以下的矩阵乘积：
SL X ( t ) SR X ( t ) = Clip ( 0.5 0 0.5 0 0.5 1 - 0.5 0 × TL X ( t ) TR X ( t ) TL X ( t ) * TR X ( t ) 1 )
它对应于 TL X ( t ) TR X ( t ) 的特定二次系统，其中没有使用平方项TLx(t)2和TRx(t)2。Clip()函数剪掉了范围[0.0:1.0]之外的值。
以上介绍的等式适用于两个手指的交互，但是可以容易地被扩展到单个手指的交互。在左手侧手指从触摸板的表面上抬起的情况下，通过以下定义，该等式仍然保持有效：
SLX(t)＝＝0.0t
相应地，在右手侧手指从触摸板的表面上抬起的情况下，通过以下定义，该等式保持有效：
SRX(t)＝＝1.0t
其他实施例是以通过放宽一些核心约束条件而得到的替代约束条件为基础的。
适度指针交叉选项
具有适度指针交叉的替代实施例将使用以下的约束条件：
(1)Left_Remap(TLLx(t))＝＝SLLx(t)
(2)Left_Remap(TLRx(t))＝＝SLRx(t)
(3)SLRx(t)＝＝Min(1，SRx(t)+Offsetx)
(4)SRx(t)＝＝Right_Remap(TRx(t))
(5)Right_Remap(TRRx(t))＝＝SRRx(t)
(6)Right_Remap(TRLx(t))＝＝SRLx(t)
(7)SRLx(t)＝＝Max(0，SLx(t)-Offsetx)
(8)SLx(t)＝＝Left_Remap(TLx(t))
(9)SLRx(t)＝＝SRx(t)
(10)SRLx(t)＝＝SLx(t)
于是，用于该实施例的变换将是：
SL X ( t ) SR X ( t ) = Clip ( 0.5 + α 0 0.5 0 0.5 1 + α - 0.5 - α × TL X ( t ) TR X ( t ) TL X ( t ) * TR X ( t ) 1 )
其中α表示重叠控制因子。
具有外部界限限制的替代实施例将使用以下的约束条件：
(1)Left_Remap(TLLx(t))＝＝SLLx(t)
(2)Left_Remap(TLRx(t))＝＝SLRx(t)
(3)SLRx(t)＝＝Min(SRx(t)，LimitLx)
(4)SRx(t)＝＝Right_Remap(TRx(t))
(5)Right_Remap(TRRx(t))＝＝SRRx(t)
(6)Right_Remap(TRLx(t))＝＝SRLx(t)
(7)SRLx(t)＝＝Max(SLx(t)，LimitRx)
(8)SLx(t)＝＝Left_Remap(TLx(t))
(9)SLRx(t)＝＝SRx(t)
(10)SRLx(t)＝＝SLx(t)
于是，用于该实施例的变换将是：
SL X ( t ) SR X ( t ) = Clip ( 0.5 0 0.5 - ω 0 0.5 - ω 1 - ω - 0.5 + ω ω × TL X ( t ) TR X ( t ) TL X ( t ) * TR X ( t ) 1 )
其中ω表示边界控制因子。
相对指针管理
上面的描述聚焦于绝对指向输入模式。下面的描述将聚焦于相对模式。在相对模式中，保留相同的不交叉指针约束条件(即动态边界管理)，但是触摸板手指动作被解释为相对于当前屏幕指针位置的偏移。偏移量在优选的实施例中与当前屏幕区域的宽度成比例，也就是说，与下式成比例：
用于左指针的WLx(t)＝SLRx(t)-SLLx(t)，
并且与下式成比例：
用于右指针的WRx(t)＝SRRx(t)-SRLx(t)。
该比例的效果在于1)当屏幕区域较小时能够实现更好的指示精度；以及2)当屏幕区域较大时能够实现更快的接近。图9示出在左触摸板和右触摸板上导致在屏幕空间中的不同偏移的相同滑动(swipe)动作的效果。在相对模式中，对于在各自的触摸板上的相同滑动动作而言，所说明的该屏幕空间中的位移偏移对右指针的影响性是对左指针的两倍，这是因为右交互区域的宽度是左交互区域的两倍。
实施方式示例
可以以各种不同的物理实施例来实施上文描述的指针管理技术。通过示例，参考图10，该图10示出了可以如何实施图1A中的远程控制设备。如所说明的那样，触摸板A和触摸板B对应于图1A中的可点击触摸板20、22。这些触摸板可以被实施为电容式触摸表面，每个所述电容式触摸表面都安装在制动结构中，所述制动结构允许通过垂直施加到触摸板表面的推力来点击各个触摸表面。这样的点击动作激活安装在触摸板之下的微开关。该板每次被点击时，该微开关提供瞬时的二进制信号。
在图1B的多点触控的实施例中，多点触控的表面能够逐个地对来自右手和左手的接触进行检测和区分，并由此针对每根手指与触摸板表面接触来提供单独的(x，y)位置数据点。可以通过感测例如用户手指的瞬时轻敲来实现用户对期望(x，y)位置的选择。
在图10举例说明的实施例中，触摸板A和触摸板B均提供表示发生手指接触的(x，y)位置的第一输出信号和携带微开关点击数据的第二输出信号。这些输出被馈送到双端口触摸板接口50，所述双端口触摸板接口50提供数字接口以从每个触摸板接收每个输出信号。接口50将识别数据或地址数据与已接收的信号相关联，以便将触摸板A(即图1A中的左手触摸板20)的信号与触摸板B(即图1A中的右手触摸板22)的信号区分开。从接口50将已关联地址的数据馈送到处理器(CPU)52的串行输入。处理器(CPU)52可以被实施为微控制器、微处理器或类似物。耦合到处理器52的是第一存储器(例如EEPROM存储器)54，其存储控制处理器如何发挥作用的操作指令。在图11中示出了说明这些指令的流程图。为了提供工作存储器以执行上文描述的矩阵变换，提供适当的第二存储器(例如RAM存储器)56。在图10中，变换矩阵已经以57图形化地说明了。
按钮阵列58也耦合到处理器上。该按钮阵列表示可定义应用的按钮组(图1A中的按钮24)。可以使用适合的微开关、薄膜开关或类似物来实施按钮阵列。如示出的那样，按钮阵列可以经由串行接口耦合到处理器52，或该阵列的各个按钮可以均经由处理器的专用数字输入(未示出)来耦合。
为了实现对指针显示系统的控制，图10中的远程控制设备包括与对应的无线接收器62通信的无线发射器60。使用射频(RF)信号、红外(IR)信号或上述两者来实现无线通信。基于上文描述的矩阵变换，处理器计算对应每个指针的各自位置，使用映射积分功能来计算该位置，使得根据对触摸板输出信号的各自(x，y)位置的认识来调节指针之间的动态边界。处理器经由发射器60和接收器62将这些指针位置数据发射到图形生成器电路64。图形生成器电路被设计为生成在显示设备68的显示空间或显示区域66内显示的各自指针的图形图像。因此，图形生成器提供位映射数据或矢量图形数据以呈现指针的图像。图像被呈现在显示屏上的点是基于从远程控制设备无线接收的信息。当然，如果需要的话，可以在处理器52和图形生成器64之间使用有线连接。在该实施例中，将不使用无线发射器和无线接收器。
作为对上文描述的基于处理器的实施例的替代，如果需要的话，可以使用专用集成电路(ASIC)来实施上文描述的控制器电路。
在以上描述的实施例中，由远程控制设备内的处理器提供映射积分功能。然而，如果需要的话，映射积分功能可以可选择地被放置在受控消费电子设备(例如机顶盒、电视机、计算机系统)中。在该替代实施例中，位置信号被发射到受控设备，并且板载处理器或者与受控设备关联的ASIC执行映射积分功能。
图11提供了流程图。其举例说明了如何对处理器52进行编程并且图形生成器64如何处理从处理器接收的指令。在步骤100中，处理器接收来自输入设备(在该情况下，为触摸板A和触摸板B)的输入。这些输入值给出触摸板坐标(x，y)并且具有指示哪个触摸板提供该数据的对应地址。
在步骤102中，处理器基于正在使用的变换矩阵模型，通过在RAM中构造变换矩阵57来处理这些输入数据。上文记载的描述已经详细地解释了可基于系统的期望特性(绝对的-相对的；在受到/未受到外部界限约束条件下能够实现基本的适度指针交叉，)来使用的各种不同的变换矩阵。应当理解的是，处理器基于所使用的矩阵，通过执行对输入数据的矩阵乘法运算来计算指针位置。
因此，在步骤104中，处理器基于由变换矩阵处理过的变换输入来计算各自指针位置的指针位置。然后，使用显示空间的共用坐标系统来将这些指针位置映射到显示屏的显示空间中。
在步骤106中，指针位置随后被发送到图形生成器。图形生成器64随后执行以下的步骤：
在步骤108中，针对将被显示的每个指针而生成图形图像。如上所述，使用位映射图形来生成这些图形图像，其中该指针图像被预存储在存储器中，或者通过使用矢量图形技术来即时生成图像。在任一情况下，如在步骤110描述的，基于在步骤104中指定的位置，在该屏幕的共用显示空间内的位置处，图像被放置在显示屏上。
动态控制器方法的功能分析
从功能的视角来看，双指针(或多指针)管理方法使用来自两个(全部)输入设备的数据来计算两个(全部)指针的各自位置。实际上，输入数据经由变换矩阵来交叉耦合，使得计算的指针位置是相互依赖的。以这一方式，系统在共用显示坐标系统内生成动态边界，其中处理器基于对来自输入设备的各自位置信号的认识来调节动态边界。
为了说明，请参见图12，该图12示出根据已公开的本发明的指针控制装置的功能框图。应当注意到，输入设备(设备#1和设备#2)及其关联控制器均分别地在信号线200和202上提供了位置信号。这些信号被馈送到映射积分器，所述映射积分器分别在数据线206和数据线208上生成用于左指针和右指针的指针位置数据。这些指针位置数据随后由左指针控制器210和右指针控制器212使用，以生成用于在显示空间66内显示的各自的左指针和右指针。映射积分器部分基于第一输入设备的位置信号且部分基于第二输入设备的位置信号来计算在显示坐标系统内的第一指针的位置，并且部分基于第二输入设备的位置信号且部分基于第一输入设备的位置信号来计算在显示坐标系统内的第二指针的位置。
作为进一步的说明，参考示出多设备系统的图13。在该示例中，举例说明了三个输入设备，但是应当理解的是，该多设备系统可以具有任意多个数量的输入设备(即2个或更多的输入设备)。在该实施例中，应用了单个多位置输入系统。该系统接收来自多个输入设备222中的每一个的输入位置信号并且将表示这些输入信号的数据提供给映射积分器204。多位置输入系统接收多个输入设备信号中的每一个并且将地址信息附加到每个输入设备信号中，使得该数据呈现(addr，x，y)的形式。这些数据然后被以串行流的形式发送到映射积分器204。该映射积分器如上文描述的那样运行以生成各自的指针位置信号。此外，映射积分器还将指针识别标签附加到每个已计算的指针位置。映射积分器的输出因此呈现(指针标签，x，y)的形式，其中该指针标签表示数据对应于哪个指针(左侧、右侧、中间等等)并且x，y值表示在共用显示坐标系统内(即在显示空间内)的位置。指针生成系统205接收映射积分器的输出数据，由指针标签解析该数据并且随后在显示空间内生成且显示指针图像。
结论
从上文来看，应当意识到，本发明使用了新颖的动态边界控制技术以解决在多指针控制应用中发生的许多问题。本发明能够实现一种用于基于双指针的输入的更直观的交互模型，所述模型是基于不交叉(或适度交叉)的指针方法并且允许用户使用任何指针到达显示器的任何区域。该输入设备可以是提供至少一个自由度或多个自由度的运动的任何指向设备，例如触摸板、触摸屏和操纵杆。由于本发明的动态精度/灵活性的权衡管理，所以当与传统输入方法相比时，本发明也具有输入速度的优点。
双指针输入的典型应用例如是使用在屏幕上显示的虚拟键盘的文字输入，或是多对象选择任务。另外，双指针技术也非常适于游戏应用。
本发明的说明书实际上仅是示例性的，因此不脱离本发明主旨的变型都应当在本发明的范围内。这样的变型不应被视为背离本发明的精神和范围。例如，虽然已经在本文描述的一些实施例中使用了矩阵变换(使用变换矩阵)，但是可以可选择地使用执行这些变换的其它方式。

Claims (31)

1.一种指针控制装置，包括：
第一输入设备，所述第一输入设备提供使用与所述第一输入设备相关联的第一坐标系统来表达的位置信号；
第二输入设备，所述第二输入设备提供使用与所述第二输入设备相关联的第二坐标系统来表达的位置信号；
指针生成系统，所述指针生成系统生成用于在具有共用显示坐标系统的共用显示空间中显示的、与所述第一输入设备相关联的第一指针和与所述第二输入设备相关联的第二指针；
映射积分处理器，所述映射积分处理器被配置为部分基于所述第一输入设备的所述位置信号并且部分基于所述第二输入设备的所述位置信号来计算所述显示坐标系统内的所述第一指针的位置，并且被配置为部分基于所述第二输入设备的所述位置信号并且部分基于所述第一输入设备的所述位置信号来计算所述显示坐标系统内的所述第二指针的位置；
所述映射积分处理器还被配置为计算所述第一指针的位置和所述第二指针的位置，使得每个位置被限制在所述共用显示坐标系统内的动态边界的不同侧，其中所述处理器基于对所述第一输入设备和所述第二输入设备的各自位置信号的认识来调节所述动态边界。
2.根据权利要求1所述的指针控制装置，其中，所述动态边界将所述共用显示空间细分为两个非重叠的连续区域，其中所述两个非重叠的连续区域的集合等于所述共用显示空间。
3.根据权利要求1所述的指针控制装置，其中，所述动态边界将所述共用显示空间细分为两个部分重叠的连续区域。
4.根据权利要求1所述的指针控制装置，其中，所述动态边界将所述共用显示空间细分为两个连续区域，所述两个连续区域沿着它们的动态末端而被静态地约束。
5.根据权利要求1所述的指针控制装置，其中，所述第一输入设备提供左位置信号，并且所述第二输入设备提供右位置信号；
其中，所述动态边界将所述共用显示空间细分为左区域和右区域，所述动态边界定义了所述左区域的右边缘和所述右区域的左边缘；并且
其中，所述映射积分处理器基于所述右位置信号来计算所述右边缘，并且基于所述左位置信号来计算所述左边缘。
6.根据权利要求5所述的指针控制装置，其中，所述左边缘和所述右边缘互相重合。
7.根据权利要求5所述的指针控制装置，其中，所述左边缘和所述右边缘相互远离。
8.根据权利要求1所述的指针控制装置，其中，所述第一输入设备和所述第二输入设备相互独立地操作。
9.根据权利要求1所述的指针控制装置，其中，所述第一输入设备和所述第二输入设备使用相同类型的传感器来生成位置信号。
10.根据权利要求1所述的指针控制装置，其中所述第一输入设备和所述第二输入设备使用不同类型的传感器来生成位置信号。
11.根据权利要求1所述的指针控制装置，还包括至少一个提供附加输入信号的附加输入设备；
其中，所述指针生成系统生成与所述附加输入设备相关联的指针；并且
其中，所述映射积分处理器基于所述第一输入设备和所述第二输入设备的所述位置信号以及所述附加输入信号来计算与所述附加输入设备相关联的指针的位置。
12.根据权利要求1所述的指针控制装置，其中，所述第一坐标系统和所述第二坐标系统中的至少一个是一维坐标系统。
13.根据权利要求1所述的指针控制装置，其中，所述第一坐标系统和所述第二坐标系统中的至少一个是二维坐标系统。
14.根据权利要求1所述的指针控制装置，其中，所述第一坐标系统和所述第二坐标系统中的至少一个是三维坐标系统。
15.根据权利要求1所述的指针控制装置，其中，所述映射积分处理器执行至少一个变换。
16.根据权利要求4所述的指针控制装置，其中，所述映射积分处理器执行至少一个包括重叠控制因子的变换，所述重叠控制因子允许第一指针和第二指针同时占据所述中间区域。
17.根据权利要求1所述的指针控制装置，其中，所述映射积分处理器执行至少一个包括外部界限限制的变换，由此所述第一输入设备和所述第二输入设备的预定义位置不被映射到所述显示坐标系统。
18.根据权利要求1所述的指针控制装置，其中，所述处理器选自于由微处理器、微控制器、数字信号处理器、计算机和专用集成电路(ASIC)构成的组。
19.根据权利要求1所述的指针控制装置，其中，所述处理器被嵌入在所述第一输入设备和所述第二输入设备中的至少一个中。
20.根据权利要求1所述的指针控制装置，其中，所述处理器由程序指令来配置，所述程序指令存储在与所述处理器耦合的机器可读存储器中。
21.一种响应于多个输入设备在显示屏上生成多个指针的方法，包括：
从第一输入设备电子地接收第一位置信号；
从第二输入设备电子地接收第二位置信号；
电子地处理所述第一位置信号和所述第二位置信号，以计算在与显示屏相关联的预定义显示坐标系统之内的第一指针位置和第二指针位置，所述第一指针位置和所述第二指针位置相互不同并且均基于所述第一位置信号和所述第二位置信号；
在所述显示屏上生成和显示第一指针和第二指针，所述第一指针显示在所述第一指针位置处并且所述第二指针显示在所述第二指针位置处；
其中，执行所述处理步骤，使得所述第一指针位置和所述第二指针位置被限制在所述显示坐标系统内的动态边界的不同侧，其中基于所述第一位置信号和所述第二位置信号来计算地调节所述动态边界。
22.根据权利要求21所述的方法，其中，所述第一位置信号是左位置信号，并且所述第二位置信号是右位置信号；
其中执行所述处理步骤，使得所述动态边界将显示空间细分为左区域和右区域，所述动态边界定义了所述左区域的右边缘和所述右区域的左边缘；并且
其中，所述处理步骤还包括基于所述右位置信号来计算所述右边缘并且基于所述左位置信号来计算所述左边缘。
23.根据权利要求21所述的方法，其中，通过应用所述第一位置信号和所述第二位置信号的变换来执行所述处理步骤。
24.根据权利要求21所述的方法，其中，通过应用对所述第一位置信号和所述第二位置信号之间的二次关系进行定义的变换来执行所述处理步骤。
25.根据权利要求21所述的方法，其中，通过应用对所述第一位置信号和所述第二位置信号之间的二次关系进行定义的变换来执行所述处理步骤，并且所述变换包括重叠控制因子，所述重叠控制因子允许所述第一指针位置和所述第二指针位置占据与所述动态边界相关联的共用中间区域。
26.根据权利要求21所述的方法，其中，所述第一输入设备和所述第二输入设备均具有可选择位置的关联范围；并且
其中，通过应用对所述第一位置信号和所述第二位置信号之间的二次关系进行定义的变换来执行所述处理步骤，并且所述变换包括外部界限限制，由此所述第一输入设备和所述第二输入设备的关联范围的预定义部分不被映射到所述显示坐标系统。
27.根据权利要求21所述的方法，其中，执行所述处理步骤以定义动态直线边界，所述动态直线边界将所述显示屏细分为两个连续区域。
28.根据权利要求21所述的方法，其中，执行所述处理步骤以定义动态曲线边界，所述动态曲线边界将所述显示屏细分为两个连续区域。
29.根据权利要求21所述的方法，其中，执行所述处理步骤以定义包括中间区域的动态边界，所述中间区域将所述显示屏细分为位于所述中间区域的相对侧的两个连续区域。
30.根据权利要求21所述的方法，其中，使用选自于由微处理器、微控制器、数字信号处理器、计算机和专用集成电路(ASIC)构成的组中的设备来执行所述电子地处理。
31.一种用于在显示屏上生成多个指针的装置，包括：
多位置输入系统，所述多位置输入系统接收来自多个输入设备的位置输入数据；
指针生成系统，所述指针生成系统生成用于在所述显示屏上显示的多个指针，所述多个指针中的每一个位于不同的指针位置；
映射积分处理器，所述映射积分处理器被配置为通过在计算每个指针位置时考虑来自全部所述多个输入设备的所述位置输入数据来计算所述不同的指针位置；
所述映射积分处理器还被配置为计算所述不同的指针位置，使得每个位置位于动态边界的不同侧，所述处理器基于对来自所述多个输入设备的所述输入数据的认识来调节所述动态边界。
CN201080023504.5A 2009-06-26 2010-06-21 使用协作输入源和有效动态坐标重映射的双指针管理方法 Expired - Fee Related CN102449590B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US22072109P 2009-06-26 2009-06-26
US61/220,721 2009-06-26
US12/687,930 2010-01-15
US12/687,930 US8188969B2 (en) 2009-06-26 2010-01-15 Dual pointer management method using cooperating input sources and efficient dynamic coordinate remapping
PCT/US2010/039303 WO2010151501A1 (en) 2009-06-26 2010-06-21 Dual pointer management method using cooperating input sources and efficient dynamic coordinate remapping

Publications (2)

Publication Number Publication Date
CN102449590A true CN102449590A (zh) 2012-05-09
CN102449590B CN102449590B (zh) 2014-01-08

Family

ID=43380125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080023504.5A Expired - Fee Related CN102449590B (zh) 2009-06-26 2010-06-21 使用协作输入源和有效动态坐标重映射的双指针管理方法

Country Status (6)

Country Link
US (2) US8188969B2 (zh)
EP (1) EP2446344B1 (zh)
JP (1) JP5411989B2 (zh)
CN (1) CN102449590B (zh)
TW (1) TWI478010B (zh)
WO (1) WO2010151501A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052346A (zh) * 2017-10-23 2018-05-18 天芯智能（深圳）股份有限公司 一种控制智能手表的方法、系统及智能手表

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216014A1 (en) * 2010-03-05 2011-09-08 Chih-Meng Wu Multimedia wireless touch control device
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
TWI456436B (zh) * 2011-09-01 2014-10-11 Acer Inc 觸控板裝置以及其控制方法
US9274642B2 (en) * 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US20130106761A1 (en) * 2011-10-28 2013-05-02 Atmel Corporation Touch Sensor with Lookup Table
JP5452566B2 (ja) * 2011-10-31 2014-03-26 本田技研工業株式会社 車両用入力装置
US9367230B2 (en) * 2011-11-08 2016-06-14 Microsoft Technology Licensing, Llc Interaction models for indirect interaction devices
CN102508604A (zh) * 2011-11-08 2012-06-20 中兴通讯股份有限公司 一种终端显示界面的控制方法及终端
US20130127738A1 (en) * 2011-11-23 2013-05-23 Microsoft Corporation Dynamic scaling of touch sensor
FR2986715B1 (fr) * 2012-02-15 2014-10-17 Archos Procede et dispositif de controle d'au moins un appareil par au moins un autre appareil, appareil et systeme mettant en œuvre un tel dispositif
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9851801B1 (en) * 2012-12-07 2017-12-26 American Megatrends, Inc. Dual touchpad system
WO2014175475A1 (en) * 2013-04-23 2014-10-30 Lg Electronics Inc. Image display apparatus and method for operating the same
JP5920839B2 (ja) * 2013-06-12 2016-05-18 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置
US10328344B2 (en) * 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
US10289260B2 (en) 2014-08-27 2019-05-14 Honda Motor Co., Ltd. Systems and techniques for application multi-tasking
CN106020661B (zh) 2014-12-31 2020-11-24 本田技研工业株式会社 具有内部边框的跟踪板
KR101647452B1 (ko) * 2015-05-28 2016-08-10 동서울대학교 산학협력단 터치 스크린 디바이스 기반 복수의 커서 제어 방법
US10402161B2 (en) 2016-11-13 2019-09-03 Honda Motor Co., Ltd. Human-vehicle interaction
TWI663531B (zh) * 2017-08-18 2019-06-21 友達光電股份有限公司 具有觸控面板之電子裝置及其控制電路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050176505A1 (en) * 2004-02-09 2005-08-11 Stanley Mark J. Method and apparatus for providing computer pointing device input to a video game console
US20060090022A1 (en) * 2004-10-22 2006-04-27 Intergraph Hardware Technologies Company Input device for controlling movement in a three-dimensional virtual environment
US20060143571A1 (en) * 2004-12-29 2006-06-29 Wilson Chan Multiple mouse cursors for use within a viewable area for a computer
US20090184936A1 (en) * 2008-01-22 2009-07-23 Mathematical Inventing - Slicon Valley 3D touchpad

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105191A (ja) * 1993-09-30 1995-04-21 Fujitsu Ltd 共有文書表示システム
US5586243A (en) 1994-04-15 1996-12-17 International Business Machines Corporation Multiple display pointers for computer graphical user interfaces
US6204837B1 (en) 1998-07-13 2001-03-20 Hewlett-Packard Company Computing apparatus having multiple pointing devices
US20040263484A1 (en) * 2003-06-25 2004-12-30 Tapio Mantysalo Multifunctional UI input device for moblie terminals
US7620915B2 (en) 2004-02-13 2009-11-17 Ludwig Lester F Electronic document editing employing multiple cursors
TW200807284A (en) * 2006-07-17 2008-02-01 Guan-Lin Chen Programmable touch system
US7768514B2 (en) * 2006-12-19 2010-08-03 International Business Machines Corporation Simultaneous view and point navigation
CN101675410A (zh) * 2007-02-23 2010-03-17 Tp-I股份有限公司 使用数字装置中的指点设备的虚拟键盘输入系统
US20100185971A1 (en) * 2007-06-13 2010-07-22 Yappa Corporation Mobile terminal device and input device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050176505A1 (en) * 2004-02-09 2005-08-11 Stanley Mark J. Method and apparatus for providing computer pointing device input to a video game console
US20060090022A1 (en) * 2004-10-22 2006-04-27 Intergraph Hardware Technologies Company Input device for controlling movement in a three-dimensional virtual environment
US20060143571A1 (en) * 2004-12-29 2006-06-29 Wilson Chan Multiple mouse cursors for use within a viewable area for a computer
US20090184936A1 (en) * 2008-01-22 2009-07-23 Mathematical Inventing - Slicon Valley 3D touchpad

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052346A (zh) * 2017-10-23 2018-05-18 天芯智能（深圳）股份有限公司 一种控制智能手表的方法、系统及智能手表
CN108052346B (zh) * 2017-10-23 2020-03-27 天芯智能（深圳）股份有限公司 一种控制智能手表的方法、系统及智能手表

Also Published As

Publication number Publication date
JP5411989B2 (ja) 2014-02-12
US8451219B2 (en) 2013-05-28
TW201101121A (en) 2011-01-01
US20100328206A1 (en) 2010-12-30
JP2012531667A (ja) 2012-12-10
EP2446344B1 (en) 2016-03-02
TWI478010B (zh) 2015-03-21
US20120113005A1 (en) 2012-05-10
EP2446344A1 (en) 2012-05-02
WO2010151501A1 (en) 2010-12-29
CN102449590B (zh) 2014-01-08
US8188969B2 (en) 2012-05-29
EP2446344A4 (en) 2013-09-11

Similar Documents

Publication Publication Date Title
CN102449590B (zh) 使用协作输入源和有效动态坐标重映射的双指针管理方法
US11782511B2 (en) Tactile glove for human-computer interaction
Bowman et al. An introduction to 3-D user interface design
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
US7969418B2 (en) 3-D computer input device and method
DE112017004677T5 (de) Berührungsempfindliche Tastatur
US20100177053A2 (en) Method and apparatus for control of multiple degrees of freedom of a display
JP3289072B2 (ja) ベクトル入力装置
CN104137043A (zh) 用于在图形用户界面(gui)上进行人机交互的方法
WO2013173654A1 (en) Systems and methods for human input devices with event signal coding
CN104866097A (zh) 手持信号输出装置和手持装置输出信号的方法
US20150009136A1 (en) Operation input device and input operation processing method
JPH0269798A (ja) デイスプレイされたオブジエクトを回転する方法
CN204740560U (zh) 手持信号输出装置
JPH04257014A (ja) 入力装置
EP3179343A1 (en) Touch-type controller
KR101121746B1 (ko) 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
JPH03184118A (ja) 座標データ入力装置
CN103543921A (zh) 信息处理设备和信息处理方法
CN104219587A (zh) 一种用于对应用进行操控的方法和装置
Fukuchi Concurrent Manipulation of Multiple Components on Graphical User Interface
JPS62150476A (ja) 表示装置
JPS62150422A (ja) 座標入力装置
KR20130129022A (ko) 전자기기용 입력장치
JPH04367925A (ja) マウス装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140108

Termination date: 20190621

CF01 Termination of patent right due to non-payment of annual fee