CN102096548B - 采用触控式显示器复制对象的方法和系统 - Google Patents

Abstract

本发明涉及采用触控式显示器复制对象的方法和系统。一种这样的计算机实现的方法包括：-在触控式显示器上显示(10)所选第一对象(12)；-在所选第一对象上检测第一用户交互和第二用户交互(14)；-在所选第一对象之外检测第一用户交互的移动(16)；-显示第二对象(20)，其跟踪触控式显示器上的第一用户交互的移动，第二对象是第一对象的复制品；以及-根据触控式显示器上第一用户交互的最终的被检测到的位置来放置第二对象(26)。

Description

采用触控式显示器复制对象的方法和系统

技术领域

本发明主要涉及计算机程序和系统领域，更确切地说，涉及采用触控式显示器来复制对象的方法。

背景技术

在计算机领域中，图形用户界面(GUI)在用户和设备间交互的效率方面起着重要作用，所述设备例如是个人计算机、膝上型计算机、音乐播放器、蜂窝电话、个人数字助理。这些设备运行着执行功能的各种应用和程序。

通常，用户通过显示于GUI上的菜单、工具栏、图标以及其他图形来与应用及程序进行交互。例如在计算机辅助技术领域中，市场上提供了大量的系统和程序用于形成产品的对象(或部件)或对象组件的设计，所述产品是例如由DassaultSystèmes提供的商标为CATIA的产品。这些CAD系统允许用户通过GUI构造和操作对象或对象组件的复杂的三维(3D)模型。

传统上，由用户操作光标来图形化地执行操作。光标显示于设备的GUI上，并通过诸如鼠标、轨迹球、图形板等的指点设备(pointingdevice)来操作。也可以通过诸如物理按键(如按钮)或键盘这样的输入外围设备来执行操作。新近开发出了触控式显示器。其在用户和设备间提供一种新型交互方式。该触控式显示器能够检测显示区上交互的存在和位置；例如用户手指在显示器上的接触。因此触控式显示器提供了取代传统指点设备的输入接口。此外，它也提供了输出接口。

触控式显示器包括一个触控表面，该触控表面能检测用户和该表面的任意交互。已开发出几种触控显示技术，包括但不限于：电阻性的、表面声波、红外、和电容性的技术。例如可通过物体(如指示笔)和/或器官(如用户的手指)来提供交互。因此可以与显示的内容直接交互。

通常，含有触控式显示器的设备不再包含指点设备和/或输入外围设备。但是，这会妨碍用户执行在传统上通过指点设备和/或输入外围设备实现的某些操作。例如，采用向设备输入信息的键盘上的一组字母数字键组合来执行某些操作，而采用触控式显示器则难于再现这些组合。

公开号为2009/0079700A1的美国专利申请描述了一种在图形用户界面内使用的单触旋转方法。该单触旋转方法允许用户在虚拟工作空间内旋转并且有时候可移动一个虚拟对象。虚拟对象的旋转可采用单触用户输入(例如单指手势)来实现。该单触旋转方法包括识别和跟踪单触用户输入，并响应于单触用户输入的跟踪移动来旋转该虚拟对象。

公开号为2009/0184939A1的美国专利申请描述了一种通过采用两个或更多个用户交互而直接与触控屏交互，用于操作一个或多个显示于触控屏上的图形对象的位置、大小和/或方向的方法。与被操作的图形对象相关的用户交互的相关位置在整个操作中被保持。该操作无需分析用户交互的轨迹和/或表征用户交互的移动路径，因此可以以相对低的处理成本执行该操作。

公开号为2009/0153492A1的美国专利申请描述了一种触控式显示器表面，其被配置为：显示地图并当地图被显示时接收由用户在触控式显示器表面生成的手势输入，该手势输入在该地图上定义了所选择的地理区域。由用户的拇指和食指做出的指头捏夹产生了指头捏夹所绘制出的边界盒手势输入，该手势输入包括矩形地理边界，该矩形地理边界位于拇指和食指间的限定了所选地理区域的空间内。

拷贝和粘贴命令(也称作复制命令)是一个非常常见的功能。例如其可通过键盘上的按键组合Ctrl+C和Ctrl+V来完成。然而这种按键组合在触控式显示器上并不可行，或至少难于实现。为了绕过上面提到的限制，已开发出了图形拷贝/粘贴命令。

第一种方法包括这样来执行拷贝/粘贴命令：通过采用指点设备选择将要拷贝的对象，之后在用户期望拷贝的对象上执行一个动作(例如用鼠标的右键右击)，并且选择与该右击连贯地显现的“拷贝”菜单。接着，用户在他/她想把对象拷贝到的位置处执行另一个操作(例如右击)，并选择“粘贴”菜单(例如左击)。然而这种方法需要具有至少两个按键的指点设备，在触控设备上并不是总有这样的指点设备可用。

公开号为2009/0228842A1的美国专利申请描述了一种通过由窗口上的两个选取的点所限定的距离和方向，允许用户拷贝所选项目的拷贝工具。在用户选定拷贝工具后，用户便能对应于所拷贝项目的位置，输入限定距离和方向的两个点。当执行拷贝命令时，第一所选点充当用于拷贝对象的基础参考点，而第二所选点为所拷贝项目限定距离和方向。

另一种已知的方法为：在待选对象上执行双击，然后按压和保持手指以做出选择。随后用户选择由于之前手势而在所选对象附近出现的菜单“拷贝”。接下来，用户在他/她想拷贝的位置上双击。最后，用户点击在所选位置附近出现的菜单“粘贴”。

此方法存在这样的缺点：当用户需要进行几个拷贝/粘贴操作时，选择拷贝工具可能是繁重的任务且耗时。由于该原因，已提出了基于手势的方法。

一种已知的方法为：选择待拷贝的对象，然后在该选择上做一个拷贝手势。例如该手势可以是拇指和中指在触控表面伴随地轻击。在用户想粘贴对象的位置执行粘贴手势。

这些用于执行拷贝/粘贴操作的各种方法存在着多个缺点。例如这些方法的实现是耗时的。例如为了触发拷贝/粘贴功能，需要调用菜单“拷贝”，这包括执行用于调用菜单的特定手势。此外，需要触发拷贝/粘贴的手势对于用户来说并非自然和符合人机工程学的。另外，对于用户来说，在精确的位置放置被复制的对象是相当难的；值得注意的是，这是非人机工程学手势的结果。

发明内容

从而，根据上面简略讨论的现有解决方案的限制，需要一种在触控式显示器上复制对象的改良方法。优选地，该方法需要提高手势的精度，这种手势对于用户来说应该是直观的。

因此本发明提供了一种采用触控式显示器来复制对象的计算机实现方法。该方法包括：在触控式显示器上显示所选第一对象，在所选第一对象上检测第一用户交互和第二用户交互，检测所选第一对象外的第一用户交互的移动，显示第二对象，其追踪触控式显示器上的第一用户交互的移动，第二对象是第一对象的复制品，并且根据触控式显示器上第一用户交互的最终的被检测到的位置放置第二对象。

根据本发明的方法可包括一个或多个以下特征：

-在检测第一用户交互移动的步骤后，在所选对象上检测第二用户交互的终止的步骤；

-同时地或相继地执行第一用户交互和第二用户交互，而与所选第一对象上它们的检测顺序无关；

-第一用户交互的最终的被检测到的位置是这样一种位置：在该位置检测到触控式显示器上的第一用户交互的终止；

-显示所选第一对象的步骤和放置第二对象的步骤在图形用户界面的同一窗口内执行；

-在显示第二对象的步骤中，与第一对象的绘制相比，第二对象的绘制被修改；

-第一用户交互和第二用户交互通过下述至少一种方式或其组合在触控式显示器上进行接触来实现：

-指示笔；

-手指。

-第一用户交互和第二用户交互通过用户两只手的相应手指在触控式显示器上进行接触来实现。本发明进一步提出了一种存储于计算机可读介质上的计算机程序，用于采用触控式显示器来复制对象，该计算机程序包括代码模块，用于使得计算机执行该方法的步骤。

本发明还涉及一种使用触控式显示器来复制对象的装置，该装置包括执行该方法步骤的模块。

附图说明

现在将通过非限制实例并结合附图来描述体现本发明的系统，在附图中：

图1是显示于触控式显示器上的图形用户界面的实例；

图2是根据本发明的描述对象复制的流程图；

图3-8显示了根据本发明的对象复制的示意图；

图9为适于实现本发明的客户端设备的示意图。

具体实施方式

本发明涉及采用触控式显示器来复制对象的计算机实现方法。该方法包括在触控式显示器上显示所选第一对象。对象是可由用户部分或全部选择的图形部分。对象这个术语包括但不限于：图标、建模对象、菜单、以及其他图形。下列描述中，所选对象可以是：对象组件(产品)、对象的部件(单元)。接着，该方法包括：在所选第一对象上检测第一用户交互和第二用户交互。之后，第一用户交互的移动在所选第一对象之外被检测到。随后，显示第二对象，第二对象追踪触控式显示器上第一用户交互的移动。第二对象是第一对象的复制品。复制品意为：第二对象和第一对象相同，也就是说，第二对象是所选对象的拷贝。之后，根据触控式显示器上第一用户交互的最终的被检测到的位置，放置第二对象。因此复制的对象被粘贴在最终的被检测到的位置。有益地，根据本发明的复制有利地包括了用户交互，该用户交互对用户来说是自然的。例如，在所选第一对象外被检测的第一用户交互的移动与第一用户交互具有连续性。因此复制手势对于用户来说是简单和流畅的，并且其不受触控式显示器上额外交互的干扰。此外，因为没有菜单干扰，显示于GUI上的对象的用户视图得到改善。另外，用户可在任何时间查看所复制的对象的位置，因此复制手势的精度得到改善。

参考图1，例示的图形用户界面(或GUI)100可以是典型的CAD类界面，其具有标准的菜单栏110、120，以及底部和侧面工具栏140、150。这种菜单和工具栏包含一组用户可选择的图标，每个图标与一个或多个操作或功能相关，正如本领域所公知的那样。因此用户能够通过显示于GUI上的菜单、工具栏、图标和其他图形来与应用和程序交互。应理解的是：本发明并不限于CAD类的界面，且本发明可以应用到任意类型的图形化界面上。

这些图标中的一些与软件工具相关联，适于在例如显示于GUI100上那样的建模产品200或产品200的部件上编辑和/或工作。在下面的描述中，“产品”、“部件”、“组件”等等可以被称为“对象”。注意：“对象”的概念实际上可被概括，以使得可被用户部分或全部选择的任意图形部分均可以为一个对象。

软件工具可被分组为工作台。每个工作台包括软件工具的子集。特别地，工作台中的一个是编辑工作台，适于编辑建模产品200的几何特征。在操作中，设计者可以例如预先选择对象200的部件，之后通过选择适当的图标来发起操作(例如改变维度、色彩等)或编辑几何约束。例如，典型的CAD操作是对在所述屏幕上显示的3D建模对象的打孔或折叠进行建模。

GUI可例如显示与所显示的产品200相关的数据250。在图1的例子中，被显示为“特征树”的数据250以及它们的3D表示200与包括制动钳和盘片的制动组件相关。GUI还可以示出各种类型的图形工具130，例如用于便于对象的3D取向，用于触发编辑后的产品的操作的模拟，或者呈现所显示的产品200的各种属性。

图2示出描述本发明一个实施例的流程图。该方法开始于步骤10：显示第一对象。对象的显示如本领域公知的那样被执行。典型地，对象是一个图形组件(也称作图形)，其可由用户部分地或全部地选定。该术语对象包括但不限于图标、建模对象、菜单和其他图形。在以下描述中，所选对象可以是对象的组件(产品)、对象部件(元件)。

在步骤12处，所显示的第一个对象由用户选择。换句话说，用户已标识出他/她希望执行操作的对象。第一对象的选择可由用户的动作来生成，或者由系统自动生成。该选择可通过但不限于指点设备、外围设备或直接经触控式显示器(例如，通过在该触控式显示器上进行接触)而被执行。此外，所选择的第一对象可被强调，使得用户能够容易看见所选择的对象是哪个。例如可以通过所选的第一对象的高亮显示，来执行所选第一对象的强调。高亮显示包括：对位置的表示施加放射的和明亮的色彩。强调也可通过这样的虚拟效果来实现：所选第一对象的闪烁发光、加厚所强调的所选第一对象的轮廓，或者增加形成所强调的所选第一对象的轮廓的点的密度。顺便提一下，允许设计者将所选第一对象与其他部分区别开来的任意方法均可被采用。

在该阶段，所选的第一对象(12)被显示(10)于触控式显示器上。实际上，所选第一对象是待复制的对象。

在步骤14处，在所选的第一对象上检测到两个用户交互，分别是第一用户交互和第二用户交互。用户交互是由用户在触控式显示器上提供的输入。该输入产生了一个由触控式显示器传送到设备的信号。诸如个人计算机、膝上型计算机、音乐播放器、蜂窝电话、个人数字助理这样的所述设备计算和执行根据传送的信号所触发的功能。该触控式显示器能够检测施加到其上的任意输入或输入的移动或中断。

在实践中，可通过对象(如指示笔)或器官(如用户的手指)在触控式显示器上的接触来执行第一和第二用户交互。许多对象或器官(appendice)都是可以的，且落入本发明范围内。

现在参照图3，第一所选对象30被显示于GUI100上，正如根据图1所描述的那样。此对象是一个简单的图形：图标。用户的一只手上的手指40在对象30上：手指40与触控式显示器接触，而第一用户交互随之在对象30上被检测到。

现在参照图4，用户的另一只手上的手指42在对象30上，并且相应地，在对象30上检测到第二用户交互。

在实践中，通过两根手指40、42在触控式显示器上的接触来执行第一用户交互和第二用户交互，而每根手指各属于用户的一只手，正如图3-7所描述的那样。相反地，用户可以只使用一只手上的手指。可替换地，例如在建模对象的设计过程中，两个用户可在同一GUI上一起工作并协作；可由一个用户执行第一用户交互而由第二用户执行第二用户交互。

此外，可伴随地或相继地执行第一和第二用户交互，而与所选第一对象上的它们的检测顺序无关。因此用户可根据他/她的需要而自由地执行第一和第二交互：有益地，本发明的复制方法对用户是直观的，因此其获取更加容易。

再次参见图2，在步骤16处，在所选第一对象之外检测到用户交互的移动。在实践中，被检测的移动与两个用户交互中一个的滑动是相继的，并且该检测针对在所选第一对象轮廓之外的移动而被执行。所选对象的轮廓是触控式显示器上所选对象投影的剪影。因此，当两个用户交互之一的滑动在所选第一对象的边界内被执行时，该移动未被认为是被检测到，该边界由所选第一对象的轮廓所具体化。

此外，如果第一用户交互的移动在所选第一对象的内外被相继地检测到(successivelydetected)，则该移动未被认为是被检测到。用户因此能在所选第一对象被复制之前停止复制过程。有益地，用户无需删除误生成的对象的复制品。或者，在内外被相继地检测到的移动可被认为是被检测到，并且复制过程在所选第一对象上继续执行。因此，用户可以在所选第一对象上放下所选第一对象的复制品。

接下来，在步骤20处，第二对象(其是第一对象的复制品)被显示于触控式显示器上。第二对象追踪第一用户交互的移动。即，当在触控式显示器上移动时，第二对象跟随第一用户交互的位置。位置就是触控式显示器上的造成用户交互的输入在该处被执行的定点。通常，触控式显示器是位于用户和所选第一对象所处的空间之间的二维(2D)界面。该空间可以是2D或3D空间。因此造成用户交互的输入在一个2D界面上朝向2D或3D空间被执行。在2D空间中，第一用户交互的位置例如可根据触控式显示器上的坐标系统来确定。在3D空间中，可计算3D空间中第一用户交互的3D位置。3D空间中此3D位置的计算例如可通过本领域公知的拾取(picking)技术，例如光线追踪来实现。

参考图5，手指42已经移动到对象30之外：第一对象30的边界已被手指42所跨过。因此手指42的移动被检测到，结果第二对象32被显示。为了图像清楚的缘故，第二对象32没有被表现成和对象30具有相同的颜色。即使在箭头50所表示出的手指滑动期间，由手指42创建的用户交互与触控式显示器执行持续的接触。一旦手指42离开第一对象30的轮廓，第二对象32(其是第一对象30的复制品)便被显示。

现在参考图6，手指42的移动52继续进行，并且第二对象32仍然跟随手指42的移动52。第二对象32以某种方式固定在触控式显示器上手指42的位置上。因此应当理解本发明的另一个益处在于：用户具有在触控式显示器上的复制对象的精确位置的视觉反馈。因此极大地改善了用户和设备之间的交互性。

需要注意的是：被检测到的移动可由第一用户交互或第二用户交互的移动造成：确实如之前所提到的那样，第一和第二用户交互不依赖于它们在所选第一对象上的检测顺序。例如在图3-7中，第一用户交互通过手指40引起，第二用户交互和被检测到的移动通过手指42引起，无关于第一用户交互由手指40引起的事实。有益地，用户能够选择：第一和第二用户交互中的哪一个引起被检测到的移动。结果无论所选第一对象在触控式显示器上的什么位置，根据本发明的方法均可被执行。例如在图5中，如果所选第一对象30位于触控式显示器的左边界，则所选第一对象外的移动可通过用户右手的手指42执行。相反，如果所选第一对象30位于触控式显示器的右边界，则所选第一对象外的移动可通过用户左手的手指40执行。

可在检测所选第一对象外的用户交互移动之后的每个步骤处完成对第二用户交互终止的检测。正如图2步骤18中所显示的，优选地，在所选第一对象外的用户交互移动的检测之后再检测该终止。实际上，一旦用户将在所选第一对象上引起第二接触的对象或器官从触控式显示器上移开后，第二用户交互的终止便被检测到。实际上，第二对象的复制过程已被发起，即：与触控式显示器相关的设备知道第一对象将被复制。因此不再需要第二用户交互。这和之前已知的方案相比是有益的，因为可以在GUI的同一窗口中复制对象：实际上，设备知道第一用户交互的被检测到的移动与第一所选对象的复制有关，而与例如窗口中对象的简单位移无关。窗口是包含某种用户界面的视觉区域，并且其中应用的输出和输入可被显示，例如图标。作为步骤14和16的结果，设备知道了第一对象将被复制，因此不移动所选的第一对象。因此步骤14和16的手势发起了所选第一对象的复制。

这些手势的另一个优点在于：当复制的第二对象追踪第一用户交互的移动时，用户可以提供一个新的用户交互。例如再次参见图5和6，当手指42的滑动50、52继续时，用户可以释放由手指40形成的用户交互。当复制第一对象时，用户的一只手40因而能自由地执行另一操作，例如用户可打开其中在他/她想放下第二对象的窗口。

在第二对象的显示期间，与第一对象的绘制(rendering)相比，第二对象的绘制可以被修改。典型地，为了降低用于显示复制对象的设备的计算资源消耗，该绘制被修改。例如，第二对象的细节程度可以降低，或者仅第二对象的轮廓被显示。

在步骤22和24处，第一用户交互的终止与其最终的位置一起被检测。被检测到的最终位置是这样一种位置：触控式显示器上的第一用户交互的终止在此处被检测到。如上面所提到的，第一用户交互的位置是这样一种位置：在触控式显示器上，引起用户交互的输入在该位置处被执行。

最后，在步骤26处，根据触控式显示器上第一用户交互的最终的检测到的位置而放置第二对象。该第二对象的放置结束了本发明的方法：对象被复制在用户选择的位置处。换句话说，第一对象的拷贝/粘贴已被执行。

现在参见图7，用户已将手指42从触控式显示器上移开。结果，第二对象32放置于图6中所描述的手指42的最后的被检测到的位置。在该步骤处，复制对象的方法终止。

最后，如果之前未被执行，用户可将手指40从触控式显示器上移开。在图8中，两个对象30和32显示于GUI上。

应理解的是，上述方法可被应用到能够显示对象的任何配置或用于显示对象的任何设备中的任意对象上。本发明可在数字电子电路、或计算机硬件、固件、软件、或其组合上实现。本发明的装置可在计算机程序产品中实现，该计算机程序产品有形地体现于机器可读存储设备上以用于由可编程处理器执行；本发明的方法步骤可由可编程处理器执行，该可编程处理器通过操作输入数据并生成输出来执行指令程序，以执行本发明的功能。

有益地，本发明可以在一个或多个计算机程序中实现，该一个或多个计算机程序可以在包括至少一个可编程处理器、至少一个输入设备和至少一个输出设备的可编程系统上执行，该至少一个可编程处理器被耦合来从数据存储系统接收数据和指令，并且将数据和指令发送到数据存储系统。所述应用程序可以利用高级别过程或面向对象编程语言实现，或者如果需要，可以利用汇编或机器语言实现；并且在任何情况下，所述语言可以是编译或解释的语言。

图9示出了用于执行本发明的客户端设备，例如计算机系统。该客户端设备包括与内部通信总线800相连的中央处理单元(CPU)801，以及也与该总线相连的随机存取存储器(RAM)807。该客户端设备系统还具有图形处理单元(GPU)811，该GPU811与连接到该总线的视频随机存取存储器810相关联。视频RAM810在本领域中还被公知为帧缓存器。海量存储设备控制器802管理对比如硬盘驱动器803之类的海量存储设备的访问。适于可触及地包含计算机程序指令和数据的海量存储设备包括所有形式的非易失性存储器，作为示例，包括比如EPROM、EEPROM以及快闪存储设备之类的半导体存储设备，比如内部硬盘和可移动盘之类的磁盘；磁光盘；以及CD-ROM盘804。前述中的任何一个可以由专门设计的ASIC(专用集成电路)进行补充，或者包含在ASIC中。网络适配器805管理对网络806的访问。触控式显示器808被用在客户端计算机中，以允许用户在显示器808上的任意期望的位置处进行交互。此外，触控式显示器允许用户选择各种命令、以及输入控制信号。触控式显示器可产生信号，用于向系统输入控制信号。

已描述了本发明的优选实施例。应当理解的是，可以在不背离本发明的精神的范围的情况下对本发明进行各种各样的修改。因此，其他实现也落入所附权利要求的范围中。例如，本发明的方法可采用虚拟现实技术，这种技术允许用户通过使用诸如有线手套之类的多模设备来与计算机仿真环境交互。因此，可对向用户显示的虚拟对象实施根据本发明的复制。

Claims (9)

1.一种用于通过使用触控式显示器来复制对象的计算机实现的方法，所述方法包括：

-在所述触控式显示器上显示(10)所选择的第一对象(12)；

-在所选择的第一对象上检测第一用户交互和第二用户交互(14)；

-在所选择的第一对象的轮廓之外检测所述第一用户交互的移动(16)，使得当所述第一用户交互在所述轮廓之外时该检测开始；

-在所述第一用户交互在所述轮廓之外之后，显示第二对象(20)，所述第二对象追踪所述第一用户交互在所述触控式显示器上的移动，所述第二对象是所述第一对象的复制品；以及

-根据所述第一用户交互在所述触控式显示器上的最后被检测到的位置来放置所述第二对象(26)。

2.根据权利要求1所述的方法，还包括在检测第一用户交互的移动的所述步骤之后的如下步骤：

-在所选择的对象上检测所述第二用户交互的终止(18)。

3.根据权利要求1至2中的任一项所述的方法，其中：伴随地或相继地执行所述第一用户交互和所述第二用户交互，而与在所选择的第一对象上它们的检测顺序无关。

4.根据权利要求1至2中的任一项所述的方法，其中所述第一用户交互的最后被检测到的位置(24)是检测到的在所述触控式显示器上的所述第一用户交互的终止的位置。

5.根据权利要求1至2中的任一项所述的方法，其中在图形用户界面的同一窗口内执行显示所选择的第一对象的所述步骤和放置所述第二对象的所述步骤。

6.根据权利要求1至2中的任一项所述的方法，其中在显示第二对象的所述步骤中，与所述第一对象的绘制相比，所述第二对象的绘制被修改。

7.根据权利要求1至2中的任一项所述的方法，其中利用下述各项中的至少之一或其组合，在所述触控式显示器上通过接触来执行所述第一用户交互和所述第二用户交互：

-指示笔；

-手指。

8.根据权利要求1至2中的任一项所述的方法，其中通过用户的两只手的相应手指在所述触控式显示器上进行接触来执行所述第一用户交互和所述第二用户交互。

9.一种用于通过使用触控式显示器来复制对象的装置，所述装置包括用于实现如权利要求1至8中的任一项所述的方法的步骤的模块。