CN103927089A - 控制交互用户界面对象的方法和装置 - Google Patents

Abstract

提供了控制交互用户界面对象的方法和装置。该方法包括：在显示屏上显示交互用户界面对象；检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；根据该可视标识的移动轨迹，判断可视标识相对于显示屏上的预定控制区域、暂停区域和确认边界的相对位置关系；以及根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示。通过控制交互用户界面对象的方法，可以通过例如与人手的运动对应的单个控制点的轨迹来实现对目标对象的控制，这对于例如人远离例如计算机的控制设备的情况下是非常有利的。

Description

控制交互用户界面对象的方法和装置

技术领域

本发明总体地涉及人机交互，更具体地涉及控制交互用户界面对象的方法和装置。

背景技术

目前，智能设备的一些常用人机交互操作通常是利用用户输入的多个点的轨迹来实现的，如使用触摸式控制及基于视觉的手势控制的智能设备上的图像的缩放、旋转等操作，这种操作方式对多个输入点的需求有时会对用户造成不便。另外，基于视觉的手势控制或基于手的停留时间的控制方式常受限于摄像机的采集到的图像的精确程度。

在欧洲专利公开EP2378397A2中，提出了一种人机交互控制方式。该方法将用户拖动一个控件后产生的一段轨迹在正交的两个方向上进行分解得到的两个偏移分量，并利用这两个偏移分量的组合来得到该控件的一个移动位置值。

在美国专利US8089457B2中，介绍了一种图像操作系统和方法。具体地说，通过该方法，用户可以使用点击并移动输入设备的方式对图像进行缩放等操作，并且系统通过两个手形图标来指示当前操作实施的程度，其中一个手形图标对应于输入点以实施操作，另一个仅为辅助示意图像不具有实施操作的功能。

在美国专利US7814439B2中，介绍了一种可移动式菜单控件。具体地说，用户通过一种笔式输入设备进行输入，一种包含多种常用操作的菜单控件随着用户输入点的移动而改变位置，以方便用户在不同的操作间进行切换。

在美国专利US8046721B2中，介绍了一种触摸式人机交互方式。具体地说，通过该发明，用户在可移动电子设备的屏幕上用一种触摸式的滑动来解除对该设备的锁定。

发明内容

本发明的一个目的在于提供一种利用单个输入点进行控制的人机交互方式。

根据本发明的实施例，提供了一种控制交互用户界面对象的方法，包括：在显示屏上显示交互用户界面对象；检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；根据该可视标识的移动轨迹，判断可视标识相对于显示屏上的预定控制区域、暂停区域和确认边界的相对位置关系；以及根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示，其中当所述可视标识在所述控制区域中移动时，将交互用户界面对象的显示状态随该移动而发生变化；当所述可视标识离开所述控制区域后进入到所述暂停区域中时，将暂停所述操作的执行；当所述可视标识离开暂停区域并通过确认边界时，所述操作结束。

根据本发明的另一实施例，提供了一种控制交互用户界面对象的装置，可以包括：对象显示部件，在显示屏上显示交互用户界面对象；运动输入检测部件，用于检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；相对位置关系判定部件，用于根据该可视标识的移动轨迹，判断可视标识相对于预定控制区域、暂停区域和确认边界的相对位置关系；以及操作控制部件，用于根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示。

通过根据上述实施例的控制交互用户界面对象的方法，可以通过例如与人手的运动对应的单个控制点的轨迹来实现对目标对象的控制，这对于例如人远离例如计算机的控制设备的情况下是非常有利的。

附图说明

图1示意性地示出了根据本发明一个实施例的人机交互技术应用于人机交互系统的场景的示意图。

图2示出了根据本发明第一实施例的控制交互用户界面对象的示例性方法的总体流程图。

图3示意性示出了根据本发明一个实施例的可视标识、控制区域、暂停区域和确认边界的初始化示例。

图4示出了根据本发明一个实施例的根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制的方法的流程图。

图5a到5d示意性示出了在交互用户界面对象的控制过程中显示屏的部分显示界面的示例。

图6示出了根据本发明实施例的控制交互用户界面对象的装置的功能配置框图。

图7是示出按照本发明实施例的交互用户界面对象控制系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

将按下列顺序进行描述：

1、应用场景示意

2、控制交互用户界面对象的方法示例（第一实施例）

2.1、控制交互用户界面对象的方法示例的总体流程

2.2、可视标识、控制区域、暂停区域和确认边界的初始化示例

2.3、交互用户界面显示控制的具体过程示例

3、控制交互用户界面对象的装置示例（第一实施例）

4、系统硬件配置

1、应用场景示意

图1示意性地示出了根据本发明一个实施例的人机交互技术应用于人机交互系统的场景的示意图。

在此示例中，人机交互系统100包括深度摄像机101，计算机102，投影仪103和显示屏104。上述深度摄像机101可以是任意一种能够提供场景深度信息的摄像机，比如PrimeSensor、Kinect等。

在图1所示的应用场景中，用户正在使用投影仪103并且站在离显示屏104较远的位置，他/她不能够很方便的使用鼠标或键盘来控制计算机102中的程序。深度摄像机101拍摄人手部的运动，将其发给计算机102.计算机102接受并分析深度摄像机101拍摄到的用户手部的运动，将用户手部的空间位置坐标映射为一个可视标识Pc在屏幕上的坐标，从而得到了与人手的移动对应的可视标识在屏幕上的运动轨迹。计算机102根据检测到的人手的运动轨迹进行在计算机屏幕上显示的人机交互界面对象的控制，所述人机交互界面对象可以是例如图像、word或pdf文档或网页等。控制的类别例如可以为图像的缩放、旋转、拖曳等操作。

需要说明的是，坐标映射操作会涉及到人手的检测和跟踪技术，已经有很多现有技术可以应用于基于计算机视觉的人手的检测和跟踪，这并非本发明的重点，本文省略对此的介绍。

图1的例子中检测的是人手的运动，不过例如也可以检测人手所持工具的运动。

另外，图1的例子中通过深度摄像机来拍摄人手的深度图像来检测人手的运动输入。不过这仅为示例，本发明并不局限于此，也可以通过普通摄像机拍摄彩色图像并由计算机来分析彩色图像来而将人手的运动转化为屏幕上的对应可视标识的运动轨迹。更一般地，不是必须借助摄像机来检测人手的运动输入，诸如红外检测、运动检测器等其它手段也可以用于本发明来检测人手的运动。

2、控制交互用户界面对象的方法示例（第一实施例）

2.1、控制交互用户界面对象的方法示例的总体流程

图2示出了根据本发明第一实施例的控制交互用户界面对象的示例性方法200的总体流程图。

如图2所示，在步骤S210中，在显示屏上显示交互用户界面对象。

如前所述，交互用户界面对象可以为例如图像、word或pdf文档或网页等。可以通过例如启动计算机程序例如网页浏览器、word2003程序等而在显示屏上显示上述交互用户界面对象(interactive user interface object)。为描述方便，下面将以在屏幕上显示图像为例进行描述。另外，在本文中，有时将交互用户界面对象称为“目标对象”，除非特别区别，否则两种说法可以互换使用。

显示屏可以为例如液晶显示屏、投影屏、手机屏幕、平板电脑屏幕乃至电视屏幕等。

在步骤S220中，检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹。

该检测操作可以是系统一上电即进行，也可以由预定操作来触发，例如由按下人机交互界面上的菜单按钮或者安置在外壳上的物理按钮而触发，或者由用户启动预定计算机程序而触发。

如前所述该运动对象优选地不与显示屏接触，可以例如为人的手部或者手部所持工具。运动对象的空间位置被转换为可视标识在显示屏上的位置。作为可视标识的例子，可以为一个点的图像即固定点的图像，不过本发明并不局限于此，可视标识也可以为图标等。随着运动对象的运动，可视标识在显示屏上移动，从而可以得到可视标识Pc的移动轨迹。

该可视标识Pc也可以看作显示屏上的控制点的可视表示，而且为单个控制点的可视标识。即，可视标识Pc的移动轨迹即为单个控制点的轨迹。下文中，除非特别区分，否则说法“可视标识”和“控制点”可以互换使用。

在步骤S230中，根据该可视标识的移动轨迹，判断可视标识相对于显示屏上的预定控制区域、暂停区域和确认边界的相对位置关系。

为了根据控制点的单点轨迹对目标对象进行控制，本发明在显示屏上定义了控制区域、暂停区域和确认边界。当可视标识即控制点在控制区域内部时，将随着控制点的移动而执行对目标对象的控制以改变目标对象的显示状态。当可视标识进入暂停区域时，将暂停对目标对象的控制，从而目标对象的显示状态保持在例如进入暂停区域之前的状态，而如果可视标识从暂停区域直接返回控制区域，则将恢复对目标对象的控制。当可视标识越过确认边界时，则将终止对目标对象的控制。

在一个示例中，控制区域、暂停区域和确认边界都位于交互用户界面对象如图像的内部。

在一个示例中，控制区域为暂停区域所包围，并且确认边界为暂停区域的外边界。

在一个示例中，控制区域为圆形形状，暂停区域为与控制区域紧邻的圆环，而确认边界为作为暂停区域的圆环的外圆周。

在一个示例中，在显示屏上适当位置显示提示信息，以使得用户清楚控制区域、暂停区域和确认区域的存在和作用。

在一个示例中，可以为不同的操作类型设定各自控制区域、暂停区域和确认边界。例如对于图像的缩放操作，有用于缩放操作的控制区域、暂停区域和确认边界；而对于图像的旋转操作，有用于旋转操作的控制区域、暂停区域和确认边界，等等。

关于控制区域、暂停区域和确认区域的形式和范围可以是预先确定的，也可以是在目标对象启动时初始化的，或者可以是在触发对目标对象的某种控制操作时初始化的。另外，也可以由用户来定制控制区域、暂停区域和确认区域的形式和范围，并且可选地可以由用户在目标对象活动期间来通过例如选项菜单进行调整和改变。

关于控制区域、暂停区域和确认边界的形式可以根据实际需要而设计。

下文将参考图3描述控制区域、暂停区域和确认边界的形式和范围的具体示例。

给定控制区域、暂停区域和确认边界，则可以判定控制点相对于它们的位置关系。

在步骤S240中，根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示，其中当所述可视标识在所述控制区域中移动时，将交互用户节点对象的显示状态随该移动而发生变化；当所述可视标识离开所述控制区域后进入到所述暂停区域中时，将暂停所述操作的执行；当所述可视标识离开暂停区域并通过确认边界时，所述操作结束或者说退出操作。

后文中，将以缩放图像为例说明根据可视标识与控制区域、暂停区域和确认边界的相对位置关系来实现对图像的缩放的控制。

通过根据上述实施例的控制交互用户界面对象的方法，可以通过例如与人手的运动对应的单个控制点的轨迹来实现对目标对象的控制，这对于例如人远离例如计算机的控制设备的情况下是非常有利的。

2.2、可视标识、控制区域、暂停区域和确认边界的初始化示例

图3示意性示出了根据本发明一个实施例的可视标识、控制区域、暂停区域和确认边界的初始化示例。

当用于改变所述交互用户界面对象的显示状态的操作被触发后，在图像平面坐标系xy中，初始化固定参考点Pa301和可视标识Pc302的位置，以及初始化控制区域、暂停区域和确认边界。例如，以缩放图像为例，假设在图像查看程序界面中，提供有标识有缩放字样的按钮，则如果控制点的轨迹经过该按钮，则认为触发对图像进行缩放的操作，此时可以进行固定参考点Pa和可视标识Pc的位置，以及控制区域、暂停区域和确认边界的初始化。图3中的标号306指示图像。

初始化固定参考点Pa301和可视标识Pc302的位置可以包括：将固定参考点Pa301初始化在位置(x0,y0)。之所以将其称为“固定参考点”，是因为在所述操作的实施过程中，所述固定参考点Pa301的位置不改变。将上述可视标识Pc302初始化在位置(x0+Δx,y0)，即在上述固定参考点Pa301坐标的水平方向上偏移Δx，其中，Δx∈(0,r)，r为下述扇形控制区域的半径，并且可视标识Pc302的位置随所检测的可运动对象的位置的改变而改变。Δx优选地为较小的值，例如为1。

根据一个示例，固定参考点被初始化为目标对象的中心位置。

初始化所述控制区域、暂停区域和确认边界可以包括：

将所述控制区域303初始化为第一扇形区域S1和第二扇形区域S2，其中，第一扇形区域S1和第二扇形区域S2分别是以(x0,y0)为圆心、r为半径的圆C1的相对的两个扇形区域，其中第一扇形区域S1和第二扇形区域的圆心角均为θ，θ∈(0,π)，且由固定参考点Pa301和可视标识Pc302初始点连接的直线平分该第一扇形区域S1和第二扇形区域S2的圆心角。优选地，在一个示例中优选地，所述控制区域303在目标对象的内部，上述r的值依照目标对象的大小来设置。为了简便说明，我们假设固定点Pa301在目标对象的中心位置，r的值为目标对象的高度和宽度中的最小值的0.8倍。控制点Pc302被初始化在控制区域303内从而为后文描述的目标对象的操作控制提供了一个起始线即从固定点Pa301到控制点Pc302的直线。目标对象的状态仅当控制点Pc302在控制区域303内移动时才发生变化。

将上述暂停区域304初始化为两个区域S3和S4，其中，上述区域S3由以(x0,y0)为圆心、r为半径的圆C1除去所述第一扇形区域S1和第二扇形区域S2后得到的圆心角均为(π-θ)的两个相对的扇形区域组成，上述区域S4是以(x0,y0)为圆心、(r+Δr)为半径的圆C2除去上述圆C1部分后得到的圆环区域。在一个示例中设置Δr＝r/5。

将所述确认边界305初始化为上述圆C2的边界位置。

在提供有固定参考点Pa301的本实施例中，控制点Pc302在移动时将产生两个参数，即相对于固定参考点Pa301的距离D以及连接当前可视标识Pc与固定参考点Pa的线段与连接可视标识Pc的初始点与固定参考点Pa的线段之间的夹角A，上述区域规划方式可以很方便地使操作在目标对象的任意状态下暂停或在目标对象的任意状态下退出。例如，假设所述目标对象是一幅图像，所述预定义的操作为图像缩放，参数距离D为缩放因子，参数角度A为退出条件之一，图像的最大放大倍数为r。当用户想要将图像放大D倍后退出操作时，他只需移动控制点Pc302将参数角度A调整在上述暂停区域中的扇形部分中也就是中即可。如果系统只能提供一个距离参数，则用户只能将图像放大r倍（即最大倍数）到确认边界后才能退出。

前述示例中，定义了固定参考点，以及根据控制点相距固定参考点的距离来控制操作的幅度，例如缩放因子，以及根据当前控制点和固定参考点、初始控制点形成的夹角来控制可以在任意显示状态退出。不过这仅为示例，在另一示例中，固定参考点并不是必需的，例如，可以根据控制点轨迹的运动方向来确定操作态势，例如在控制区域内，控制点轨迹向上，则放大图像；反之控制点轨迹向下，则缩小图像；控制点轨迹水平移动，则保持图像当前状态，从而可以保持此状态来进入暂停区域。在另一示例中，辅助以手势识别进行操作控制，例如如果控制点轨迹在控制区域内单向行进，因此图像持续放大，此时检测到握拳手势，则可以暂停放大，如此保持此握拳手势移动并进入暂停区域，则将保持就在检测到握拳手势前的放大状态来进入暂停区域，进而如果从暂停区域通过确认边界，则可以在此放大状态下退出缩放操作。

在前述示例中，控制区域、暂停区域和确认边界基于圆形（广义，包括扇形和圆环）而定义。不过这仅为示例，可以基于其它形状例如正方形、矩形等来定义控制区域、暂停区域和确认边界。

在前述示例中，控制区域被定义成为暂停区域所包围，暂停区域的外边界被定为成确认边界。不过这仅为示例，替代性地，在一个示例中，例如，将控制区域、暂停区域定义为从左到右的两个并排矩形、确认边界为暂停区域的矩形的右边界，例如，对于图像的缩放控制，在控制区域内，如果控制点的轨迹向上，则图像放大，轨迹向下，则图像缩小，向右，则图像不进行缩放；如果进入暂停区域，则无论轨迹如何运动均不进行缩放，如果从暂停区域直接通过确认边界，则退出图像缩放操作；反之如果从暂停区域返回控制区域，则将恢复图像的缩放控制。

2.3、交互用户界面显示控制的具体过程示例

图4示出了根据本发明一个实施例的根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制的方法的流程图。

下面参考图4描述根据本发明一个实施例的根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制的方法400的示例，该方法可以用于图2所示的步骤S230和240的组合实现。

图4所示的控制方法基于图3中所示的固定点Pa301、控制点Pc302、控制区域303、暂停区域304、确认边界305的限定而进行。

总体来说，对于预定类型的操作，可在三种状态，分别是控制、暂停及退出。例如，当图3所示的控制点Pc302在控制区域303中移动时，控制目标对象的状态随之发生变化；当上述控制点Pc302离开上述控制区域303后进入到上述暂停区域304中时，目标对象将保持当前状态不变，操作暂停；当上述控制点Pc302离开上述暂停区域304并通过确认边界305时，预定义的操作结束，或者说操作退出。

假设图4的流程开始于初始化过程之后，即，用于改变所述交互用户界面对象的显示状态的操作被触发后已经初始化了如图3所示的固定参考点Pa301、控制点Pc302、控制区域303、暂停区域304、确认边界305。初始化后，控制点Pc302初始位于点(x0+Δx,y0)，即控制区域内。

如图4所示，在步骤401，例如随着人手的移动，控制点Pc在控制区域302移动。在移动时，将产生两个参数，分别是控制点Pc302和固定点Pa301之间的距离D，以及上述控制点Pc302、上述固定点Pa301和控制点Pc的初始位置点(x0+Δx,y0)所形成的角A（角顶点为固定点的情况下）。

在步骤402中，根据上述两个参数来实施上述预定义操作，例如如果改变交互用户界面对象的显示状态的操作是图像缩放，则将实施图像缩放操作，具体地，根据控制点Pc302和固定点Pa301之间的距离D来设置图像缩放因此，执行缩放操作。

在步骤403，判断控制点Pc是否在控制区域内。具体地，当所述距离D不大于上述半径r，并且所述角度A在范围中时，判定所述可视标识位于所述控制区域中，回到步骤402，上述预定义的操作例如图像缩放将继续被执行。相反上述控制点Pc302从上述控制区域303移动到上述暂停区域304时，即上述参数距离D大于上述半径r并且小于r+Δr，或者上述参数角度A在范围中时，前进到步骤404，上述预定义的操作即图像缩放将被暂停，目标对象将始终保持在上述控制点Pc302进入上述暂停区域304前的状态不变，即上述控制点Pc302在上述暂停区域304中的移动时，目标对象的状态不随之改变，然后前进到步骤405。

在步骤405中，判断控制点Pc是否在确认边界外。具体地，当上述参数距离D大于r+Δr时，确定在确认边界外，并前进到步骤406。否则返回到步骤403，判断是否控制点又重新进入到控制区域，当上述控制点Pc302离开上述暂停区域304并重新进入到上述控制区域303时，目标对象的状态将重新随控制点Pc302的移动发生变化，回到步骤402。

在步骤406中，上述预定义的操作被停止。例如，在操作为图像缩放的情况下，将退出图像缩放。在退出预定义操作后，当上述控制点Pc302从上述确认边界即圆C2的外部重新进入到上述控制区域303并移动时，目标对象的状态将不会发生变化。

图5a到5d示意性示出了在交互用户界面对象的控制过程中显示屏的部分显示界面的示例。请注意该显示界面可以不是整个显示屏界面，其中图像部分的界面，即在显示屏界面上可以包括其他部件，例如，菜单、按钮等。

图5a示出了在初始化过程之后，即在基于图像缩放操作被触发而已经初始化了固定参考点501、控制点502、控制区域503、暂停区域504、确认边界505之后的图像部分的显示界面。固定参考点501的初始位置在图像506的中心，控制点502的初始位置在固定点501的水平方向偏移1个像素的位置。503指示控制区域，504指示暂停区域，505指示确认边界，506指示整个图像，白色箭头507显示光标，在图像缩放操作退出之前，该光标指示控制点的位置。操作退出后，光标507可以指示人手的空间位置对应的屏幕上位置。

图5b示出了控制点在控制区域内移动的一个时刻的图像部分的显示界面。可见在该时刻，控制点502移动了距离508，得到了角度509。由此图像部分进行了放大。

图5c示出了控制点502从控制区域503进入暂停区域502后的一个时刻的图像部分的显示界面。此时的图像大小相比于图5b所示情况没有改变，即缩放操作暂停。

图5d示出了控制点502从暂停区域504移动穿过确认边界505时，操作结束，并且清除了固定参考点501、控制点502、控制区域503、暂停区域502、确认边界506、控制点502和固定参考点502之间的距离508、以及控制点502、上述固定参考点501和控制点的初始位置点(x0+Δx,y0)所形成的角509的显示。图中所示的白色箭头507为计算机的光标。操作退出后，光标507可以指示人手的空间位置对应的屏幕上位置。

另外，虽然未示出，但是在操作控制启动且尚未退出之前，还可以在显示屏上显示提示信息，以提示要控制、暂停或停止所述改变所述交互用户界面对象的显示状态的操作所需要的运动方向和/或运动幅度。例如，在图5b所示显示界面，可以在光标507附近显示提示信息例如“再向右转动手部将暂停缩放”；在通过确认边界后可以显示提示信息“缩放结束，要再次开始缩放，请移动手部经过缩放按钮”等等。

根据该实施例，用户例如通过移动手部而移动屏幕上的光标即能够放大或缩小图像，而不需要进行点击鼠标等操作来缩放图像。

3、控制交互用户界面对象的装置示例（第一实施例）

下面参考图6描述根据本发明实施例的控制交互用户界面对象的装置的配置。

图6示出了根据本发明实施例的控制交互用户界面对象的装置600的功能配置框图。

如图6所示控制交互用户界面对象的装置600可以包括：对象显示部件610，在显示屏上显示交互用户界面对象；运动输入检测部件620，用于检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；相对位置关系判定部件630，用于根据该可视标识的移动轨迹，判断可视标识相对于预定控制区域、暂停区域和确认边界的相对位置关系；以及操作控制部件640，用于根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示。上述对象显示部件610、运动输入检测部件620、相对位置关系判定部件630、操作控制部件640的具体功能和操作可以参考上述和图1到图5相关的描述。这里省略有关重复描述

4、系统硬件配置

本发明还可以通过一种交互用户界面对象控制系统来实施。图7是示出按照本发明实施例的交互用户界面对象控制系统1000的总体硬件框图。如图7所示，交互用户界面对象控制系统1000可以包括：输入设备1100，用于从外部输入有关图像或信息，例如摄像机拍摄的左图像和右图像或直接的深度图像序列等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的交互用户界面对象控制方法，或者实施为上述的交互用户界面对象控制装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送更新显示后的交互界面对象等等；输出设备1300，用于向外部输出实施上述交互界面对象控制过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述交互界面对象控制过程所涉及的目标对象、控制点位置、固定点位置、控制区域、暂停区域、确认边界、距离、角度、缩放因子等等，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

5、总结

根据本发明的实施例，提供了一种控制交互用户界面对象的方法，包括：在显示屏上显示交互用户界面对象；检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；根据该可视标识的移动轨迹，判断可视标识相对于显示屏上的预定控制区域、暂停区域和确认边界的相对位置关系；以及根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示，其中当所述可视标识在所述控制区域中移动时，将交互用户界面对象的显示状态随该移动而发生变化；当所述可视标识离开所述控制区域后进入到所述暂停区域中时，将暂停所述操作的执行；当所述可视标识离开暂停区域并通过确认边界时，所述操作结束。

根据本发明的另一实施例，提供了一种控制交互用户界面对象的装置，可以包括：对象显示部件，在显示屏上显示交互用户界面对象；运动输入检测部件，用于检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；相对位置关系判定部件，用于根据该可视标识的移动轨迹，判断可视标识相对于预定控制区域、暂停区域和确认边界的相对位置关系；以及操作控制部件，用于根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示。

通过根据上述实施例的控制交互用户界面对象的方法，可以通过例如与人手的运动对应的单个控制点的轨迹来实现对目标对象的控制，这对于例如人远离例如计算机的控制设备的情况下是非常有利的。

前述描述仅为说明性的，可以进行很多修改和/或替换。

前面以人机交互界面对象为图像为例进行了描述，不过如前所述本发明并不局限于应用于图像，而是可以是例如word或pdf文档或网页等。另外，前面以控制类型为图像缩放为例说明了要控制的操作，不过这仅为示例，控制的类别可以是旋转、拖曳以及任何其它适合于以单点运动轨迹来进行控制的操作。

前面以人手的运动为例说明了运动对象的运动输入，不过这仅为示例，例如也可以检测人手所持工具的运动。另外前文的运动输入是非接触的，但是本发明并不局限于此，运动输入也可以是与触摸屏或者鼠标等接触的输入，例如是将手指在触摸屏上的触摸输入转换为显示屏上的控制点的轨迹。

前面以深度摄像机摄像来检测运动输入，不过本发明并不局限于此，也可以通过普通摄像机拍摄灰度图像或者红外检测、运动检测器等手段来检测运动输入。

另外，前面参考图3说明了控制区域、暂停区域、确认边界的形式和范围以及控制点的初始位置，但这仅为示例，可以根据实际需要设计各种控制区域、暂停区域、确认边界的形式和范围以及控制点的初始位置。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种控制交互用户界面对象的方法，包括：

在显示屏上显示交互用户界面对象；

检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；

根据该可视标识的移动轨迹，判断可视标识相对于显示屏上的预定控制区域、暂停区域和确认边界的相对位置关系；以及

根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示，

其中当所述可视标识在所述控制区域中移动时，将交互用户界面对象的显示状态随该移动而发生变化；当所述可视标识离开所述控制区域后进入到所述暂停区域中时，将暂停所述操作的执行；当所述可视标识离开暂停区域并通过确认边界时，所述操作结束。

2.根据权利要求1的控制交互用户界面对象的方法，当用于改变所述交互用户界面对象的显示状态的操作被触发后，在图像平面坐标系xy中，初始化固定参考点Pa和可视标识Pc的位置，以及初始化所述预定控制区域、暂停区域和确认边界，

其中所述初始化固定参考点和可视标识的位置包括：

将固定参考点Pa初始化在位置(x0,y0)，其中在所述操作的实施过程中，所述固定参考点Pa的位置不改变；

将上述可视标识Pc初始化在位置(x0+Δx,y0)，即在上述固定参考点Pa坐标的水平方向上偏移Δx，其中，Δx∈(0,r)，r为下述控制区域的半径，并且可视标识Pc的位置随所检测的可运动对象的运动输入的改变而改变，

其中所述初始化所述控制区域、暂停区域和确认边界包括：

将所述控制区域初始化为第一扇形区域S1和第二扇形区域S2，其中，第一扇形区域S1和第二扇形区域S2分别是以(x0,y0)为圆心、r为半径的圆C1的相对的两个扇形区域，其中第一扇形区域S1和第二扇形区域的圆心角均为θ，θ∈(0,π)，且由固定参考点和可视标识初始点连接的直线平分该第一扇形区域S1和第二扇形区域S2的圆心角；

将上述暂停区域初始化为两个区域S3和S4，其中，上述区域S3由以(x0,y0)为圆心、r为半径的圆C1除去所述第一扇形区域S1和第二扇形区域S2后得到的圆心角均为(π-θ)的两个相对的扇形区域组成，上述区域S4是以(x0,y0)为圆心、(r+Δr)为半径的圆C2除去上述圆C1部分后得到的圆环区域；以及

将所述确认边界初始化为上述圆C2的边界位置。

3.根据权利要求2的控制交互用户界面对象的方法，其中通过所述可视标识Pc与固定参考点Pa之间的距离D以及连接当前可视标识Pc与固定参考点Pa的线段与连接可视标识Pc的初始点与固定参考点Pa的线段之间的夹角A来判断可视标识相对于预定控制区域、暂停区域和确认边界的相对位置关系。

4.根据权利要求3的控制交互用户界面对象的方法，当所述距离D不大于上述半径r，并且所述角度A在范围中时，判定所述可视标识位于所述控制区域中，从而执行改变所述交互用户界面对象的显示状态的操作。

5.根据权利要求3的控制交互用户界面对象的方法，当所述距离D大于上述半径r并且小于r+Δr，或者所述角度A在范围中时，判定所述可视标识处于暂停区域中，将暂停执行改变所述图形人机交互对象的显示状态的操作，且所述交互用户界面对象将保持在上述可视标识Pc进入所述暂停区域前的状态；当所述可视标识Pc离开上述暂停区域并重新进入到上述控制区域时，将重新执行改变所述交互用户界面对象的显示状态的操作。

6.根据权利要求3的控制交互用户界面对象的方法，当判定所述可视标识Pc离开所述暂停区域并通过所述确认边界时，停止执行改变所述交互用户界面对象的显示状态的操作；以及当判定所述可视标识Pc从上述圆C2的外部通过所述确认边界重新进入到所述控制区域并移动时，将不会执行改变所述交互用户界面对象的状态的操作。

7.根据权利要求1的控制交互用户界面对象的方法，其中所述运动对象的运动输入为人的手部运动或者人的手部所持工具的运动，通过摄像机对人的手部或者手部所持工具摄像来检测所述运动输入，其中所述人的手部或者手部所持工具与投影仪不接触，

以及所述显示屏为投影屏幕，将所述运动输入转换为在投影仪上显示的可视标识的移动轨迹。

8.根据权利要求1的控制交互用户界面对象的方法，还包括在显示装置上显示提示信息，以提示要执行、暂停或停止所述改变所述交互用户界面对象的显示状态的操作所需要的运动方向和/或运动幅度。

9.根据权利要求3的控制交互用户界面对象的方法，其中当可视标识在控制区域内并且可视标识移动导致所述距离D变大时，按预定趋势改变所述交互用户界面对象的显示状态，相反，当可视标识在控制区域内并且可视标识移动导致所述距离D变小时，按与预定趋势相反的趋势改变所述交互用户界面对象的显示状态。

10.一种控制交互用户界面对象的装置，包括：

对象显示部件，在显示屏上显示交互用户界面对象；

运动输入检测部件，用于检测运动对象的运动输入，将持续性的运动输入转换为在显示屏上显示的可视标识Pc的移动轨迹；

相对位置关系判定部件，用于根据该可视标识的移动轨迹，判断可视标识相对于预定控制区域、暂停区域和确认边界的相对位置关系；以及

操作控制部件，用于根据该可视标识的移动轨迹与控制区域、暂停区域和确认边界的相对位置关系，实施对用于改变交互用户界面对象的显示状态的操作的控制，并且相应地控制该交互用户界面的显示。