CN103294177A - 光标移动控制方法和系统 - Google Patents
光标移动控制方法和系统 Download PDFInfo
- Publication number
- CN103294177A CN103294177A CN2012100501985A CN201210050198A CN103294177A CN 103294177 A CN103294177 A CN 103294177A CN 2012100501985 A CN2012100501985 A CN 2012100501985A CN 201210050198 A CN201210050198 A CN 201210050198A CN 103294177 A CN103294177 A CN 103294177A
- Authority
- CN
- China
- Prior art keywords
- cursor
- point
- reference point
- user
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种种光标控制方法,包括:根据用户偏好,预定第一光标移动方式或第二光标移动方式的选择控制方式;跟踪运动点轨迹,根据预定动作,启动光标控制过程;基于预定动作,确定是否需要设置参考点,并在需要设置参考点的情况下,将选择参考点以及以所选择的参考点为中心,建立用于光标控制的用户坐标系统;计算当前点与参考点之间的相对位置;在第一光标移动方式下,通过映射相对位置为光标移动速度的方式进行光标定位控制,以及在第二光标移动方式下通过映射当前运动点相对于参考点的相对位置为光标偏移距离进行光标位置调整。
Description
技术领域
本发明涉及一种用于机器视觉人机交互领域的显示设备的光标移动控制方法,尤其是涉及一种在显示设备上通过外部运动物体跟踪点在小范围的运动来控制光标移动的方法以及使用该方法的系统。
背景技术
当前,大量的应用提供了各种各样的用户界面。以传统的PC为例,大量操作都是通过鼠标控制光标来完成的,这得益于鼠标定位的方便。随着HCI人机交互技术发展,新的技术被采用并逐步取代鼠标在人机交互中的地位以实现更自然的交互式非接触远程控制,诸如美国专利US5367315A里提到头部鼠标(headmouse)和眼部鼠标(eyemouse),或美国专利US6501515B1中的手部鼠标(HandMouse)。不管是头部鼠标还是手部鼠标,他们均是通过跟踪外部运动对象(手、眼或头)的运动来实现光标的移动控制,其输入的是运动的跟踪点,输出的则是对应于运动点的光标在屏幕上位置或偏移信息。对这类通过跟踪外部设备运动进而控制光标移动的系统,除了实现移动对象的运动检测跟踪模块外,另一重要的模块即是如何将外部移动对象的运动信息转换为光标在显示设备上的运动。然而上述的两篇专利均只是着重于整体的流程框架,并没涉及于具体如何通过外部的运动点输入信息来有效地控制光标在屏幕上的具体移动。
在另一篇美国专利US6329978B1中给出了一种光标的移动控制设备,该设备在每个计量其运动的输入轴上设置了2个标尺(registers)。通过该设备在一个非常小范围内的移动来产生绝对坐标位置并最终将该位置信息映射到显示屏幕上去。从本质上说,该发明进行的是一个绝对坐标位置到另一个绝对坐标位置的线性映射。因此,如果显示屏幕的分辨率增大或该输入设备运动测量精度不够高,该方法下的光标精确定位将得不到有效保障。
当前最普遍的方法来转换外部移动物体的运动位置信息为显示屏上光标移动的方法是速度加速方法,该方法广泛的用于Window操作系统中的鼠标控制。在该方法中,一个转换函数被用于计算对应于鼠标实际移动速度下光标在屏幕上的实际运动速度。该转换函数的曲线斜率决定了加速的大小。比较慢的鼠标移动提供了光标位置的精细调整,而快速的鼠标移动则实现了光标的快速定位。
但这种方法如果直接用于象手部鼠标这样的人机交互系统也有诸多不便,这是因为操作者能感觉舒适的手的运动范围是有限的。一旦手的移动达到了其限制位置(在该位置无法再移动,其速度为0),但对应着的光标尚没接近于目标位置,此时操作者不得不收回他的手再试。也许对一次光标的精确定位该过程需要2次3次或更多次的尝试。而在该操作期间,操作者始终举着手保持手在空中或快或慢的移动以驱使光标从一端到另一端的移动,这将使操作者手臂容易感觉疲倦酸疼。在显示设备具有更高分辨率的情况下,光标在显示设备上的移动距离(像素点个数)将极大的增大,与之带来的结果就是操作者也被要求在一个更大范围内移动他的手。尽管可以通过增大光标相应于手移动速度的加速因子来解决手运动范围有限的问题,但却会引起另一个问题那就是光标的定位精度变得恶化了。
因此,人们希望提供一种显示装置之外的外部运动点来控制光标的方法或系统,该方法或系统能够解决上述现有技术中存在的缺陷。
发明内容
为了实现上述目的,本发明提供了一种光标移动控制方法,尤其是在显示设备上通过外部运动物体跟踪点在小范围的运动来控制光标移动的方法,所述方法包括:根据用户偏好,预定第一光标移动方式或第二光标移动方式的选择控制方式;通过运动点跟踪单元捕获用户的预定运动点在外部空间里的运动轨迹及做出的预定动作,启动光标控制过程;基于所述用户的预定运动点在外部空间里做出的预定动作,确定是否需要设置参考点,并在需要设置参考点的情况下,将与预定运动点对应的运动点在外部空间坐标系下的位置选择为光标控制的参考点,以及以所选择的参考点为原点,建立用于光标控制的用户坐标系统;通过运动点跟踪单元获取用户的预定运动点在所述用户坐标系统中对应的当前点,计算当前点与参考点之间的相对位置;当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制,而当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的相对位置为光标偏移距离进行光标位置调整。
根据本发明的一个方面,所述运动点是指用来控制光标移动的外部设备(包括自然人或其身体的一部分如手)所提供的跟踪点。
根据本发明的另一个方面,所述参考点位置将保持固定不变直到下一个重置参考点的动作发生。
根据本发明的另一个方面,所述预定第一光标移动方式或第二光标移动方式的选择控制方式包括:用户姿态选择控制方式、声音选择控制方式、传感器选择控制方式、或利用运动点的当前点与参考点之间的相对距离选择控制方式。
根据本发明的另一个方面,所述运动点的当前点与参考点之间的相对距离选择控制方式通过如下步骤实现:比较所计算的相对距离与一预定距离阈值,在所计算的相对距离大于所述预定距离阈值时,选择第一光标移动方式,在所计算的相对距离小于或等于所述预定距离阈值时,选择第二光标移动方式。
根据本发明的另一个方面,所述当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制的步骤包括:通过预定变换函数,将用户坐标系下的当前点与参考点之间相对位置变换为屏幕坐标系下光标的实际移动矢量速度;将实际移动矢量速度分解到屏幕坐标系下X和Y坐标轴,并计算出相邻两次运动采集点时间间隔下光标在该X和Y轴上的相对移动距离;以及将所计算的相对移动距离加到当前光标位置以更新光标的位置。
根据本发明的另一个方面,所述当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的位置为光标偏移距离进行光标位置调整的步骤包括:通过另一个预定变换函数,将用户坐标系下的当前点与参考点之间相对距离变换为屏幕坐标系下光标偏移矢量总距离;将所述偏移矢量总距离根据用户坐标平面中参考点到当前运动点的方向分解为屏幕坐标系X和Y坐标轴上得到各自的相对移动距离;以及将所计算的相对移动距离加到原始光标在屏幕上的位置点以更新光标的位置。
根据本发明的另一个方面,所述预定变换函数和所述另一个预定变换函数为非降函数。
根据本发明的另一个方面,在进行第一光标定位方式之前,将所计算相对距离量化为几个级别,使得每个级别对应于一个光标移动速度。
根据本发明的另一个方面,其中在分解光标移动矢量速度到屏幕坐标系X和Y坐标轴前,先将方向角度进行量化。
根据本发明的另一个方面,其中所述原始光标在屏幕上的位置点是在确定进行第二光标定位方式时所记录下的光标当前位置点,且所述原始光标在屏幕上的位置点在整个第二光标定位方式期间一直保持不变。
根据本发明的另一个方面,提供了一种光标移动控制系统,包括:初始化单元,根据用户偏好,预定第一光标移动方式或第二光标移动方式的选择控制方式;运动点跟踪单元,捕获用户的预定运动点在外部空间里的运动轨迹及做出的预定动作,启动光标控制过程;参考点设置单元,基于所述用户的预定运动点在外部空间里做出的预定动作,确定是否需要设置参考点,并在需要设置参考点的情况下,将与预定运动点对应的运动点在外部空间坐标系下的位置选择为光标控制的参考点,以及以所选择的参考点为中心,建立用于光标控制的用户坐标系统;相对位置计算单元,通过运动点跟踪单元获取用户的预定运动点在所述用户坐标系统中对应的当前点,计算当前点与参考点之间相对位置(距离及方向);以及光标定位处理单元,当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制,而当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的位置为光标偏移距离进行光标位置调整。
本发明的最大特点是从一种“静”的观点出发采用了相对位置信息来控制光标的移动,通过跟踪运动点在小范围内的运动有效地实现了光标在大尺寸高分辨显示设备上的移动定位问题。
越来越多的大尺寸高分辨显示设备渗透到了生活工作中,更自然的人机交互已成为趋势所在。本发明为诸如“handmouse”的人机交互系统提供了一种通过外部物体运动来控制光标移动的方法。该方法不仅解决了在有限操作范围内以较小的运动来实现光标在高分辨率显示设备上精确定位的问题,同时也因其较小的运动而使得操作者从容易疲劳的操作中解放出来。
本发明的基本思想是采用相对于一参考点的相对位置信息来控制光标的移动,这极大的区别于运用鼠标速度来控制光标的方法。一方面本发明映射相对位置为光标的移动速度,这使得即使运动输入点在最后位置上停住的时候光标依然能沿着当前的方向保持移动的状态以接近于目标位置。另一方面当光标接近于目标位置附近时则可以切换其光标的控制方法,从光标移动速度控制转变为根据运动点相对于参考点的位置信息进行的光标偏移距离控制。因此本发明从“静”的观点出发以较小的运动不仅提供了适用于任何分辨率显示屏幕下的光标移动控制方法,同时也平衡了光标的粗定位和精细定位。
附图说明
图1是采用本发明的方法的一种典型应用场景的实例的示意图。
图2所示的是基于参考点设定建立临时用户坐标系示意图。
图3是根据本发明的光标控制方法的主要流程。
图4所示的是一种用于本发明决定控制光标移动方法的一种实施例的示意图
图5给出一种在第一光标定位方式中将运动点相对于参考点的位置转换为光标移动距离的过程的流程图。
图6(a)所示的是对距离进行量化的示意图。
图6(b)所示的是方向角量化的示意图。
图7给出一种在第二光标定位方式中将运动点相对于参考点的位置转换为光标移动距离的过程的流程图。
图8所示的采用本发明的光标控制方法的系统的示意图。
具体实施方式
本发明的目的是为了提供一种在显示设备上通过外部运动物体跟踪点在小范围的运动来控制光标移动的方法,所述方法包括:根据用户偏好,预定第一光标移动方式或第二光标移动方式的选择控制方式;通过运动点跟踪单元捕获用户的预定运动点在外部空间里的运动轨迹及做出的预定动作,启动光标控制过程;基于所述用户的预定运动点在外部空间里做出的预定动作,确定是否需要设置参考点,并在需要设置参考点的情况下,将与预定运动点对应的运动点在外部空间坐标系下的位置选择为光标控制的参考点,以及以所选择的参考点为中心,建立用于光标控制的用户坐标系统;通过运动点跟踪单元获取用户的预定运动点在所述用户坐标系统中对应的当前点,计算当前点与参考点之间相对位置;当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制,而当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的位置为光标偏移距离进行光标位置调整。
以下,将参照附图来详细说明本发明的具体实施例。
图1是采用本发明的方法的一种典型应用场景的实例的示意图。操作者站在显示屏幕前,举起他的手,通过手的运动去远程操作屏幕上光标,控制其从一个点到另一个点的移动。在上述应用场景的一个具体实例中,可在显示屏一侧放置一个摄像头以捕捉操作者手(或头)的运动,通过对操作者手的检测和跟踪(现有技术),可获得一系列的手的运动位置点来作为本发明的输入信息以实现光标的远程移动控制。
和以前的技术不同,本发明没使用运动点的运动速度或其绝对位置信息,而是采用了相对位置来控制光标在屏幕上的运动。相对位置的概念通常都是相对于一固定的参考位置点的。此处的参考点位于控制器所在的外部空间。具体到手部鼠标这样的应用场景里,参考点即是手在世界坐标系下操作区域内一3维位置点,所有的手的运动都围绕着这个参考点而发生,因此选择合适的参考点是本发明的第一步。
本发明是通过一预定义的命令或者手势来触发参考点的选择,如此可在操作者自己感觉舒适的任何时候或任何地点来设定或重置参考点。一个具体的触发参考点选定的实现动作是通过短时间内手掌的由开到合的手势,一旦手掌开合手势被检测到,则当前的作为输入的手的运动位置点将被标注为参考位置点直到下一个重置动作被检测到。
一旦参考点设定就绪,与之对应着的一个临时的用户坐标系也随之建立起来。图2所示的是基于参考点设定建立临时用户坐标系示意图。该坐标系以参考点为中心原点,其z-轴垂直于显示屏幕所在的平面,x和y轴则和屏幕坐标的x,y方向保持一致。这个用户坐标系的建立是为相对位置,包括距离及方向角度提供一个统一的测量,这有助于控制下的光标运动方向与操着者操作感觉的方向保持一致,以获得更好的用户体验效果。
在参考点选定和用户坐标系建立后,操作者即可移动他的手离开参考点位置以开始对屏幕上的光标进行移动控制。本发明中提供了两种方式来获得不同的光标移动定位效果。一种能快速的移动光标到指定的目标位置附近但定位精度不是很高,另一种则提供了在小范围内移动时的精细位置调整。前者我们命名为粗定位,也就是第一光标移动方式,而后者为精细定位,也就是第二光标移动方式。
本发明为操作者提供了多种选择第一光标移动方式和第二光标移动方式的手段,这些手段的选择是用户使用本发明光标控制方法之前,对系统进行初始化的时候,根据用户的偏好进行选择使用。这些可选择的控制方法包括:用户姿态选择控制方式、声音选择控制方式、传感器选择控制方式、或利用运动点的当前点与参考点之间的相对距离选择控制方式。具体而言,用户姿态选择控制方式包括通过用户的手势变换、头部姿势变换、挥手等常见手段来在第一和第二光标移动方式之间进行切换。声音选择控制方式是通过常用的语音识别在第一和第二光标移动方式之间进行切换。传感器选择控制方式可以通过用户控制的传感器向系统发送特定信号在第一和第二光标移动方式之间进行切换。当选择运动点的当前点与参考点之间的相对距离选择控制方式时,预先为相对距离设定一个距离阈值,当相对距离大于所述距离阈值时,系统自动切换到第一光标移动方式,当对距离小于或等于所述距离阈值时,系统自动切换到第二光标移动方式。该过程由一个初始化单元(未示出)来执行。
图3是根据本发明的光标控制方法的主要流程。首先通过跟踪用于控制光标的指定运动物体(或局部)以获取其位置点坐标作为本发明的输入(步骤101)。所述的跟踪通常通过照相机拍摄运动物体或局部物体来进行。这种跟踪属于本领域的常用技术,因此,不在此赘述。在获取所述输入之后,确定是否建立了光标控制的参考点(步骤102)。如果参考点还没被建立或者当前设定的参考点需要被重置,则选择当前的运动输入点作为参考点(步骤103),否则就根据当前运动输入点相对于参考点的相对位置或预定的命令来决定控制光标移动的方法(步骤104)。本发明中实现光标移动定位的控制方法分2种,即第一光标移动方式以及第二光标移动方式,各自实现不同的光标移动控制精度。如果确定采用第一光标移动方式,则基于当前所跟踪获得的运动物体(或局部)的空间位置点与参考点之间的相对距离计算光标在屏幕上的移动的速度(步骤106),然后将光标的移动速度转换为屏幕上的光标偏移距离(步骤107)。如果确定采用第二光标移动方式,则计算当前点相对于参考点的偏移位置,然后将该偏移位置映射为光标相对于原始光标点的偏移位置并进而计算出相对于光标最近一次位置点的偏移量(步骤109)。在计算出光标的偏移距离后,在光标最后一次位置点的基础上更新,实现光标在屏幕上的定位(步骤110)。如果当前光标位置还没抵达目标位置点(步骤111)则继续从外部运动中获得运动位置点重复上述处理步骤。
在本发明的上述方法中,通过跟踪用于控制光标的指定运动物体(或局部)以获取其位置点坐标作为本发明的输入101的步骤实际上是启动光标控制的步骤。该启动的输入可以是一个预定的手部或身体动作,如握拳、点头等,或者语音命令,或者是用户通过传感器发出的指令。例可以根据用户的习惯在使用上述光标控制方法之前进行设定。
通常,决定控制光标移动的方法可以采用与参考点选择方式相似的预定义的命令或手势动作,由操作者根据光标当前位置与目标位置的状况,自由地在两种控制方法间实现切换。图4所示的是一种用于本发明决定控制光标移动的方法的一种实施例的示意图,其给出了如何用参考点到当前运动点的距离来自动选择不同的光标移动控制方法。图4中圆圈的中心点正是参考点,圆圈的半径代表一个预定义的距离值。如果当前手的位置点在这个圆形区域内(实际上是个球状区域),换句话说,如果当前点到参考点的距离小于这个预定义的距离阈值,则精确定位即第二光标移动方式的控制方法被自动采纳,否则,如果手位置点移出这个区域后则第一光标移动方式被应用。这个距离阈值可以根据用户自己的习惯在使用该方法的系统之初进行设定,可以是10-500毫米之间的任意值,在普通的一臂的长度之内即可。
鉴于光标移动还涉及到一个方向问题,因此,考虑到光标是在屏幕的2维平面上移动,因此,需要将世界坐标系下输入点位置坐标投影到参考点所在x-y平面内,这样能更好的描述输入点相对于参考点运动的方向,进而更好的控制光标的移动方向。因为用户坐标系下z轴垂直于显示屏幕,因此输入点投影到x-y平面,一个简单的方式是将输入点在世界坐标系下的坐标(x,y,z)置为(x,y,0),由此来计算在x-y平面内的距离和相对于参考点的方向。
本发明中第一光标移动方式(即图3中的步骤106和107)就是将运动点相对于参考点的距离映射为光标在屏幕上的移动速度以及将光标的移动速度转换为偏移量。更具体的说,如果操作者举起其手离开参考点越远则光标移动越快,如果手的位置靠近参考点,则光标移动变慢。这样即使手在空中保持静止不动,只要其与参考点不重合,则光标依旧会沿着当前的方向按一定的速度继续进行移动。图5给出一种在第一光标移动方式中将运动点相对于参考点的距离转换为光标移动距离的过程的流程图。
如图5所示,在步骤201中,计算当前运动输入点到参考点的距离Distance。在步骤202中,根据预定的映射转换函数SG=f(Distance),计算出与所计算的距离对应的光标在屏幕上移动总速度,其中“SG”是光标总的移动速度,映射变换函数“f”为非降函数,实现了世界坐标空间下的距离(单位为毫米)到屏幕上光标移动速度(单位为像素/秒)的映射,比如f=k*Distance,小的距离值提供了慢的光标移动速度而大的距离则产生较快的移动速度。随后,在步骤203中,采用函数SX=SG*cos(A)和函数SY=SG*sin(A),将光标的总速度分解到屏幕坐标系中的x和y方向,其中“SX”(“SY”)是光标在X(Y)方向的移动速度,“A”是方向角,定义为用户坐标系下x轴与从参考点到当前运动点矢量的夹角。最后,在步骤204中,利用公式,X(k)=X(k-1)+SX*t和Y(k)=Y(k-1)+SY*t将x,y方向的移动速度转换为x,y的偏移距离并加到光标最近一次的位置中去,其中“t”则是相邻两次运动输入点k-1和k之间的时间间隔。
通常,由于测量方法或设备的精度不够,所得到的运动输入点通常都混杂了不少抖动噪音。为了获得平稳的光标控制效果,可通过量化技术来消除抖动噪音的影响。因此,在计算光标总的移动速度前,一个优选的做法是将相对距离量化为几个级别,每个距离级别对应于一个光标的移动速度。因此,对距离进行量化分级,其效果等效于对光标移动速度进行量化分级。图6(a)所示的是对距离进行量化的示意图。图6(a)中给出了3个距离的级别,分别对应于光标的速度为3像素/帧、12像素/帧以及24像素/帧、此处的帧可通过采集频率换算为时间值。
相似地,输入点相对于参考点的方向角也可通过量化来消除抖动的影响,以确保光标移动方向的平稳。图6(b)所示的是方向角量化的示意图。在图6(b)中,参考点所在的2维平面被等分为4个部分,每个部分的中心线代表了该量化部分的方向。为消除方向理解的歧义性,特别地应该确保4个基本方向(上下左右)定义无误,因此图6(b)中划分出的每部分应顺时针转动半个角度以确保其中间方向代表其量化的角度。此外量化划分的数量适宜是4的倍数,实验表明量化为16为最佳。
图7给出一种在第二光标移动方式中将运动点相对于参考点的位置转换为光标移动距离的过程的流程图。本发明中,光标精细移动定位主要是将输入点相对于参考点的相对位置映射为光标在屏幕上偏移距离。如图7所示,首先,在步骤301中,计算当前运动输入点到参考点的距离ΔD,ΔD是世界坐标系下的相对于参考点的距离。之后,在步骤302中,根据预定义好的映射转换函数ΔN=b*ΔD,,计算出相应于距离的光标在屏幕上总的偏移长度ΔN,其中,“b”是线性变换函数的变换系数,ΔN则是对应于该相对距离ΔD的光标在屏幕上总的移动长度值。随后,在步骤303中,采用公式Δy=ΔN*sin(A)以及Δx=ΔN*cos(A)将光标总的偏移长度分别向x和y方向进行分解,其中“A”是方向角,定义为用户坐标系下x轴与从参考点到当前运动点矢量的夹角,Δx(Δy)则是光标在屏幕坐标系下X(Y)方向的偏移大小。最后在步骤304中,根据公式Pc=Po+(Δx,Δy),将x、y方向的偏移量Δx(Δy)加到Po点以更新当前光标位置,其中,“Pc”是当前光标的位置点,而“Po”点是在精细定位方法应用开始时,用光标那时位置点初始化而得到的坐标点,并在整个第二光标移动方式期间始终保持初始化时的值不变。
图8所示的采用本发明的光标控制方法的系统的示意图。照相机51捕捉显示设备54前操作者50的图像,将图像发送到点跟踪单元52以获得操作者的手或者所持物体所在的位置点用作本发明的输入信息。光标控制系统53包括:参考点设置单元531,其判断是否需要设置参考点以及在需要选择或重置参考点时将选出的参考点保存在RAM 532中。光标移动控制方法选择单元533选择光标定位的方法。第一光标移动方式单元534和第二光标移动方式单元535各自分别实现光标偏移位置的计算。最终光标位置点输出单元536输出光标的移动命令,并在显示平面54上显示光标的新位置。
从以上的实现介绍中不难看出,本发明的优点在于运用相对位置信息来控制光标的移动,特别是本发明运用了距离到光标移动速度的映射,从以静制动的角度提供了一种在任何高分辨率显示设备上有效实现光标移动的控制方法。尤其是,本发明在输入设备测量精度要求方面比现有技术更为灵活。因此本发明更适合于通过跟踪物体点来控制光标的移动。此外本发明能自适应于不同显示设备分辨率并同时保持光标定位精度,同现有技术中运用绝对位置进行线性映射的方法相比,在定位精度方面具有更大的优势。此外,本发明通过控制光标的移动速度或控制偏移距离解决了现有技术中单次操作下的光标定位,同利用速度加速的方式相比,尽管在操作直观性上不如对方简单,但克服了可能需要多次操作才可准确定位的缺陷,缓解操作者频繁运动的疲劳,更适合长时间操作。尤其需要指出的是,本发明由于能够灵活地选取或重置参考点,因此,在结合可转动的摄像头和跟踪系统的情况下,更有助于任意角度下实现光标移动控制效果。
本发明所述的方法可以在一台计算机(处理器)上执行,或者可以被多台计算机分布式执行。此外,程序可以被转移到在那儿执行程序的远程计算机。
本领域的普通技术人员应该理解到,根据设计要求和其他因素,只要其落入所附权利要求或其等效物的范围内,可以出现各种修改、组合、部分组合和替代。
Claims (12)
1.一种光标移动控制方法,包括:
根据用户偏好,预定第一光标移动方式或第二光标移动方式的选择控制方式;
通过运动点跟踪单元捕获用户的预定运动点在外部空间里的运动轨迹及做出的预定动作,启动光标控制过程;
基于所述用户的预定运动点在外部空间里做出的预定动作,确定是否需要设置参考点,并在需要设置参考点的情况下,将与预定运动点对应的运动点在外部空间坐标系下的位置选择为光标控制的参考点,以及以所选择的参考点为原点,建立用于光标控制的用户坐标系统;
通过运动点跟踪单元获取用户的预定运动点在所述用户坐标系统中对应的当前点,计算当前点与参考点之间的相对位置;
当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制,而当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的相对位置为光标偏移距离进行光标位置调整。
2.根据权利要求1所述的光标控制方法,其中,所述运动点是指用来控制光标移动的外部设备所提供的跟踪点。
3.根据权利要求1所述的光标移动控制方法,其中,所述参考点位置将保持固定不变直到下一个重置参考点的动作发生。
4.根据权利要求1所述的光标移动控制方法,其中,所述预定第一光标移动方式或第二光标移动方式的选择控制方式包括:用户姿态选择控制方式、声音选择控制方式、传感器选择控制方式、或利用运动点的当前点与参考点之间的相对距离选择控制方式。
5.根据权利要求4所述的光标移动控制方法,其中,所述利用运动点的当前点与参考点之间的相对距离选择控制方式通过如下步骤实现:比较所计算的相对距离与一预定距离阈值,在所计算的相对距离大于所述预定距离阈值时,选择第一光标移动方式,在所计算的相对距离小于或等于所述预定距离阈值时,选择第二光标移动方式。
6.根据权利要求4所述的光标移动控制方法,其中,所述当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制的步骤包括:
通过预定变换函数,将用户坐标系下的当前点与参考点之间相对位置变换为屏幕坐标系下光标的实际移动矢量速度;
将实际移动矢量速度分解到屏幕坐标系下X和Y坐标轴,并计算出相邻两次运动采集点时间间隔下光标在该X和Y轴上的相对移动距离;
将所计算的相对移动距离加到当前光标位置以更新光标的位置。
7.根据权利要求1所述的光标移动控制方法,其中,所述当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的相对位置为光标偏移距离进行光标位置调整的步骤包括:
通过另一个预定变换函数,将用户坐标系下的当前点与参考点之间相对距离变换为屏幕坐标系下光标偏移矢量总距离;
将所述偏移矢量总距离根据用户坐标平面中参考点到当前运动点的方向分解到屏幕坐标系X和Y坐标轴上的相对移动距离;
将所计算的相对移动距离加到原始光标在屏幕上的位置点以更新光标的位置。
8.根据权利要求6或7所述的光标移动控制方法,其中,所述预定变换函数和所述另一个预定变换函数为非降函数。
9.根据权利要求1所述的光标控制方法,其中,在进行第一光标定位方式之前,将所计算的相对距离量化为几个级别,使得每个级别对应于一个光标移动速度。
10.根据权利要求6所述的光标移动控制方法,其中在分解光标移动矢量速度到用户坐标系坐标轴前,先将方向角度进行量化。
11.根据权利要求7所述的光标移动控制方法,其中所述原始光标在屏幕上的位置点是在确定进行第二光标定位方式时所记录下的光标当前位置点,且所述原始光标在屏幕上的位置点在整个第二光标定位方式期间一直保持不变。
12.一种光标移动控制系统,包括:
初始化单元,根据用户偏好,预定第一光标移动方式或第二光标移动方式的选择控制方式;
运动点跟踪单元,捕获用户的预定运动点在外部空间里做出的预定动作,启动光标控制过程;
参考点设置单元,基于所述用户的预定运动点在外部空间里做出的预定动作,确定是否需要设置参考点,并在需要设置参考点的情况下,将与预定运动点对应的运动点在外部空间坐标系下的位置选择为光标控制的参考点,以及以所选择的参考点为中心原点,建立用于光标控制的用户坐标系统;
相对位置计算单元,通过运动点跟踪单元获取用户的预定运动点在所述用户坐标系统中对应的当前点,计算当前点与参考点之间相对位置;
光标定位处理单元,当用户选择第一光标移动方式时,通过映射相对位置为光标移动速度的方式进行光标定位控制,而当用户选择第二光标移动方式时通过映射当前运动点相对于参考点的位置为光标偏移距离进行光标位置调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210050198.5A CN103294177B (zh) | 2012-02-29 | 2012-02-29 | 光标移动控制方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210050198.5A CN103294177B (zh) | 2012-02-29 | 2012-02-29 | 光标移动控制方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103294177A true CN103294177A (zh) | 2013-09-11 |
CN103294177B CN103294177B (zh) | 2016-01-06 |
Family
ID=49095205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210050198.5A Active CN103294177B (zh) | 2012-02-29 | 2012-02-29 | 光标移动控制方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103294177B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488294A (zh) * | 2013-09-12 | 2014-01-01 | 华南理工大学 | 一种基于用户交互习惯的非接触手势控制映射调整方法 |
CN104123015A (zh) * | 2014-07-18 | 2014-10-29 | 广东易凌信息科技有限公司 | 一种手机模拟激光笔系统及其实现方法 |
CN104914985A (zh) * | 2014-03-13 | 2015-09-16 | 扬智科技股份有限公司 | 手势控制方法及系统与视频流处理装置 |
CN105224082A (zh) * | 2015-09-27 | 2016-01-06 | 邱少勐 | 系统故障实时求助报警装置 |
CN106020452A (zh) * | 2016-05-10 | 2016-10-12 | 北京行云时空科技有限公司 | 基于智能头戴设备的光标移动方法和系统 |
CN106326648A (zh) * | 2016-08-18 | 2017-01-11 | 青岛海信医疗设备股份有限公司 | 一种用于医疗显示的光标移动方法、装置和医疗设备 |
CN106569459A (zh) * | 2016-11-09 | 2017-04-19 | 湖南戈人自动化科技有限公司 | 一种数控机床或机器人的手动控制方法 |
CN106605188A (zh) * | 2014-09-02 | 2017-04-26 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN106648431A (zh) * | 2016-12-22 | 2017-05-10 | 北京元心科技有限公司 | 移动终端、虚拟键盘实现方法及装置 |
CN109471583A (zh) * | 2014-03-20 | 2019-03-15 | 卡西欧计算机株式会社 | 电子设备、数学式显示控制方法以及记录介质 |
CN109564474A (zh) * | 2016-08-16 | 2019-04-02 | 谷歌有限责任公司 | 手势激活的远程控制 |
CN110032305A (zh) * | 2017-12-22 | 2019-07-19 | 达索系统公司 | 用于旋转的基于手势的操纵器 |
CN110851056A (zh) * | 2019-11-14 | 2020-02-28 | 珠海金山网络游戏科技有限公司 | 一种光标控制方法、装置、计算设备及存储介质 |
CN112346560A (zh) * | 2020-09-29 | 2021-02-09 | 广东乐芯智能科技有限公司 | 一种手环控制应用界面的方法 |
CN112346559A (zh) * | 2020-09-29 | 2021-02-09 | 广东乐芯智能科技有限公司 | 一种应用界面控制系统 |
CN112565678A (zh) * | 2020-10-30 | 2021-03-26 | 西安方元明科技股份有限公司 | 一种随动系统伺服控制方法 |
CN113687728A (zh) * | 2021-08-11 | 2021-11-23 | 合肥联宝信息技术有限公司 | 一种遥控设备及其控制方法 |
CN114840126A (zh) * | 2022-05-23 | 2022-08-02 | 北京字跳网络技术有限公司 | 对象控制方法、装置、电子设备和存储介质 |
CN115202529A (zh) * | 2022-07-29 | 2022-10-18 | 上海联影医疗科技股份有限公司 | 指针定位系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1265485A (zh) * | 1999-03-02 | 2000-09-06 | 叶富国 | 游标控制方法与装置 |
CN1744019A (zh) * | 2004-06-09 | 2006-03-08 | 台湾积体电路制造股份有限公司 | 光标控制方法 |
CN1821941A (zh) * | 2006-02-23 | 2006-08-23 | 怡利电子工业股份有限公司 | 复合式光标输入方法 |
CN101840275A (zh) * | 2009-03-17 | 2010-09-22 | 玴荣科技股份有限公司 | 非接触式鼠标装置及其操作方法 |
US20110227825A1 (en) * | 2008-07-01 | 2011-09-22 | Hillcrest Laboratories, Inc. | 3D Pointer Mapping |
-
2012
- 2012-02-29 CN CN201210050198.5A patent/CN103294177B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1265485A (zh) * | 1999-03-02 | 2000-09-06 | 叶富国 | 游标控制方法与装置 |
CN1744019A (zh) * | 2004-06-09 | 2006-03-08 | 台湾积体电路制造股份有限公司 | 光标控制方法 |
CN1821941A (zh) * | 2006-02-23 | 2006-08-23 | 怡利电子工业股份有限公司 | 复合式光标输入方法 |
US20110227825A1 (en) * | 2008-07-01 | 2011-09-22 | Hillcrest Laboratories, Inc. | 3D Pointer Mapping |
CN101840275A (zh) * | 2009-03-17 | 2010-09-22 | 玴荣科技股份有限公司 | 非接触式鼠标装置及其操作方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488294B (zh) * | 2013-09-12 | 2016-08-17 | 华南理工大学 | 一种基于用户交互习惯的非接触手势控制映射调整方法 |
CN103488294A (zh) * | 2013-09-12 | 2014-01-01 | 华南理工大学 | 一种基于用户交互习惯的非接触手势控制映射调整方法 |
CN104914985A (zh) * | 2014-03-13 | 2015-09-16 | 扬智科技股份有限公司 | 手势控制方法及系统与视频流处理装置 |
CN109471583A (zh) * | 2014-03-20 | 2019-03-15 | 卡西欧计算机株式会社 | 电子设备、数学式显示控制方法以及记录介质 |
CN104123015A (zh) * | 2014-07-18 | 2014-10-29 | 广东易凌信息科技有限公司 | 一种手机模拟激光笔系统及其实现方法 |
CN106605188A (zh) * | 2014-09-02 | 2017-04-26 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN105224082A (zh) * | 2015-09-27 | 2016-01-06 | 邱少勐 | 系统故障实时求助报警装置 |
CN106020452A (zh) * | 2016-05-10 | 2016-10-12 | 北京行云时空科技有限公司 | 基于智能头戴设备的光标移动方法和系统 |
CN109564474B (zh) * | 2016-08-16 | 2023-02-17 | 谷歌有限责任公司 | 手势激活的远程控制 |
CN109564474A (zh) * | 2016-08-16 | 2019-04-02 | 谷歌有限责任公司 | 手势激活的远程控制 |
CN106326648A (zh) * | 2016-08-18 | 2017-01-11 | 青岛海信医疗设备股份有限公司 | 一种用于医疗显示的光标移动方法、装置和医疗设备 |
CN106569459A (zh) * | 2016-11-09 | 2017-04-19 | 湖南戈人自动化科技有限公司 | 一种数控机床或机器人的手动控制方法 |
CN106648431A (zh) * | 2016-12-22 | 2017-05-10 | 北京元心科技有限公司 | 移动终端、虚拟键盘实现方法及装置 |
CN110032305A (zh) * | 2017-12-22 | 2019-07-19 | 达索系统公司 | 用于旋转的基于手势的操纵器 |
CN110851056A (zh) * | 2019-11-14 | 2020-02-28 | 珠海金山网络游戏科技有限公司 | 一种光标控制方法、装置、计算设备及存储介质 |
CN110851056B (zh) * | 2019-11-14 | 2024-02-27 | 珠海金山数字网络科技有限公司 | 一种光标控制方法、装置、计算设备及存储介质 |
CN112346560A (zh) * | 2020-09-29 | 2021-02-09 | 广东乐芯智能科技有限公司 | 一种手环控制应用界面的方法 |
CN112346559A (zh) * | 2020-09-29 | 2021-02-09 | 广东乐芯智能科技有限公司 | 一种应用界面控制系统 |
CN112565678A (zh) * | 2020-10-30 | 2021-03-26 | 西安方元明科技股份有限公司 | 一种随动系统伺服控制方法 |
CN113687728A (zh) * | 2021-08-11 | 2021-11-23 | 合肥联宝信息技术有限公司 | 一种遥控设备及其控制方法 |
CN113687728B (zh) * | 2021-08-11 | 2024-01-12 | 合肥联宝信息技术有限公司 | 一种遥控设备及其控制方法 |
CN114840126A (zh) * | 2022-05-23 | 2022-08-02 | 北京字跳网络技术有限公司 | 对象控制方法、装置、电子设备和存储介质 |
CN114840126B (zh) * | 2022-05-23 | 2024-01-23 | 北京字跳网络技术有限公司 | 对象控制方法、装置、电子设备和存储介质 |
CN115202529A (zh) * | 2022-07-29 | 2022-10-18 | 上海联影医疗科技股份有限公司 | 指针定位系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103294177B (zh) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103294177B (zh) | 光标移动控制方法和系统 | |
US7788607B2 (en) | Method and system for mapping virtual coordinates | |
KR101652535B1 (ko) | 차량 인터페이스를 위한 제스처 기반 제어 시스템 | |
US20170024017A1 (en) | Gesture processing | |
US10076839B2 (en) | Robot operation apparatus, robot system, and robot operation program | |
EP2733574B1 (en) | Controlling a graphical user interface | |
US8866740B2 (en) | System and method for gesture based control system | |
US20200310561A1 (en) | Input device for use in 2d and 3d environments | |
JP4608326B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
TW201104513A (en) | A trajectory-based control method and apparatus thereof | |
CN104137031A (zh) | 屏上对象的手动操纵 | |
CN111580674B (zh) | 一种眼控鼠标实现方法及识别眼动轨迹实现键盘输入方法 | |
US9292106B2 (en) | Interface apparatus using motion recognition, and method for controlling same | |
CN107894834B (zh) | 增强现实环境下控制手势识别方法与系统 | |
Xiao et al. | A hand gesture-based interface for design review using leap motion controller | |
Malkewitz | Head pointing and speech control as a hands-free interface to desktop computing | |
JP5766956B2 (ja) | ジェスチャ入力装置 | |
Reitmayr et al. | iorb-unifying command and 3d input for mobile augmented reality | |
CN101788860A (zh) | 位移信息转换的方法与系统 | |
CN102955601B (zh) | 触控面板的3d感测方法及系统 | |
JP5788853B2 (ja) | ジェスチャベースの制御システムのためのシステムおよび方法 | |
Schlattmann et al. | 3D interaction techniques for 6 DOF markerless hand-tracking | |
JP5992380B2 (ja) | ポインティング・デバイス、ノートブック型パーソナル・コンピュータおよび操作方法。 | |
JP2016118947A (ja) | 角度調整可能な仮想平面を用いた空間手書き入力システム | |
Henschke et al. | Extending the index finger is worse than sitting: Posture and minimal objects in 3D pointing interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |