CN111984160A - 一种基于人工势能场的目标选择方法及电子装置 - Google Patents

一种基于人工势能场的目标选择方法及电子装置 Download PDF

Info

Publication number
CN111984160A
CN111984160A CN202010598176.7A CN202010598176A CN111984160A CN 111984160 A CN111984160 A CN 111984160A CN 202010598176 A CN202010598176 A CN 202010598176A CN 111984160 A CN111984160 A CN 111984160A
Authority
CN
China
Prior art keywords
cursor
target
interface
coordinate
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010598176.7A
Other languages
English (en)
Other versions
CN111984160B (zh
Inventor
黄进
张�浩
田丰
王宏安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202010598176.7A priority Critical patent/CN111984160B/zh
Publication of CN111984160A publication Critical patent/CN111984160A/zh
Application granted granted Critical
Publication of CN111984160B publication Critical patent/CN111984160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种基于人工势能场的目标选择方法及电子装置,该方法包括设定交互界面屏幕坐标系,获取在交互设备界面中的各待选目标坐标、第j时刻光标坐标及第j‑1时刻光标坐标;计算各待选目标对第j时刻光标施加的引力或斥力,逐步引导光标向目标移动,直到第m时刻光标坐标与目标坐标相同,2≤j≤m。本发明利用势能场中的引力作用,对输入信号进行位置矫正,实现光标快速选择目标,提高交互的稳定性,不仅适应单目标、多目标的选择过程,还适应一维、二维及三维的目标选择过程。

Description

一种基于人工势能场的目标选择方法及电子装置
技术领域
本发明属于计算机图形用户界面领域,具体涉及一种基于人工势能场的目标选择方法及电子装置。
背景技术
近年来,手机、计算机等电子设备有了爆炸式增长,目标选择任务是这种主流交互设备中的基本任务之一。同时虚拟现实、增强现实和眼动交互等交互技术进一步丰富了人机交互范式。各种交互技术蓬勃发展的同时,也为目标选择任务这项基本交互任务带来了挑战。主流交互设备中,常见的鼠标、触控等输入方式有着极高的选择稳定性,如何提高整体的交互速度和交互准确率是研究者的主要研究方向(参考文献:Walker,Neff,JohnB.Smelcer,and Erik Nilsen."Optimizing speed and accuracy of menu selection:acomparison of walking and pull-down menus."International Journal of Man-Machine Studies 35.6(1991):871-890.)。而同时在以虚拟现实和眼动交互等新兴交互范式中,因输入设备本身带有极大的不稳定性,极大的制约了新兴交互范式的广泛应用(参考文献:Majaranta,
Figure BDA0002557768030000011
and Kari-Jouko
Figure BDA0002557768030000012
"Twenty years of eye typing:systemsand design issues."Proceedings of the 2002symposium on Eye tracking research&applications.2002.15-22)。
为了提高目标选择任务中选择速度并提高交互范式稳定性,研究者们设计了许多新的交互技术以辅助修正目标选择任务。比如David Ahlstrom提出的基于力场的辅助选择技术,在以鼠标、触摸板等作为输入设备的计算机图形界面中,它通过为目标设置力场,通过力场吸引修正光标位置,进而提高选择速度并提高交互范式的稳定性,但该项技术需要明确选择目标,这也使得它难以应用在多目标的目标选择任务中(参考文献:
Figure BDA0002557768030000013
David."Modeling and improving selection in cascading pull-down menus usingFitts'law,the steering law and force fields."Proceedings ofthe SIGCHIconference on Human factors in computing systems.2005.)。另外还有Warping toTarget Center技术,该项技术同样需要明确选择目标,将距离目标一定范围的光标偏移到目标中心(参考文献:Zhang,Xinyong,Xiangshi Ren,and Hongbin Zha."Improving eyecursor's stability for eye pointing tasks."Proceedings of the SIGCHIConference on Human Factors in Computing Systems.2008.)。然后上述的交互技术均需要明确选择目标,而这在日常的人机交互过程中通常难以满足。
同时,在日常交互界面中往往存在多个待选目标,虽然中国专利申请CN107132979A公开了一种在移动设备游戏中精确选择目标的交互方法、装置及计算机可读存储介质,但其仅将距离作为参考,导致精度不高。因此,目前急需一种多待选目标、精确的目标选择方法,克服多目标之间相互影响,提高交互的准确率与交互效率。
发明内容
本发明的目的是提出一种基于人工势能场的目标选择方法及电子装置,针对目标选择任务,通过为目标构建势能场,利用势场引力对获取到的输入设备光标进行位置矫正,以实时地提高此类任务的选择速度并提高交互稳定性,并最终实现增强不同交互设备的可用性的目的。
为达到上述目的,本发明采用如下技术方案:
一种基于人工势能场的目标选择方法,其步骤包括:
1)设定交互界面屏幕坐标系,获取在交互设备界面中的各待选目标坐标、第j时刻光标坐标及第j-1时刻光标坐标;
2)计算各待选目标对第j时刻光标施加的引力或斥力,逐步引导光标向目标移动,直到第m时刻光标坐标与目标坐标相同,2≤j≤m。
进一步地,交互设备界面包括一维交互界面、二维交互界面或三维交互界面。
进一步地,一维交互界面包括按钮界面;二维交互界面包括手机界面、平板界面、电脑界面或可交互大屏界面;三维交互界面包括虚拟现实设备界面或增强现实设备界面。
进一步地,根据不同的交互设备界面设定相应的交互界面屏幕坐标系。
进一步地,当
Figure BDA0002557768030000021
时,第i个待选目标对第j时刻光标施加引力,Ti为第i个待选目标坐标,PCt为第j时刻光标坐标,PPrev为第j-1时刻光标坐标;当
Figure BDA0002557768030000022
待选目标Ti对第j时刻光标施加斥力。
进一步地,第i个待选目标对第j时刻光标施加的引力
Figure BDA0002557768030000023
k为第一常系数,向量
Figure BDA0002557768030000024
在向量
Figure BDA0002557768030000025
方向的投影
Figure BDA0002557768030000026
进一步地,第i个待选目标对第j时刻光标施加的斥力
Figure BDA0002557768030000031
r为第二常系数。
进一步地,通过计算各待选目标对第j时刻光标施加的引力或斥力,得到第j+1时刻光标坐标
Figure BDA0002557768030000032
一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述所述的方法。
一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机以执行上述所述的方法。
与现有技术相比,本发明具有以下积极效果:
1)通过为待选目标人工构建势能场,利用势能场中的引力作用,对输入信号进行位置矫正,实现光标快速选择目标;
2)不需要用户进行额外的操作,通过人工势能场实现选择目标过程中光标坐标的修正,在加速光标向待选目标的同时,减少了光标的震荡现象,提高了交互过程的整体稳定性;
3)可以适应单目标、多目标的选择过程,不需要提前预知用户的实际选择目标,通过光标的运动状态修正人工势能场中力的大小,更利于在实际交互界面中应用,比以往技术有更强的实用性;
4)该模型可以适应一维、二维及三维的目标选择过程,有着更强的适应性。
附图说明
图1为本发明的一种基于人工势能场的目标选择技术流程图。
图2A为一维目标及所处空间下的人工势能场构建示意图。
图2B为二维目标及所处空间下的人工势能场构建示意图。
图2C为三维目标及所处空间下的人工势能场构建示意图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图作详细说明如下。
本实施例提供一种基于人工势能场的目标选择技术,如图1所示,步骤如下:
1)针对交互设备,参照交互界面坐标系,将界面内待选目标用集合表示;
2)连续的获取光标的位置信息,并参照坐标系构建光标连续相邻两时刻坐标;
3)交互界面下待选目标集合构建势能场;
4)构建的人工势能场产生力的作用实时地修正光标坐标直至选中目标。
在步骤1)中,本发明不限定具体的交互设备,交互设备包括但不限于手机、电脑、大屏等交互设备。
本发明不限定坐标系的构建方法,坐标系的构建不影响本发明后续技术的具体使用。同时本发明不限定交互界面的维度,界面可分为三类即一维界面、二维界面和三维界面。
其中,待选目标用集合可以表示为T={T1,T2,…,Tn}。
同时依据不同交互设备交互界面匹配维度,参照当前交互设备下的屏幕坐标系,连续的获取输入设备表示为屏幕坐标系下的坐标。以较为常见的二维界面为例,构建的屏幕坐标系可以以屏幕左下角为坐标原点,屏幕右上角坐标为(Screen.Width,Screen.Height),其中Screen.Width为屏幕的宽度,Screen.Height为屏幕的高度。
在步骤2)中,通过连续的获取输入设备采集到的用户光标位置,将用户的光标位置信息表示为所述坐标系下的坐标。其中,连续相邻两时刻坐标可以以当前坐标和上一时刻坐标区分,当前坐标表示为PCt,获取的上一时刻坐标点为PPrev
在步骤3)中,根据步骤2)获取的用户光标位置,待选目标集合T中的所有待选目标彼此独立的构建人工势能场。
其中待选目标Ti(其中i=1…n)构建的势能场,共由两部分构成,当
Figure BDA0002557768030000041
时,势能场产生的力会加速光标朝向待选目标Ti移动;反之势能场产生的力则控制光标远离待选目标Ti以减轻光标震荡效果。
其中,所述待选目标Ti(其中i=1…n)构建的势能场产生的加速光标朝向待选目标Ti移动的力Fi可表示为
Figure BDA0002557768030000042
其中
Figure BDA0002557768030000043
为向量
Figure BDA0002557768030000044
在向量
Figure BDA0002557768030000045
方向的投影,k为常系数。
其中,所述加速光标朝向待选目标移动的力中,向量
Figure BDA0002557768030000046
为当前坐标与上一时刻坐标间向量,向量方向由上一时刻坐标指向当前坐标;所述向量
Figure BDA0002557768030000047
为待选目标与当前坐标间向量,向量方向由当前坐标指向待选目标。
其中向量的投影计算过程,以向量
Figure BDA0002557768030000051
在向量
Figure BDA0002557768030000052
方向上的投影
Figure BDA0002557768030000053
为例,计算过程如公式(1)所示:
Figure BDA0002557768030000054
所述待选目标Ti(其中i=1…n)构建的势能场产生的加速光标朝向待选目标Ti移动的力Gi可表示为
Figure BDA0002557768030000055
其中r为常系数。
其中,所述控制光标驶离待选目标的力中,向量
Figure BDA0002557768030000056
为当前坐标与坐标原点间向量,方向由坐标原点指向当前坐标;向量
Figure BDA0002557768030000057
为上一时刻坐标与坐标原点间向量,方向由坐标原点指向上一时刻坐标。
其中本发明中的常参数k,r的获取可以通过用户实验获得。
本发明中的用户实验是指,对于任一维度下的交互界面,通过招募被试,用户在交互界面下使用本发明中不同的常参数值分别统计用户的选择目标用时、用户的正确率。通过分析不同常参数k,r取值的情况下,本发明对交互界面在选择目标用时、正确率的改进,以及用户主观评价,选择该交互界面下最有效率的常参数。一般而言,k的取之范围在0到10之间,r的取值范围在0到5之间。用户实验过程遵循通用的人机交互用户实验步骤及准则。
步骤4)中,在待选目标势能场力作用下的修正后的坐标PNew计算过程如公式(2)所示:
Figure BDA0002557768030000058
由于本发明不限定交互设备及交互技术的界面维度,本发明在一维界面下的交互过程如图2A所示,一维交互界面下是将一个只能单一方向移动的光标选中目标的过程,交互界面如:按钮等。在二维界面下的交互过程如图2B所示,常见的二维交互界面包括但不限于手机、平板、电脑、可交互大屏等交互设备。本发明在三维界面下的交互过程如图2C所示,常见的三维交互界面包括但不限于虚拟现实、增强现实等交互界面下的交互过程。
以上通过形式表达和实施例对本发明方法进行了详细的说明,但本发明的具体实现形式并不局限于此。本领域的一般技术人员,可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见的变化与修改。本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于人工势能场的目标选择方法,其步骤包括:
1)设定交互界面屏幕坐标系,获取在交互设备界面中的各待选目标坐标、第j时刻光标坐标及第j-1时刻光标坐标;
2)计算各待选目标对第j时刻光标施加的引力或斥力,逐步引导光标向目标移动,直到第m时刻光标坐标与目标坐标相同,2≤j≤m。
2.如权利要求1所述的方法,其特征在于,交互设备界面包括一维交互界面、二维交互界面或三维交互界面。
3.如权利要求2所述的方法,其特征在于,一维交互界面包括按钮界面;二维交互界面包括手机界面、平板界面、电脑界面或可交互大屏界面;三维交互界面包括虚拟现实设备界面或增强现实设备界面。
4.如权利要求1所述的方法,其特征在于,根据不同的交互设备界面设定相应的交互界面屏幕坐标系。
5.如权利要求1所述的方法,其特征在于,当
Figure FDA0002557768020000011
时,第i个待选目标对第j时刻光标施加引力,Ti为第i个待选目标坐标,PCt为第j时刻光标坐标,PPrev为第j-1时刻光标坐标;当
Figure FDA0002557768020000012
待选目标Ti对第j时刻光标施加斥力。
6.如权利要求5所述的方法,其特征在于,第i个待选目标对第j时刻光标施加的引力
Figure FDA0002557768020000013
k为第一常系数,向量
Figure FDA0002557768020000014
在向量
Figure FDA0002557768020000015
方向的投影
Figure FDA0002557768020000016
7.如权利要求6所述的方法,其特征在于,第i个待选目标对第j时刻光标施加的斥力
Figure FDA0002557768020000017
r为第二常系数。
8.如权利要求7所述的方法,其特征在于,通过计算各待选目标对第j时刻光标施加的引力或斥力,得到第j+1时刻光标坐标
Figure FDA0002557768020000018
9.一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。
10.一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。
CN202010598176.7A 2020-06-28 2020-06-28 一种基于人工势能场的目标选择方法及电子装置 Active CN111984160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010598176.7A CN111984160B (zh) 2020-06-28 2020-06-28 一种基于人工势能场的目标选择方法及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598176.7A CN111984160B (zh) 2020-06-28 2020-06-28 一种基于人工势能场的目标选择方法及电子装置

Publications (2)

Publication Number Publication Date
CN111984160A true CN111984160A (zh) 2020-11-24
CN111984160B CN111984160B (zh) 2021-12-10

Family

ID=73441944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010598176.7A Active CN111984160B (zh) 2020-06-28 2020-06-28 一种基于人工势能场的目标选择方法及电子装置

Country Status (1)

Country Link
CN (1) CN111984160B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156556A (zh) * 2011-04-11 2011-08-17 广东欧珀电子工业有限公司 一种实现蓝光播放器的光标快速滑动的方法
CN103997668A (zh) * 2014-02-25 2014-08-20 华为技术有限公司 移动设备选中显示方法及终端设备
CN106406572A (zh) * 2016-09-08 2017-02-15 广州视睿电子科技有限公司 光标的控制方法和装置
CN108153298A (zh) * 2017-04-19 2018-06-12 中国北方车辆研究所 一种基于改进人工势场的足式机器人牵引控制方法及系统
CN109804334A (zh) * 2016-08-11 2019-05-24 奇跃公司 三维空间中虚拟对象的自动放置
CN110531762A (zh) * 2019-08-21 2019-12-03 东南大学 一种基于改进人工势场法的机器人路径规划方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156556A (zh) * 2011-04-11 2011-08-17 广东欧珀电子工业有限公司 一种实现蓝光播放器的光标快速滑动的方法
CN103997668A (zh) * 2014-02-25 2014-08-20 华为技术有限公司 移动设备选中显示方法及终端设备
CN109804334A (zh) * 2016-08-11 2019-05-24 奇跃公司 三维空间中虚拟对象的自动放置
CN106406572A (zh) * 2016-09-08 2017-02-15 广州视睿电子科技有限公司 光标的控制方法和装置
CN108153298A (zh) * 2017-04-19 2018-06-12 中国北方车辆研究所 一种基于改进人工势场的足式机器人牵引控制方法及系统
CN110531762A (zh) * 2019-08-21 2019-12-03 东南大学 一种基于改进人工势场法的机器人路径规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭卉笑,梅芳: "基于图形界面的快速目标选择方法", 《吉林大学学报》 *
黄进等: "Modeling the Endpoint Uncertainty in Crossing-based Moving Target Selection", 《PROCEEDINGS OF THE 2020 CHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS》 *

Also Published As

Publication number Publication date
CN111984160B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
Arvo et al. Fluid sketches: continuous recognition and morphing of simple hand-drawn shapes
US6624833B1 (en) Gesture-based input interface system with shadow detection
De Haan et al. IntenSelect: Using Dynamic Object Rating for Assisting 3D Object Selection.
CN104571823B (zh) 一种基于智能电视的非接触式虚拟人机交互方法
Hayatpur et al. Plane, ray, and point: Enabling precise spatial manipulations with shape constraints
CN112150551A (zh) 物体位姿的获取方法、装置和电子设备
Liu et al. Bignav: Bayesian information gain for guiding multiscale navigation
Wei et al. Predicting gaze-based target selection in augmented reality headsets based on eye and head endpoint distributions
Raees et al. VEN-3DVE: vision based egocentric navigation for 3D virtual environments
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
Chua et al. Hand gesture control for human–computer interaction with Deep Learning
CN103353804B (zh) 一种基于触摸板的光标控制方法及装置
Gouravajhala et al. Eureca: Enhanced understanding of real environments via crowd assistance
Chu et al. Evaluation of virtual reality interface for product shape designs
CN108829248B (zh) 一种基于用户表现模型矫正的移动目标选择方法及系统
CN102999308A (zh) 用于决定控制域中控制输出的方法及控制装置
Krishnamurthi et al. Assistive pointer device for limb impaired people: A novel Frontier Point Method for hand movement recognition
CN111984160B (zh) 一种基于人工势能场的目标选择方法及电子装置
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
Liverani et al. Towards interactive finite element analysis of shell structures in virtual reality
Ko et al. Finger mouse and gesture recognition system as a new human computer interface
CN112596659B (zh) 一种基于智能语音和图像处理的绘画方法和装置
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
CN114995635A (zh) 一种基于混合现实桌面手势交互方法
Magoulès et al. A novel contactless human machine interface based on machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant