CN108829248A - 一种基于用户表现模型矫正的移动目标选择方法及系统 - Google Patents

Abstract

本发明提出一种基于用户表现模型矫正的移动目标选择方法及系统，该方法的步骤包括：将显示界面进行维度匹配，将界面内包含的可选目标用目标集合表示；获取一选择落点，根据该选择落点计算目标集合内每个可选目标被选中的概率，得到概率集合；将概率集合中的最大概率对应的可选目标作为最终选中的目标。本发明针对移动目标选择任务，建立一个目标选择的落点分布模型，进而通过该模型对移动目标选择进行矫正，实现此类交互任务效率的提升。

Description

一种基于用户表现模型矫正的移动目标选择方法及系统

技术领域

本发明属于计算机图形用户界面领域，具体涉及一种图形用户界面中针对移动目标的辅助选择方法及系统。

背景技术

近年来，计算机游戏、交通控制显示系统和视频监视系统等具有动态内容的交互系统越来越随处可见，虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)技术则进一步丰富了这种动态和快速变化交互场景下的内容。在这种具有动态内容的用户界面中包含着大量移动目标，对移动中的目标选择是普遍且具有挑战的，用户需要在不断追踪目标的同时计划按下按钮对目标进行捕获(参考文献：Khalad Hasan,ToviGrossman and Pourang Irani."Comet and target ghost:techniques for selectingmoving targets"In Proceedings of the SIGCHI Conference on Human Factors inComputing Systems.2011,839-848.)，这种看似简单的运动实际上对人类的感知控制协调系统提出了很高的要求，与静止的目标选择相比，移动目标选择要的时间更长且更容易出现错误(参考文献：Reza Shadmehr,Maurice A.Smith and John W.Krakauer."ErrorCorrection,Sensory Prediction,and Adaptation in Motor Control"Annual Reviewsof Neuroscience.2010,33(1),89-108.)。

为了解决这一问题，研究者们设计了许多新的交互技术用于辅助移动目标选择，这些技术通过增大光标的激活区域或者除去目标的移动速度的手段，实现目标选择的效率提升。比如Khalad Hasan等人提出的Comet技术，它给移动的目标增加了一个彗星尾巴，让用户更容易点选，他们同样提出了Target Ghost技术，让移动目标生成一个临时的静止替身，用户通过选择静止替身实现移动目标选择(参考文献：Khalad Hasan,Tovi Grossmanand Pourang Irani."Comet and Target Ghost:Techniques for Selecting MovingTargets"In Proceedings of the SIGCHI Conference on Human Factors in ComputingSystems.2011,839-848.)，另外一种更为直接的方法是Hold技术(参考文献：Abir AlHajri,Sidney Fels,Gregor Miller and Michael Ilich.Moving Target Selection in2D Graphical User Interfaces.In Proceedings of the International Conferenceon Human Computer Interaction.2011,141-161.)，它暂时让整个用户界面暂停，在暂停状态下再次点击目标进行选择。尽管这些技术取得了很大的成功，但它们也存在许多问题，例如对界面显示进行了修改或者需要额外的用户操作。

用户表现(或用户绩效)是图形用户界面研究中的主要方面，对于目标选择任务，用户表现主要包括任务完成时间、错误率和选择落点三种用户表现。许多研究工作对这些用户表现进行了建模，例如Fitts'Law(参考文献：Paul M Fitts.The InformationCapacity of the Human Motor System in Controlling the Amplitude ofMovement.Journal of experimental psychology,1954,47(6),381-391.)是目标选择的完成时间模型，Wobbrock等人对Fitts'Law进行推导，得到了目标选择的错误率模型(参考文献：Jacob O.Wobbrock,Edward Cutrell,Susumu Harada and I.Scott MacKenzie.AnError Model for Pointing based on Fitts'law.In Proceedings of the SIGCHIConference on Human Factors in Computing Systems.2008,1613-1622.)，MacKenzie对目标选择的落点进行了统计描述，并阐明了其与目标大小之间的关系(参考文献：I.ScottMacKenzie.Fitts'Law as a Research and Design Tool in Human-ComputerInteraction.Human-Computer Interaction.1992,7(1),91-139.)。然而，上述这些模型，都是关于静止目标的，它们无法解析用户在移动目标选择任务中的表现，我们也无法利用它们设计移动目标选择技术，找到一个新的针对移动目标选择的用户表现模型，对理解用户在移动目标选择任务中的表现，并开发新型移动目标选择技术有着重要意义。

发明内容

本发明的目的是提出一种基于用户表现模型矫正的移动目标选择方法及系统，针对移动目标选择任务，建立一个目标选择的落点分布模型，进而通过该模型对移动目标选择进行矫正，实现此类交互任务效率的提升。

为达到上述目的，本发明采用如下技术方案：

一种基于用户表现模型矫正的移动目标选择方法，其步骤包括：

将显示界面进行维度匹配，将界面内包含的可选目标用目标集合表示；

获取一选择落点，根据该选择落点计算目标集合内每个可选目标被选中的概率，得到概率集合；

将概率集合中的最大概率对应的可选目标作为最终选中的目标。

进一步地，将显示界面进行维度匹配，是指将界面内容、目标定义和所处空间匹配为一维、二维或三维中的一种；所述界面内容包括所述可选目标，所述目标定义为用以表示可选目标的目标中心位置、目标半径及目标移动速度。

进一步地，所述选择落点为与可选目标维度对应的一维、二维或三维空间中的点。

进一步地，所述选择落点采用相对于可选目标的局部坐标系，是以可选目标的中心为原点、以可选目标的速度方向为x轴正方向的右手直角坐标系。

进一步地，利用贝叶斯法则计算可选目标被选中的概率。

进一步地，贝叶斯法则中的先验概率为可选目标数目的倒数，似然函数为用于计算选择落点属于一可选目标的概率的高斯概率密度函数，归一化常数用于保证总概率合为1。

进一步地，所述高斯概率密度函数的均值μ_x和标准差σ_x由移动目标落点分布模型给出；

在一维情况下，该移动目标落点分布模型为：μ_x＝a+bV_x+cR，其中，V_x和R为可选目标的速度和半径，a、b、c、d、e、f、g为常数；

在二维和三维情况下，该移动目标落点分布模型为：μ_x＝a+bV_x+cR，μ_y＝μ_z＝0，σ_y＝σ_z＝i+jR+kσ_x其中，V_x和R为可选目标的速度和半径，a、b、c、d、e、f、g、i、j、k为常数。

进一步地，所述常数根据经验数据拟合得到，步骤包括：

将显示界面进行维度匹配，指定一目标半径和移动速度作为实验条件；

将初始显示界面呈现给用户，记录用户多次选择落点位置数据，作为该实验条件下的经验数据，重复获取多个实验条件下的经验数据；

所述选择落点符合正太分布，根据落点样本均值计算正太分布的均值，通过无偏估计求出正态分布的标准差；

将目标半径和移动速度作为自变量，将均值和标准差作为因变量，带入移动目标落点分布模型中，利用麦夸特算法对数据进行拟合，得到所述常数。

进一步地，对于一个可选目标，如果选择落点落到高斯密度函数3倍标准差范围之外，则该可选目标被选中的概率为0。

一种基于用户表现模型矫正的移动目标选择系统，包括存储器和处理器，所述存储器存储计算机程序，所述程序被配置为由所述处理器执行，所述程序包括用于执行上述方法中各步骤的指令。

本发明针对移动目标选择任务，建立一个移动目标落点分布模型，进而通过该模型对移动目标选择进行矫正，实现此类交互任务效率的提升。交互系统应用了本发明方法，其用户界面的外观不会发生改变，用户和以往一样在界面中选择一个目标，当选择落点出现后，交互系统不再按照传统目标选择技术判断目标方式工作，取而代之的是，通过一个移动目标落点分布模型对落点进行分析和计算，得到在此情况下，界面中任意目标被选中的概率，将概率最大的目标作为最终选取的目标。

与现有技术相比，本发明具有的积极效果是：本发明方法不对原有界面的外观进行修改，不因为额外的视觉提示而产生视觉遮挡或者信息丢失，也不需要用户进行额外的操作；通过模型实现目标选择的矫正，该模型可以适应静止目标、移动目标，一维、二维及三维目标选择，比以往技术有更强的适应性；该模型来自用户数据，模型参数可根据不同设备、环境、场景中的用户数据进行拟合，比以往需要人为指定参数的技术的目标选择辅助效果更好。

附图说明

图1为本发明的一种基于用户表现模型矫正的移动目标选择方法流程图。

图2A至图2C分别为1D、2D、3D目标及所处空间的示意图。

图3A及图3B为将界面内容与目标定义进行匹配的案例示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本实施例提供一种基于用户表现模型矫正的移动目标选择方法，如图1所示，步骤如下：

1)显示界面内容，其中包含的可选目标用集合表示为T＝{t₁,t₂,…,t_n}；

2)等待用户的输入，直到出现一个选择落点s；

3)当得到选择落点s后，对于可选目标集合T，计算该选择落点条件下，用户意图为选中集合内任意一个目标的概率集合P＝{P(t₁|s),P(t₂|s),…,P(t_n|s)}；

4)取t^*(t^*∈T)使得P(t^*|s)在P中最大，并将t^*作为最终选中的目标。

在步骤1)中，界面内容为一般交互系统显示的内容，本发明不限定具体内容形式。界面内包含的可选择目标分为三类，即一维(1D)、二维(2D)和三维(3D)目标，且这三类目标不能同时存在于同一个界面中。

三类目标的统一表示为：

其中，为目标中心位置，R为目标半径，为目标移动速度，在三个不同维度中的意义如表1所示。

表1R和在三个不同维度中的意义

可见，三类目标即为各自的位置、大小和速度均在各自维度的空间中的目标。1D目标的形态为以C_x为中心，大小为2R的一条线，如图2A所示；2D目标的形态为以(C_x,C_y)为中心，直径为2R的一个圆形，如图2B所示；3D目标的形态为以(C_x,C_y,C_z)为中心，直径为2R的一个球体，如图2C所示。

由于本发明不限定界面的具体内容形式，但限定目标的所处空间和表示，因此，使用本发明方法时必须选取三类目标中的任意一种，并将界面内容与目标定义和所处空间进行匹配，一个典型的案例是将一个只能横向移动的竖条形目标，对应为1D目标，如图3A所示；另一个典型的案例是将3D虚拟空间中的内容，经过平截头体(frustum)映射到2D平面上显示的用户界面，其目标可以对应为2D目标，如图3B所示。此外，界面内容中的物体形态(可能是任意的)也应通过适当的方法与目标形态(线、圆形或球体)匹配，一个典型的案例是将界面中的物体匹配为一个能够完全容纳该物体的圆形目标，如图3B所示。

在步骤2)中，选择落点为交互瞬时事件提供的空间中的点，本发明不限定具体实现形式，该事件可以由任意设备及相应技术提供。根据可选择目标的类别和所处空间，选择落点s同样分为三类，分别为在1D、2D和3D欧式空间中的点，其表示为

其中，表示落点位置，其在三个不同维度中的意义如表2所示。

表2在三个不同维度中的意义

选择落点s与目标处于同一个空间，但坐标系与目标使用的坐标系不同，目标使用的是世界坐标，而选择落点使用的是相对于目标的局部坐标，它建立在目标之上，以目标中心为原点，目标速度方向为x轴正方向的右手直角坐标系。

在步骤3)中，当得到选择落点s后，利用贝叶斯法则，计算用户意图选中一个目标t的概率P(t|s)，其公式如下：

其中，P(t)为在没有观察到s之前，用户选择目标t的先验概率，将其设为1/n(n为界面中的目标数目)，P(s|t)是贝叶斯法则中的似然函数，它表示落点s属于目标t的概率，P(s)是归一化常数，用于保证概率集合P的概率合为1，归一化常数视具体情况求得。

三个不同维度的目标的P(s|t)计算可由以下公式统一表示：

其中，D是维度，和Σ_t为D维度下的，建立在相对目标t的局部坐标系下的，一个高斯随机变量的均值向量与协方差矩阵，其在三个不同维度中的意义如表3所示。

表3和Σ_t在三个不同维度中的意义

在1D情况下，移动目标落点分布模型的含义是：

一个移动目标出现在一个界面空间中，用户利用指点设备对目标进行选择，重复多次这个选择动作，会以目标中心为原点形成多个选择落点，如果这些落点的全体用X表示，X的分布规律符合高斯分布X～N(μ_x,σ_x)，其中μ_x和σ_x由以下移动目标落点分布模型公式计算得出：

其中，V_x和R为目标速度和半径，a、b、c、d、e、f、g为常数，可利用模型拟合经验数据得出。

经验数据是指，对于任意一个具体的用户显示界面，在未使用本发明方法之前，用户在界面中重复对目标进行选择所得的选择落点数据。经验数据的获取通过一个用户实验完成，其遵循通用的人机交互用户实验步骤及准则，为了便于理解现将其简要描述如下：

i.将界面内容与目标定义和所处空间进行匹配。

ii.根据界面内容，指定一个目标半径R⁽ⁱ⁾和移动速度V_x ^(j)作为实验条件。

iii.按照界面的原本形式向N个用户呈现，并要求他们利用原有的界面系统对该条件下的目标反复地选择M次。

iv.按照与该界面匹配的目标和空间的定义，记录所有M次选择落点位置，得到在实验条件下的经验数据。

v.重复上述第ii至iv步，得到其它实验条件下的经验数据。

实验的设计和实施过程需考虑次序效应、学习效应、疲劳程度、用户差异、样本数量等因素的影响，可遵循一般人机交互实验设计原则以消除这些因素的影响。

例如，可根据具体界面目标的大小和速度，选取4个目标半径和4个移动速度共4×4＝16个实验条件进行上述实验，用户个数N可为12个，同一条件下一个用户反复选择的次数M可为30次，由此，一个条件下可获得12×30＝360个选择落点，形成由16×360＝5760个选择落点组成的经验数据。

下面给出利用模型拟合上述经验数据从而对模型常数进行估计的步骤：

i.对于一个指定的实验条件(目标半径R⁽ⁱ⁾,移动速度V_x ^(j))，其落点服从正态分布，通过实验得到的落点数据样本地均值求出该正态分布的均值μ_x ^(i,j)，通过无偏估计求出该正态分布的标准差σ_x ^(i,j)。

ii.对于所有其它实验条件，重复上述步骤i，得到任意条件下的正态分布均值和标准差。

iii.将所有情况下的V_x、R作为自变量，以及对应的μ_x、σ_x作因变量代入移动目标落点分布模型，利用麦夸特(Levenberg-Marquardt)算法将公式对数据进行拟合，得到公式中常数的估计值。

在2D或3D情况下，μ_x和σ_x与1D情况相同，μ_y＝μ_z＝0，σ_y＝σ_z，且由σ_x和目标半径R的一个线性关系求出：

σ_y＝σ_z＝i+jR+kσ_x (6)

其中，i、j、k为常数，可利用模型拟合经验数据得出，该拟合过程与1D情况类似。

在步骤3)中，对于一个目标t，如果选择落点s落到区域ε之外，则记P(s|t)＝0，ε在三个不同维度中的意义如表4所示。

表4ε在三个不同维度中的意义

在步骤4)中，如果P(t^*|s)＝0，则认为用户没有选择任何一个目标。

以上通过形式表达和实施例对本发明方法进行了详细的说明，但本发明的具体实现形式并不局限于此。本领域的一般技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见的变化与修改。本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于用户表现模型矫正的移动目标选择方法，其步骤包括：

将显示界面进行维度匹配，将界面内包含的可选目标用目标集合表示；

获取一选择落点，根据该选择落点计算目标集合内每个可选目标被选中的概率，得到概率集合；

将概率集合中的最大概率对应的可选目标作为最终选中的目标。

2.根据权利要求1所述的方法，其特征在于，将显示界面进行维度匹配，是指将界面内容、目标定义和所处空间匹配为一维、二维或三维中的一种；所述界面内容包括所述可选目标，所述目标定义为用以表示可选目标的目标中心位置、半径及移动速度。

3.根据权利要求2所述的方法，其特征在于，所述选择落点为与可选目标维度对应的一维、二维或三维空间中的点。

4.根据权利要求1所述的方法，其特征在于，所述选择落点采用相对于可选目标的局部坐标系，是以可选目标的中心为原点、以可选目标的速度方向为x轴正方向的右手直角坐标系。

5.根据权利要求1所述的方法，其特征在于，利用贝叶斯法则计算可选目标被选中的概率。

6.根据权利要求5所述的方法，其特征在于，所述贝叶斯法则中的先验概率为可选目标数目的倒数，似然函数为用于计算选择落点属于一可选目标的概率的高斯概率密度函数，归一化常数用于保证总概率合为1。

7.根据权利要求6所述的方法，其特征在于，所述高斯概率密度函数的均值μ_x和标准差σ_x由移动目标落点分布模型给出；

在一维情况下，该移动目标落点分布模型为：μ_x＝a+bV_x+cR，其中，V_x和R为可选目标的移动速度和半径，a、b、c、d、e、f、g为常数；

在二维和三维情况下，该移动目标落点分布模型为：μ_x＝a+bV_x+cR，μ_y＝μ_z＝0，σ_y＝σ_z＝i+jR+kσ_x其中，V_x和R为可选目标的移动速度和半径，a、b、c、d、e、f、g、i、j、k为常数。

8.根据权利要求7所述的方法，其特征在于，所述常数根据经验数据拟合得到，步骤包括：

将显示界面进行维度匹配，指定一目标半径和移动速度作为实验条件；

将初始显示界面呈现给用户，记录用户多次的选择落点位置数据，作为该实验条件下的经验数据，重复获取多个实验条件下的经验数据；

所述选择落点符合正太分布，根据选择落点样本均值计算正太分布的均值，通过无偏估计求出正态分布的标准差；

将目标半径和移动速度作为自变量，将均值和标准差作为因变量，带入移动目标落点分布模型中，利用麦夸特算法对数据进行拟合，得到所述常数。

9.根据权利要求6所述的方法，其特征在于，对于一个可选目标，如果选择落点落到高斯密度函数3倍标准差范围之外，则该可选目标被选中的概率为0。

10.一种基于用户表现模型矫正的移动目标选择系统，包括存储器和处理器，所述存储器存储计算机程序，所述程序被配置为由所述处理器执行，所述程序包括用于执行上述权利要求1-9任一所述方法中各步骤的指令。