CN114356482A - 利用视线落点与人机界面互动的方法 - Google Patents

Abstract

本发明系一种利用视线落点与人机界面互动的方法，系由以视线落点向外扩展产生虚拟视线落点框，而人机界面上各物件分别向外扩展产生物件标记框，当虚拟视线落点框与其中任一个物件标记框交叠，则表示为用户欲点选虚拟视线落点框交叠之物件标记框所属之物件，作为一候选物件，并在辨识周期内，计算该虚拟视线落点框与该人机界面其中任一该物件标记框交叠的次数及时间，再以该虚拟视线落点框与该人机界面其中任一该物件标记框交叠的次数及时间，决定出至少一个候选物件与执行物件，并执行此执行物件之动作。

Description

利用视线落点与人机界面互动的方法

技术领域

本发明系有关于人机界面互动之方法，尤其指一种利用视线落点与人机界面互动的方法。

背景技术

根据周小龙等人的「基于3D人眼模型的视线跟踪技术综述」论文(计算机辅助设计与图形学学报，第29卷第9期，2017年9月，第1579～1589页)提到，随着计算机视觉技术的飞速发展，视线跟踪技术已被广泛应用于诸多领域。最早是关于眼动的研究，集中在神经学、心理学和行为学等领域。后来，随着机器学习以及图像处理技术的发展，眼动的研究被带入视觉信息领域，通过结合机器学习、图像处理技术形成了现在的视线跟踪技术，成为当前一大研究热点。

同文亦提到，计算机的普及让人们能够通过计算机来提高工作效率，通过网络来进行知识共享及搜索。人机交互作为人与计算机的交互方式，已成为计算机研究领域一个非常重要的内容。然而，对于一些弱势群体，如残障人士，由于受到行动、语言能力的困扰，被隔绝于计算机和网络之外。

此时，视线跟踪技术作为一种使用时只需要眼睛的技术，为身障人士提供了一种全新的有效地与计算机交互的方式。在这样的人机交互中，视线跟踪的作用类似于鼠标的选择功能，而借助视线注视某点来实现点击操作，即利用视线落点选择或点击目标，无疑是一种比较便捷的方式。

但是视线控制的稳定性和精确度较难保证，也是基于视线跟踪技术的人机交互应用中的一大难点及挑战。然而此论文中只提到了如何提高视线落点的计算精准度，而且视线落点的精准度提高有限，在低成本的硬件配置下有许多的困难，而且也没有提到如何让视线落点与人机界面有效地进行互动，因此，如何在低成本的硬件配置下，利用视线落点与人机界面进行有效的互动，乃是目前亟需要解决的问题。

发明内容

有鉴于先前技术的问题，本发明之目的系为了利用视线落点与人机界面进行有效的互动，而且不论是使用高成本的硬件配置或者低成本的硬件配置，举凡可以人机界面上产生视线落点者，就可以有效地与人机界面上的物件进行有效的互动。

根据本发明之目的，系提供一种利用视线落点与人机界面互动的方法，包括由电子装置执行以下步骤，以视线落点为中心向外扩展产生虚拟视线落点框，而人机界面上各物件为中心分别向外扩展产生物件标记框，当虚拟视线落点框在辨识周期内，仅与人机界面其中任一个物件标记框交叠，则表示为用户欲点选虚拟视线落点框交叠之物件标记框所属之物件，作为一候选物件。

其中，电子装置在一辨识周期内，计算虚拟视线落点框与人机界面其中任一物件标记框交叠的次数及时间。

其中，电子装置在辨识周期内，虚拟视线落点框与人机界面其中一个物件标记框交叠，则确定为仅有一个候选物件，则候选做为执行物件，并执行此执行物件之动作。

其中，该虚拟视线落点框在辨识周期内，分别与人机界面其中任二个以上的物件标记框交叠，则确定为有二个以上的候选物件，再依据在辨识周期内虚拟视线落点框与交叠次数最高的其中一个候选物件，做为执行物件，并执行此执行物件之动作。

其中，当任二个以上的候选物件之交叠次数相同，再依据于辨识周期内交叠时间最多的候选物件，做为执行物件，并执行此执行物件之动作。

其中，当虚拟视线落点框在辨识周期内，分别与人机界面其中任二个以上的物件标记框交叠，则确定为有二个以上的候选物件，再依据在辨识周期内虚拟视线落点框与交叠时间最高的其中一个候选物件，做为执行物件，并执行此执行物件之动作。

其中，当任二个以上的候选物件之交叠时间相同，再依据于该辨识周期内交叠次数最多的候选物件，作为该执行物件，并执行此执行物件之动作。

以视线落点为中心以第一扩展半径向外扩展产生虚拟视线落点框，使得虚拟视线落点框呈现为圆形，且在人机界面上显示出来，以便用户对准所欲选取的物件。

其中，人机界面上各物件为中心以第二扩展半径分别向外扩展产生物件标记框，使得物件标记框呈现为圆形，且在人机界面上显示出来，以供用户以虚拟视线落点框对准所欲选取的物件物件标记框。

其中，电子装置产生虚拟视线落点的步骤，系包括接收影像传感器撷取用户之头部影像，对头部影像进行虚空间坐标定位，并取得头部影像中之瞳孔与人头在虚空间坐标定位的坐标位置，而在虚空间中建立虚拟双眼眼球模型，根据虚拟双眼眼球模型中的两眼之瞳孔坐标计算在人机界面中的视线落点。

其中，电子装置系以下列公式产生第一扩展半径：

σ＝D×tanθ_RMS

其中σ为第一扩展半径，D为用户的瞳孔到电子装置的屏幕之间的水平深度距离，θ_RMS则为虚拟双眼眼球模型的视线角度精确度值。，。

其中，电子装置系以下列公式产生视线角度精确度值：

其中n为在取样时间内的取样次数，θ₁、θ₂、θ₃、...、θ_n-1、θ_n为各次取样时由指定落点视线与落点视线间的夹角，指定落点视线是指已知屏幕上的指定位置到达虚拟双眼眼球模型的其中一眼的瞳孔位置的直线，而落点视线系视线落点到达虚拟双眼眼球模型的其中一眼的瞳孔位置的直线，或者落点视线系视线落点到达虚拟双眼眼球模型的双眼的瞳孔位置的两个直线的平均值。

综上所述，本发明可以简单快速地以虚拟视线落点框与物件标记框的交叠情况，决定候选物件及执行物件，并且可以执行此执行物件的动作，而虚拟视线落点框可以被重设大小，当虚拟视线落点框的范围较大，可以便于行动不便的用户进行选取物件，而当虚拟视线落点框的范围较小时，也可以让一般使用者使用。再者，本发明使用虚拟视线落点框与物件标记框属于大范围的选取物件，所以本发明可以使用低成本硬件配置下即可实现物件选取的目的。

附图说明

图1为本发明之流程示意图。

图2为本发明的电子装置的屏幕之人机界面示意图。

图3为本发明之一虚拟视线落点框与单一物件标记框的交叠示意图。

图4为本发明之另一虚拟视线落点框与单一物件标记框的交叠示意图。

图5为本发明之再另一虚拟视线落点框与单一物件标记框的交叠示意图。

图6为本发明之又另一虚拟视线落点框与单一物件标记框的交叠示意图。

图7为本发明之虚拟视线落点框与多个物件标记框的交叠示意图。

图8为本发明之再另一虚拟视线落点框与多个物件标记框的交叠示意图。

图9为本发明之又另一虚拟视线落点框与多个物件标记框的交叠示意图。

图10为本发明之影像传感器的坐标系与人头影像之坐标系的关系示意图。

图11为本发明之虚拟双眼眼球模型之示意图。

图12为本发明之虚拟双眼眼球模型与屏幕之虚拟落点示意图。

图13为本发明之指定落点视线与落点视线间的夹角示意图。

图14为本发明之第一扩展半径的计算数值的位置表示示意图。

1：电子装置 3：屏幕

2：使用者 4：人机界面

40：虚拟视线落点

42：虚拟视线落点框

44：物件标记框

5：物件

σ1：第一扩展半径

σ2：第二扩展半径

6：影像传感器

60：头部轮廓

7：虚空间坐标系

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。

本发明系一种利用视线落点与人机界面4互动的方法，请参阅图1及图2所示，由电子装置1执行以下步骤：

(S101)以使用者2(如图13所示)之虚拟视线落点40为中心向外扩展在电子装置1的屏幕3的人机界面4上产生虚拟视线落点框42；

(S102)人机界面4上的所呈现的任一物件5以各自的中心分别向外扩展产生物件标记框44；

(S103)当虚拟视线落点框42与该人机界面4其中任一物件标记框44交叠，则表示为使用者2欲点选虚拟视线落点框42交叠之物件标记框44所属之物件5，作为候选物件。

在本发明中，电子装置1在一辨识周期内，计算虚拟视线落点框42与人机界面4其中任一个物件标记框44交叠的次数及时间。而电子装置1在辨识周期内选择出执行物件的方式包括下列几种方式：

第一种方式，请参阅图3～6所示：

电子装置1在辨识周期内，虚拟视线落点框42与人机界面4其中一个物件标记框44交叠，则确定为仅有一个候选物件，则候选物件做为执行物件，并执行该执行物件之动作，图3～6为人机界面上某一个位置上的放大视意图，其中仅有一个物件5，并忽略物件外观仅以物件标记框44表示之，且表示虚拟视线落点框42与物件标记框44交叠之态样，在图3～6的物件标记框44中的物件即为候选物件和执行物件，以此说明候选物件和执行物件未标示符号的原因。

第二种方式，请参阅图7～9所示：

当该虚拟视线落点框42在该辨识周期内，分别与人机界面4其中任二个以上的物件标记框44交叠，则确定为有二个以上的候选物件，再依据在辨识周期内虚拟视线落点框42与交叠次数最高的其中一个候选物件，做为执行物件，并执行该执行物件之动作，图7～9为人机界面上某一个位置上的放大视意图，其中有两个物件5，并忽略物件外观分别以一个物件标记框44表示之，且表示虚拟视线落点框42与此二物件标记框44交叠之态样，在图7～9的此二物件标记框44中的物件各为一个候选物件，而此二候选物件的其中之一将作为执行物件，以此说明候选物件和执行物件未标示符号的原因。

第三种方式：

第三种方式接续第二种方式，当任二个以上的候选物件之交叠次数相同，再依据于辨识周期内交叠时间最多的候选物件，作为执行物件，并执行该执行物件之动作。

第四种方式，复请参阅图7～9所示：

当该虚拟视线落点框42在该辨识周期内，分别与该人机界面4其中任二个以上的该物件标记框44交叠，则确定为有二个以上的候选物件，再依据在该辨识周期内该虚拟视线落点框42与交叠时间最高的其中一个候选物件，做为该执行物件，并执行该执行物件之动作。第四种方式与第二种方式的差异在于，第四种方式是以交叠时间最高的其中一个该候选物件做为该执行物件，而第二种方式则以交叠次数最高的其中一个候选物件，做为执行物件。

第五种方式：

第五种方式接续第四种方式，当任二个以上的候选物件之交叠时间相同，再依据于辨识周期内交叠次数最多的候选物件，作为该执行物件，并执行该执行物件之动作。

在本发明中，请参阅图2所示，虚拟视线落点框42以视线落点为中心以第一扩展半径σ1向外扩展所形成，在图标中以虚拟视线落点框42呈现为圆形为例，且在该人机界面4上显示出来，以便该用户2对准所欲选取的该物件5，但本发明，在实际实施时，虚拟视线落点框42并不以圆形为限，亦可为矩形或其他几何形状。

在本发明中，请参阅图2所示，各物件标记框44分别以其中心以第二扩展半径σ2分别向外扩展所形成，使得该物件标记框44呈现为一圆形，且在该人机界面4上显示出来，但本发明，在实际实施时，虚拟视线落点框42并不以圆形为限，亦可为矩形或其他几何形状。

在本发明中，请参阅图10～12所示，电子装置1产生该虚拟视线落点40的步骤，系包括下列步骤：

(S201)接收影像传感器6撷取用户2之复数个头部影像60，从各该头部影像的其中一点位置定义为虚空间坐标系7的原点(如图10所示右侧编号7的坐标系所示)；

(S202)影像传感器6的位置定义为物理世界坐标系9的参考点(如图10左侧编号9的坐标系所示)，如此虚空间坐标系7与物理世界坐标系9的相对关系明确并可计算；

(S203)在虚空间坐标系7中根据人头影像60的双眼瞳孔的坐标位置，建立一虚拟双眼眼球模型8(如图11所示)；

(S204)根据该虚拟双眼眼球模型8中的两眼之瞳孔坐标，计算在该人机界面4中的虚拟视线落点40(如图12所示)。

请参阅图10～11所示，电子装置1系以下列公式产生第一扩展半径o1：

σ1＝D×tanθ_RMS

其中σ1为该第一扩展半径σ1，D为该用户2的双眼瞳孔到电子装置1的屏幕3之间的水平深度距离，θ_RMS则为虚拟双眼眼球模型的视线角度精确度值。

再者，电子装置1系以下列公式产生视线角度精确度值：

其中n为在一取样时间内的取样次数，θ₁、θ₂、θ₃、...、θ_n-1、θ_n为各次取样时时由指定落点视线与落点视线间的夹角，指定落点视线是指已知屏幕上的指定位置到达虚拟双眼眼球模型的其中一眼的瞳孔位置的直线，而落点视线系视线落点到达虚拟双眼眼球模型的其中一个瞳孔位置的直线，或者落点视线系视线落点到达虚拟双眼眼球模型的双眼的瞳孔位置的两个直线的平均值。

在本发明中，电子装置1产生该虚拟视线落点40的步骤进一步而言，假设在影像传感器6前有虚拟双眼眼球模型8，一般虚拟双眼眼球模型8假设为正球体，正球体中心会放置在实际靠近人眼球中心的位置，再利用物理世界坐标系9与虚空间坐标系7的相对关系计算人头影像中人头的参考坐标系，举例而言，以各人头影像中的某点去定义虚空间坐标系7，而虚空间坐标系7与物理世界坐标系9进行演算，用以定义虚拟双眼眼球模型8在虚空间坐标系7中的位置。

再透过影像传感器6在物理世界坐标系9与虚空间坐标系7的人头坐标的相对位置关系，推算虚拟双眼眼球模型8的位置，再利用校正程序算法去修正眼球模型中心的位置，修正到最贴近人的实际眼球位置。再取出双眼瞳孔于虚空间系的坐标位置，有了虚拟双眼眼球模型8的球体正中心与球体上的瞳孔坐标，可计算产生于物理世界坐标系9三维视线向量。

再以影像传感器6为中心，用平面方程式来描述屏幕3的平面，在物理空间中如何分布，将三为视线向量沿着该向量方向不断延伸，与屏幕3平面的交点，就是最后的虚拟视线落点40。在此简述计算出虚拟视线落点40的一种方式，但本发明再实际实施例，并不以此为限，且本发明并未限定以何种方法作为计算虚拟视线落点40的方法，进一步而言，本发明为利用任一种取得虚拟视线落点40的方法后，以虚拟视线落点40产生虚拟视线落点框42，且以任一物件5以各自的中心分别向外扩展产生物件标记框44，并且以虚拟视线落点框42与物件标记框44的交叠状态来决定是否开启物件5。

综上所述，本发明以虚拟视线落点框42与物件标记框44的交叠状态来决定是否开启物件5，便于用户2选取人机界面4上的物件5，在本发明中所称的物件5为应用程序的快捷方式图像，或者是应用程序中的选单项目，本发明使用虚拟视线落点框42与物件标记框44属于大范围的选取物件5，因此虚拟视线落点40的计算方法可以不用很精准，因此可以在低成本硬件配置下，再配合相对简单的算法，即可实现物件5选取的目的。

上列详细说明系针对本发明的可行实施例之具体说明，惟前述的实施例并非用以限制本发明之专利范围，凡未脱离本发明技艺精神所为之等效实施或变更，均应包含于本案之专利范围中。

Claims (11)

1.一种利用视线落点与人机界面互动的方法，其特征在于，由一电子装置执行以下步骤：

以一用户的一虚拟视线落点为中心向外扩展在该电子装置的人机界面上产生一虚拟视线落点框；

该人机界面上的所呈现的任一物件以各自的中心分别向外扩展产生一物件标记框；

当该虚拟视线落点框与该人机界面其中任一该物件标记框交叠，则表示为该使用者欲点选该虚拟视线落点框交叠的该物件标记框所属的该物件，作为一候选物件。

2.如权利要求1所述的利用视线落点与人机界面互动的方法，其特征在于，该电子装置在一辨识周期内，计算该虚拟视线落点框与该人机界面其中任一该物件标记框交叠的次数及时间。

3.如权利要求2所述的利用视线落点与人机界面互动的方法，其特征在于，该电子装置在该辨识周期内，该虚拟视线落点框与该人机界面其中一个该物件标记框交叠，则仅有一个候选物件，则该候选物件做为一执行物件，并执行该执行物件之动作。

4.如权利要求3所述的利用视线落点与人机界面互动的方法，其特征在于，当该虚拟视线落点框在该辨识周期内，分别与该人机界面其中任二个以上的该物件标记框交叠，则为有二个以上的该候选物件，再依据在该辨识周期内该虚拟视线落点框与交叠次数最高的其中一个该候选物件，做为该执行物件，并执行该执行物件的动作。

5.如权利要求4所述的利用视线落点与人机界面互动的方法，其特征在于，当任二个以上的候选物件的交叠次数相同，再依据于该辨识周期内交叠时间最多的该候选物件，做为该执行物件，并执行该执行物件的动作。

6.如权利要求3所述的利用视线落点与人机界面互动的方法，其特征在于，当该虚拟视线落点框在该辨识周期内，分别与该人机界面其中任二个以上的该物件标记框交叠，则确定为有二个以上的候选物件，再依据在该辨识周期内该虚拟视线落点框与交叠时间最高的其中一个该候选物件，做为该执行物件，并执行该执行物件的动作。

7.如权利要求6所述的利用视线落点与人机界面互动的方法，其特征在于，当任二个以上的该候选物件的交叠时间相同，再依据于该辨识周期内交叠次数最多的候选物件，作为执行物件，并执行该执行物件的动作。

8.如权利要求1所述的利用视线落点与人机界面互动的方法，其特征在于，以该视线落点为中心，以第一扩展半径向外扩展产生该虚拟视线落点框，使得该虚拟视线落点框呈现为圆形，且在该人机界面上显示出来，以便该用户对准所欲选取的该物件。

9.如权利要求8所述的利用视线落点与人机界面互动的方法，其特征在于，该人机界面上各该物件为中心，以第二扩展半径分别向外扩展产生该物件标记框，使得该物件标记框呈现为圆形，且在该人机界面上显示出来。

10.如权利要求9所述的利用视线落点与人机界面互动的方法，其特征在于，该电子装置产生该虚拟视线落点的步骤，包括下列步骤：

接收一影像传感器撷取用户的复数个头部影像，从各该头部影像的其中一点位置定义为一虚空间坐标系的原点；

该影像传感器的位置定义为一物理世界坐标系的参考点；

在该虚空间坐标系中根据该人头影像的双眼瞳孔的坐标位置，建立一虚拟双眼眼球模型；

根据该虚拟双眼眼球模型中的该双眼瞳孔的瞳孔坐标，计算在该人机界面中的虚拟视线落点。

11.如权利要求10所述的利用视线落点与人机界面互动的方法，其特征在于，该电子装置以下列公式产生该第一扩展半径：

σ＝D×tanθ_RMS

其中σ为该第一扩展半径，D为该用户的双眼瞳孔到该电子装置的屏幕之间的水平深度距离，θ_RMS则为该虚拟双眼眼球模型的视线角度精确度值。。

其中该电子装置以下列公式产生视线角度精确度值：

其中n为在一取样时间内的取样次数，θ₁、θ₂、θ₃、...、θ_n-1、θ_n为各次取样时时由指定落点视线与落点视线间的夹角，指定落点视线是指已知屏幕上的指定位置到达虚拟双眼眼球模型的其中一眼的瞳孔位置的直线，而落点视线系视线落点到达虚拟双眼眼球模型的双眼的瞳孔位置的两个直线的平均值。

Images