CN111897423B - 一种基于mr鱼缸的精确触控交互方法及系统 - Google Patents

Abstract

本公开提供了一种基于MR鱼缸的精确触控交互方法及系统，使用光折射触摸偏移补偿方法对用户的触摸进行第一次补偿，然后使用聚类触摸偏移补偿方法在y方向进行第二次补偿。有效结合了折射偏移补偿方法和聚类偏移补偿方法的优势，可有效地补偿用户在鱼缸界面上的触摸交互，提高用户触摸准确度。

Description

一种基于MR鱼缸的精确触控交互方法及系统

技术领域

本公开属于信息智能交互技术领域，涉及一种基于MR鱼缸的精确触控交互方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

光的折射现象是生活中非常常见的物理现象之一。光从一种介质进入另一种介质时，传播方向发生改变，从而使光线在不同介质的交界处发生偏折。Muller等人提出了一种基于折射的鱼缸内三维鱼类模型重建的方法，考虑空气与水边界之间的折射情况，提出了一种通过计算每个形状像素的射线偏移，来补偿鱼缸折射效应，并实时计算三维模型的算法。由于光线在玻璃和水之间的折射是非常明显的，所以在基于真实鱼缸的混合现实系统中，光的折射对用户的交互产生了不可忽视的影响，造成的误差也使用户的交互变得复杂、难以操作。但是，在此类触控交互界面中，目前很少有研究考虑光的折射在交互过程中带来的误差影响，因此在此类存在光折射的触控交互界面的研究中，考虑光的折射带来的影响是十分必要的。

使用手指准确地获取目标是触摸输入的一个限制，这在很大程度上要归因于“胖手指”的遮挡和精确问题。此外，Holz和Baudisch等人的工作表明，未考虑用户的触摸心理模型，就确定他们的预期触摸点，也是造成触摸输入不准确的原因之一。

目前，据发明人了解，基于混合现实技术的鱼缸系统中存在的问题主要表现在：

1.由于玻璃和水对光的折射影响，投影内容到达人眼时会产生位置的“漂移”，导致不同用户在鱼缸前的不同位置进行触控交互时，存在“所触非所见”的现象，产生触控交互不准确的问题。

2.前期的研究主要以手机移动端或者大屏幕为研究对象，进行了提高触摸准确性的研究。对于基于MR鱼缸系统中存在的触控不精确问题，几乎没有相关研究。

3.基于MR鱼缸系统中存在的触摸偏移问题，影响了用户的触摸交互精度，降低了用户的交互体验。

发明内容

本公开为了解决上述问题，提出了一种基于MR鱼缸的精确触控交互方法及系统，本公开可有效地补偿用户在鱼缸界面上的触摸交互，提高用户触摸准确度。

根据一些实施例，本公开采用如下技术方案：

一种基于MR鱼缸的精确触控交互方法，包括以下步骤：

根据人眼位置和用户根据看到的像点在前侧玻璃上进行触摸位置，从视点位置开始，逆着光线计算出物点的实际位置，根据坐标映射转换为屏幕坐标进行触摸位置的补偿；

对用户的触摸数据进行收集并对偏移大小和偏移方向分析，进行用户无关模型的构建，该用户无关模型采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量。

作为可选择的实施方式，根据虚拟现实设备所获取的人体头部节点的实时位置来估计人眼位置。

作为可选择的实施方式，在鱼缸表面的不同地点分别做标记，分别对应屏幕坐标系的原点(0，0)和点(screen.width，screen.height)，获取标记点在Kinect坐标系下的空间坐标，使用基于颜色和形状的检测算法进行标记点的识别，获得标记点在Kinect相机空间坐标系下的三维坐标。

作为可选择的实施方式，采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量的具体过程包括：

将屏幕进行分区，根据目标位置的y坐标，将每个折射偏移量放置到其中一个分区中，沿y轴计算每个分区的平均偏移量，在y方向上部分别创建簇；

给定一个新的触摸，利用光折射偏移补偿方法计算出预测位置，接着找到最接近的簇心，根据预测位置相对于两个簇心的位置计算对应的校正偏移量。

作为进一步的限定，获取触摸数据，每个触摸数据包括记录的触摸位置t、使用折射偏移补偿方法预测的位置r和目标位置i。

作为可选择的实施方式，构建用户无关模型的具体过程包括：

对于每个数据，计算y方向上的折射偏移量；

将屏幕沿着y轴分割成9个分区，根据目标i的y坐标，将每个折射偏移量放置到其中一个分区中，沿y轴计算每个分区的平均偏移量；

在y方向的平均折射偏移量上使用K均值聚类算法，在y方向上大致沿着屏幕的顶部、中部偏上、中部偏下和底部分别创建簇，每个簇中包含簇在y方向中的位置，以及一个校正偏移量。

作为进一步的限定，屏幕不同区域的触摸偏移补偿量的确定过程包括：给定一个新的触摸t，首先利用光折射偏移补偿方法计算出预测的位置r，接着找到最接近预测的位置r在y方向的分量r_y的簇心，如果r_y位于两个簇心之间，根据r相对于两个簇心的位置计算对应的校正偏移量；如果r_y不在簇心之间，则采取最近簇心的校正偏移量。

一种基于MR鱼缸的精确触控交互系统，包括：

光折射触摸偏移补偿模块，被配置为根据人眼位置和用户根据看到的像点在前侧玻璃上进行触摸位置，从视点位置开始，逆着光线计算出物点的实际位置，根据坐标映射转换为屏幕坐标进行触摸位置的补偿；

聚类触摸偏移补偿模块，被配置为对用户的触摸数据进行收集并对偏移大小和偏移方向分析，进行用户无关模型的构建，该用户无关模型采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于MR鱼缸的精确触控交互方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于MR鱼缸的精确触控交互方法。

与现有技术相比，本公开的有益效果为：

本公开系统使用方便，提出的基于折射-聚类的触摸偏移补偿方法能更好地适应用户的触摸行为，而不是使用户适应现有触摸屏的需求；

本公开可有效地补偿用户在鱼缸界面上的触摸交互，提高用户触摸准确度。

本公开使得用户坐在固定位置看向目标进行点击即可完成精准交互，而不必移动位置正对目标进行点击操作；

本公开可适用于存在光折射的MR触摸界面，提高触控精度。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为基于MR鱼缸系统中存在的触摸偏移问题示意图；

图2为用户触摸数据采集及分析；

图3为光折射偏移补偿方法—在y方向上发生的折射示意图；

图4为聚类触摸偏移补偿方法：沿y轴对折射偏移数据进行聚类；

图5为本系统三种触摸偏移补偿方法评估测试结果图；

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种基于光折射和聚类的触摸偏移补偿方法，首先使用光折射偏移补偿方法对用户的触摸进行第一次补偿，接着使用聚类偏移补偿方法在y方向进行第二次补偿，其有效结合了折射偏移补偿方法和聚类偏移补偿方法的优势，可以有效补偿用户触摸时产生的偏移，提高用户的触摸准确性。

光折射的触摸偏移补偿方法。该方法解决在非立体显示环境下，由于玻璃、空气和水的折射影响，导致用户看到物体并进行点击的位置，与真实的物体位置发生比较大的偏移，即“所触非所见”的问题。

聚类触摸偏移补偿方法。该方法将来自多个用户的触摸实例组合在一起，以学习跨屏幕所有区域的触摸行为，提供更准确的触摸补偿。

按上述方案，所述的光折射的触摸偏移补偿方法，通过光折射公式，根据人眼位置和用户根据看到的像点s’在前侧玻璃上进行触摸位置，从视点位置开始，逆着光线计算出物点s的实际位置(x，y，z)，最后通过坐标映射转换为屏幕坐标进行触摸位置的补偿。

按上述方案，所述的聚类触摸偏移补偿方法，首先，进行一项触摸偏移测试，对用户的触摸数据进行收集并对偏移大小和偏移方向分析；其次，进行用户无关模型的构建，该用户无关模型采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量；最后，对于新的触摸行为，即可应用该模型进行触摸补偿，提高触控精度。

如图1所示，描述了基于MR鱼缸系统中存在的触摸偏移问题，当用户看到物体并在鱼缸表面进行触摸时，此时系统响应的用户触摸位置与物体的实际位置发生比较大的偏移。这种偏移受到了玻璃、空气和水的折射的影响。

如图2所示为触摸数据采集示意图，使用Unity3D开发了应用于Win10电脑端的实验测试程序，来收集用户触摸数据。测试程序捕获并记录所有触摸事件。对于每个触摸事件，在同一个时间戳下，用户触摸位置的x和y坐标以及目标的x和y坐标均被记录保存。所有的测试都是在非立体显示环境下的MR鱼缸环境下进行。在测试过程中，屏幕上每次都只会显示一个目标十字线，参与者被要求尽可能准确地触摸十字线的中心。测试程序不提供关于触摸位置的反馈，因为我们不希望反馈改变参与者的触摸行为。

通过对偏移大小的分析发现，x方向上的偏移量明显大于y方向上的偏移量。同时，我们发现x方向上的偏移量，在屏幕最左侧和最右侧非常大，y方向上的偏移量在屏幕最下方也非常大。这些结果表明，触摸偏移的方向对于所有参与者都是相似的，偏移大小也有着相似的分布。补偿这些触摸的偏移，可以让用户更好地使用鱼缸界面，简单方便地进行交互。

如图3，讲述了光折射偏移补偿方法，以y方向发生折射的处理为例进行了说明，x方向方法类似。图3示意了从目标物点发出的一条光线，在y方向上发生的折射。对于物点s，用户看到其在像点s’的位置，明显发生了漂移。根据该图详细介绍光折射偏移补偿方法：

步骤一：确定各点的z坐标，物点s的z坐标通过其与坐标映射时获得的标记点位置的关系确定。具体的，通过人工测量得到鱼缸前侧和后侧玻璃的厚度L_b、前侧和后侧玻璃的距离L_w以及鱼缸后侧玻璃距液晶调光膜的垂直距离d，根据标记点在Kinect坐标系下的z坐标，增加L_b、L_w和d可最终得到物点s的z坐标。同样的，可以测得前侧和后侧玻璃的z值。这样，用户根据看到的像点s’在前侧玻璃上进行触摸的位置的z值也是知道的。

步骤二：人眼位置确定，根据Kinect所获取的人体头部节点的实时位置来估计人眼位置。

步骤三：计算物点s的实际位置的y坐标。在下文计算中，预定义以下符号：

表示向量，具有分量x_x,y_y,z_z。如图2，光线首先经过A点穿过空气-玻璃的边界，其次经过B点穿过玻璃-水的边界，接着经过C点穿过水-玻璃的边界，然后经过D点穿过玻璃-空气的边界，最后到达人的眼睛。其中，D点是用户根据看到的像点s’在前侧玻璃上进行触摸的位置，可表示为

d'是触摸位置的屏幕坐标。人眼位置表示为

根据D点和人眼的位置关系，可以计算出进入人眼的出射光线的折射角α₅：

通过斯涅尔定律，则可计算出该光线的入射角α₄：

然后根据α₄与玻璃厚度L_b,可以求出D点与C点在y方向上的距离h₄：h₄＝L_btanα₄，此时即可求得穿透点C的y坐标：

重复以上过程，即可求得物点s的y坐标。

同样的，物点s的x坐标也可以根据触摸位置与人眼位置计算得到。

步骤四：触摸补偿。物点s的三个坐标分量全部求得后，通过坐标映射

将其转换为屏幕坐标，即可准确补偿用户的触摸。

中，坐标映射指的是鱼缸触控平面和用于捕获用户手指位置的RGB-D相机坐标系之间的映射。中，RGB-D相机以Kinect传感器为例进行说明。将Kinect放置在正对鱼缸的位置，用于捕捉用户触控操作手指的位置。此时，Kinect的相机空间坐标系的x-y平面与Unity屏幕坐标系的x-y平面是平行的，所以屏幕坐标系的x-y平面在Kinect相机空间中的z值是固定的。于是在计算坐标变换的过程中我们没有考虑z轴，而是将复杂的三维直角坐标系与二维坐标系之间的变换，简化成了二维坐标系与二维坐标系之间的变换。映射关系求解方法如下：

首先，在鱼缸表面的左下角和右上角分别做标记，如固定一个红色的圆形纸片作为两个标记点，分别对应屏幕坐标系的原点(0，0)和点(screen.width，screen.height)。其中，屏幕坐标与屏幕的分辨率有关，单位为像素。

然后，获取标记点在Kinect坐标系下的空间坐标。标记点以红色的圆形物体为例进行说明，考虑到标记点的颜色和形状特征，使用基于颜色和形状的检测算法进行标记点的识别，获得标记点在Kinect相机空间坐标系下的三维坐标，其中，Kinect相机空间坐标系的单位为米。

在得到两组对应的二维点与三维点后，计算得到两个坐标系之间的旋转矩阵R₁、R₂和平移向量t₁、t₂。将屏幕坐标系对齐到Kinect相机空间坐标系的变换矩阵可表示为C₁＝(R₁|t₁)，将Kinect相机空间坐标系对齐到屏幕坐标系的变换矩阵可表示为C₂＝(R₂|t₂)。

如图4所示为聚类触摸偏移补偿方法：首先进行一项触摸偏移测试，对用户的触摸数据进行收集并对偏移大小和偏移方向分析；其次，进行用户无关模型的构建，该用户无关模型采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量；最后，对于新的触摸行为，即可应用该模型进行触摸补偿，提高触控精度。

沿y轴对折射偏移数据进行二次补偿，即聚类的结果。在y方向的平均折射偏移量上使用K均值聚类算法，选择k＝4，作为最优的聚类个数。采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量；对于新的触摸行为，即可应用该模型进行触摸补偿，提高触控精度。在y方向上大致沿着屏幕的顶部、中部偏上、中部偏下和底部分别创建簇。聚类模型包含4个簇，每个簇中包含簇在y方向中的位置，以及一个校正偏移量。

具体步骤如下：

步骤一：触摸数据收集。对于每个数据，包括记录的触摸位置t、使用折射偏移补偿方法预测的位置r和目标位置i。

步骤二：用户无关模型构建。对于每个数据，计算y方向上的折射偏移量o'_y：

o'_y＝r_y-i_y (1)

将屏幕沿着y轴分割成9个分区。根据目标i的y坐标，将每个折射偏移量放置到其中一个分区中。沿y轴计算每个分区的平均偏移量o'_y：

接下来，在y方向的平均折射偏移量上使用K均值聚类算法。选择k＝4，作为最优的聚类个数。最终，在y方向上大致沿着屏幕的顶部、中部偏上、中部偏下和底部分别创建簇。聚类模型包含4个簇，每个簇中包含簇在y方向中的位置，以及一个校正偏移量。

步骤三：触摸补偿。给定一个新的触摸t，首先利用光折射偏移补偿方法计算出r，接着找到最接近r_y的簇心。如果r_y位于两个簇心之间，我们根据r相对于两个簇心的位置计算对应的校正偏移量。如果r_y不在簇心之间，则采取最近簇心的校正偏移量。为了计算r补偿后的触摸点t',在y方向对r添加校正偏移量o'：

如图5所示，所提方法得到的触控精度与基于光折射的触摸偏移补偿方法、基于聚类的触摸偏移补偿方法得到触控精度的对比结果。以8名参与者的实验结果为例进行说明。

基于上述三种方法分别设计用户测试程序，用于收集用户的触控数据，测试程序用于捕获并记录所有的触控事件。具体地说，对于每个触摸事件，在同一个时间戳下，通过三种触摸偏移补偿方法(基于光折射的偏移补偿方法、基于聚类的偏移补偿方法和基于光折射和聚类的偏移补偿方法)计算的x和y坐标，用户触摸位置的x和y坐标，目标十字线的x和y坐标，以及触摸时的人眼位置，均被记录保存。中以Unity 3D游戏开发引擎、C#语言为例开发了基于MR鱼缸的用户测试程序。

对于每次用户测试，将偏移量、误差距离作为因变量。对三种触摸偏移补偿方法进行比较。图5显示了参与者在不同情况下的平均偏移量和误差距离。从图中可以看出，与基于光折射的触摸偏移补偿方法和基于聚类的触摸偏移补偿方法相比，基于光折射和聚类的触摸偏移补偿方法的偏移量和误差距离都有所降低，达到了更优的效果。而且对比补偿前的数据，基于光折射和聚类的触摸偏移补偿方法分别降低到了原先的23.29％、62.68％和40.95％。这表明，提出的基于光折射和聚类的触摸偏移补偿方法，有效结合了之前两种方法的优势，能够更好地补偿触摸的偏移，提高触摸的准确度。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (6)

1.一种基于MR鱼缸的精确触控交互方法，其特征是：包括以下步骤：

根据人眼位置和用户根据看到的像点在前侧玻璃上进行触摸位置，从视点位置开始，逆着光线计算出物点的实际位置，根据坐标映射转换为屏幕坐标进行触摸位置的补偿；

对用户的触摸数据进行收集并对偏移大小和偏移方向分析，进行用户无关模型的构建，该用户无关模型采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量；

所述用户无关模型的构建具体过程包括：

获取触摸数据，每个触摸数据包括记录的触摸位置t、使用折射偏移补偿方法预测的位置r和目标位置i；

对于每个触摸数据，计算y方向上的折射偏移量；将屏幕沿着y轴分割成9个分区，根据目标位置i的y坐标，将每个折射偏移量放置到其中一个分区中，沿y轴计算每个分区的平均偏移量；在y方向的平均折射偏移量上使用K均值聚类算法，在y方向上沿着屏幕的顶部、中部偏上、中部偏下和底部分别创建簇，每个簇中包含簇在y方向中的位置，以及一个校正偏移量；

所述屏幕不同区域的触摸偏移补偿量的确定过程包括：给定一个新的触摸t，首先利用光折射偏移补偿方法计算出预测的位置r，接着找到最接近预测的位置r在y方向的分量r_y的簇心，如果r_y位于两个簇心之间，根据r相对于两个簇心的位置计算对应的校正偏移量；如果r_y不在簇心之间，则采取最近簇心的校正偏移量。

2.如权利要求1所述的一种基于MR鱼缸的精确触控交互方法，其特征是：根据虚拟现实设备所获取的人体头部节点的实时位置来估计人眼位置。

3.如权利要求1所述的一种基于MR鱼缸的精确触控交互方法，其特征是：在鱼缸表面的不同地点分别做标记，分别对应屏幕坐标系的原点(0，0)和点(screen.width，screen.height)，获取标记点在Kinect坐标系下的空间坐标，使用基于颜色和形状的检测算法进行标记点的识别，获得标记点在Kinect相机空间坐标系下的三维坐标。

4.一种基于MR鱼缸的精确触控交互系统，其特征是：包括：

光折射触摸偏移补偿模块，被配置为根据人眼位置和用户根据看到的像点在前侧玻璃上进行触摸位置，从视点位置开始，逆着光线计算出物点的实际位置，根据坐标映射转换为屏幕坐标进行触摸位置的补偿；

聚类触摸偏移补偿模块，被配置为对用户的触摸数据进行收集并对偏移大小和偏移方向分析，进行用户无关模型的构建，该用户无关模型采用聚类算法对获得的触摸偏移数据进行聚类分析，得到屏幕不同区域的触摸偏移补偿量；

所述用户无关模型的构建具体过程包括：获取触摸数据，每个触摸数据包括记录的触摸位置t、使用折射偏移补偿方法预测的位置r和目标位置i；对于每个触摸数据，计算y方向上的折射偏移量；将屏幕沿着y轴分割成9个分区，根据目标位置i的y坐标，将每个折射偏移量放置到其中一个分区中，沿y轴计算每个分区的平均偏移量；在y方向的平均折射偏移量上使用K均值聚类算法，在y方向上沿着屏幕的顶部、中部偏上、中部偏下和底部分别创建簇，每个簇中包含簇在y方向中的位置，以及一个校正偏移量；

所述屏幕不同区域的触摸偏移补偿量的确定过程包括：给定一个新的触摸t，首先利用光折射偏移补偿方法计算出预测的位置r，接着找到最接近预测的位置r在y方向的分量r_y的簇心，如果r_y位于两个簇心之间，根据r相对于两个簇心的位置计算对应的校正偏移量；如果r_y不在簇心之间，则采取最近簇心的校正偏移量。

5.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-3中任一项所述的一种基于MR鱼缸的精确触控交互方法。

6.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-3中任一项所述的一种基于MR鱼缸的精确触控交互方法。

Images