CN109782914B - 基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法 - Google Patents

Abstract

本发明提供一种基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，属于人机交互领域。基于超声三维定位系统，获得笔式装置的坐标以及笔式装置的姿态信息，在虚拟三维场景中构建虚拟选择射线，根据虚拟射线到三维场景全部目标的距离的动态刷新获取用户的选择趋势，进行待确认选择目标的选择，根据用户的手持笔式装置做出的轴向旋转动作与悬停操作的联合判决实现对虚拟三维场景中的目标的选择操作。优点是考虑了用户在三维空间操作的自由性，基于用户操作笔式装置的自然旋转手势，实现单手精准选择，提升了用户与虚拟现实系统的交互效率。

Description

基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法

技术领域

本发明属于人机交互领域，具体涉及一种基于笔式装置轴向旋转的三维虚拟空间下目标选择方法。

背景技术

随着人机交互界面形式由二维到三维拓展，人机交互通道的丰富以及多维度的输入数据的出现，使得三维用户界面的发展呈现出多样性及复杂性。相比于二维空间下的交互操作，三维虚拟空间中的用户操作更加自由，但是三维状态下自由度过高、缺少支撑以及深度信息加入导致三维虚拟空间下操控精准度的下降。

三维空间目标选择作为操控技术中的最基本的操作之一，选择效率的提升对三维空间下操控精准度的改善具有很大的作用。相比二维界面中的目标选择而言，用户在三维空间下的选择动作约束过少以致精准选择难以保证，另外，用户的操作空间和虚拟三维空间不匹配问题，使得传统的1：1坐标映射交互方式无法满足三维空间下的交互需求，因此，建立用户操作空间和虚拟三维空间的操作映射，可以有效提升用户与虚拟现实系统的交互效率。

美国通用汽车环球科技运作有限责任公司T.A.塞德等已授权的《全挡风玻璃平视显示器上道路场景目标选择的虚拟光标》专利(201110453610.3)，面向智能驾驶领域，对行车路况的视频信息进行分析实现用户驾驶可视化，增加用户的使用体验。

网易网络有限公司公司陈翔《游戏目标选择方法和装置》专利(201710590928.3)，面向手机游戏领域，设置操作范围的优先级，通过优先级来实现目标技能的释放以及场景目标的选择，提升了用户的交互体验。网易网络有限公司公司王俊翔《重叠目标选择方法及装置、存储介质、电子设备》专利(201710257055.4)，针对手机游戏环境中重叠对象选取问题提供了解决方案。检测用户在二维屏幕上的触摸滑动轨迹实现了重叠对象的识别与选择，提高了操作效率以及操作准确率，日本奥林巴斯映像株式会社伊藤顺一《电子装置和目标选择方法》专利(200910159817.2)，针对二维触控环境下多目标选择问题提供了检测方案，根据用户的触摸操作时的触摸状态决定用户选择区域的大小。但上述方法仅限于二维触控操作环境，面向三维操控界面没有一种快速的，准确的三维选择方法。

对于三维交互环境下的目标选择，北京锤子数码科技有限公司罗子雄《一种在虚拟现实空间中进行目标选择的方法、装置及系统》专利(201610210464.4)，该发明基于头戴显示器进行三维环境的渲染显示，基于用户在三维空间中的手势信息构建选择射线，完成三维空间的目标选择操作。该方法扩展了用户选择范围，用户可选择视角可及的可选择目标，但是视线方向下不同深度下的目标选择难度不同，该专利并未对其做选择机制的说明。

中国专利“一种三维大空间多通道笔式交互系统”(申请号201611157044.0)公开了一种三维大空间笔式交互系统，该系统在三维操作环境下集成了多通道交互操作的硬件系统，并未对其在三维交互的交互方法上进行进一步的研究与说明，中国专利“一种基于笔式交互系统的虚拟三维空间中目标的选择方法”(申请号201710270095.2)公开了一种基于三维大空间笔式交互系统的三维空间目标选择方法，使用笔式交互装置电子笔的三维定位数据以及姿态数据进行三维虚拟空间内的操控位置换算以及目标物的选择，基于用户操控笔式交互装置带来的六自由度数据变化完成了虚拟环境中的选择操作，其中对于深度目标选择以及超出用户操作空间的目标选择给出了两种操作模式，但该专利并对最终的选择确认机制进行详细概述，用户的手部抖动等因素带来的误差在虚拟三维空间的目标选择上带来了一定的困难。因此，三维深度目标的选择技术以及确认机制的研究，是未来虚拟现实技术的一个研究重点。

发明内容

本发明提供一种基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，根据用户在三维环境中的手部移动和旋转操作，确定用户的选择意图，确定待选择目标后，基于用户手持笔式装置的旋转信息和保持选择动作的时域信息的综合判决实现对具有深度信息目标的选择操作。

本发明采取的技术方案是，包括下列步骤：

1)、用户移动旋转笔式装置P，实时获取笔式装置在三维空间内的位置(x,y,z)和姿态信息(pitch,yall,roll)，在虚拟三维场景中构建用于选择的虚拟射线L，操控虚拟射线L在三维空间内自由移动，计算场景中所有待选择目标K_i到虚拟射线的距离l_i，构建包含所有待选择目标三维位置到虚拟射线的距离数组{l_i}(i＝1,2,...,M)，其中M为三维空间内可供用户选择目标的数目。计算{l_i}中最小值对应的待选择目标

2)、用户旋转移动笔式装置同时动态刷新{l_i}，计算相邻时刻{l_i}_t与{l_i}_t+1之间的距离差

当待选择目标

对应的绝对距离差

时，判定该待选择目标为用户将要选择的目标对象W，并给予适当的反馈机制；

3)、用户移动旋转笔式装置P，操纵虚拟射线L指向三维空间内目标对象W时，判定笔式装置发出的虚拟射线在虚拟三维场景中的碰撞的交点所属目标为待确认目标A，同时获取待确认目标A所在三维场景中相对用户的距离属性H_A，时间属性t₀以及此时笔式装置在三维空间内的姿态信息，即用户旋转笔式装置操控射线碰撞到待选择目标时刻笔式装置的俯仰角

偏航角

与翻滚角roll_t0，根据待确认目标A所在场景中的深度信息H_A计算用户旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

4)、用户保持对待确认目标A选择的同时，沿笔式装置发出的射线的指向方向进行旋转操作至t₁时刻角度

时，判断虚拟射线是否保持实时碰撞初始的待确认目标A，如果虚拟射线保持碰撞待确认目标A，则转至步骤5)，若旋转过程中虚拟射线的碰撞点脱离待选择目标时，虚拟射线碰撞待确认目标A的状态消失，针对待选择物体的选择操作失败，则转至步骤1)，重新进行待选择目标的获取。

5)、累积用户沿轴向旋转笔式装置带来的翻滚角的差

同时启动计时程序累积用户保持选择时间

通过累积翻滚角及选择时间的模糊逻辑联合判决完成对待确认目标的选择。

本发明所述步骤1)中所述笔式装置在三维空间内的位置，姿态参数通过定位系统以及笔上的惯性测量装置得到，定位系统可选用但不局限于超声波定位系统、电磁定位系统以及红外定位系统。

本发明所述步骤1)中三维虚拟场景中所构建的选择虚拟射线方法，所使用的构建软件平台可选用但不局限于Unity3D、OpenGL、Unreal Engine等。

本发明所述的所有待选择目标到虚拟射线的距离数组{l_i}的构建方法如下：

1)获取在三维虚拟场景中每一个待选择的目标K_i的三维坐标信息(x₁,y₁,z₁),(x₂,y₂,z₂),...,(x_m,y_m,z_m)以及笔式装置坐标(x_p,y_p,z_p)以及姿态角(pitch_P,yaw_P,roll_P)；

2)根据点到直线的距离公式，计算虚拟场景中所有待选择目标K_i到笔式装置坐标与姿态构成的虚拟射线的距离。计算过程如下：计算待选择目标K_i到笔式装置坐标的距离向量；

Vec1＝(x_P-x_i,y_P-y_i,z_p-z_i)，

以及虚拟射线的方向向量：

其中(x_P1,y_P1,z_P1)为当前射线上另一点的三维坐标，根据Vec1和Vec2计算距离向量在射线方向向量上的投影向量Vecproj：

其中，Vec1·Vec2为两向量的内积；

得到待选择目标K_i到虚拟射线的距离l_i：

最后得到所有待选择目标K_i到虚拟射线的距离数组{l_i}。

本发明所述步骤3)中待选择目标A所在三维场景中相对用户的距离属性H_A即为待选择目标在三维场景中的三维空间坐标(x_A,y_A,z_A)到笔式装置三维坐标(x_p,y_p,z_p)的距离，即当

本发明所述步骤3)中根据待选择目标A的深度信息H_A计算旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

的方法如下：

其中，

的单位为度，

的单位为秒。

本发明所述步骤5)中累积用户沿轴向旋转笔式装置带来的翻滚角的差

即为笔式装置旋转到当前位置的翻滚角roll₁与初始笔式装置翻滚角roll₀的差，即

本发明所述步骤5)中累积用户沿轴向旋转笔式装置时的保持选择时间

即为笔式装置旋转到当前位置时间属性t₁与初始笔式装置时间属性t₀的差，即

本发明所述步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法，包括以下步骤：

1)创建笔式装置轴向旋转的翻滚角的隶属度函数

以及旋转笔式装置时的保持选择时间的隶属度函数

2)确定虚拟三维场景中目标是否被选择的判定计算规则；

3)根据笔式装置当前输入翻滚角以及选择时间参数信息判定是否选择当前目标；

本发明所述步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法的步骤1)中笔式装置轴向旋转的翻滚角

的隶属度函数

以及旋转笔式装置时的保持选择时间

的隶属度函数

定义方法如下：

定义笔式装置轴向旋转翻滚角

的隶属度函数为：

其中，

为上文所述笔式装置轴向旋转翻滚角，

为笔式装置轴向旋转阈值，

为笔式装置轴向翻滚角隶属度函数；

定义旋转笔式装置时的保持选择时间

的隶属度函数为：

其中，

为上文所述旋转笔式装置时的保持选择时间，

为笔式装置轴向旋转阈值，

为旋转笔式装置时的保持选择时间的隶属度函数。

本发明所述步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法的步骤2)中确定虚拟三维场景中目标是否被选择的判定计算规则如下：

(1)翻滚角的隶属度函数

与选择时间的隶属度函数

只要有一个隶属度函数输出是Select，即判定确定选择该目标；

(2)翻滚角的隶属度函数

或选择时间的隶属度函数

当且仅当两个隶属度函数输出同时是Depend，即判定确定选择该目标；

(3)除了步骤(1)和(2)所述情况，其他情况下判定不选择该目标；

计算规则如下表所示：

其中Cancel表示取消选择，Depend表示待定情况，需根据另一变量情况进行综合考虑，Select表示选中状态。

本发明的优点是：

1)基于笔式装置的空间位置与旋转角度，完成三维空间下目标选择任务，扩展了用户在虚拟现实环境下的操作空间，排除了由于三维空间下通过按键选择带来的控制器的抖动对于选择效率的影响。

2)基于用户的视觉方向进行三维场景目标与用户之间距离信息的提取，实现了目标与用户之间距离信息到选择判决参数的映射，降低了三维场景下距离信息的加入对于选择效率的影响。

3)基于模糊逻辑联合判决方法，建立选择时间以及旋转角度两个判决参数与三维空间内待选择目标的深度信息之间的关系，多参数判决增强了系统的适应性。

附图说明

图1是本发明笔式装置主机示意图；

图2是本发明笔式装置电子笔示意图；

图3是本发明基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法总体框架；

图4是本发明笔式装置俯仰角航向角示意图；

图5是本发明用户旋转笔式装置产生翻滚角变化示意图；

图6是本发明选择射线与场景中目标距离测算示意图；

图7是本发明选择射线与场景中所有目标距离数组示意图；

图8是本发明待选择目标的视觉反馈示意图；

图9是本发明翻滚角隶属度函数；

图10是本发明保持时间隶属度函数。

具体实施方式

包括下列步骤：

1)、用户移动旋转笔式装置P，实时获取笔式装置在三维空间内的位置(x,y,z)和姿态信息(pitch,yall,roll)，在虚拟三维场景中构建用于选择的虚拟射线L，操控虚拟射线L在三维空间内自由移动，计算场景中所有待选择目标K_i到虚拟射线的距离l_i，构建包含所有待选择目标三维位置到虚拟射线的距离数组{l_i}(i＝1,2,...,M)，其中M为三维空间内可供用户选择目标的数目。计算{l_i}中最小值对应的待选择目标

2)、用户旋转移动笔式装置同时动态刷新{l_i}，计算相邻时刻{l_i}_t与{l_i}_t+1之间的距离差

当待选择目标

对应的绝对距离差

时，判定该待选择目标为用户将要选择的目标对象W，并给予适当的反馈机制；

3)、用户移动旋转笔式装置P，操纵虚拟射线L指向三维空间内目标对象W时，判定笔式装置发出的虚拟射线在虚拟三维场景中的碰撞的交点所属目标为待确认目标A，同时获取待确认目标A所在三维场景中相对用户的距离属性H_A，时间属性t₀以及此时笔式装置在三维空间内的姿态信息，即用户旋转笔式装置操控射线碰撞到待选择目标时刻笔式装置的俯仰角

偏航角

与翻滚角

根据待确认目标A所在场景中的深度信息H_A计算用户旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

4)、用户保持对待确认目标A选择的同时，沿笔式装置发出的射线的指向方向进行旋转操作至t₁时刻角度

时，判断虚拟射线是否保持实时碰撞初始的待确认目标A，如果虚拟射线保持碰撞待确认目标A，则转至步骤5)，若旋转过程中虚拟射线的碰撞点脱离待选择目标时，虚拟射线碰撞待确认目标A的状态消失，针对待选择物体的选择操作失败，则转至步骤1)，重新进行待选择目标的获取。

5)、累积用户沿轴向旋转笔式装置带来的翻滚角的差

同时启动计时程序累积用户保持选择时间

通过累积翻滚角及选择时间的模糊逻辑联合判决完成对待确认目标的选择。

本发明所述步骤1)中所述笔式装置在三维空间内的位置，姿态参数通过定位系统以及笔上的惯性测量装置得到，定位系统可选用但不局限于超声波定位系统、电磁定位系统以及红外定位系统。

本发明所述步骤1)中三维虚拟场景中所构建的选择虚拟射线方法，所使用的构建软件平台可选用但不局限于Unity3D、OpenGL、Unreal Engine等。

本发明所述的所有待选择目标到虚拟射线的距离数组{l_i}的构建方法如下：

1)获取在三维虚拟场景中每一个待选择的目标K_i的三维坐标信息(x₁,y₁,z₁),(x₂,y₂,z₂),...,(x_m,y_m,z_m)以及笔式装置坐标(x_p,y_p,z_p)以及姿态角(pitch_P,yaw_P,roll_P)；

2)根据点到直线的距离公式，计算虚拟场景中所有待选择目标K_i到笔式装置坐标与姿态构成的虚拟射线的距离。计算过程如下：计算待选择目标K_i到笔式装置坐标的距离向量；

Vec1＝(x_P-x_i,y_P-y_i,z_p-z_i)，

以及虚拟射线的方向向量：

其中(x_P1,y_P1,z_P1)为当前射线上另一点的三维坐标，根据Vec1和Vec2计算距离向量在射线方向向量上的投影向量Vecproj：

其中，Vec1·Vec2为两向量的内积；

得到待选择目标K_i到虚拟射线的距离l_i：

最后得到所有待选择目标K_i到虚拟射线的距离数组{l_i}。

本发明所述步骤3)中待选择目标A所在三维场景中相对用户的距离属性H_A即为待选择目标在三维场景中的三维空间坐标(x_A,y_A,z_A)到笔式装置三维坐标(x_p,y_p,z_p)的距离，即当

本发明所述步骤3)中根据待选择目标A的深度信息H_A计算旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

的方法如下：

其中，

的单位为度，

的单位为秒。

本发明所述步骤5)中累积用户沿轴向旋转笔式装置带来的翻滚角的差

即为笔式装置旋转到当前位置的翻滚角roll₁与初始笔式装置翻滚角roll₀的差，即

本发明所述步骤5)中累积用户沿轴向旋转笔式装置时的保持选择时间

即为笔式装置旋转到当前位置时间属性t₁与初始笔式装置时间属性t₀的差，即

本发明所述步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法，包括以下步骤：

1)创建笔式装置轴向旋转的翻滚角的隶属度函数

以及旋转笔式装置时的保持选择时间的隶属度函数

2)确定虚拟三维场景中目标是否被选择的判定计算规则；

3)根据笔式装置当前输入翻滚角以及选择时间参数信息判定是否选择当前目标；

本发明所述步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法的步骤1)中笔式装置轴向旋转的翻滚角

的隶属度函数

以及旋转笔式装置时的保持选择时间

的隶属度函数

定义方法如下：

定义笔式装置轴向旋转翻滚角

的隶属度函数为：

其中，

为上文所述笔式装置轴向旋转翻滚角，

为笔式装置轴向旋转阈值，

为笔式装置轴向翻滚角隶属度函数；

定义旋转笔式装置时的保持选择时间

的隶属度函数为：

其中，

为上文所述旋转笔式装置时的保持选择时间，

为笔式装置轴向旋转阈值，

为旋转笔式装置时的保持选择时间的隶属度函数。

本发明所述步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法的步骤2)中确定虚拟三维场景中目标是否被选择的判定计算规则如下：

(1)翻滚角的隶属度函数

与选择时间的隶属度函数

只要有一个隶属度函数输出是Select，即判定确定选择该目标；

(2)翻滚角的隶属度函数

或选择时间的隶属度函数

当且仅当两个隶属度函数输出同时是Depend，即判定确定选择该目标；

(3)除了步骤(1)和(2)所述情况，其他情况下判定不选择该目标；

计算规则如下表所示：

其中Cancel表示取消选择，Depend表示待定情况，需根据另一变量情况进行综合考虑，Select表示选中状态。

下面结合附图及实验例进行具体说明如下：

图1和图2为本发明公开的笔式装置轴向旋转的三维虚拟空间下目标选择方法所采用的三维笔式交互系统的组成示意图，系统包含笔式装置[200]和主机[100]两部分，主机主要包含白板显示装置[102]，超声定位模块[101]，白板显示器完成虚拟空间的显示，超声定位模块由多于三个不共线的超声传感器以及红外传感器[1011]～[1016]构成；笔式装置包含笔尖按键[206]，笔身按键[202][203]，PVDF压电薄膜[201]，红外发射管[207]，九轴传感器[204]与蓝牙通信芯片[205]。压电薄膜实现超声波的发射，九轴传感器用于提取笔式装置的姿态信息。

笔式装置轴向旋转的三维虚拟空间下目标选择方法里流程如图3所示，具体实现如下：

按下笔式装置的笔身按键时，PVDF压电薄膜[201]以及红外发射管[207]分别发射超声波信号以及红外信号，以红外信号作为测距同步信号，超声定位模块通过三维超声定位技术对笔式装置进行三维实时定位，将三维定位坐标传入主机[100]，同时九轴传感器[204]实现笔式装置的姿态提取，并通过蓝牙通信芯片[205]传至主机，主机接收笔式装置发送的姿态信息。图4中α代表笔式装置的俯仰角，β代表笔式装置的航向角，图5中φ代表笔式装置的翻滚角。

如图4所示，在Unity3D平台下根据大空间笔式交互装置的三维定位坐标值(x_P,y_P,z_P)以及姿态信息

构建出选择射线，根据姿态信息计算出虚拟空间选择射线的方向向量得到射线方程为：

根据图6所示，笔式装置在移动旋转过程中，计算选择射线和三维虚拟场景中各个物体的距离数组{l_i}，计算方法如下所示：

(1)计算待选择目标K_i到笔式装置坐标的距离向量Vec1，根据大空间笔式交互装置的三维定位坐标值以及姿态信息构建出选择射线，根据姿态信息计算出虚拟空间选择射线的方向向量Vec2；

Vec1＝(x_P-x_i,y_P-y_i,z_p-z_i)，Vec2＝(sinαcosβ,cosα,sinαsinβ)

(2)根据Vec1和Vec2计算距离向量在射线方向向量上的投影向量Vecproj：

(3)根据几何关系得到待选择目标K_i到虚拟射线的距离l_i：

得到选择射线与场景中所有待选择目标的距离数组{l_i}如下表所示

编号i	1	2	3	4	5
						距离(cm)	15.8	38.2	6.1	12.3	26.4
深度信息(cm)	43.2	15.5	86.2	84.7	56.1

如图7所示，距离数组{l_i}中的各个元素即为场景中各个可选择物体到选择射线L的距离，计算距离数组中最小值对应的待选择目标

当待选择目标

对应的绝对距离差

时，判定该待选择目标为用户将要选择的目标对象W，并给予高亮的视觉反馈。上表中编号为3的物体距离l₃最小，即为待选择目标，如图8所示，当前待选择目标出现了颜色变化，用户可根据当前的反馈信息判断出现视觉反馈的目标是否为用户的最终选择，进而决定是否改变笔式装置的操纵方向继续进行选择任务。

用户移动旋转笔式装置P，操纵虚拟射线L指向三维空间内目标对象W时，判定笔式装置发出的虚拟射线在虚拟三维场景中的碰撞的交点所属目标为待确认目标A。同时获取待确认目标A所在三维场景中相对用户的距离属性H_A，时间属性t₀以及此时笔式装置在三维空间内的姿态信息，即用户旋转笔式装置操控射线碰撞到待选择目标时刻笔式装置的俯仰角

偏航角

与翻滚角

根据待确认目标A所在场景中的距离信息H_A计算用户旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

对应关系为：

由于在虚拟场景中，目标的选择难度随着目标到用户距离H_A的增加而增加，因此，选择旋转参数

与选择时间参数

的阈值水平应随着目标与用户距离的增加而降低，本发明采用了指数函数的倒数形式，实现用户到待选择目标的距离信息H_A到选择判决参数

的映射。

于是表中编号为3的物体对应的触发旋转阈值为：

保持时间阈值为：

用户保持对待确认目标A选择的同时，沿笔式装置发出的射线的指向方向进行旋转操作至t₁时刻角度

时，判断虚拟射线是否保持实时碰撞初始的待确认目标A，如果虚拟射线保持碰撞待确认目标A，则启动计时程序累积用户保持选择时间，通过累积翻滚角及选择时间的模糊逻辑联合判决确定待确认目标是否被选中。若旋转过程中虚拟射线的碰撞点脱离待选择目标时，虚拟射线碰撞待确认目标A的状态消失，则转至构建用于选择的虚拟射线的初始步骤，重新进行待选择目标的获取。

用户沿笔式装置轴向进行旋转时，分别对保持选择时间以及笔式装置翻滚角信息进行记录，并进行选择联合判决运算，如图9及图10所示，即为翻滚角以及保持时间的隶属度函数，翻滚角参数即为累计翻滚角在旋转阈值中的占比，保持时间参数即为累计时间在保持时间阈值的占比。

根据不同的隶属度函数状态进行目标物体的选择状态判定，联合判定规则如下表所示。

由表中数据可得到三种选择判决状态，针对编号为3的目标物体，当笔式装置累计翻滚角大于36°时，无论保持时间是否满足条件均可实现目标选择；当选择过程保持时间大于0.403s，无论笔式装置累计翻滚角是否满足条件均可实现目标选择；当选择过程中保持时间大于0.271s同时笔式装置累计旋转角大于24.45°，该状态下也可实现三维空间下的目标选择。

Claims (9)

1.一种基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于，包括下列步骤：

1)用户移动旋转笔式装置P，实时获取笔式装置在三维空间内的位置(x,y,z)和姿态信息(pitch,yaw,roll)，在虚拟三维场景中构建用于选择的虚拟射线L，操控虚拟射线L在三维空间内自由移动，计算场景中所有待选择目标K_i到虚拟射线的距离l_i，构建包含所有待选择目标三维位置到虚拟射线的距离数组{l_i}(i＝1,2,...,M)，其中M为三维空间内可供用户选择目标的数目，计算{l_i}中最小值对应的待选择目标

2)用户旋转移动笔式装置同时动态刷新{l_i}，计算相邻时刻{l_i}_t与{l_i}_t+1之间的距离差

当待选择目标

对应的绝对距离差

时，判定该待选择目标为用户将要选择的目标对象W，并给予目标对象W高亮显示；

3)用户移动旋转笔式装置P，操纵虚拟射线L指向三维空间内目标对象W时，判定笔式装置发出的虚拟射线L在虚拟三维场景中的碰撞的交点所属目标对象W为待确认目标A；同时获取待确认目标A所在三维场景中相对用户的距离属性H_A，时间属性t₀以及此时笔式装置在三维空间内的姿态信息，即用户旋转笔式装置操控射线碰撞到待选择目标时刻笔式装置的俯仰角

偏航角

与翻滚角

根据待确认目标A所在场景中的距离属性H_A计算用户旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

4)用户保持对待确认目标A选择的同时，沿笔式装置发出的虚拟射线L的指向方向进行旋转操作至t₁时刻时，笔式装置发出的虚拟射线L的指向角度

判断虚拟射线是否保持实时碰撞初始的待确认目标A，如果虚拟射线保持碰撞待确认目标A，则转至步骤5)，若旋转过程中虚拟射线的碰撞点脱离待选择目标时，虚拟射线碰撞待确认目标A的状态消失，针对待选择物体的选择操作失败，则转至步骤1)，重新进行待选择目标的获取；

5)累积用户沿轴向旋转笔式装置带来的翻滚角的差

同时启动计时程序累积用户保持选择时间

通过累积翻滚角及选择时间的模糊逻辑联合判决完成待确认目标A的选择。

2.如权利要求1所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤1)中所述笔式装置在三维空间内的位置，姿态参数通过定位系统以及笔上的惯性测量装置得到，定位系统选用超声波定位系统、电磁定位系统以及红外定位系统。

3.如权利要求1所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤1)中三维虚拟场景中所构建的选择虚拟射线方法，所使用的构建软件平台选用Unity3D、OpenGL、Unreal Engine。

4.如权利要求1所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤1)中所有待选择目标到虚拟射线的距离数组{l_i}的构建方法，包括以下步骤：

1)获取在三维虚拟场景中每一个待选择的目标K_i的三维坐标信息(x₁,y₁,z₁),(x₂,y₂,z₂),...,(x_m,y_m,z_m)以及笔式装置坐标(x_p,y_p,z_p)以及姿态角(pitch_P,yaw_P,roll_P)，m代表当前场景中所有可以被选择的目标总数；

2)根据点到直线的距离公式，计算虚拟场景中所有待选择目标K_i到笔式装置坐标与姿态构成的虚拟射线L的距离，计算过程如下：计算待选择目标K_i的坐标(x_i,y_i,z_i)到笔式装置坐标(x_p,y_p,z_p)的距离向量：

Vec1＝(x_P-x_i,y_P-y_i,z_p-z_i)，

以及虚拟射线L的方向向量：

其中(x_P1,y_P1,z_P1)为当前射线上一点的三维坐标，根据Vec1和Vec2计算距离向量在虚拟射线L方向向量上的投影向量Vecproj：

其中，Vec1·Vec2为两向量的内积；

得到待选择目标K_i到虚拟射线的距离l_i：

最后得到所有待选择目标K_i到虚拟射线的距离数组{l_i}。

5.如权利要求1所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤3)中待选择目标A所在三维场景中相对用户的距离属性H_A即为待选择目标在三维场景中的三维空间坐标(x_A,y_A,z_A)到笔式装置三维坐标(x_p,y_p,z_p)的距离，即

6.如权利要求1所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤3)中根据待选择目标A所在三维场景中相对用户的距离属性H_A计算旋转笔式装置确认选择的触发旋转阈值

和保持时间阈值

的方法如下：

其中，

的单位为度，

的单位为秒。

7.如权利要求1所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤5)中翻滚角及选择时间的模糊逻辑联合判决方法，包括以下步骤：

1)创建笔式装置轴向旋转的翻滚角的隶属度函数

以及旋转笔式装置时的保持选择时间的隶属度函数

2)确定虚拟三维场景中目标是否被选择的判定计算规则；

3)根据笔式装置当前输入翻滚角以及选择时间参数信息判定是否选择当前目标。

8.如权利要求7所述的基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤1)中笔式装置轴向旋转的翻滚角

的隶属度函数

以及旋转笔式装置时的保持选择时间

的隶属度函数

定义如下：

定义笔式装置轴向旋转翻滚角

的隶属度函数为：

其中，

为上文所述笔式装置轴向旋转翻滚角，

为笔式装置轴向旋转阈值，

为笔式装置轴向翻滚角隶属度函数，隶属度函数输出Cancel代表笔式装置取消选择状态；隶属度函数输出Depend代表待定状态，需等待另一个隶属度函数输出状态再进行笔式装置选择状态的判定；隶属度函数输出Select代表笔式装置选择状态；

定义旋转笔式装置时的保持选择时间

的隶属度函数为：

其中，

为上文所述旋转笔式装置时的保持选择时间，

为笔式装置轴向旋转阈值，

为旋转笔式装置时的保持选择时间的隶属度函数。

9.如权利要求7所述基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法，其特征在于：步骤2)中确定虚拟三维场景中目标是否被选择的判定计算规则如下：

(1)翻滚角的隶属度函数

与选择时间的隶属度函数

只要有一个隶属度函数输出是Select，即判定确定选择该目标；

(2)翻滚角的隶属度函数

或选择时间的隶属度函数

当且仅当两个隶属度函数输出同时是Depend，即判定确定选择该目标；

(3)除了上述步骤(1)和(2)所述情况，其他情况下判定不选择该目标。

Images