CN112527112A - 一种多通道沉浸式流场可视化人机交互方法 - Google Patents

Abstract

本发明公开了一种多通道沉浸式流场可视化人机交互方法，通过多种交互方式将输入信息送入交互器中，分别进行相应的交互识别工作，并完成界面或可视化结果交互，其中多种交互方式包括手势交互、手柄交互和凝视交互。本发明在流场可视化应用中采用多通道交互方式高效完成复杂的流场可视化交互需求，将手势、手柄和凝视三种交互方式有机结合，弥补了单一通道交互方式的弊端，提升了交互的效率。

Description

一种多通道沉浸式流场可视化人机交互方法

技术领域

本发明涉及交互式流场可视化技术领域，尤其涉及一种多通道沉浸式流场可视化人机交互方法。

背景技术

流场可视化作为面向计算流体动力学(CFD)的科学计算可视化技术，是科学计算可视化研究和CFD研究的一个重要部分，流场可视化借助计算机图形学、数据挖掘和人机交互理论，将描绘流场运动轨迹的多变量、多维度、多源、多模态物理量数据以图形图像的形式直观呈现出来，并借助交互式图形系统，从大量纷繁复杂的数据中提取有价值的信息，帮助研究人员分析和理解复杂的流场流动机理，洞察流场物理现象并发现流动科学规律，为数值模拟计算和重大工程提供意见指导和决策依据。

虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。虚拟现实技术在流场可视化中的应用研究开始于上世纪90年代，但受制于当时硬件的性能与成本问题其应用范围一直较小，随着虚拟现实技术与流场可视化技术的并行发展，尤其是2015年以来头戴式虚拟现实设备技术的逐步成熟，在虚拟现实环境下对流场数据进行可视化的方法正逐渐被广泛运用。沉浸式虚拟环境下的流场可视化与传统显示方式下的流场可视化相比，沉浸式分析以虚拟现实环境为呈现平台，通过多感官呈现、分析数据物理化、自然人机界面和直觉反馈分析等技术特点为用户构建高沉浸度的数据分析环境，在空间沉浸感、用户参与度、多维感知等方面具有分析优势。

在国内的可视化领域中，虚拟现实技术在医学可视化方面的应用研究较多，论文《基于游标模型的沉浸式医学可视化非接触式手势交互方法》(雷金树、王松、朱东、吴亚东，计算机辅助设计与图形学学报，2019，31(02):208-217)，其交互系统的实现方法具体步骤如下：

(1)从手势传感器获得手势姿态信息，根据手势姿态信息建立虚拟手势模型。

(2)设计了4种手势以实现位移、缩放、旋转以及剖切4种操作，根据由手部中心发出垂直于手掌平面的射线来选中交互目标。当单手握拳时，沉浸式环境中被选中的3D图像会随着手的移动改变位置。而双手握拳时，选中的3D图像会随着双手中心点的移动改变位置，随着双手之间距离的变化调整大小，随着双手相对位置的变化调整方向。当单手张开时，对3D图像进行平面切割操作，平面由手掌在沉浸式环境中的位置和方向确定。

(3)利用游标模型确定手势的状态，游标内保存了最近的3个手势，系统根据这3个手势所代表的操作可以确定此时位于交互的哪一个阶段，即手势的状态，通过手势识别可以得到一组不断更新的手势操作序列。

(4)根据手势的姿态计算手势事件序号，调用相应序号的交互事件；根据手势的状态调用交互事件的对应状态，从而完成整个交互功能。

在高度沉浸式的虚拟现实环境中，由于用户的整体视觉空间被渲染的可视化映射结果所覆盖，传统鼠标、键盘以及触控屏幕等交互方式无法直接应用到沉浸式环境下。而现有的沉浸式人机交互系统绝大多数采用了单一的手柄交互、凝视交互或手势交互，主要适用于较为简单的软件系统，在交互的广度上很难高效满足流场可视化用户系统性的交互需求，在交互的深度上不支持流场可视化的全流程、沉浸式交互。

例如，手柄交互因交互手柄的限制无法完全模拟人的手，降低了交互的沉浸感；凝视交互因人类视线只能提供方向信息，交互效率较低，只能满足最简单的交互需求；手势交互根据实现方式不同一般分为数据手套和光学识别两种方式，采用数据手套的方式存在成本昂贵的问题，目前较为常见的光学识别方式存在识别范围狭小以及手势抖动的问题。

发明内容

为了解决流场可视化应用在虚拟现实环境中的沉浸式人机交互问题，本发明提出一种多通道沉浸式流场可视化人机交互方法，该方法在流场可视化应用中采用多通道交互方式高效完成复杂的流场可视化交互需求，可同时支持手柄、凝视和手势交互方式，通过多通道方式有效缓解单一交互方式带来的问题。

本发明的一种多通道沉浸式流场可视化人机交互方法，通过多种交互方式将输入信息送入交互器中，分别进行相应的交互识别工作，并完成界面或可视化结果交互；所述多种交互方式包括手势交互、手柄交互和凝视交互。

进一步的，手势交互的信息输入方法包括：

通过手势传感器获取手势的姿态信息，由手指各个关节点的位置构建虚拟手模型，然后使用坐标系变换使虚拟手模型由手势传感器的局部坐标系变换为虚拟现实头盔的世界坐标系，从而在虚拟现实环境中能够看到追踪真实手势的虚拟手；手势传感器固定在虚拟现实头盔的前部。

进一步的，构造坐标系变换矩阵，遍历原始手势信息的各关节点应用所述坐标系变换矩阵完成坐标转换，将新坐标应用至虚拟手模型即可完成跟踪真实手势的虚拟手模型绘制显示；

所述坐标系变换矩阵的构造包括坐标轴变换、缩放变换、平移变换和旋转变换，所述坐标轴变换包括：将手势局部坐标系的坐标轴统一至世界坐标系；所述缩放变换包括：将手势局部坐标系的参考单位统一至世界坐标系；所述平移变换包括：将手势局部坐标系原点移动到世界坐标系原点，使得两个坐标系的原点重合；所述旋转变换包括：旋转手势局部坐标系，使得两坐标系对应坐标轴重合。

进一步的，所述旋转变换包括以下步骤：

获得相机的旋转信息，构建旋转矩阵；将四元数表示用于旋转变换获得相机旋转轴(u_x,u_y,u_z)以及旋转角度α，构造旋转矩阵

进一步的，手势交互的识别方法包括：

通过输入的手势姿态是否与根据交互需求定义的标准交互手势相似来识别；将识别后的手势信息存储为一个序列，以三个手势信息为窗口进行手势状态判断，前两帧手势相同而后两帧帧手势不同为开始；三帧手势均相同为进行；前两帧手势相同而后两帧手势不同为结束。

进一步的，凝视交互的信息输入方法包括：

通过虚拟现实头盔的定位元件获取头部位置和方向信息，构建一条从头部出发沿着凝视方向的射线；决定渲染画面的相机跟随虚拟现实头盔的运动而运动，相机的视线方向即为凝视的方向，获取相机的参数以完成该射线的构建；凝视以凝视射线与物体的交点光标作为显示。

进一步的，凝视交互的识别方法包括：

通过构建的一条从头部出发沿着凝视方向的射线与可视化结果进行碰撞检测，将第一个碰撞到的物体识别为凝视的选择对象；如果碰撞到的对象是交互界面，那么需要进行坐标系变换，将碰撞点的坐标从世界坐标系转换为交互界面的平面坐标系以作为界面交互的输入，而世界坐标系的交点坐标可作为光标位置，配合手势交互进行选择点击交互；如果碰撞到的是可视化结果，那么需要获取被选可视化结果的边界，计算凝视射线与整个边界的一个入交点和一个出交点，而入交点可作为光标位置。

进一步的，手柄交互的信息输入方法包括：通过openVR的接口获得虚拟现实交互手柄信息，构建虚拟手柄模型；手柄交互的识别方法包括：通过openVR接口获取手柄的信息，并完成头盔初始化和输入信息的读取，输入头盔和手柄的信息，得到手柄按键的种类和状态，再通过预先确定手柄种类和手柄按键所对应的交互事件，从而识别与当前手柄按键相对应的交互事件名称以及与按键状态相对应的交互事件状态。

进一步的，若进行界面交互，则在手势交互时采用凝视交互计算视线与界面的交点坐标，通过移动头部使得交点的光标移动；在手柄交互时计算手柄发出的射线与界面的交点坐标，通过移动手柄使得交点的光标移动。

进一步的，若进行控件交互，则控件的移动由预定义的手势或者手柄按键抓住控件的第一类可交互把手球并拖动来完成；控件的旋转由两步完成，第一步由预定义的手势或者手柄按键去选中控件的第一类可交互把手球，使得控件由普通态激活为抓住态，第二步由预定义的手势或者手柄按键抓住控件的第二类可交互把手球并拖动，此时控件将会以第一类交互把手球为旋转中心按照移动的距离和方向进行旋转。

进一步的，场景交互包括场景的移动、缩小和放大，以及场景中可视化结果的显示和隐藏；

若进行场景的移动，则在手势交互时，通过控制导航球工具来控制移动；在手柄交互时，通过手柄圆盘来控制移动，按住圆盘即开始移动，按压的点与圆盘中心点的方位和距离决定移动的方向和速度；

若进行场景的缩小和放大，则通过双手的相互接近或远离来控制场景缩放倍数的减小或增大；手势和手柄的缩放操作相似，手势根据预定义手势触发而手柄根据预定义按键触发；在缩放交互操作开始时，记录初始双手距离S₀，在缩放交互操作进行时计算实时双手距离S₁，缩放倍数R＝S₁/S₀，将缩放倍数R应用至世界坐标系映射矩阵从而改变场景中所有物体的大小；

若进行场景中可视化结果的隐藏，则选中点击某一块结果，再次点击将其隐藏；可视化结果的选中是与可视化结果进行交点计算，选中的结果进行高亮半透明显示，并记录首次点击时刻；再次点击该块结果，记录当前点击时刻，与首次点击时刻相减得到点击间隔，间隔小于阈值判定为有效双击进行可视化结果的隐藏，从而实现首次单击选中双击隐藏；

若进行场景中可视化结果的显示，则通过与场景相关的界面实现，在当前场景的交互界面中点击显示按钮完成可视化结果的显示。

进一步的，所述导航球工具分为两部分，外部是半透明不可交互的固定球，内部是可交互球；通过手势抓住可交互球进行任意的拖动，计算可交互球的球心与固定球的球心的偏移向量

偏移向量

的方向作为相机移动方向，偏移向量

的模长作为移动速度的系数，将移动方向和移动速度作用于相机从而完成场景的移动；若松开可交互球，则位置重置，恢复为初始状态。

本发明的有益效果在于：

本发明在流场可视化应用中采用多通道交互方式高效完成复杂的流场可视化交互需求，将手势、手柄和凝视三种交互方式有机结合，弥补了单一通道交互方式的弊端，提升了交互的效率；本发明采用手势交互和凝视交互配合，可完成界面或可视化结果交互；本发明通过导航球工具可实现基于手势交互的导航移动功能；本发明支持更多的交互功能，能够完成流场可视化特定的交互任务；本发明支持全流程交互，启动程序后再无需任何电脑端操作。

附图说明

图1流场可视化的典型工作流程图；

图2沉浸式流场可视化人机交互方法流程图；

图3手势凝视多通道交互示意图；

图4交互控件示意图；

图5导航球工具示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现说明本发明的具体实施方式。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种多通道沉浸式流场可视化人机交互方法，通过多种交互方式将输入信息送入交互器中，分别进行相应的交互识别工作，并完成界面或可视化结果交互。其中，多种交互方式包括手势交互、手柄交互和凝视交互。

如图1所示是一个流场可视化的典型工作流程图，在其中有两处涉及人机交互问题，第一处是更改/新增过滤器，第二处是交互式探索。过滤器顾名思义即起过滤作用，其内部是不同的可视化算法，通过修改或添加可视化算法将输入的复杂原始流场数据进行过滤，仅选取与研究目标相关的数据进行映射绘制。交互式探索是通过移动、放大、缩小、旋转等操作全方面细致地观察三维可视化图形，以不同的角度观察全局或局部特征从而更好的研究流场科学规律。

本发明的多通道沉浸式流场可视化人机交互方法，用于实现在虚拟现实环境下的上述两类人机交互问题，该方法主要流程如图2所示，下面将详细阐述该方法中的每个步骤。

交互的输入方式有手势、凝视和手柄三种，将输入信息送入交互器进行处理。

一、交互显示

1.手势显示

手势显示是通过手势传感器获取手势的姿态信息，由手指各个关节点的位置构建虚拟手模型，然后使用坐标系变换使虚拟手模型由手势传感器的局部坐标系变换为虚拟现实头盔的世界坐标系，从而在虚拟现实环境中能够看到追踪真实手势的虚拟手。手势传感器固定在虚拟现实头盔的前部。

将每根手指均划分为4节，每节5个关节点总共25个关节点，按照拇指到小指每指从顶端到底部的拓扑顺序将关节点依次编号并连接建立手势模型。

坐标系变换矩阵的构造分为坐标轴变换、缩放变换、平移变换和旋转变换四步，其中：

(1)坐标轴变换：将手势局部坐标系的坐标轴统一至世界坐标系，尤其是两坐标系分别属于左右手系时；

(2)缩放变换：将手势局部坐标系的参考单位统一至世界坐标系；

(3)平移变换：将手势局部坐标系原点移动到世界坐标系原点，使得两个坐标系的原点重合。因手势传感器与头盔临近，相机的位置即头盔的位置，因此获取相机的位置即可作为手势传感器的位置，即手势局部坐标系的原点位置，计为(x₁，y₁，z₁)，世界坐标系原点为(0,0,0)，故平移向量为(-x₁，-y₁，-z₁)；

(4)旋转变换：旋转手势局部坐标系，使得两坐标系对应坐标轴重合。获得相机的旋转信息，构建旋转矩阵。将四元数表示用于旋转变换是获得对于给定轴旋转的有效方法，获得相机旋转轴(u_x,u_y,u_z)以及旋转角度α，构造旋转矩阵

按照以上四步构造坐标系变换矩阵，遍历原始手势信息的各关节点应用该坐标系变换矩阵完成坐标转换，将新坐标应用至虚拟手模型即可完成跟踪真实手势的虚拟手模型绘制显示。

2.凝视显示

凝视显示是通过虚拟现实头盔的定位元件获取头部位置和方向信息，构建一条从头部出发沿着凝视方向的射线。因为决定渲染画面的相机是完全跟随虚拟现实头盔的运动而运动的，所以相机的位置即为头部的位置，相机的视线方向即为凝视的方向，获取相机的参数就可以完成该射线的构建。但由于射线从双眼之间发出后对于观察者会造成负面干扰，因此凝视以凝视射线与物体的交点光标作为显示。

3.手柄显示

手柄显示是通过openVR的接口获得虚拟现实交互手柄信息，vr::RenderModel_t包含构建手柄需要的顶点网格信息，可用于构建虚拟手柄模型，从而在虚拟现实环境中能够看到追踪真实手柄的虚拟手柄。

二、交互识别

三种交互方式的输入信息送入交互器中，分别进行相应的识别工作。交互器中手势和手柄交互方式是互斥的，根据用户的选择可以相互切换。

1.手势识别

手势识别是通过输入的手势姿态是否与根据交互需求定义的标准交互手势相似来识别。根据交互需求和手势易辨别的要求，以最基本的交互功能为出发点，设计基本的手势姿态集合，并为其赋予基本含义，明确手势的识别特征。

在本发明的一个优选实施例中，手势名称、姿态及特征信息如表格1所示。

表格1手势姿态定义

将识别后的手势信息存储为一个序列，以三个手势信息为窗口进行手势状态判断，前两帧手势相同而后两帧帧手势不同为开始；三帧手势均相同为进行；前两帧手势相同而后两帧手势不同为结束。

构建手势姿态与交互事件的映射关系，以手势姿态序号为关键字，以交互事件函数的指针为关键值构建Map<序号，交互事件指针>。双手的手势姿态序号＝左手姿态序号*100+右手姿态序号，根据计算得出的序号调用相应的交互事件。在交互事件函数内部根据识别的手势状态分别处理开始、进行和结束三种交互事件状态。

2.凝视识别

凝视识别是通过构建的一条从头部出发沿着凝视方向的射线与可视化结果进行碰撞检测，将第一个碰撞到的物体识别为凝视的选择对象。如图3所示，如果碰撞到的对象是交互界面，那么需要进行坐标系变换，将碰撞点的坐标从世界坐标系转换为交互界面的平面坐标系以作为界面交互的输入，而世界坐标系的交点坐标可作为光标位置，配合手势交互进行选择点击交互。如果碰撞到的是可视化结果，那么需要获取被选可视化结果的边界，计算凝视射线与整个边界的一个入交点和一个出交点，而入交点可作为光标位置。

3.手柄识别

手柄识别是通过openVR接口获取手柄的信息，完成头盔初始化和输入信息的读取，输入头盔和手柄的信息，得到手柄按键的种类和状态，再通过预先确定手柄种类和手柄按键所对应的交互事件，从而识别与当前手柄按键相对应的交互事件名称以及与按键状态相对应的交互事件状态。

三、交互事件

如下表2所示，根据流场可视化的交互需求定义了一系列交互事件。

表格2交互事件

根据交互的对象种类将交互事件分为以下三类：

1.界面交互事件

与界面相关的交互事件即为界面交互事件，主要涉及界面开启、关闭、选择和点击。界面开启、关闭和点击由预定义的手势或者手柄按键控制。界面选择的实现方法根据交互输入方式的不同而不同，如图3所示，在手势交互时采用凝视交互计算视线与界面的交点坐标，通过移动头部使得交点的光标移动；在手柄交互时计算手柄发出的射线与界面的交点坐标，通过移动手柄使得交点的光标移动。

2.控件交互事件

与控件相关的交互事件即为控件交互事件，控件指的是为了满足交互需求而生成的可交互部件如图4所示。控件交互主要涉及控件开启、关闭、移动和旋转。控件的开启和关闭由预定义的手势或者手柄按键控制，根据控件的构成复杂度可分为单手控制或双手控制；控件的移动由预定义的手势或者手柄按键抓住控件的第一类可交互把手球并拖动来完成；控件的旋转由两步完成，第一步由预定义的手势或者手柄按键去选中控件的第一类可交互把手球，使得控件由普通态激活为抓住态，第二步由预定义的手势或者手柄按键抓住控件的第二类可交互把手球并拖动，此时的控件将会以第一类可交互把手球为旋转中心按照移动的距离和方向进行旋转。

3.场景交互事件

与场景内的可视化结果相关的交互事件即为场景交互事件，主要涉及场景移动、缩小、放大、显示和隐藏。场景的移动指的是可视化结果随着相机的移动而变化使得用户感觉好像自己在虚拟现实环境中移动一样，而实际上是原地不动的；场景的缩小和放大指的是所有可视化结果的同步缩小和放大；场景的显示和隐藏指的是可视化结果的显示和隐藏，因流场可视化结果一般是多块结果组合而成，所以需要对某些块进行隐藏以便观察其他部分，在观察完毕后将隐藏的分块重新显示。

在手势交互时，场景移动是依靠控制导航球工具来控制移动。导航球工具分为两部分，外部是半透明不可交互的固定球，内部是可交互球，通过手势抓住可交互球进行任意的拖动。如图5所示，计算可交互球的球心与固定球的球心的偏移向量

偏移向量

的方向作为相机移动方向，偏移向量

的模长作为移动速度的系数，将移动方向和移动速度作用于相机从而完成场景的移动。若松开可交互球，则位置重置，恢复为初始状态。

在手柄交互时，场景移动是依靠手柄圆盘来控制移动。按住圆盘即开始移动，按压的点与圆盘中心点的方位和距离决定移动的方向和速度。

场景的缩小和放大是一对相似的互逆操作，通过双手的相互接近或远离来控制场景缩放倍数的减小或增大。手势和手柄的缩放操作相似，手势根据预定义手势触发而手柄根据预定义按键触发。在缩放交互操作开始时，记录初始双手距离S₀，在缩放交互操作进行时计算实时双手距离S₁，缩放倍数R＝S₁/S₀，将缩放倍数R应用至世界坐标系映射矩阵从而改变场景中所有物体的大小。

场景中的可视化结果隐藏分为两步，第一步选中点击某一块结果，第二步再次点击将其隐藏。选中可视化结果的实现方法同界面交互中的选择类似，界面交互是与界面进行交点计算，而可视化结果的选中是与可视化结果进行交点计算，选中的结果进行高亮半透明显示，并记录首次点击时刻；再次点击该块结果，记录当前点击时刻，与首次点击时刻相减得到点击间隔，间隔小于阈值判定为有效双击进行可视化结果隐藏，从而实现首次单击选中双击隐藏的功能。

场景中的可视化结果显示通过与场景相关的界面实现，在当前场景的交互界面中点击显示按钮即可重新完成所有可视化结果的显示。

在本发明的另一个优选实施例中，凝视交互方法替代为更为先进的眼球追踪技术。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是本发明使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

Claims (12)

1.一种多通道沉浸式流场可视化人机交互方法，其特征在于，通过多种交互方式将输入信息送入交互器中，分别进行相应的交互识别工作，并完成界面或可视化结果交互；所述多种交互方式包括手势交互、手柄交互和凝视交互。

2.根据权利要求1所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，手势交互的信息输入方法包括：

通过手势传感器获取手势的姿态信息，由手指各个关节点的位置构建虚拟手模型，然后使用坐标系变换使虚拟手模型由手势传感器的局部坐标系变换为虚拟现实头盔的世界坐标系，从而在虚拟现实环境中能够看到追踪真实手势的虚拟手；手势传感器固定在虚拟现实头盔的前部。

3.根据权利要求2所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，构造坐标系变换矩阵，遍历原始手势信息的各关节点应用所述坐标系变换矩阵完成坐标转换，将新坐标应用至虚拟手模型即可完成跟踪真实手势的虚拟手模型绘制显示；

所述坐标系变换矩阵的构造包括坐标轴变换、缩放变换、平移变换和旋转变换，所述坐标轴变换包括：将手势局部坐标系的坐标轴统一至世界坐标系；所述缩放变换包括：将手势局部坐标系的参考单位统一至世界坐标系；所述平移变换包括：将手势局部坐标系原点移动到世界坐标系原点，使得两个坐标系的原点重合；所述旋转变换包括：旋转手势局部坐标系，使得两坐标系对应坐标轴重合。

4.根据权利要求3所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，所述旋转变换包括以下步骤：

获得相机的旋转信息，构建旋转矩阵；将四元数表示用于旋转变换获得相机旋转轴(u_x,u_y,u_z)以及旋转角度α，构造旋转矩阵

5.根据权利要求2～4任一项所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，手势交互的识别方法包括：

通过输入的手势姿态是否与根据交互需求定义的标准交互手势相似来识别；将识别后的手势信息存储为一个序列，以三个手势信息为窗口进行手势状态判断，前两帧手势相同而后两帧帧手势不同为开始；三帧手势均相同为进行；前两帧手势相同而后两帧手势不同为结束。

6.根据权利要求1所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，凝视交互的信息输入方法包括：

通过虚拟现实头盔的定位元件获取头部位置和方向信息，构建一条从头部出发沿着凝视方向的射线；决定渲染画面的相机跟随虚拟现实头盔的运动而运动，相机的视线方向即为凝视的方向，获取相机的参数以完成该射线的构建；凝视以凝视射线与物体的交点光标作为显示。

7.根据权利要求6所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，凝视交互的识别方法包括：

通过构建的一条从头部出发沿着凝视方向的射线与可视化结果进行碰撞检测，将第一个碰撞到的物体识别为凝视的选择对象；如果碰撞到的对象是交互界面，那么需要进行坐标系变换，将碰撞点的坐标从世界坐标系转换为交互界面的平面坐标系以作为界面交互的输入，而世界坐标系的交点坐标可作为光标位置，配合手势交互进行选择点击交互；如果碰撞到的是可视化结果，那么需要获取被选可视化结果的边界，计算凝视射线与整个边界的一个入交点和一个出交点，而入交点可作为光标位置。

8.根据权利要求1所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于：

手柄交互的信息输入方法包括：通过openVR的接口获得虚拟现实交互手柄信息，构建虚拟手柄模型；

手柄交互的识别方法包括：通过openVR接口获取手柄的信息，并完成头盔初始化和输入信息的读取，输入头盔和手柄的信息，得到手柄按键的种类和状态，再通过预先确定手柄种类和手柄按键所对应的交互事件，从而识别与当前手柄按键相对应的交互事件名称以及与按键状态相对应的交互事件状态。

9.根据权利要求1所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，若进行界面交互，则在手势交互时采用凝视交互计算视线与界面的交点坐标，通过移动头部使得交点的光标移动；在手柄交互时计算手柄发出的射线与界面的交点坐标，通过移动手柄使得交点的光标移动。

10.根据权利要求1所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，若进行控件交互，则控件的移动由预定义的手势或者手柄按键抓住控件的第一类可交互把手球并拖动来完成；控件的旋转由两步完成，第一步由预定义的手势或者手柄按键去选中控件的第一类可交互把手球，使得控件由普通态激活为抓住态，第二步由预定义的手势或者手柄按键抓住控件的第二类可交互把手球并拖动，此时控件将会以第一类交互把手球为旋转中心按照移动的距离和方向进行旋转。

11.根据权利要求1所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，场景交互包括场景的移动、缩小和放大，以及场景中可视化结果的显示和隐藏；

若进行场景的移动，则在手势交互时，通过控制导航球工具来控制移动；在手柄交互时，通过手柄圆盘来控制移动，按住圆盘即开始移动，按压的点与圆盘中心点的方位和距离决定移动的方向和速度；

若进行场景的缩小和放大，则通过双手的相互接近或远离来控制场景缩放倍数的减小或增大；手势和手柄的缩放操作相似，手势根据预定义手势触发而手柄根据预定义按键触发；在缩放交互操作开始时，记录初始双手距离S₀，在缩放交互操作进行时计算实时双手距离S₁，缩放倍数R＝S₁/S₀，将缩放倍数R应用至世界坐标系映射矩阵从而改变场景中所有物体的大小；

若进行场景中可视化结果的隐藏，则选中点击某一块结果，再次点击将其隐藏；可视化结果的选中是与可视化结果进行交点计算，选中的结果进行高亮半透明显示，并记录首次点击时刻；再次点击该块结果，记录当前点击时刻，与首次点击时刻相减得到点击间隔，间隔小于阈值判定为有效双击进行可视化结果的隐藏，从而实现首次单击选中双击隐藏；

若进行场景中可视化结果的显示，则通过与场景相关的界面实现，在当前场景的交互界面中点击显示按钮完成可视化结果的显示。

12.根据权利要求11所述的一种多通道沉浸式流场可视化人机交互方法，其特征在于，所述导航球工具分为两部分，外部是半透明不可交互的固定球，内部是可交互球；通过手势抓住可交互球进行任意的拖动，计算可交互球的球心与固定球的球心的偏移向量

偏移向量

的方向作为相机移动方向，偏移向量

的模长作为移动速度的系数，将移动方向和移动速度作用于相机从而完成场景的移动；若松开可交互球，则位置重置，恢复为初始状态。

Images