CN109960403A - 沉浸式环境下针对医学图像的可视化呈现和交互方法 - Google Patents

沉浸式环境下针对医学图像的可视化呈现和交互方法 Download PDF

Info

Publication number
CN109960403A
CN109960403A CN201910013713.4A CN201910013713A CN109960403A CN 109960403 A CN109960403 A CN 109960403A CN 201910013713 A CN201910013713 A CN 201910013713A CN 109960403 A CN109960403 A CN 109960403A
Authority
CN
China
Prior art keywords
gesture
state
hand
hands
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910013713.4A
Other languages
English (en)
Inventor
王松
吴亚东
雷金树
朱东
王知轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN201910013713.4A priority Critical patent/CN109960403A/zh
Publication of CN109960403A publication Critical patent/CN109960403A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种沉浸式环境下针对医学图像的可视化呈现和交互方法，包括以下步骤：加载医学图像数据；数据预处理；对预处理后数据进行可视化绘制；通过头戴式显示设备沉浸式显示可视化绘制结果；借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；引入弹簧模型去除手势的抖动，提高手势识别准确率；手势动作定义；交互功能与手势动作绑定；通过游标模型基于上下文判断手势状态；根据手势状态执行对应交互任务。本发明能实现位移、缩放、旋转、剖切等交互范例来改善用户的沉浸式体验，帮助用户多层次多角度立体观察与分析医学图像的可视化绘制结果，从本质上拓展人机交互的应用领域，有效地提高分析和理解医学图像数据的效率和质量。

Description

沉浸式环境下针对医学图像的可视化呈现和交互方法
技术领域
本发明涉及一种医学图像的呈现和交互方法，尤其涉及一种沉浸式环境下针对医学图像的可视化呈现和交互方法。
背景技术
沉浸式医学可视化将医学可视化与虚拟现实技术结合，不仅能够逼真的表现医学图像的立体形态，与此同时还能够对图像的呈现方式进行调整，多角度、多层次的观察与分析医学影像数据。以CT数据为例，传统分析方式是观察每一张平扫图像，然后医疗专家借助先验知识主观构建每一个器官或结构的立体图像并做出合理解释。而在沉浸式医学可视化系统中，可以直接对从医学设备获得的图像数据进行三维重建，并投影到头戴式显示设备中构建立体图像。用户在沉浸式环境中能够获得更多的深度信息和上下文关系，相比于传统的分析方式，医学图像可视化的应用使传统医学诊断所依赖的波形图、二维截面图变成更加直观并可方便交互操作的三维医学模型，实现从任意角度多层次立体观察，为医学诊断、治疗提供了一个安全、可靠、准确的解决途径。
现阶段沉浸式环境下的交互方式主要有三种：传统交互，手柄交互和手势交互。传统交互是基于鼠标、键盘等传统交互设备的交互，这些设备适用于二维人机对话方式的交互，交互方式简单精确，但在进行三维交互时缺乏深度信息和上下文关系，用户的整体视觉空间被渲染的可视化映射所覆盖，用户无法感知到交互设备的具体位置。手柄交互是现阶段沉浸式环境下比较常用的交互方式，如Oculus Touch、HTC Vive等。手柄交互具有可用性高、延迟低等优点，与传统交互方式不同，手柄交互通过追踪手柄设备将实时的位置和方向信息映射到虚拟空间中，用户借助投影出的手柄设备完成交互操作；然而在沉浸式环境中，用户更希望通过双手直接操控虚拟空间中的物体，即以人为中心的自然人机交互。手势交互是通过人体信息的自然输入实现的人机交互，具有自然、直观、灵活的特点，借助针对手势的体感设备，用户可以在沉浸式环境中直接通过双手操作虚拟空间中的三维图像，降低了交互的复杂度和学习门槛，但现阶段基于视觉的手势识别与交互响应仍存在诸多问题，如手势追踪不稳定、追踪范围有限制、交互手势单一、交互功能与手势绑定困难等。
发明内容
本发明的目的就在于为了解决上述问题而提供一种利用非接触式手势交互操作实现从不同角度和不同方向观察数据、有效提高对医学图像分析效率的沉浸式环境下针对医学图像的可视化呈现和交互方法。
本发明通过以下技术方案来实现上述目的：
一种沉浸式环境下针对医学图像的可视化呈现和交互方法，包括以下步骤：
步骤一、加载医学图像数据；
步骤二、数据预处理；
步骤三、对预处理后数据进行可视化绘制；
步骤四、通过头戴式显示设备沉浸式显示可视化绘制结果；这里的头戴式显示设备优选HTC Vive，是由HTC与Valve联合开发的一款VR头显(虚拟现实头戴式显示器)产品；
步骤五、借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；这里的体感控制器优选Leap Motion，是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器；
步骤六、引入弹簧模型去除手势的抖动，提高手势识别准确率；
步骤七、手势动作定义，包括手握拳平移、双手向两边移动、双手旋转和单手张开移动这四种手势动作的定义；
步骤八、交互功能与手势动作绑定，上述四种手势动作依次对应缩放、位移、旋转和剖切这四种交互操作；
步骤九、通过游标模型基于上下文判断手势状态；
步骤十、根据手势状态执行对应交互任务。
作为优选，所述步骤六中，在手的每个关节点添加虚拟弹簧以减少抖动，具体来说，所述弹簧模型的建立方法是：选取一段时间内的第一个手势作为模板手势，当后面时间序列中的手势与模板手势之间的距离小于或等于D时，沉浸式环境下呈现的手势被锁定为模板手势；当后面时间序列中的手势与模板手势之间的距离大于D时，将该手势作为新的模板手势；对于从体感控制器获取的手部模型，将单手划分为25个关节点，每个手指有5个包含指尖的关节点，为手指每个关节点赋予不同的权重；当关节点靠近指尖时，权重会降低；上述手势与模板手势之间的距离其中，i表示手指，j表示每根手指的关节点，wj表示每根手指的第j个关节点的权重，dij表示第i根手指的第j个关节点与模板手势对应的关节点之间的空间距离。
作为优选，所述步骤八中，所述位移、缩放、旋转这三种交互操作的实现方式为：首先通过平移矩阵将交互目标平移到原点，然后通过旋转矩阵和缩放矩阵对其进行旋转和缩放，最后通过平移矩阵将其平移到新坐标；新坐标的计算公式为M＝T(-x1，-y1，-z1)*R(θ)*S(s)*T(x2，y2，z2)，其中，(x1，y1，z1)和(x2，y2，z2)分别是交互前和交互后双手的中心点，θ为双手旋转的角度，s为缩放因子，大小等于交互前后双手距离的比值。
具体地，所述步骤八中，所述位移这种交互操作与对应的手势动作绑定的方法是：单手或者双手握拳，系统根据手的方向选中交互目标，然后向一个方向移动，目标的位置会随着手的移动而改变位置；当手不再保持握拳状态时，则为结束状态。
具体地，所述步骤八中，所述缩放这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整双手之间的距离，目标的位置会随着双手距离的变化改变大小，当双手距离变大时，交互目标会被放大，双手距离变小时，交互目标会被缩小；当手不再保持握拳状态时，则为结束状态。
具体地，所述步骤八中，所述旋转这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整由左手到右手的射线所在的方向，目标的位置会随之改变方向；当手不再保持握拳状态时，则为结束状态。
具体地，所述步骤八中，所述剖切这种交互操作与对应的手势动作绑定的方法是：单手张开，系统向手掌所在的位置添加切面，切面的方向为手心所对着的方向，当手的位置和方向发生改变时，虚拟现实场景中的切面的位置和方向会随之改变；当手不再保持张开状态时，则为结束状态。
具体地，所述步骤九中，每一种手势均包含三个状态：准备，执行，结束；对于位移、缩放、旋转这三种交互操作对应的手势，在准备状态时根据手的方向和位置确定交互目标；在执行状态响应交互操作从而改变交互目标的位置、大小或方向；在结束状态释放此次交互占用的资源；对于剖切这种交互操作对应的手势，在准备状态时根据手的位置和方向在虚拟空间中构建切面；在执行状态时切面跟随手的移动和旋转变化；在结束状态时删除该切面。
作为优选，所述步骤九的具体方法是：先通过手势识别得到一组不断更新的手势操作序列，保存手势操作序列中最近的三个手势，根据这三个手势所代表的操作确定此时位于交互的哪一个阶段，即手势的状态；当手势操作序列更新且新的手势被识别时，向后移动游标，更新游标内的手势，然后再根据游标内的手势判断操作的状态；在交互过程中，当游标内第一个手势为非交互操作且后面两个为相同的手势操作时，标记此时为准备状态，执行后面两个手势的准备工作；当游标内的三个手势相同时，标记此时为执行状态，执行游标内手势所对应的交互操作；当游标内最后一个手势与其它两个手势不同时，将状态改为结束，执行前两个手势操作的结束工作。
本发明的有益效果在于：
本发明以设计高体验度的沉浸式医学可视化用户交互方式为出发点，结合目前热门的虚拟现实技术、可视化技术与沉浸式展示技术，通过头戴式显示设备构建沉浸式医学可视化显示平台，呈现三维医学图像数据绘制结果，同时利用基于非接触式的手势动作交互控制的体感控制器，结合沉浸式医学可视化中的关注需求，实现了位移、缩放、旋转、剖切等交互范例来改善用户的沉浸式体验，帮助用户多层次多角度立体观察与分析医学图像的可视化绘制结果；沉浸式模拟借助多维视角、情境学习和场景变换，能够帮助用户个体更好地理解并保留空间信息，有效分析复杂三维图像；虚拟现实技术与医学可视化的结合，实现从不同角度和不同方向观察数据，从本质上拓展了人机交互的应用领域，有效地提高了分析和理解医学图像数据的效率和质量。
附图说明
图1是本发明所述沉浸式环境下针对医学图像的可视化呈现和交互方法的整体流程图；
图2是本发明中利用弹簧模型去除手势抖动的流程图；
图3是本发明中游标模型的示意图，图中以位移操作为例；
图4是本发明中位移、缩放、旋转这三种操作的原理图；
图5是本发明中对医学图像进行位移操作的手势交互效果图；
图6是本发明中对医学图像进行缩放操作的手势交互效果图；
图7是本发明中对医学图像进行旋转操作的手势交互效果图；
图8是本发明中对医学图像进行剖切操作的手势交互效果图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本发明所述沉浸式环境下针对医学图像的可视化呈现和交互方法，包括以下步骤：
步骤一、加载医学图像数据，本步骤为常规技术；
步骤二、数据预处理，使其满足可视化绘制算法的数据参数要求，本步骤为常规技术；
步骤三、通过光线透射算法对预处理后数据进行可视化绘制，通过设置不透明度和颜色来显示体数据内部的不同结构和细节；
步骤四、通过头戴式显示设备HTC Vive沉浸式显示可视化绘制结果，在虚拟环境中呈现三维医学图像的绘制结果；
步骤五、借助体感控制器Leap Motion跟踪手势动作，构建手势模型，获取手势的关节点信息坐标；
步骤六、引入弹簧模型去除手势的抖动，提高手势识别准确率；
步骤七、手势动作定义，包括手握拳平移、双手向两边移动、双手旋转和单手张开移动这四种手势动作的定义；
步骤八、交互功能与手势动作绑定，上述四种手势动作依次对应缩放、位移、旋转和剖切这四种交互操作；
步骤九、通过游标模型基于上下文判断手势状态；
步骤十、根据手势状态执行对应交互任务。
如图2所示，所述步骤六中，所述弹簧模型的建立方法是：选取一段时间内的第一个手势作为模板手势；对后续手势进行动作识别，获取当前手势的空间位置与姿态；计算当前手势与模板手势之间的距离，对于从体感控制器Leap Motion获取的手部模型，将单手划分为25个关节点，每个手指有5个包含指尖的关节点，为手指每个关节点赋予不同的权重，当关节点靠近指尖时，权重会降低，当前手势与模板手势之间的距离其中，i表示手指，j表示每根手指的关节点，wj表示每根手指的第j个关节点的权重，dij表示第i根手指的第j个关节点与模板手势对应的关节点之间的空间距离；当后面时间序列中的手势与模板手势之间的距离小于或等于D时，则认定为模板匹配成功，沉浸式环境下呈现的手势被锁定为模板手势，保证呈现的手势姿态不会发生突变，只有方向和位置跟随手的位置发生变化；当后面时间序列中的手势与模板手势之间的距离大于D时，则认为模板匹配不成功，将该手势作为新的模板手势。
游标模型(以位移操作为例)的原理如下：
每一种手势均包含三个状态：准备，执行，结束；对于位移、缩放、旋转这三种交互操作对应的手势，在准备状态时根据手的方向和位置确定交互目标；在执行状态响应交互操作从而改变交互目标的位置、大小或方向；在结束状态释放此次交互占用的资源；对于剖切这种交互操作对应的手势，在准备状态时根据手的位置和方向在虚拟空间中构建切面；在执行状态时切面跟随手的移动和旋转变化；在结束状态时删除该切面。
如图3所示，所述步骤九的具体方法是：先通过手势识别可以得到一组不断更新的手势操作序列，游标模型保存手势序列中最近的三个手势，算法根据这三个手势所代表的操作可以确定此时位于交互的哪一个阶段，即手势的状态；当手势序列更新，新的手势被识别时，算法向后移动游标，更新游标内的手势，然后再根据游标内的手势判断操作的状态；在交互过程中，当游标内第一个手势为非交互操作，后面两个为相同的手势操作时，算法标记此时为准备状态，执行后面两个手势的准备工作；当游标内的三个手势相同时，算法标记此时为执行状态，执行游标内手势所对应的交互操作；当游标内最后一个手势与其它两个手势不同时，算法将状态改为结束，执行前两个手势操作的结束工作。
如图4所示，位移、缩放、旋转这三种操作的原理如下：图中A1B1是交互之前手的空间位置，A2B2是交互之后手的空间位置；d1和d2分别是交互前和交互后双手间距离，即线段A1B1和A2B2的长度；D1(x1，y1，z1)和D2(x2，y2，z2)分别是交互前和交互后双手的中心点，即线段A1B1和A2B2的中点；θ为双手旋转的角度，即A1B1和A2B2的夹角，若无旋转，则θ＝0。这三种交互的变换矩阵公式为M＝T(-x1，-y1，-z1)*R(θ)*S(s)*T(x2，y2，z2)。在交互过程中，首先通过平移矩阵T(-x1，-y1，-z1)将交互对象平移到原点，然后通过旋转矩阵R(θ)进行旋转，随后通过缩放矩阵S(s)改变图像大小，最后再通过平移矩阵T(x2，y2，z2)将图像平移到新的坐标。旋转矩阵为：
其中，向量(u，v，w)是向量A1B1和向量A2B2所在平面的法线，是旋转轴的单位向量；旋转矩阵R(θ)表示在右手定则下绕旋转轴(u，v，w)旋转θ角度；缩放矩阵的缩放因子s＝d2/d1。
如图5所示，位移这种交互操作与对应的手势动作绑定的方法是：单手或者双手握拳，系统根据手的方向选中交互目标，然后向一个方向移动，目标的位置会随着手的移动而改变位置；当手不再保持握拳状态时，则为结束状态。
如图6所示，缩放这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整双手之间的距离，目标的位置会随着双手距离的变化改变大小，当双手距离变大时，交互目标会被放大，双手距离变小时，交互目标会被缩小；当手不再保持握拳状态时，则为结束状态。
如图7所示，旋转这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整由左手到右手的射线所在的方向，目标的位置会随之改变方向；当手不再保持握拳状态时，则为结束状态。
如图8所示，剖切这种交互操作与对应的手势动作绑定的方法是：单手张开，系统向手掌所在的位置添加切面，切面的方向为手心所对着的方向，当手的位置和方向发生改变时，虚拟现实场景中的切面的位置和方向会随之改变；当手不再保持张开状态时，则为结束状态。
说明：上述各步骤的具体描述与附图中的描述不一定完全相同，但内容相互对应，其目的是便于在附图中用简短语言描述具体的方法。
上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (8)

1.一种沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：包括以下步骤：
步骤一、加载医学图像数据；
步骤二、数据预处理；
步骤三、对预处理后数据进行可视化绘制；
步骤四、通过头戴式显示设备沉浸式显示可视化绘制结果；
步骤五、借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；
步骤六、引入弹簧模型去除手势的抖动，提高手势识别准确率；
步骤七、手势动作定义，包括手握拳平移、双手向两边移动、双手旋转和单手张开移动这四种手势动作的定义；
步骤八、交互功能与手势动作绑定，上述四种手势动作依次对应缩放、位移、旋转和剖切这四种交互操作；
步骤九、通过游标模型基于上下文判断手势状态；
步骤十、根据手势状态执行对应交互任务。
2.根据权利要求1所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤六中，所述弹簧模型的建立方法是：选取一段时间内的第一个手势作为模板手势，当后面时间序列中的手势与模板手势之间的距离小于或等于D时，沉浸式环境下呈现的手势被锁定为模板手势；当后面时间序列中的手势与模板手势之间的距离大于D时，将该手势作为新的模板手势；对于从体感控制器获取的手部模型，将单手划分为25个关节点，每个手指有5个包含指尖的关节点，为手指每个关节点赋予不同的权重；当关节点靠近指尖时，权重会降低；上述手势与模板手势之间的距离其中，i表示手指，j表示每根手指的关节点，wj表示每根手指的第j个关节点的权重，dij表示第i根手指的第j个关节点与模板手势对应的关节点之间的空间距离。
3.根据权利要求1所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述位移、缩放、旋转这三种交互操作的实现方式为：首先通过平移矩阵将交互目标平移到原点，然后通过旋转矩阵和缩放矩阵对其进行旋转和缩放，最后通过平移矩阵将其平移到新坐标；新坐标的计算公式为M＝T(-x1，-y1，-z1)*R(θ)*S(s)*T(x2，y2，z2)，其中，(x1，y1，z1)和(x2，y2，z2)分别是交互前和交互后双手的中心点，θ为双手旋转的角度，s为缩放因子，大小等于交互前后双手距离的比值。
4.根据权利要求1或3所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述位移这种交互操作与对应的手势动作绑定的方法是：单手或者双手握拳，系统根据手的方向选中交互目标，然后向一个方向移动，目标的位置会随着手的移动而改变位置；当手不再保持握拳状态时，则为结束状态。
5.根据权利要求1或3所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述缩放这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整双手之间的距离，目标的位置会随着双手距离的变化改变大小，当双手距离变大时，交互目标会被放大，双手距离变小时，交互目标会被缩小；当手不再保持握拳状态时，则为结束状态。
6.根据权利要求1或3所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述旋转这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整由左手到右手的射线所在的方向，目标的位置会随之改变方向；当手不再保持握拳状态时，则为结束状态。
7.根据权利要求1所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述剖切这种交互操作与对应的手势动作绑定的方法是：单手张开，系统向手掌所在的位置添加切面，切面的方向为手心所对着的方向，当手的位置和方向发生改变时，虚拟现实场景中的切面的位置和方向会随之改变；当手不再保持张开状态时，则为结束状态。
8.根据权利要求1所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：
所述步骤九中，每一种手势均包含三个状态：准备，执行，结束；对于位移、缩放、旋转这三种交互操作对应的手势，在准备状态时根据手的方向和位置确定交互目标；在执行状态响应交互操作从而改变交互目标的位置、大小或方向；在结束状态释放此次交互占用的资源；对于剖切这种交互操作对应的手势，在准备状态时根据手的位置和方向在虚拟空间中构建切面；在执行状态时切面跟随手的移动和旋转变化；在结束状态时删除该切面；
所述步骤九的具体方法是：先通过手势识别得到一组不断更新的手势操作序列，保存手势操作序列中最近的三个手势，根据这三个手势所代表的操作确定此时位于交互的哪一个阶段，即手势的状态；当手势操作序列更新且新的手势被识别时，向后移动游标，更新游标内的手势，然后再根据游标内的手势判断操作的状态；在交互过程中，当游标内第一个手势为非交互操作且后面两个为相同的手势操作时，标记此时为准备状态，执行后面两个手势的准备工作；当游标内的三个手势相同时，标记此时为执行状态，执行游标内手势所对应的交互操作；当游标内最后一个手势与其它两个手势不同时，将状态改为结束，执行前两个手势操作的结束工作。
CN201910013713.4A 2019-01-07 2019-01-07 沉浸式环境下针对医学图像的可视化呈现和交互方法 Pending CN109960403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910013713.4A CN109960403A (zh) 2019-01-07 2019-01-07 沉浸式环境下针对医学图像的可视化呈现和交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910013713.4A CN109960403A (zh) 2019-01-07 2019-01-07 沉浸式环境下针对医学图像的可视化呈现和交互方法

Publications (1)

Publication Number Publication Date
CN109960403A true CN109960403A (zh) 2019-07-02

Family

ID=67023468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910013713.4A Pending CN109960403A (zh) 2019-01-07 2019-01-07 沉浸式环境下针对医学图像的可视化呈现和交互方法

Country Status (1)

Country Link
CN (1) CN109960403A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639531A (zh) * 2020-04-24 2020-09-08 中国人民解放军总医院 一种基于手势识别的医学模型交互可视化方法及系统
CN112099635A (zh) * 2020-09-18 2020-12-18 四川轻化工大学 一种沉浸式环境下的手势交互评估模型
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
CN112527112A (zh) * 2020-12-08 2021-03-19 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN112764538A (zh) * 2021-01-13 2021-05-07 杭州师范大学 一种vr环境下基于手势交互的空间能力提升方法
CN113741701A (zh) * 2021-09-30 2021-12-03 之江实验室 一种基于体感手势控制的脑神经纤维束可视化方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070036A1 (en) * 2010-09-17 2012-03-22 Sung-Gae Lee Method and Interface of Recognizing User's Dynamic Organ Gesture and Electric-Using Apparatus Using the Interface
US20120176305A1 (en) * 2011-01-06 2012-07-12 Samsung Electronics Co., Ltd. Display apparatus controlled by a motion, and motion control method thereof
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
CN104699233A (zh) * 2014-04-14 2015-06-10 杭州海康威视数字技术股份有限公司 一种对屏幕进行操作控制的方法和系统
CN104915009A (zh) * 2015-06-25 2015-09-16 深圳先进技术研究院 手势预判的方法及系统
CN105404387A (zh) * 2014-09-16 2016-03-16 洪永川 手势遥控智能终端系统
CN106778670A (zh) * 2016-12-30 2017-05-31 上海集成电路研发中心有限公司 手势识别装置及识别方法
CN106980383A (zh) * 2017-03-31 2017-07-25 哈尔滨工业大学 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070036A1 (en) * 2010-09-17 2012-03-22 Sung-Gae Lee Method and Interface of Recognizing User's Dynamic Organ Gesture and Electric-Using Apparatus Using the Interface
US20120176305A1 (en) * 2011-01-06 2012-07-12 Samsung Electronics Co., Ltd. Display apparatus controlled by a motion, and motion control method thereof
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
CN104699233A (zh) * 2014-04-14 2015-06-10 杭州海康威视数字技术股份有限公司 一种对屏幕进行操作控制的方法和系统
CN105404387A (zh) * 2014-09-16 2016-03-16 洪永川 手势遥控智能终端系统
CN104915009A (zh) * 2015-06-25 2015-09-16 深圳先进技术研究院 手势预判的方法及系统
CN106778670A (zh) * 2016-12-30 2017-05-31 上海集成电路研发中心有限公司 手势识别装置及识别方法
CN106980383A (zh) * 2017-03-31 2017-07-25 哈尔滨工业大学 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
THAMMATHIP PIUMSOMBOON ET. AL.: "《User-Defined Gestures for Augmented Reality》", 《CHI "13 EXTENDED ABSTRACTS ON HUMAN FACTORS IN COMPUTING SYSTEMS》 *
王彩红，沈燕飞，王毅，朱珍民: "《基于时空上下文的手势跟踪与识别》", 《计算机工程与应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639531A (zh) * 2020-04-24 2020-09-08 中国人民解放军总医院 一种基于手势识别的医学模型交互可视化方法及系统
CN112099635A (zh) * 2020-09-18 2020-12-18 四川轻化工大学 一种沉浸式环境下的手势交互评估模型
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
CN112527112A (zh) * 2020-12-08 2021-03-19 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN112764538A (zh) * 2021-01-13 2021-05-07 杭州师范大学 一种vr环境下基于手势交互的空间能力提升方法
CN113741701A (zh) * 2021-09-30 2021-12-03 之江实验室 一种基于体感手势控制的脑神经纤维束可视化方法及系统

Similar Documents

Publication Publication Date Title
CN109960403A (zh) 沉浸式环境下针对医学图像的可视化呈现和交互方法
US11543933B2 (en) Manipulating virtual environment using non-instrumented physical object
Wang et al. Real-time hand-tracking with a color glove
US9665988B2 (en) Systems and methods for data visualization using three-dimensional displays
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
KR101705924B1 (ko) 공간 운영 시스템을 위한 공간, 다중-모드 제어 장치
Thomas et al. Spatial augmented reality—A tool for 3D data visualization
Chen et al. A multichannel human-swarm robot interaction system in augmented reality
Shen et al. CUDA-based real-time hand gesture interaction and visualization for CT volume dataset using leap motion
Shen et al. Gpu-based realtime hand gesture interaction and rendering for volume datasets using leap motion
Wong et al. Virtual 3d sculpting
CN104820584B (zh) 一种面向层次化信息自然操控的3d手势界面的构建方法及系统
O'Hagan et al. Visual gesture interfaces for virtual environments
Baker et al. Human factors in virtual environments for the visual analysis of scientific data
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
Wang et al. Immersive wysiwyg (what you see is what you get) volume visualization
Kiyokawa et al. A tunnel window and its variations: Seamless teleportation techniques in a virtual environment
Vlasov et al. Haptic rendering of volume data with collision determination guarantee using ray casting and implicit surface representation
Kolaric et al. Direct 3D manipulation using vision-based recognition of uninstrumented hands
Turner et al. Head‐Tracked Stereo Viewing with Two‐Handed 3 D Interaction for Animated Character Construction
Friedman et al. Using a brain-computer interface in highly-immersive virtual reality
Qi et al. Reach the virtual environment: 3D tangible interaction with scientific data
CN113887497A (zh) 一种基于手势绘图表面的虚拟现实中的三维草图绘制方法
Schkolne Making digital shapes by hand
Jackson Expressive spatial Interfaces for scientific visualization and artistic 3D Modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190702