CN113724360A - 一种取用实验材料的虚实模拟方法 - Google Patents

一种取用实验材料的虚实模拟方法 Download PDF

Info

Publication number
CN113724360A
CN113724360A CN202110984026.4A CN202110984026A CN113724360A CN 113724360 A CN113724360 A CN 113724360A CN 202110984026 A CN202110984026 A CN 202110984026A CN 113724360 A CN113724360 A CN 113724360A
Authority
CN
China
Prior art keywords
operator
taking
gesture
experimental
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110984026.4A
Other languages
English (en)
Inventor
冯志全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202110984026.4A priority Critical patent/CN113724360A/zh
Publication of CN113724360A publication Critical patent/CN113724360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/02—Devices for withdrawing samples
    • G01N1/10—Devices for withdrawing samples in the liquid or fluent state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Analytical Chemistry (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Hydrology & Water Resources (AREA)
  • Chemical & Material Sciences (AREA)
  • Marketing (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种取用实验材料的虚实模拟方法，所述的方法包括：S1：获取操作者手掌法线方向的姿态参数；S2：构建上述姿态参数与实验工具的映射关系；S3：实验开始后，检测操作者的姿态；S4：利用步骤S2构建的映射关系，计算取用的药量；S5：将药量的取用过程进行实时的动画模拟和显示。该发明能够真实反映取用动作与取用药量之间的因果关系，规范操作者的行为。

Description

一种取用实验材料的虚实模拟方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种取用实验材料的虚实模拟方法。
背景技术
现有虚拟融合的中学实验系统，在取用粉末状的实验材料时，普遍采用纯虚拟方法，即通过提前设置固定的药量及其大小，并用提前制作好的固定动画进行显示。
采用上述方法，仅仅能反映出取用药剂的动作行为，对于取用动作与取用药量之间的因果关系，现有技术完全无法模拟，因此也就无法规范操作者在取用粉末状实验材料时的行为，一旦脱离虚拟场景，在现实场景进行操作时，会造成取用药量的偏差，容易发生危险。
发明内容
为了解决上述问题，本申请提供了一种取用实验材料的虚实模拟方法，能够真实反映取用动作与取用药量之间的因果关系，规范操作者的行为。
本发明公开了如下技术方案：
本发明实施例提供了一种取用实验材料的虚实模拟方法，所述的方法包括：
S1：获取操作者手掌法线方向的姿态参数；
S2：构建上述姿态参数与实验工具的映射关系；
S3：实验开始后，检测操作者的姿态；
S4：利用步骤S2构建的映射关系，计算取用的药量；
S5：将药量的取用过程进行实时的动画模拟和显示。
进一步的，所述的方法还包括：
S6：操作者根据动画显示，调整手势操作姿态，直到取用药量达到操作要求为止。
进一步的，步骤S6中，系统通过语音、文字等交互形式对操作者使用工具的行为过程进行指引、提示、指导或警示。
进一步的，步骤S1的具体实现过程为：
利用陀螺仪、姿态感知仪、倾斜角度传感器、惯性传感器等感知输入设备获取操作者手势姿态、手势运动方向、操作速度；
采用现有公知技术中的手势重构与跟踪算法获取手势姿态参数；
计算手掌前向方向D1＝P1-P0，其中，P1和P0分别表示食指和大拇指的指根关节的位置坐标；
计算手掌法线方向D2＝D1*(P4-P1)，其中，P4和P1分别表示无名指和食指指根的位置坐标。
进一步的，步骤S2中的映射关系为：M＝f(C)，其中，M是实验工具所取用的药量，C是手掌法线方向的姿态参数，f是转换函数。
进一步的，步骤S5的具体实现过程为：
根据药量计算药剂的体积V；
把体积V采用柱状、堆状、粒子状等实验药剂的实际形状在显示器上呈现。
进一步的，步骤S5中的体积V为不断变化的实时体积，在显示器上呈现时，首先给出V的初始大小形状V_0，然后以V_0为系数进行等比例变换，实时生成药品试剂图形。
本发明的有益效果：
相比于现有技术中利用固定动画演示的方式，本申请通过操作者手掌法线方向的姿态参数，构建了与实验工具之间的映射关系，从而能够真实反映手势姿态与取用药量之间的因果关系，并将该关系通过实施方式呈现在显示器上。不仅如此，利用该关系，操作者可以使用操作工具对实验试剂或药品进行连续取样，并将取用药量不断累加的过程呈现在显示器上。
附图说明
图1为本发明方法实施例的流程图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。
如图1所示，本发明实施例提供了一种取用实验材料的虚实模拟方法，所述的方法包括：
一种取用实验材料的虚实模拟方法，所述的方法包括：
S1：获取操作者手掌法线方向的姿态参数。
步骤S1的具体实现过程为：
利用陀螺仪、姿态感知仪、倾斜角度传感器、惯性传感器等感知输入设备获取操作者手势姿态、手势运动方向、操作速度；
采用现有公知技术中的手势重构与跟踪算法获取手势姿态参数；
计算手掌前向方向D1＝P1-P0，其中，P1和P0分别表示食指和大拇指的指根关节的位置坐标；
计算手掌法线方向D2＝D1*(P4-P1)，其中，P4和P1分别表示无名指和食指指根的位置坐标。
S2：构建上述姿态参数与实验工具的映射关系。
一般来说，取用粉末状实验材料通常使用药勺，在使用药勺摄取药品的过程中，需要获取药勺的关键参数是药勺沿垂直于手腕方向的旋转角度，手腕的旋转角度就是手掌法线方向D2的旋转角度，因此，手掌法线方向的旋转角度→手腕的旋转角度→药勺的旋转角度，这就是使用药勺摄取药品的过程中将操作的行为参数(间接)转化为工具态势参数的基本逻辑。
基于上述逻辑，利用M＝f(C)可以计算实验工具所隐喻的药量。其中，C是手掌法线方向的姿态参数，M是实验工具所取用的药量，f是转换函数。例如，对于操作工具药勺，可以直接用M＝kC估计所取试剂的数量，其中，k是一个经验参数,一般取值为2～5。
同理，上述原理也可以应用于液体实验材料。
S3：实验开始后，检测操作者的姿态。
S4：利用步骤S2构建的映射关系，计算取用的药量。
S5：将药量的取用过程进行实时的动画模拟和显示。
步骤S5的具体实现过程为：
根据药量计算药剂的体积V，体积V＝M/ρ。其中，V和M分别是实验工具所取实验试剂的体积和重量,ρ是试剂的密度。
把体积V采用柱状、堆状、粒子状等实验药剂的实际形状，利用计算机仿真方法在显示器上呈现。
根据步骤S2的映射关系可知，药量与药勺插入试剂的深度和翻转角度都有关系，因此，在取用过程中，体积V是一个不断变化的数值，在显示器上呈现时，首先给出V的初始大小形状V_0，然后根据V＝MV_0确定V的大小，即以V_0为系数进行等比例变换，实时生成药品试剂图形。
S6：操作者根据可视化呈现，不断调整手势操作行为，系统通过语音、文字等多模态形式对操作者使用工具的行为过程进行指引、提示、指导或警示。操作者与系统之间反复交互，直到工具所隐喻的量达到操作者的要求为止。
为了实现上述方法，在使用中可以构建一套如下所述的系统：
系统可以由姿态传感设备、摄像头、实验操作工具或其替代体(简称为工具)、计算与显示设备等所组成。其中，姿态传感设备主要穿戴于操作者的手上，它与计算与显示设备之间通过通讯装置相连接。计算与显示设备主要感知姿态传感设备的参数、计算并可视化操作者对操作工具的操作过程。摄像头获取手势运动方向与轨迹。
利用上述系统，操作者对工具的操作过程在计算与显示设备或VR/AR系统中实时可视化呈现；操作者手中的实物工具(模具)在系统中有对应的虚拟工具；工具所隐喻的药量在系统中可以实时虚拟可视化呈现。姿态传感设备可以用现有任意的公知手势重构与跟踪算法取而代之，即可以用现有软件算法捕获操作者的手势姿态参数。
需要注意的是，本发明的手势姿态是指手势的手掌方向向量、手指方向向量等可以唯一确定手势或手指姿态的基本方向向量。
利用上述系统，以药勺取用药剂为例，实际操作和演示状况如下：
首先，姿态传感器和摄像头分别与计算机相连接，操作者将一个姿态传感器戴在手上，手中拿握一个药勺模具，姿态传感器的值赋给药勺模具。然后，在显示器上实时显示虚拟药勺。
在使用药勺从药瓶中摄取药剂的过程中，在虚拟药勺的勺嘴上实时呈现虚拟的药剂；随着手掌随手腕向右旋转，且手势向下运动，则计算机显示器中虚拟药勺药嘴上的药剂逐渐变大，与此同时，勺嘴附近显示药剂重量(例如1g,2g,3g,,.....)，反之亦然。由此，操作者通过真实的药勺操作，计算机屏幕上实时呈现所取药剂的大小与重量，并通过调整手势姿态等交互的方法，实时连续地改变药剂的数量。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明的具体结构，但不以任何方式限制本发明创造。因此，尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (7)

1.一种取用实验材料的虚实模拟方法，其特征在于，所述的方法包括：
S1：获取操作者手掌法线方向的姿态参数；
S2：构建上述姿态参数与实验工具的映射关系；
S3：实验开始后，检测操作者的姿态；
S4：利用步骤S2构建的映射关系，计算取用的药量；
S5：将药量的取用过程进行实时的动画模拟和显示。
2.根据权利要求1所述的一种取用实验材料的虚实模拟方法，其特征在于，所述的方法还包括：
S6：操作者根据动画显示，调整手势操作姿态，直到取用药量达到操作要求为止。
3.根据权利要求2所述的一种取用实验材料的虚实模拟方法，其特征在于，步骤S6中，系统通过交互对操作者使用工具的行为过程进行指引、提示、指导或警示。
4.根据权利要求1或2所述的一种取用实验材料的虚实模拟方法，其特征在于，步骤S1的具体实现过程为：
利用感知输入设备获取操作者手势姿态、手势运动方向、操作速度；
采用现有公知技术中的手势重构与跟踪算法获取手势姿态参数；
计算手掌前向方向D1＝P1-P0，其中，P1和P0分别表示食指和大拇指的指根关节的位置坐标；
计算手掌法线方向D2＝D1*(P4-P1)，其中，P4和P1分别表示无名指和食指指根的位置坐标。
5.根据权利要求4所述的一种取用实验材料的虚实模拟方法，其特征在于，步骤S2中的映射关系为：M＝f(C)，其中，M是实验工具所取用的药量，C是手掌法线方向的姿态参数，f是转换函数。
6.根据权利要求1或2所述的一种取用实验材料的虚实模拟方法，其特征在于，步骤S5的具体实现过程为：
根据药量计算药剂的体积V；
采用计算机仿真方法把实验药剂的实际形状在显示器上呈现。
7.根据权利要求6所述的一种取用实验材料的虚实模拟方法，其特征在于，步骤S5中的体积V为不断变化的实时体积，在显示器上呈现时，首先给出V的初始大小形状V_0，然后以V_0为系数进行等比例变换，实时生成药品试剂图形。
CN202110984026.4A 2021-08-25 2021-08-25 一种取用实验材料的虚实模拟方法 Pending CN113724360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984026.4A CN113724360A (zh) 2021-08-25 2021-08-25 一种取用实验材料的虚实模拟方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984026.4A CN113724360A (zh) 2021-08-25 2021-08-25 一种取用实验材料的虚实模拟方法

Publications (1)

Publication Number Publication Date
CN113724360A true CN113724360A (zh) 2021-11-30

Family

ID=78677911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984026.4A Pending CN113724360A (zh) 2021-08-25 2021-08-25 一种取用实验材料的虚实模拟方法

Country Status (1)

Country Link
CN (1) CN113724360A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706513A (zh) * 2022-04-20 2022-07-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846086A (en) * 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
CN107993492A (zh) * 2017-12-21 2018-05-04 付佳泽 实验室虚拟操作教学互动系统
CN109992107A (zh) * 2019-02-28 2019-07-09 济南大学 虚拟操控装置及其操控方法
CN110288714A (zh) * 2019-06-21 2019-09-27 济南大学 一种虚拟仿真实验系统
CN112905151A (zh) * 2021-03-23 2021-06-04 广东工业大学 多感知通道融合虚拟实验的快速创作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846086A (en) * 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
CN107993492A (zh) * 2017-12-21 2018-05-04 付佳泽 实验室虚拟操作教学互动系统
CN109992107A (zh) * 2019-02-28 2019-07-09 济南大学 虚拟操控装置及其操控方法
CN110288714A (zh) * 2019-06-21 2019-09-27 济南大学 一种虚拟仿真实验系统
CN112905151A (zh) * 2021-03-23 2021-06-04 广东工业大学 多感知通道融合虚拟实验的快速创作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘慧 等: "虚拟界面自然交互模型与算法", 浙江大学学报(工学版), vol. 50, no. 6, pages 1167 - 1174 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706513A (zh) * 2022-04-20 2022-07-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统
CN114706513B (zh) * 2022-04-20 2022-11-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统

Similar Documents

Publication Publication Date Title
Satriadi et al. Augmented reality map navigation with freehand gestures
Jankowski et al. A survey of interaction techniques for interactive 3D environments
Borst et al. Realistic virtual grasping
EP3685248B1 (en) Tracking of location and orientation of a virtual controller in a virtual reality system
WO2017012361A1 (zh) 调整虚拟物件在虚拟空间中位置的方法及装置
CN109952552A (zh) 视觉提示系统
Bai et al. 3D gesture interaction for handheld augmented reality
Naritomi et al. CalorieCaptorGlass: Food calorie estimation based on actual size using hololens and deep learning
Bossavit et al. Design choices and their implications for 3d mid-air manipulation techniques
Cui et al. Mid-air interaction with optical tracking for 3D modeling
CN113724360A (zh) 一种取用实验材料的虚实模拟方法
CN106980377A (zh) 一种三维空间的交互系统及其操作方法
Yusof et al. Finger-ray interaction using real hand in handheld augmented reality interface
CN103116411B (zh) 定位指针位置的方法及系统
Liu et al. A reconfigurable data glove for reconstructing physical and virtual grasps
Fitchett et al. Evaluating reading and analysis tasks on mobile devices: A case study of tilt and flick scrolling
CN105094327A (zh) 调整虚拟物件在虚拟空间中姿态角的方法及装置
JP2012103743A (ja) 仮想情報付与装置及び仮想情報付与プログラム
CN107102725B (zh) 一种基于体感手柄进行虚拟现实移动的控制方法及系统
White et al. A virtual reality application for stroke patient rehabilitation
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
Schwesig What makes an interface feel organic?
Messaci et al. Zoom‐fwd: Efficient technique for 3D gestual interaction with distant and occluded objects in virtual reality
CN105843479A (zh) 一种内容交互方法及其系统
Varga et al. Survey and investigation of hand motion processing technologies for compliance with shape conceptualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination