CN113672097A - 一种立体综合教学场中教师手部感知交互方法 - Google Patents
一种立体综合教学场中教师手部感知交互方法 Download PDFInfo
- Publication number
- CN113672097A CN113672097A CN202111231075.7A CN202111231075A CN113672097A CN 113672097 A CN113672097 A CN 113672097A CN 202111231075 A CN202111231075 A CN 202111231075A CN 113672097 A CN113672097 A CN 113672097A
- Authority
- CN
- China
- Prior art keywords
- hand
- teaching
- teacher
- virtual
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008447 perception Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003993 interaction Effects 0.000 title claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 230000002452 interceptive effect Effects 0.000 claims description 95
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 33
- 230000036544 posture Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 14
- 239000002775 capsule Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 10
- 230000035807 sensation Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 239000004575 stone Substances 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 210000001145 finger joint Anatomy 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000001125 extrusion Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 229920000049 Carbon (fiber) Polymers 0.000 claims description 2
- 239000004917 carbon fiber Substances 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims description 2
- 239000006260 foam Substances 0.000 claims description 2
- 239000002184 metal Substances 0.000 claims description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 2
- 239000000123 paper Substances 0.000 claims description 2
- 239000004033 plastic Substances 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000003746 surface roughness Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000005452 bending Methods 0.000 claims 1
- 210000002478 hand joint Anatomy 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000016776 visual perception Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 210000004247 hand Anatomy 0.000 description 12
- 210000001503 joint Anatomy 0.000 description 9
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000013268 sustained release Methods 0.000 description 1
- 239000012730 sustained-release form Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Human Resources & Organizations (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于信息技术的教学应用领域，提供一种立体综合教学场中教师手部感知交互方法，包括（1）手部姿态感知；（2）触觉感知模拟；（3）感知交互生成。本发明有助于立体综合教学场中视觉与触觉感知交互的生成，促进技术与教学活动的深度融合。
Description
技术领域
本发明属于信息技术的教学应用领域，更具体地，涉及一种立体综合教学场中教师手部感知交互方法。
背景技术
借助5G、人工智能、虚拟现实、数字传感等新兴技术构建的立体综合教学场，营造物理空间与网络空间高度融合、以学习者为中心的新型教学场景。借助立体综合教学场创设的虚实融合教学情境，可将师生的视觉和听觉从现实带进虚拟世界。通过头显、手柄、动作捕捉等交互设备，教师能够自主地浏览立体综合教学场的虚拟场景，满足其视觉和听觉器官体验。然而，由于交互手柄和头显采用不同的空间定位和追踪机制，难以提供高保真的触觉反馈，导致了沉浸感和分离感的矛盾，令交互体验不够自然。通过感知手部姿态、模拟触觉体验和生成感知交互行为，能够增强教师的感知能力，从而降低使用难度、提升其适应新型教学环境的能力。
但当前虚实融合系统中手部感知交互方面还存在诸多问题：（1）可识别手部动作与教师教学动作之间建立映射关系，才能执行相应的功能，增加了用户心象转换难度；（2）触觉感知涉及到人类的动觉和触觉元素，需要采用多种专有的震动、力反馈设备，增加了实现的复杂度。（3）手势识别与触觉控制器属于两个独立的信息输入通道，需采用定制化方法，才能实现教学过程的自然互动。这些缺陷限制了立体综合教学场中教师沉浸感的获取。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种立体综合教学场中教师手部感知交互方法，为立体综合教学场中教师手部感知交互提供一种新的、快速生成的途径和方式。
本发明的目的是通过以下技术措施实现的。
一种立体综合教学场中教师手部感知交互方法，包括以下步骤：
（1）手部姿态感知。使用手部传感器追踪、获取教师的手掌、手指以及手持教具的位置、方向和姿态变化；按照组合规则分解常用教学动作，构建微手势命令库，应用于教师教学手势的识别；使用深度神经网络ManipNet分析、预测教师手部的位置、姿态和轨迹。
（2）触觉感知模拟。确定触觉控制器在虚拟空间的位置，生成可触觉感知的虚拟场景；基于波形曲线，震动传感器和可倾式挤压圈模拟多种力反馈效果，动态更新可交互对象触觉组件的力反馈参数；使用音圈致动器模拟不同材质对象的触感感知值，依据触觉组件的实时监听结果，更新触觉感知参数。
（3）感知交互生成。生成可交互对象的体缓冲区，依据虚拟手与可交互对象的接近、碰撞与脱离接触状态，发出提示、通知开启或关闭触觉感知功能；支持采用手指延长光束、跳跃式和接触式方法抓取目标对象；根据识别的教师手势动作，使用音圈致动器或可执行命令，生成触觉感知和力反馈效果。
本发明的有益效果在于：
使用手部传感器追踪、获取教师的手掌、手指以及手持教具的位置、方向和姿态变化。按照组合规则分解常用教学动作，构建微手势命令库。使用深度神经网络ManipNet分析、预测教师手部的位置、姿态和轨迹。确定触觉控制器在虚拟空间的位置，生成可触觉感知的虚拟场景。基于波形曲线，震动传感器和可倾式挤压圈模拟多种力反馈效果，动态更新可交互对象触觉组件的力反馈参数。使用音圈致动器模拟不同材质对象的触感感知值，依据触觉组件的实时监听结果，更新触觉感知参数。生成可交互对象的体缓冲区，依据虚拟手与可交互对象的接近、碰撞与脱离接触状态，发出相应提示、通知开启或关闭触觉感知功能。支持采用手指延长光束、跳跃式和接触式方法抓取目标对象。根据识别的教师手势动作，使用音圈致动器或可执行命令，生成触觉感知和力反馈效果。随着5G、虚拟现实、人工智能、大数据等新兴技术在教育中的广泛应用，新型立体综合教学场正在涌现，为教师提供自然的手部交互方式日益迫切。本发明有助于立体综合教学场中视觉与触觉感知交互的生成，促进技术与教学活动的深度融合。
附图说明
图1是本发明实施例中立体综合教学场中教师手部感知方法流程图。
图2是本发明实施例中手部三维坐标系示意图。
图3是本发明实施例中手部关键点示意图，1-拇指远端指骨、2-拇指指间关节、3-拇指掌指关节、4-拇指掌骨、5-食指远端指骨、6-食指远端指尖关节、7-食指近端指尖关节、8-食指掌指关节、9-中指远端指骨、10-中指远端指间关节、11-中指近端指间关节、12-中指掌指关节、13-无名指远端指骨、14-无名指远端指间关节、15-无名指近端指间关节、16-无名指掌指关节、17-小指远端指骨、18-小指远端指间关节、19-小指近端指间关节、20-小指掌指关节、21-手腕关节。
图4是本发明实施例中三种“捏”的手势示意图。
图5是本发明实施例中手部关键点提取示意图。
图6是本发明实施例中手部镜像示意图。
图7是本发明实施例中触觉组件的组成结构示意图。
图8是本发明实施例中力反馈的波形示意图。
图9是本发明实施例中浮力实验中教师手部感受到的力触觉强度变化示意图。
图10是本发明实施例中音圈制动器扬声器阵列示意图。
图11是本发明实施例中音圈制动器模拟触觉感知示意图。
图12是本发明实施例中食指延长线光束与虚拟对象的体缓冲区、碰撞体及其自身模型的交互示意图，1201-虚拟对象、1202-碰撞体、1203-体缓冲区、1204-食指延长线光束。
图13是本发明实施例中手部胶囊碰撞器示意图。
图14是本发明实施例中手部握拳时食指碰撞器的位置关系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种立体综合教学场中教师手部感知交互方法，包括如下步骤：
（1）手部姿态感知。使用手部传感器追踪、获取教师的手掌、手指以及手持教具的位置、方向和姿态变化；按照组合规则分解常用教学动作，构建微手势命令库，应用于教师教学手势的识别；使用深度神经网络ManipNet分析、预测教师手部的位置、姿态和轨迹，并镜像另一只手的相应参数。
（1-1）手部信息描述。使用手部传感器追踪、获取真实教学空间中教师手部手掌、手指的位置和方向；采用三维笛卡尔坐标系描述手部的位置、姿态和轨迹参数；识别、获取真实教学活动过程中教师所持教具的相关参数。
（1-1-1）手部动作采集。选用红外LED和灰阶双摄像头相结合的手部追踪传感器，采集真实教学空间中传感器前方2.5~60厘米范围内的教师手部信息，运用视频图像检测技术提取手掌与手指的位置和方向，并将唯一标识ID赋予手掌与手指。
（1-1-2）手部信息描述。使用三维笛卡尔坐标系描述传感器获取的教师手部手掌中心、手指关节的位置（三维向量）、移动速度（毫米/秒）、法向量、朝向和弯曲弧度，以及手部的旋转方向和角度、缩放因子和平移向量。如图2所示，坐标原点设在传感器的中心点，X轴平行于传感器，指向屏幕右方；Y轴指向上方；Z轴指向背离屏幕的方向，单位为毫米。
（1-1-3）教师手持教具的信息采集。传感器追踪真实教学活动过程中教师的手部及其所持的细长教具，结合双目视觉和图像检测技术，从手掌中分离出教具及其相关动作，记录所获取教具的长度、宽度、方向、指尖位置与速度。
（1-2）教学手势的识别。依据手部的位置、方向和运动形态，将教师常用教学动作分解成一系列独立、有意义的微手势；生成多样化的组合规则和约束规则，构建微手势命令库；识别连续微手势动作序列，匹配其所对应的教学动作。
（1-2-1）教学手势的分解。依据手指的位置和方向，指间和掌指关节、指骨和掌骨，以及远侧与近侧间关节的运动形态，如图3所示，将教学活动中教师常用的挥手、点赞和操纵教具动作，按照21个关键节点，分解成一系列独立、有意义的微手势，图4表示了三种不同的“捏”手势动作。
（1-2-2）构建微手势命令库。依据手部的生理结构特征，分析常用教学动作中微手势的出现频次、序列变化和动作幅度，生成多样化的微手势组合规则和符合动作连续性的约束特征，构建一套面向增强教学环境的微手势命令库。
（1-2-3）手势特征的识别。将手部追踪传感器双目摄像头获取的视频图像分解成连续多帧图像，分析、识别前后帧中手部姿态变化，利用Multiview Bootstrapping算法提取手部关键特征点，生成教师的微手势命令，根据组合规则和约束特征，将微手势序列匹配成相应的教学动作。图5展示了提取教师“手掌展开”的微手势，掌指关节处所构成的三角区域为具有决定作用的约束特征，将“手掌展开”的手势与手掌翻转角度区间相结合可构成多种教学动作组合，例如，手掌水平向上，可示意学生开始讨论；手掌垂直于地面方向，可示意学生停止讨论；手掌处于水平和垂直之间角度时，可示意某个学生回答问题。
（1-3）手部动作的显示。根据教学内容，选择与教学情境相符合的手部虚拟提示；采用深度神经网络ManipNet预测手部的位置、姿态和运动轨迹；结合手部的环境和距离传感特征，作为ManipNet的特征输入，镜像生成另一只手的虚拟位置、姿态和轨迹参数。
（1-3-1）手部的虚拟提示。基于教学内容，选择与教学情境相符合的虚拟手或解剖刀、铅笔和螺丝刀作为手部的提示形式，在虚拟教学空间中表示教师双手的位置和姿态，使用延伸光束提示手部的移动方向和轨迹。
（1-3-2）手部动作的预测。采用深度神经网络ManipNet作为回归模型，逐帧分析传感器采集的教师手部手掌、手指和教具的位置、姿态与运动轨迹，基于微手势命令库及其组合规则和约束特征，消除所获取手部特征信息的模糊性，匹配教师的教学动作，准确预测教师手部姿态，以及手部与教具之间的距离。具体步骤如下：
Ⅰ.选取视频图像中固定教具作为参照对象，将公式（1）~公式（3）所表示的前一帧
图像中的手部姿势
、轨迹
和传感特征
作为模型的输入
：
Ⅱ.将手部姿势
、手部和参照对象轨迹
和传感特征
分别编码成512
维向量，具体如下：
手部姿势
：编码成512×198维向量；
手部和参照对象轨迹
：编码成512×336维向量；
传感特征
：编码成512×1822维向量。
Ⅲ.将编码后的三种向量串联，并先后通过两个剩余致密块。每个剩余致密块的操作，如公式（4）所示：
Ⅳ.将剩余致密块处理的结果，解码后输出为
，如公式（5）所示：
Ⅴ.训练ManipNet，使得
与真实数据之间的均方误差最小。
（1-3-3）手部动作的镜像。依据手部信息的实时处理结果，获取图6右侧教师单手的位置、姿态和轨迹，结合手部环境和距离的传感特征，作为ManipNet的特征输入，预测另一只手在教学空间中的位置、姿态和轨迹，并在下一帧画面中镜像生成后者的模型、姿态和位置信息，如图6左侧所示的手。
（2）触觉感知模拟。确定触觉控制器在虚拟空间的位置，生成可触觉感知的虚拟场景；基于波形曲线，震动传感器和可倾式挤压圈模拟多种力反馈效果，支持与可交互对象的碰撞检测，动态更新对象触觉组件的力反馈参数；使用音圈致动器模拟不同材质对象的触感感知值，依据触觉组件的实时监听结果，更新触觉感知参数。
（2-1）可触觉感知的虚拟场景生成。根据教学设计，将教学活动过程中需使用的虚拟模型设置为可交互对象；校准传感器摄像头和触觉控制器LED灯的闪烁频率，确定触觉控制器在虚拟空间的位置；为被选中对象提供震动、闪烁、声音或高亮色彩变化的提示。
（2-1-1）可触觉感知的虚拟场景生成。根据教学设计的要求，将教学活动中不需反馈的虚拟模型，如教室中地面、墙壁、讲台、课桌、天花板等设置为不可交互对象，将能够反馈的试管、天平、砝码等实验器材以及教鞭、板擦、直尺等教具设置为可交互模型。为虚拟场景中可交互对象添加如图7所示的触觉组件，包括纹理触觉感知、力反馈属性和自定义波形编辑、支持循环触觉播放和触觉精细控制等方法；通过碰撞测试，支持与集成触觉感知和力反馈传感器的触觉控制器互动，监听对象的行为变化。
（2-1-2）虚拟空间中的手部定位。校准手部追踪传感器摄像头与触觉控制器上LED灯光的闪烁频率，基于透视逆变换原理，依据图像中LED光斑的坐标位置，采用PnP算法，如公式（6）~公式（13）所示，求解触觉控制器在虚拟教学空间的位置。
PnP算法求解步骤如下：
3D点（LED灯）和控制点的三维坐标分别记为
，
。用
分别表示3D点在摄像头和世界坐标系中的三维坐标；用
分别表示控制点在摄像头和世界坐标系中的三维坐标。
Ⅰ.选取4个特征点，确定世界坐标系中控制点的坐标，对于每一个3D点
，满足公
式(6)：
第一步，选择所有3D点的质心位置作为第一个控制点
：
第二步，在所有3D点的三个方向上选择其余三个控制点
：
根据公式（6）计算3D点的齐次重心坐标
。
Ⅱ.计算控制点在摄像头坐标系中的坐标。
第一步，公式（10）表示控制点从像素坐标到摄像头坐标系的转换，坐标
，公式（11）表示转换过程中的约束条件：
全部3D-2D点对形成的线性方程组表示为：
第二步，公式（13）表示求解控制点在摄像头坐标系下的坐标过程：
Ⅲ.利用3D-3D匹配方法，求解摄像头在世界坐标系下的位姿，即旋转矩阵R和平移向量t，再根据摄像头与触觉控制器的相对位置关系，即可得到触觉控制器在虚拟教学空间中的位置。
（2-1-3）选中对象的提示。当教师使用触觉感知器选中虚拟教学空间中可交互对象时，采用震动、声音、闪烁和高亮提示被选中对象的状态，当教师触觉感知或力反馈发生变化时，随之采用增大或减小震动、闪烁频率，以及声音音量或高亮色调。
（2-2）力反馈的模拟。在触觉控制器中集成由电容式触控传感器与驱动铰链组成的力反馈元件，模拟多种力反馈体验；自动生成可交互对象的碰撞体，支持与触觉控制器的碰撞检测；可交互对象的触觉组件实时监听受力情况，动态更新受力参数。
（2-2-1）力触觉模拟。触觉控制器集成由电容式触控传感器与驱动铰链组成的力反馈元件，采用波形曲线模拟教师与虚拟教学场景中可交互对象的力触觉：在教师抓握或释放可交互对象时，根据力反馈元件感知的对象反作用力的大小，震动传感器依据波形曲线参数生成相应的震动强度，模拟教师抓握或释放可交互对象时的瞬时触感；在教师持续抓握可交互对象时，根据对象的形状和教师手指在对象表面的位移，计算波形的强度和周期，驱动可倾式挤压圈模拟可交互对象的重力和表面阻力反馈效果，让教师能够感知物体的形状。
波形设计具体步骤如下：
Ⅰ.波形描述。图8展示力反馈强度的波形示意图，X轴表示时间，Y轴表示力触觉强度，图中A(t,i)的含义为时刻t，教师将感受到的力触觉强度为i。
Ⅱ.波形设计。采用三角函数、指数函数、对数函数等设计力反馈的基础波形，也可以通过导入音频文件输入波形，也可通过调整4阶贝塞尔曲线的五个控制点坐标自定义波形。图9中的波形展示虚拟教学场景中浮力实验中，教师手部的力触觉强度变化过程：
教师操作触觉控制器抓取虚拟教学场景中弹簧测力器，将一块150g的小石块吊起，对应的力触觉强度为15；将石块吊入量筒内的液体中，直至石块完全沉浸，此时石块受到的浮力最大，对应的力触觉强度为11；提拉弹簧测力器，直到石块完全脱离液体表面，此时石块不受到浮力，对应的力触觉强度为15。
Ⅲ.力触觉的模拟。使用触觉组件中播放控制方法将波形转化为不同形式的振动幅度，形成力触觉反馈；通过调整震动传感器的电压和播放时间，调用播放、暂停、停止和循环播放方法，产生较强、中等、微弱的强度效果，以及短促、长、较长的持续时间效果。
（2-2-2）碰撞检测。依据可交互对象的形状及其细分部件的结构，遍历获取最小外接包围盒，组合生成可交互对象的碰撞体，结合点壳与体素模型，支持检测虚拟空间中触觉控制器是否与可交互对象发生碰撞。
（2-2-3）力反馈参数的更新。选中虚拟教学场景中可交互对象后，其触觉组件会实时监听对象的受力状况，根据触觉控制器在虚拟教学空间的坐标、姿态和运动轨迹，求解可交互对象的重力、阻力和反作用力的大小，动态更新触觉组件的受力参数。
（2-3）触觉感知的模拟。依据音圈致动器的控制指令和触发时差，模拟不同材质物体的触感感知；采用分段自回归模型拟合压力、滑动速度和纹理触觉之间的映射关系，确定可交互对象的纹理触觉感知参数；依据触觉组件监听到的信号和力值，更新对象的触觉参数。
（2-3-1）音圈致动器设计。如图10所示，在触觉控制器中集成音圈致动器元件，支持单独控制超声波扬声器集群中每个扬声器。依据音圈致动器发出的控制指令和触发时差，通过叠加超声波波形（如图11所示），多个波形重合的焦点会在教师手部皮肤上形成相应的凹痕，模拟出不同材质物体的触觉感知。具体步骤如下：
Ⅰ.获取交互对象的纹理触觉感知参数。教师与虚拟教学场景中可交互对象接触时，通过后者的触觉组件，触觉控制器能获取到对象纹理的贴图、高度、空间周期、硬度等客观特征参数。
Ⅱ.设置音圈致动器控制指令。采用五维数组speaker[K,G,F,T,L]存储音圈致动器控制指令。其中，K、G和F分别代表控制超声波扬声器的开关状态、释放超声波的强度和频率，T表示控制超声波扬声器释放第一轮超声波的初始时刻，L表示控制超声波扬声器释放每一轮超声波的时长。根据可交互对象的纹理触觉感知参数，设置每个5维数组的值。
Ⅲ.触觉感知的模拟。扬声器阵列中的每一个超声波扬声器均由相应的五维数组单独控制。根据数组中控制指令调整超声波释放强度与频率、初始释放时刻、持续释放时间以及扬声器开关状态。通过扬声器阵列协同工作叠加超声波波形，对教师手部皮肤的相应部位进行不同强度、不同频率、不同持续时长的刺激，在教师手部模拟可交互对象的表面纹理触觉感知。
（2-3-2）纹理触觉感知参数生成。使用力觉测量装置采集纸张、金属、碳纤维、织物、塑料、木质、石制和泡沫类材质物体的触觉感知参数，采用分段自回归模型拟合压力、滑动速度和纹理触觉之间的映射关系，形成不同的波形特征，将其赋给虚拟场景中可交互对象的纹理触觉感知参数。
（2-3-3）更新虚拟对象的触觉参数。根据虚拟教学场景中可交互对象的材质类别，设置其质量、表面粗糙度、硬度和弹性系数参数，依据触觉组件监听、接受到对象振动信号、滑动速度以及压力和摩擦力，更新对象的触觉参数值。
（3）感知交互生成。依据虚拟手与可交互对象的接近、碰撞与脱离接触状态，发出相应提示、通知开启或关闭触觉感知功能；生成可交互对象的体缓冲区，支持采用手指延长光束、跳跃式和接触式方法抓取目标对象；根据识别的教师手势动作，使用音圈致动器或可执行命令，生成触觉感知和力反馈效果。
（3-1）感知状态的开启和关闭。采用缓冲区机制，判别虚拟手与可交互对象的距离，若处于体缓冲区内则向教师提示接近对象；检测到与对象碰撞时，发送消息通知触觉控制器开启触觉感知功能；若满足脱离接触条件，则关闭触觉感知功能。
（3-1-1）感知状态的监听。依据体缓冲区生成方法，生成可交互对象碰撞体的缓冲区，图12中从里到外分别是虚拟模型、碰撞体和体缓冲区。场景控制组件实时接收虚拟手的位置信息，判断虚拟手与可交互对象的位置关系，若虚拟手处在对象的体缓冲区内，采用震动提示教师正在接近。
（3-1-2）激发触觉感知状态。在虚拟手的手指关节处设置胶囊碰撞器，当检测到虚拟手的胶囊碰撞器或手指的光束延长线与可交互对象发生碰撞时，后者的触控组件向场景控制组件发送处于选中状态的消息，场景控制组件通知触觉控制器开启触觉感知元件，令教师手部能体验触觉感知和力反馈的效果。胶囊碰撞器的设置和控制方法如下：
Ⅰ.在虚拟手的每个手指关节设置胶囊碰撞器，以左手食指为例，设置如图13所示的胶囊碰撞器，具体如下：
胶囊碰撞器A：在食指远端指骨和远端指关节之间；
胶囊碰撞器B：在食指远端指关节和近端指关节之间；
胶囊碰撞器C：在食指近端指关节和掌指关节之间。
Ⅱ.通过手部传感器获取教师的手势图像，与微手势命令库匹配，识别手势所对应的教学动作，可根据教学动作控制胶囊碰撞器的激活和关闭，具体如下：
左手展开时，激活碰撞器A、B和C；
左手握拳时，食指的三个碰撞器位置关系如图14所示，此时激活碰撞器B和C，关闭碰撞器A。
（3-1-3）关闭触觉感知状态。当碰撞器未检测到虚拟手与可交互对象发生碰撞，且虚拟手不在可交互对象的体缓冲区之内，可交互对象的触控组件向场景控制组件发送选中状态被取消的消息，并通知触觉控制器关闭触觉感知和力反馈功能。
（3-2）设置特殊的交互方式。生成手指的光束延长线，使用延长线光束选取虚拟场景中可交互对象；设置“鬼手”交互状态，教师可不受遮挡对象的约束，跳跃式抓取目标对象；采用震动、闪烁、声音或高亮显示强化表示被选中的可交互对象。
（3-2-1）光束延长线选取对象。依据教师手指的运动轨迹和方向，常选用食指，生成虚拟手食指的光束延长线，依据教师食指的运动轨迹和方向，选择、拖动和操纵虚拟场景中可交互对象，增加教师操作的灵敏度。
（3-2-2）跳跃式抓取对象。设置特殊的“鬼手”交互状态，支持虚拟场景中众多对象聚集时，教师使用触觉控制器穿过众多干扰的对象，在交互过程中不受前后方遮挡对象碰撞体的约束，正确抓取目标对象。例如，教师在演示生物骨骼模型时，可使用微手势命令切换到“鬼手”交互状态，此时虚拟手不受骨骼模型碰撞体的束缚，可在整个骨骼模型中任意穿梭，便于教师快速准确地选中需要单独演示、讲解的骨骼标本。再将交互状态切换到接触式抓取状态，教师即可抓取选中的骨骼标本。
（3-2-3）接触式抓取对象。教师按下触觉控制器或采用微手势命令库的选中动作，抓取虚拟场景中可交互对象，将选中对象包裹在虚拟手中，并通过震动、闪烁、声音或高亮显示强化表示被选中的对象，营造出更清晰的抓取结果。
（3-3）自然交互支持的触觉感知。基于识别的教师手势，使用音圈致动器控制超声波震动，生成对应的触觉感知；应用微手势命令库及其组合规则，将教学动作转换成可执行的交互行为；依据食指光束与对象的交互过程，令教师感知到接近、碰撞和阻力增大的体验。
（3-3-1）基于手势的触觉感知生成。当手部追踪传感器识别到真实教学空间中教师单手或双手所做的手势动作，依据微手势的组合规则，使用音圈致动器控制超声波在空间和时间维度的振动，生成相应的表面纹理感知效果。
（3-3-2）手势驱动的交互行为。基于微手势命令库及其组合规则，将挥手、点赞和操纵教具的教学动作转换成可执行的选择、移动、旋转、缩放和拖动命令，支持教学活动中教师运用手势与虚拟场景中可交互对象互动。
（3-3-3）触觉交互模拟。追踪、定位教师食指在真实教学空间的位置和运动方向，虚拟手食指随之发生相应变化，当从虚拟手食指尖延伸的30厘米光束击中碰撞体的缓冲区时，发出即将选中可交互对象的提示，若越过缓冲区与对象发生碰撞，提示选中对象；若继续前进，教师将感受到相应的阻力反馈。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (13)
1.一种立体综合教学场中教师手部感知交互方法，其特征在于该交互方法包括以下步骤：
（1）手部姿态感知；使用手部传感器追踪、获取教师的手掌、手指以及手持教具的位置、方向和姿态变化；按照组合规则分解常用教学动作，构建微手势命令库，应用于教师教学手势的识别；使用深度神经网络ManipNet分析、预测教师手部的位置、姿态和轨迹；
（2）触觉感知模拟；确定触觉控制器在虚拟空间的位置，生成可触觉感知的虚拟场景；基于波形曲线，震动传感器和可倾式挤压圈模拟多种力反馈效果，动态更新可交互对象触觉组件的力反馈参数；使用音圈致动器模拟不同材质对象的触感感知值，依据触觉组件的实时监听结果，更新触觉感知参数；
（3）感知交互生成；生成可交互对象的体缓冲区，依据虚拟手与可交互对象的接近、碰撞与脱离接触状态，发出提示、通知开启或关闭触觉感知功能；支持采用手指延长光束、跳跃式和接触式方法抓取目标对象；根据识别的教师手势动作，使用音圈致动器或可执行命令，生成触觉感知和力反馈效果。
2.根据权利要求1所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（1）中所述手部姿态感知包括以下步骤：
（1-1）手部信息描述；使用手部传感器追踪、获取真实教学空间中教师手部手掌、手指的位置和方向；采用三维笛卡尔坐标系描述手部的位置、姿态和轨迹参数；识别、获取真实教学活动过程中教师所持教具的相关参数；
（1-2）教学手势的识别；依据手部的位置、方向和运动形态，将教师常用教学动作分解成一系列独立的微手势；生成多样化的组合规则和约束规则，构建微手势命令库；识别连续微手势动作序列，匹配其所对应的教学动作；
（1-3）手部动作的显示；根据教学内容选择与教学情境相符合的手部虚拟提示；采用深度神经网络ManipNet预测手部的位置、姿态和运动轨迹；结合手部的环境和距离传感特征，作为ManipNet的特征输入，镜像生成另一只手的虚拟位置、姿态和轨迹参数。
3.根据权利要求2所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（1-1）中所述手部信息描述包括以下步骤：
（1-1-1）手部动作采集；选用红外LED和灰阶双摄像头相结合的手部追踪传感器，采集真实教学空间中传感器前方2.5~60厘米范围内的教师手部信息，运用视频图像检测技术提取手掌与手指的位置和方向，并将唯一标识ID赋予手掌与手指；
（1-1-2）手部信息描述；使用三维笛卡尔坐标系描述传感器获取的教师手部手掌中心、手指关节的位置、移动速度、法向量、朝向和弯曲弧度，以及手部的旋转方向和角度、缩放因子和平移向量；坐标原点设在传感器的中心点，X轴平行于传感器，指向屏幕右方；Y轴指向上方；Z轴指向背离屏幕的方向，单位为毫米；
（1-1-3）教师手持教具的信息采集；传感器追踪真实教学活动过程中教师的手部及其所持的细长教具，结合双目视觉和图像检测技术，从手掌中分离出教具及其相关动作，记录所获取教具的长度、宽度、方向、指尖位置与速度。
4.根据权利要求2所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（1-2）中所述教学手势的识别包括以下步骤：
（1-2-1）教学手势的分解；依据手指的位置和方向，指间和掌指关节、指骨和掌骨，以及远侧与近侧间关节的运动形态，将教学活动中教师常用的挥手、点赞和操纵教具动作，分解成一系列独立的微手势；
（1-2-2）构建微手势命令库；依据手部的生理结构特征，依据常用教学动作中微手势的出现频次、序列变化和动作幅度，生成微手势组合规则和符合动作连续性的约束特征，构建一套面向增强教学环境的微手势命令库；
（1-2-3）手势特征的识别；将手部追踪传感器双目摄像头获取的视频图像分解成连续多帧图像，分析、识别前后帧中手部关键特征点的变化，生成教师的微手势命令，根据组合规则和约束特征，将微手势序列匹配成相应的教学动作。
5.根据权利要求2所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（1-3）中所述手部动作的显示包括以下步骤：
（1-3-1）手部的虚拟提示；基于教学内容，选择与教学情境相符合的虚拟手或解剖刀、铅笔和螺丝刀作为手部的提示形式，在虚拟教学空间中表示教师双手的位置和姿态，使用延伸光束提示手部的移动方向和轨迹；
（1-3-2）手部动作的预测；采用深度神经网络ManipNet作为回归模型，逐帧分析传感器采集的教师手部手掌、手指和教具的位置、姿态与运动轨迹，基于微手势命令库及其组合规则和约束特征，消除所获取手部特征信息的模糊性，匹配教师的教学动作；
（1-3-3）手部动作的镜像；依据手部信息的实时处理结果，获取教师单手的位置、姿态和轨迹，结合手部的环境和距离传感特征，作为ManipNet的特征输入，预测另一只手在教学空间中位置、姿态和轨迹，镜像生成后者的模型、姿态和位置信息。
6.根据权利要求1所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（2）中所述触觉感知模拟包括以下步骤：
（2-1）可触觉感知的虚拟场景生成；根据教学设计，将教学活动过程中需反馈的虚拟模型设置为可交互对象；校准传感器摄像头和触觉控制器LED灯的闪烁频率，确定触觉控制器在虚拟空间的位置；为被选中对象提供震动、闪烁、声音或高亮色彩变化的提示；
（2-2）力反馈的模拟；在触觉控制器中集成由电容式触控传感器与驱动铰链组成的力反馈元件，采用波形曲线模拟多种力反馈体验；自动生成可交互对象的碰撞体，支持与触觉控制器的碰撞检测；可交互对象的触觉组件实时监听受力情况，动态更新受力参数；
（2-3）触觉感知的模拟；依据音圈致动器的控制指令和触发时差，通过叠加超声波波形，模拟不同材质物体的触感感知；采用分段自回归模型拟合压力、滑动速度和纹理触觉之间的映射关系，确定可交互对象的纹理触觉感知参数；依据触觉组件监听到的信号和力值，更新对象的触觉参数。
7.根据权利要求6所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（2-1）中所述可触觉感知的虚拟场景生成包括以下步骤：
（2-1-1）可触觉感知的虚拟场景生成；根据教学设计的要求，将教学活动过程中可反馈的虚拟模型设为可交互对象，为虚拟场景中可交互对象添加触觉组件，支持与集成触觉感知和力反馈传感器的触觉控制器互动；
（2-1-2）虚拟空间中的手部定位；校准手部追踪传感器摄像头与触觉控制器上LED灯光的闪烁频率，基于透视逆变换原理，依据图像中LED光斑的坐标位置，采用PnP算法，求解触觉控制器在虚拟教学空间的位置；
（2-1-3）选中对象的提示；当教师使用触觉感知器选中虚拟教学空间中可交互对象时，采用震动、声音、闪烁和高亮显示的提示方式，当教师触觉感知或力反馈发生变化时，随之采用增大或减小震动、闪烁频率，以及声音音量或高亮色调。
8.根据权利要求6所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（2-2）中所述力反馈的模拟包括以下步骤：
（2-2-1）力触觉模拟；触觉控制器集成由电容式触控传感器与驱动铰链组成的力反馈元件，采用波形曲线模拟教师与虚拟教学场景中可交互对象的力触觉，震动传感器依据波形参数产生相应的震动强度；根据对象的形状，计算波形的强度和周期，令可倾式挤压圈模拟对象的重力和表面阻力反馈效果；
（2-2-2）碰撞检测；依据可交互对象的形状及其细分部件的结构，遍历获取最小外接包围盒，组合生成可交互对象的碰撞体，结合点壳与体素模型，支持检测虚拟空间中虚拟手是否与可交互对象发生碰撞；
（2-2-3）力反馈参数的更新；选中虚拟教学场景中可交互对象后，其触觉组件会实时监听对象的受力状况，根据触觉控制器在虚拟教学空间的坐标、姿态和运动轨迹，求解可交互对象的重力、阻力和反作用力的大小，动态更新触觉组件的受力参数。
9.根据权利要求6所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（2-3）中所述触觉感知的模拟包括以下步骤：
（2-3-1）音圈致动器设计；在触觉控制器中集成音圈致动器元件，支持单独控制超声波扬声器集群中每个扬声器，依据音圈致动器发出的控制指令和触发时差，通过叠加超声波波形，多个波形重合的焦点会在教师手部皮肤上形成相应的凹痕，模拟出不同材质物体的触觉感知；
（2-3-2）纹理触觉感知参数生成；使用力觉测量装置采集纸张、金属、碳纤维、织物、塑料、木质、石制和泡沫类材质物体的触觉感知参数，采用分段自回归模型拟合压力、滑动速度和纹理触觉之间的映射关系，形成不同的波形特征，将其赋给虚拟场景中可交互对象的的纹理触觉感知参数；
（2-3-3）更新虚拟对象的触觉参数；根据虚拟教学场景中可交互对象的材质类别，设置其质量、表面粗糙度、硬度和弹性系数参数，依据触觉组件监听、接受到对象振动信号、滑动速度以及压力和摩擦力，更新对象的触觉参数值。
10.根据权利要求1所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（3）中所述感知交互生成包括以下步骤：
（3-1）感知状态的开启和关闭；采用缓冲区机制，判别虚拟手与可交互对象的距离，若处于体缓冲区内则向教师提示接近对象；检测到与对象碰撞时，发送消息通知触觉控制器开启触觉感知功能；若满足脱离接触条件，则关闭触觉感知功能；
（3-2）设置特殊的交互方式；生成手指的光束延长线，使用延长线光束选取虚拟场景中可交互对象；设置“鬼手”交互状态，教师可不受遮挡对象的约束，跳跃式抓取目标对象；采用震动、闪烁、声音或高亮显示强化表示被选中的可交互对象；
（3-3）自然交互支持的触觉感知；基于识别的教师手势，使用音圈致动器控制超声波震动，生成对应的触觉感知；应用微手势命令库及其组合规则，将教学动作转换成可执行的交互行为；依据食指光束与对象的交互过程，令教师感知到接近、碰撞和阻力增大的体验。
11.根据权利要求10所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（3-1）中所述感知状态的开启和关闭包括以下步骤：
（3-1-1）感知状态的监听；依据体缓冲区生成方法，生成可交互对象碰撞体的缓冲区，判断虚拟手与可交互对象的位置关系，若虚拟手处在体缓冲区内，采用震动提示教师正接近虚拟场景中的可交互对象；
（3-1-2）激发触觉感知状态；在虚拟手的手指关节处设置胶囊碰撞器，当检测到虚拟手的胶囊碰撞器或手指的延伸光束与可交互对象发生碰撞时，后者的触控组件向场景控制组件发送处于选中状态的消息，场景控制组件通知触觉控制器开启触觉感知元件，令教师手部能体验触觉感知和力反馈的效果；
（3-1-3）关闭触发感知状态；当触控组件检测到教师不再与可交互对象发生碰撞，且教师的虚拟手或手指的光束延长线不在可交互对象的体缓冲区范围，可交互对象的触控组件向场景控制组件发送选中状态被取消的消息，并通知触觉控制器关闭触觉感知和力反馈功能。
12.根据权利要求10所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（3-2）中所述设置特殊的交互方式包括以下步骤：
（3-2-1）光束延长线选取对象；依据教师手指的运动轨迹和方向，生成虚拟手食指的光束延长线，依据教师食指的运动轨迹和方向，选择、拖动和操纵虚拟场景中可交互对象，增加教师操作的灵敏度；
（3-2-2）跳跃式抓取对象；设置特殊的“鬼手”交互状态，支持虚拟场景中众多对象聚集时，教师使用触觉控制器穿过众多干扰的对象，在交互过程中不受前后方遮挡对象碰撞体的约束，正确抓取目标对象；
（3-2-3）接触式抓取对象；教师按下触觉控制器或采用微手势命令库的“选中”动作，抓取虚拟场景中可交互对象，将选中对象包裹在虚拟手中，通过震动、闪烁、声音或高亮显示强化表示被选中的对象，营造出更清晰的抓取结果。
13.根据权利要求10所述的立体综合教学场中教师手部感知交互方法，其特征在于步骤（3-3）中所述自然交互支持的触觉感知包括以下步骤：
（3-3-1）基于手势的触觉感知生成；当手部追踪传感器识别到真实教学空间中教师单手或双手所做的手势动作，依据微手势的组合规则，使用音圈致动器控制超声波在空间和时间维度的振动，生成相应的表面纹理感知效果；
（3-3-2）手势驱动的交互行为；基于微手势命令库及其组合规则，将挥手、点赞和操纵教具的教学动作转换成可执行的选择、移动、旋转、缩放和拖动命令，支持教学活动中教师运用手势与虚拟场景中可交互对象互动；
（3-3-3）触觉交互模拟；追踪、定位教师食指在真实教学空间的位置和运动方向，虚拟手的食指随之发生相应变化，当食指延伸的光束线击中体缓冲区时，发出即将选中可交互对象的提示，若越过体缓冲区与对象发生碰撞，提示选中对象；若继续前进，教师将感受到相应的阻力反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111231075.7A CN113672097B (zh) | 2021-10-22 | 2021-10-22 | 一种立体综合教学场中教师手部感知交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111231075.7A CN113672097B (zh) | 2021-10-22 | 2021-10-22 | 一种立体综合教学场中教师手部感知交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113672097A true CN113672097A (zh) | 2021-11-19 |
| CN113672097B CN113672097B (zh) | 2022-01-14 |
Family
ID=78550811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111231075.7A Active CN113672097B (zh) | 2021-10-22 | 2021-10-22 | 一种立体综合教学场中教师手部感知交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113672097B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114237389A (zh) * | 2021-12-06 | 2022-03-25 | 华中师范大学 | 一种基于全息成像的增强教学环境中临场感生成方法 |
| CN115007765A (zh) * | 2022-08-03 | 2022-09-06 | 山东迪格重工机械有限公司 | 一种基于红外线的冲压机床防夹手自动控制方法 |
| CN115116143A (zh) * | 2022-08-30 | 2022-09-27 | 中国科学院自动化研究所 | 运动捕捉方法、装置、系统、电子设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2448166A (en) * | 2007-04-04 | 2008-10-08 | Jessica Lucy Baker | Ultrasonic substitute vision device with tactile feedback |
| CN105739683A (zh) * | 2014-12-31 | 2016-07-06 | 意美森公司 | 为增强和虚拟现实应用生成触觉加强的对象的系统和方法 |
| CN110147161A (zh) * | 2019-03-29 | 2019-08-20 | 东南大学 | 基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法 |
| US20190339774A1 (en) * | 2018-05-07 | 2019-11-07 | International Business Machines Corporation | Changing tactile sensitivity of interactions with midair interfaces |
| CN110515459A (zh) * | 2019-08-21 | 2019-11-29 | 西安交通大学 | 一种辅助盲人感知的超声波触觉反馈系统及其方法 |
| CN111340961A (zh) * | 2020-02-16 | 2020-06-26 | 吉林大学 | 一种基于三维网格模型的超声空中触觉渲染方法 |
| CN112214111A (zh) * | 2020-10-15 | 2021-01-12 | 西安交通大学 | 一种融合视触觉感知的超声波阵列交互方法及系统 |
| CN112509151A (zh) * | 2020-12-11 | 2021-03-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
| JP2021081265A (ja) * | 2019-11-18 | 2021-05-27 | 凸版印刷株式会社 | 触覚センサー、センシング装置および状態再現装置 |
| CN113096252A (zh) * | 2021-03-05 | 2021-07-09 | 华中师范大学 | 一种混合增强教学场景中多移动机制融合方法 |
-
2021
- 2021-10-22 CN CN202111231075.7A patent/CN113672097B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2448166A (en) * | 2007-04-04 | 2008-10-08 | Jessica Lucy Baker | Ultrasonic substitute vision device with tactile feedback |
| CN105739683A (zh) * | 2014-12-31 | 2016-07-06 | 意美森公司 | 为增强和虚拟现实应用生成触觉加强的对象的系统和方法 |
| US20190339774A1 (en) * | 2018-05-07 | 2019-11-07 | International Business Machines Corporation | Changing tactile sensitivity of interactions with midair interfaces |
| CN110147161A (zh) * | 2019-03-29 | 2019-08-20 | 东南大学 | 基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法 |
| CN110515459A (zh) * | 2019-08-21 | 2019-11-29 | 西安交通大学 | 一种辅助盲人感知的超声波触觉反馈系统及其方法 |
| JP2021081265A (ja) * | 2019-11-18 | 2021-05-27 | 凸版印刷株式会社 | 触覚センサー、センシング装置および状態再現装置 |
| CN111340961A (zh) * | 2020-02-16 | 2020-06-26 | 吉林大学 | 一种基于三维网格模型的超声空中触觉渲染方法 |
| CN112214111A (zh) * | 2020-10-15 | 2021-01-12 | 西安交通大学 | 一种融合视触觉感知的超声波阵列交互方法及系统 |
| CN112509151A (zh) * | 2020-12-11 | 2021-03-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
| CN113096252A (zh) * | 2021-03-05 | 2021-07-09 | 华中师范大学 | 一种混合增强教学场景中多移动机制融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| FRÉDÉRIC GIRAUD ET AL.: "《Using an Ultrasonic Transducer to Produce Tactile Rendering on a Touchscreen》", 《IEEE》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114237389A (zh) * | 2021-12-06 | 2022-03-25 | 华中师范大学 | 一种基于全息成像的增强教学环境中临场感生成方法 |
| CN115007765A (zh) * | 2022-08-03 | 2022-09-06 | 山东迪格重工机械有限公司 | 一种基于红外线的冲压机床防夹手自动控制方法 |
| CN115116143A (zh) * | 2022-08-30 | 2022-09-27 | 中国科学院自动化研究所 | 运动捕捉方法、装置、系统、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113672097B (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113672097B (zh) | 一种立体综合教学场中教师手部感知交互方法 | |
| Dipietro et al. | A survey of glove-based systems and their applications | |
| US11069148B2 (en) | Visualization of reconstructed handstate information | |
| Mahmud et al. | Interface for human machine interaction for assistant devices: A review | |
| Sturman | Whole-hand input | |
| Wheatland et al. | State of the art in hand and finger modeling and animation | |
| US20200097081A1 (en) | Neuromuscular control of an augmented reality system | |
| US20060087510A1 (en) | Device and method of keyboard input and uses thereof | |
| Saegusa et al. | Developmental perception of the self and action | |
| CN107918482A (zh) | 沉浸式vr系统中避免过度刺激的方法与系统 | |
| Oz et al. | Recognition of finger spelling of American sign language with artificial neural network using position/orientation sensors and data glove | |
| US11614781B1 (en) | Determining tap locations on a handheld electronic device based on inertial measurements | |
| Huang et al. | Performances of surface EMG and ultrasound signals in recognizing finger motion | |
| Stetten et al. | Fingersight: Fingertip visual haptic sensing and control | |
| Kavakli | Gesture recognition in virtual reality | |
| Moringen et al. | Modeling target-distractor discrimination for haptic search in a 3D environment | |
| Hashiguchi et al. | A Task Estimation Method Based on Image Recognition and Its Application to EMG Prosthetic Hand Control | |
| Gu et al. | Design of a Training and Evaluation System for Surgical Robot Operation Based on Chai3d and LSTM Algorithm | |
| Magnenat Thalmann et al. | Creating artificial life in virtual reality | |
| Prattichizzo et al. | Haptics: Science, Technology, and Applications: 11th International Conference, EuroHaptics 2018, Pisa, Italy, June 13-16, 2018, Proceedings, Part II | |
| Wu | Multimodal Communication for Embodied Human-Robot Interaction with Natural Gestures | |
| Adam | Towards more realism: Improving immersion of a virtual human-robot working cell and discussing the comparability with its real-world representation | |
| Fakhri | Modern Sensory Substitution for Vision in Dynamic Environments | |
| Aminordin et al. | Real-time feedback for children's pre-writing activities using haptic technology | |
| Thalmann | Introduction to Virtual Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |