CN114816072A - 用于元宇宙交互的游戏手套系统 - Google Patents

用于元宇宙交互的游戏手套系统 Download PDF

Info

Publication number
CN114816072A
CN114816072A CN202210552178.1A CN202210552178A CN114816072A CN 114816072 A CN114816072 A CN 114816072A CN 202210552178 A CN202210552178 A CN 202210552178A CN 114816072 A CN114816072 A CN 114816072A
Authority
CN
China
Prior art keywords
force
sensor
game
metastic
air bag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210552178.1A
Other languages
English (en)
Inventor
李智军
赵树弥
夏海生
钟传宇
黄金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210552178.1A priority Critical patent/CN114816072A/zh
Publication of CN114816072A publication Critical patent/CN114816072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用于元宇宙交互的游戏手套系统，包括：可拉伸传感器、柔性阵列压力传感器、气囊、控制器、用户终端和手套；可拉伸传感器贴附在穿戴者的肘关节处，监测手臂伸缩运动特性；柔性阵列压力传感器位于手套内部，监测手的受力情况；气囊置于手套外侧，充气时向内挤压产生作用力；用户终端通过传感器信息采集分析，计算手运动速度，通过样本训练建立游戏目标物的虚拟模型，基于人工智能算法建立与元宇宙的互信机制；根据虚拟模型受力的大小并结合可拉伸传感器和柔性阵列压力传感器的反馈信息，控制气囊输出预设比例的力作用于手上，使得穿戴者感知虚拟模型的力。本发明结合元宇宙虚拟场景，使用户在玩拳击等游戏可产生很强的体验感。

Description

用于元宇宙交互的游戏手套系统
技术领域
本发明涉及元宇宙技术领域，具体地，涉及一种用于元宇宙交互的游戏手套系统。
背景技术
元宇宙的交互需要借助许多设备和内容，像虚拟现实(VR)和增强现实(AR)等技术，视觉、听觉、触觉等传感器。VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，可以让用户沉浸在交互式的虚拟世界中，通过一些交互装置完成虚拟环境中的物体和物体与物体之间交互。VR物体交互装置主要可以包括：基于光学的人机交互装置、基于声学的人机交互装置、人机界面装置、图形界面装置。专利US2019/0104235A1描述了通过使用一系列相机构建虚拟环境，使得VR用户感觉仿佛自己正在实地参与比赛。AR技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。实现元宇宙交互的关键是设备之间的互动、系统与系统之间的交互、人机设备之间的互动、虚拟环境与真实环境之间的交互等。专利US2019/0101764A1描述了一种用于头戴式增强现实显示器的系统，设备和装置，微显示器设备可以附接到框架并被配置为在用户穿戴框架时发射跨越用户面部前并与组合器的反射表面相交的图像内容。专利US2020/0171394A1通过头戴式显示设备向远程用户呈现现实世界空间的虚拟现实体验。将座位选择映射至真实世界捕获系统的操作，用于在对应座位位置捕获视频和音频，并接收真实世界捕获系统的真实世界坐标。专利CN202111219932.1公开了一种基于唇语识别的无人机控制装置，通过指令对无人机进行操控，相比于人类用摇杆遥控操控更加精确，而对比于语音操控，即使在嘈杂的人群中，该系统也精准的识别人类发出的指令，实用性大大提高。专利CN201610913061.6开发了一种手势识别方法及装置，降低了VR交互过程中手势识别运算量大、无法识别多个用户的手共同出现在图像中的问题。
除了视觉的元宇宙交互，触觉的元宇宙交互也正在进行中。专利US20170262056A1描述了一种用于由头显显示的虚拟现实场景接口的手套，包括与手套相关联的多个指套；多个传感器，每个传感器配置成识别手指的弯曲程度，并且与沿着指套多个预定义位置中的一个相关联，其中位于每个预定义位置的多个传感器中的一个选择为相应预定位置的最佳传感器。专利US2019/0101981A1描述了一种能够测量单根手指和拇指骨头运动的VR手套，包括多个惯性测量单元，并用于追踪一根或多根手指，和/或手部运动；VR手套同时可以包括一个或多个其他电子组件，例如用于感测方向，实现电容式触摸，和/或指尖之间接触感测的多个电极。虽然用于元宇宙交互的触觉感知手套已有开发，但是功能还是比较单一，对于游戏环境中的场景，像拳击游戏，现有的手套就无法满足用户要求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种用于元宇宙交互的游戏手套系统。
根据本发明提供的用于元宇宙交互的游戏手套系统，包括：可拉伸传感器、柔性阵列压力传感器、气囊、控制器、用户终端和手套；
所述可拉伸传感器贴附在穿戴者的肘关节处，监测手臂伸缩运动特性；
所述柔性阵列压力传感器位于手套内部，监测手的受力情况；
所述气囊置于手套外侧，充气时向内挤压产生作用力；
所述用户终端通过传感器信息采集分析，规划出手运动轨迹，通过样本训练建立游戏目标物的虚拟模型，基于人工智能算法建立与元宇宙的互信机制；
所述控制器根据虚拟模型受力的大小并结合可拉伸传感器和柔性阵列压力传感器的反馈信息，控制气囊输出预设比例的力作用于手上，使得穿戴者同样感知虚拟模型的力。
优选的，所述可拉伸传感器贴附在穿戴者的肘关节处监测手臂弯曲伸直运动状态，可拉伸传感器的可拉伸性长度大于弯曲状态时的最大拉伸长度，拉伸过程中监测信号输出具有单调性，根据拉伸传感器的数值进行解析。
优选的，拉伸传感器的数值解析包括：根据可拉伸传感器的数值获得当前运动状态的位置关系，规划出手的运动轨迹；结合时间关系获得运动速度和加速度，根据加速度和柔性阵列压力传感器数据获得阻力，根据力的作用对接触物体下一步的运动进行规划，根据物体的力学特性把反作用力又通过传感器反馈给穿戴者。
优选的，所述柔性阵列压力传感器位于手套内部，或直接贴在穿戴者的手上，柔性阵列压力传感器受力感知最小单元的尺寸小于手指最小尺寸。
优选的，所述柔性阵列压力传感器的感知力范围为0-100N。
优选的，所述气囊包括：游戏正前方的前气囊、手握的中气囊和手背上面后气囊，气囊产生作用于手的力小于10N。
优选的，所述控制器不仅控制气囊的输出力，还将可拉伸传感器和柔性阵列压力传感器采集的数据传输至用户终端。
优选的，所述用户终端集成人工智能算法，训练游戏样本，规划手的运动轨迹，建立数据库，构建虚拟游戏场景，然后建立元宇宙交互的互信机制，结合当前手运动的监测信息和受力分析，调节现实力与虚拟力的比例，实现对游戏的目标物进行接触判断并做出响应动作。
优选的，对游戏的目标物进行判断并做出响应动作，包括：前气囊输出力为击中目标物，后气囊输出力为被目标物击中，中气囊输出力为没有目标物击中，根据压力传感器的数值解析进行力的大小调节。
优选的，通过可拉伸传感器监测手的运动信息，柔性阵列压力传感器获取游戏受力信息，气囊模拟元宇宙虚拟刺激，用户终端基于人工智能算法，根据样本测试训练，建立元宇宙交互信息。
与现有技术相比，本发明具有如下的有益效果：
本发明用于元宇宙交互的游戏手套通过气囊产生反作用力，结合元宇宙虚拟场景，使用户在玩拳击等游戏可产生很强的体验感，用于元宇宙交互的游戏手套可通过传感器力的比例调节，实现游戏手力大无穷的场景设置，可拉伸传感器的速度和加速度信息解析，可对现实手的出力分析。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为一种用于元宇宙交互的游戏手套系统；
图2为一种用于元宇宙交互的游戏手套；
图中：1-人手；2-可拉伸传感器；3-柔性阵列压力传感器；31-柔性阵列压力传感器接口；4-气囊；41-前气囊；42-中气囊；43-后气囊；44-气囊接口；5-控制器；6-用户终端；7-手套。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
如图1和图2所示，本发明所述的一种用于元宇宙交互的游戏手套系统，包括：可拉伸传感器2、柔性阵列压力传感器3、气囊4、控制器5、用户终端6、手套7；可拉伸传感器2贴附在穿戴者的肘关节处，监测手臂伸缩运动特性；柔性阵列压力传感器3位于手套7内部，监测人手1的受力情况；气囊4置于手套7外侧，充气时向内挤压产生作用力；用户终端通过传感器信息采集分析，规划出人手1运动轨迹，通过样本训练建立游戏目标物的虚拟模型，基于人工智能算法建立与元宇宙的互信机制；控制器5根据虚拟模型受力的大小并结合可拉伸传感器2和柔性阵列压力传感器3的反馈信息，控制气囊4输出适当比例的力作用于人手1上，使得穿戴者同样感知虚拟模型的力。
可拉伸传感器2贴附在穿戴者的肘关节处监测手臂弯曲伸直运动状态，传感器的可拉伸性长度大于弯曲状态时的最大拉伸长度，通常大于100％，拉伸过程中监测信号输出具有单调性，根据可拉伸传感器2的数值进行解析。根据可拉伸传感器2的数值，可获得当前运动状态的位置关系，规划出人手1的运动轨迹；结合时间关系可获得运动速度和加速度，根据加速度和柔性阵列压力传感器3数据可获得阻力，根据力的作用对接触物体下一步的运动进行规划，根据物体的力学特性把反作用力又通过传感器反馈给穿戴者。
柔性阵列压力传感器3位于手套7内部，也可直接贴在穿戴者的手上，传感器受力感知最小单元的尺寸小于手指最小尺寸，感知力的范围0-100N。
气囊4由三个单元组成，游戏正前方的前气囊41，手背上面后气囊43和手握的中气囊42；气囊4产生作用于手的力小于10N。
控制器5不仅能够控制气囊7的输出力，还能对传感器的数据采集传输用户终端6。用户终端6集成人工智能算法，可训练游戏样本，规划手的运动轨迹，建立数据库，构建虚拟游戏场景，然后建立元宇宙交互的互信机制，结合当前手运动的监测信息和受力分析，调节现实力与虚拟力的比例，实现对游戏的目标物进行接触判断并做出响应动作。如前气囊41输出力为击中目标物，后气囊43输出力为被目标物击中，中气囊42输出力为没有目标物击中，其中可根据分析进行力的大小调节。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种用于元宇宙交互的游戏手套系统，其特征在于，包括：可拉伸传感器(2)、柔性阵列压力传感器(3)、气囊(4)、控制器(5)、用户终端(6)和手套(7)；
所述可拉伸传感器(2)贴附在穿戴者的肘关节处，监测手臂伸缩运动特性；
所述柔性阵列压力传感器(3)位于手套(7)内部，监测手的受力情况；
所述气囊(4)置于手套(7)外侧，充气时向内挤压产生作用力；
所述用户终端(6)通过传感器信息采集分析，规划出手运动轨迹，通过样本训练建立游戏目标物的虚拟模型，基于人工智能算法建立与元宇宙的互信机制；
所述控制器(5)根据虚拟模型受力的大小并结合可拉伸传感器(2)和柔性阵列压力传感器(3)的反馈信息，控制气囊(4)输出预设比例的力作用于手上，使得穿戴者同样感知虚拟模型的力。
2.根据权利要求1所述的用于元宇宙交互的游戏手套系统，其特征在于，所述可拉伸传感器(2)贴附在穿戴者的肘关节处监测手臂弯曲伸直运动状态，可拉伸传感器(2)的可拉伸性长度大于弯曲状态时的最大拉伸长度，拉伸过程中监测信号输出具有单调性，根据拉伸传感器的数值进行解析。
3.根据权利要求2所述的用于元宇宙交互的游戏手套系统，其特征在于，拉伸传感器的数值解析包括：根据可拉伸传感器(2)的数值获得当前运动状态的位置关系，规划出手的运动轨迹；结合时间关系获得运动速度和加速度，根据加速度和柔性阵列压力传感器(3)数据获得阻力，根据力的作用对接触物体下一步的运动进行规划，根据物体的力学特性把反作用力又通过传感器反馈给穿戴者。
4.根据权利要求1所述的用于元宇宙交互的游戏手套系统，其特征在于，所述柔性阵列压力传感器(3)位于手套(7)内部，或直接贴在穿戴者的手上，柔性阵列压力传感器(3)受力感知最小单元的尺寸小于手指最小尺寸。
5.根据权利要求1所述的用于元宇宙交互的游戏手套系统，其特征在于，所述柔性阵列压力传感器(3)的感知力范围为0-100N。
6.根据权利要求3所述的用于元宇宙交互的游戏手套系统，其特征在于，所述气囊(4)包括：游戏正前方的前气囊(41)、手握的中气囊(42)和手背上面后气囊(43)，气囊(4)产生作用于手的力小于10N。
7.根据权利要求1所述的用于元宇宙交互的游戏手套系统，其特征在于，所述控制器(5)不仅控制气囊(4)的输出力，还将可拉伸传感器(2)和柔性阵列压力传感器(3)采集的数据传输至用户终端(6)。
8.根据权利要求6所述的用于元宇宙交互的游戏手套系统，其特征在于，所述用户终端(6)集成人工智能算法，训练游戏样本，规划手的运动轨迹，建立数据库，构建虚拟游戏场景，然后建立元宇宙交互的互信机制，结合当前手运动的监测信息和受力分析，调节现实力与虚拟力的比例，实现对游戏的目标物进行接触判断并做出响应动作。
9.根据权利要求8所述的用于元宇宙交互的游戏手套系统，其特征在于，对游戏的目标物进行接触判断并做出响应动作，包括：前气囊(41)输出力为击中目标物，后气囊(43)输出力为被目标物击中，中气囊(42)输出力为没有目标物击中，根据压力传感器的数值解析进行力的大小调节。
10.根据权利要求1所述的用于元宇宙交互的游戏手套系统，其特征在于，通过可拉伸传感器(2)监测手的运动信息，柔性阵列压力传感器(3)获取游戏受力信息，气囊(4)模拟元宇宙虚拟刺激，用户终端(6)基于人工智能算法，根据样本测试训练，建立元宇宙交互信息。
CN202210552178.1A 2022-05-20 2022-05-20 用于元宇宙交互的游戏手套系统 Pending CN114816072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210552178.1A CN114816072A (zh) 2022-05-20 2022-05-20 用于元宇宙交互的游戏手套系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210552178.1A CN114816072A (zh) 2022-05-20 2022-05-20 用于元宇宙交互的游戏手套系统

Publications (1)

Publication Number Publication Date
CN114816072A true CN114816072A (zh) 2022-07-29

Family

ID=82517184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210552178.1A Pending CN114816072A (zh) 2022-05-20 2022-05-20 用于元宇宙交互的游戏手套系统

Country Status (1)

Country Link
CN (1) CN114816072A (zh)

Similar Documents

Publication Publication Date Title
Avola et al. An interactive and low-cost full body rehabilitation framework based on 3D immersive serious games
CN106527709B (zh) 一种虚拟场景调整方法及头戴式智能设备
Carvalheiro et al. User redirection and direct haptics in virtual environments
CN107789803B (zh) 一种脑卒中上肢康复训练方法和系统
CN107092353B (zh) 一种手部触感参数的采集及模拟还原系统和方法
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
CN104722056A (zh) 一种运用虚拟现实技术的康复训练系统及方法
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
Hu et al. Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering
Kirakosian et al. Near-contact person-to-3d character dance training: Comparing ar and vr for interactive entertainment
Ikkala et al. Breathing life into biomechanical user models
Echeverria et al. KUMITRON: Artificial intelligence system to monitor karate fights that synchronize aerial images with physiological and inertial signals
CN107632702B (zh) 一种采用光感应数据手套的全息投影系统及其工作方法
Müezzinoğlu et al. Wearable glove based approach for human-UAV interaction
CN114816072A (zh) 用于元宇宙交互的游戏手套系统
CN115170773A (zh) 一种基于元宇宙的虚拟课堂动作交互系统和方法
White et al. A virtual reality application for stroke patient rehabilitation
CN116301335A (zh) 一种集成生理信号采集的触觉反馈系统及运行方法
CN118172990B (zh) 一种基于虚拟侦察场景的智能可穿戴设备训练系统
Li et al. Motion assistance and resistance using pseudo-haptic feedback for upper-limb rehabilitation
CN117582643B (zh) 基于虚拟现实的视听综合训练方法及系统
Elsayed Computer-supported movement guidance: investigating visual/visuotactile guidance and informing the design of vibrotactile body-worn interfaces
GB2298501A (en) Movement detection
CN118172990A (zh) 一种基于虚拟侦察场景的智能可穿戴设备训练系统
Li et al. Piano Beginner: A Glove-based Finger Training VR Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination