CN114926908A - 基于挥棒姿势的体感游戏方法 - Google Patents

基于挥棒姿势的体感游戏方法 Download PDF

Info

Publication number
CN114926908A
CN114926908A CN202210667240.1A CN202210667240A CN114926908A CN 114926908 A CN114926908 A CN 114926908A CN 202210667240 A CN202210667240 A CN 202210667240A CN 114926908 A CN114926908 A CN 114926908A
Authority
CN
China
Prior art keywords
baton
gesture
swing
motion
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667240.1A
Other languages
English (en)
Inventor
郭梁君
陈玉朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shimi Network Technology Co ltd
Original Assignee
Shenzhen Shimi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shimi Network Technology Co ltd filed Critical Shenzhen Shimi Network Technology Co ltd
Priority to CN202210667240.1A priority Critical patent/CN114926908A/zh
Publication of CN114926908A publication Critical patent/CN114926908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于挥棒姿势的体感游戏方法、设备及计算机可读存储介质，该方法包括：在预设的挥棒型体感游戏启动后，获取体感设备检测的玩家姿态原始信号；从所述玩家姿态原始信号中筛选出挥棒动作的关键信号；将所述关键信号导入预设的挥棒姿势识别模型，识别玩家的挥棒姿势；根据所述预设的挥棒姿势识别模型的识别结果控制玩家的游戏角色执行相匹配的挥棒动作。本方法具有挥棒姿势识别精度高、玩家游戏体验好的优点。

Description

基于挥棒姿势的体感游戏方法
技术领域
本发明涉及体感游戏技术领域，尤其涉及一种基于挥棒姿势的体感游戏方法、设备及计算机可读存储介质。
背景技术
目前，市场上体感游戏架构通常是基于IMU(Inertial Measurement Unit，即惯性测量单元)的体感动作架构。在游戏时，玩家需要穿戴特定的IMU设备，该IMU设备能够检测到用户的运动姿态数据，系统可将该运动姿态数据转化为游戏能够识别的动作指令，如此，游戏中的对象便可执行与用基本一致的动作。
但是IMU架构的问题在于，在游戏过程中容易出现陀螺仪漂移、角度随机游走、速率机游走、速率斜坡等问题，导致的动作精度较低、容易误判玩家动作。
发明内容
本申请实施例通过提供一种基于挥棒姿势的体感游戏方法，旨在提升挥棒类体感游戏对玩家挥棒姿势的识别精度。
为实现上述目的，本申请实施例提供了一种基于挥棒姿势的体感游戏方法，包括：
在预设的挥棒型体感游戏启动后，获取体感设备检测的玩家姿态原始信号；
从所述玩家姿态原始信号中筛选出挥棒动作的关键信号；
将所述关键信号导入预设的挥棒姿势识别模型，识别玩家的挥棒姿势；
根据所述预设的挥棒姿势识别模型的识别结果控制玩家的游戏角色执行相匹配的挥棒动作。
在一实施例中，从所述玩家姿态原始信号中筛选出挥棒动作的关键信号，包括：
从所述玩家姿态原始信号确定一个完整挥棒动作的目标信号区间；
从所述目标信号区间中筛选出挥棒动作的关键信号。
在一实施例中，从所述玩家姿态原始信号筛选出一个完整挥棒动作的目标信号区间，包括：
根据所述玩家姿态原始信号生成连续波形图；
控制长度为k1，步长为s1的第一窗口在所述连续波形图上滑动；
在滑动所述第一窗口的同时计算所述第一窗口内波形的第一振幅平均值；
若所述第一振幅平均值小于第一幅度阈值且大于第二幅度阈值，则将当前区间标记为静止区间；
若所述第一振幅平均值大于第一幅度阈值，则将当前区间标记为挥棒区间；
当所述窗口依次划过静止区间-挥棒区间-静止区间，且所述窗口在相邻两个静止区间的滑动时长大于预设时长阈值，则将依次连接的静止区间、挥棒区间及静止区间标记为目标信号区间。
在一实施例中，从所述目标信号区间中筛选出挥棒动作的关键信号，包括：
控制长度为k2，步长为s2的第二窗口在所述目标信号区间滑动；
在滑动所述第二窗口的同时获取所述第二窗口内的最大波峰值；
设定T为第二窗口内的最大波峰值，ΔT为预设峰值阈值，Δt为第二预设时长阈值，则
若Tn-Tn-1≥ΔT，则标记Tn时的第二窗口的前端为挥棒区间起始时刻；
若Tn+1-Tn≤-ΔT，则标记Tn+1时的第二窗口的后端为挥棒区间结束时刻；
获取所述挥棒区间内的信号作为所述挥棒动作的关键信号。
在一实施例中，在从所述玩家姿态原始信号中筛选出挥棒动作的关键信号之前，所述方法还包括：
获取基于挥棒动作的原始数据集；
对所述原始数据集进行降噪处理以得到目标数据集；
根据所述目标数据集确定所述k1、s1、第一幅度阈值、预设时长阈值、k2、s2、第二幅度阈值及第二预设时长阈值。
在一实施例中，所述玩家姿态信号包括三轴加速度信号及三轴角速度信号；
从所述玩家姿态原始信号中筛选出挥棒动作的关键信号之前，包括：
选择三轴加速度信号和三轴角速度信号中信号波动最为剧烈的一轴的玩家姿态原始信号筛选出挥棒动作的关键信号。挥棒姿势识别
在一实施例中，在获取体感设备检测的玩家姿态原始信号之前，所述方法还包括：
基于神经网络建立挥棒姿势识别模型；
使用所述目标数据集中与所述挥棒动作关联的数据训练所述挥棒姿势识别模型。
在一实施例中，所述挥棒姿势识别模型基于深度残差神经网络，其中，所述深度残差神经网络的残差学习单元不小于4层，且不大于20层。
为实现上述目的，本申请实施例还提出一种基于挥棒姿势的体感游戏设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的基于挥棒姿势的体感游戏程序，所述处理器执行所述基于挥棒姿势的体感游戏程序时实现如上述任一项所述的基于挥棒姿势的体感游戏方法。
为实现上述目的，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于挥棒姿势的体感游戏程序，所述基于挥棒姿势的体感游戏程序被处理器执行时实现如上述任一项所述的基于挥棒姿势的体感游戏方法。
本申请的基于挥棒姿势的体感游戏方法，通过从玩家姿态原始信号中筛出挥棒动作的关键信号，再将该关键信号导入预设的挥棒姿势识别模型，以识别玩家的挥棒姿势，如此，可提升对玩家挥棒动作的识别速度与识别精度，进而能够提升玩家的操作体验。可见，相较于传统的体感游戏方法，本申请的体感游戏方法具有挥棒姿势识别精度高、玩家游戏体验好的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于挥棒姿势的体感游戏设备一实施例的模块结构图；
图2为本发明基于挥棒姿势的体感游戏方法一实施例的流程示意图；
图3为本发明基于挥棒姿势的体感游戏方法另一实施例的流程示意图；
图4为本发明基于挥棒姿势的体感游戏方法中第一窗口在某一轴的连续波形图上滑动时的结构示意图；
图5为本发明基于挥棒姿势的体感游戏方法又一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。文中出现的“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的数量词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。而“第一”、“第二”、以及“第三”等的使用不表示任何顺序，可将这些词解释为名称。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的服务器1(又叫基于挥棒姿势的体感游戏设备)结构示意图。
本发明实施例服务器，如“物联网设备”、带联网功能的AR/VR设备，智能音箱、自动驾驶汽车、PC，智能手机、平板电脑、电子书阅读器、便携计算机等具有显示功能的设备。
如图1所示，所述服务器1包括：存储器11、处理器12及网络接口13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如该服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，存储器11还可以包括服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于服务器1的应用软件及各类数据，例如基于挥棒姿势的体感游戏程序10的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于挥棒姿势的体感游戏程序10等。
网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该服务器1与其他电子设备之间建立通信连接。
网络可以为互联网、云网络、无线保真(Wi-Fi)网络、个人网(PAN)、局域网(LAN)和/或城域网(MAN)。网络环境中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备对设备通信、蜂窝通信协议和/或蓝牙(Blue Tooth)通信协议或其组合。
可选地，该服务器还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。
图1仅示出了具有组件11-13以及基于挥棒姿势的体感游戏程序10的服务器1，本领域技术人员可以理解的是，图1示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在本实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
在预设的挥棒型体感游戏启动后，获取体感设备检测的玩家姿态原始信号；
从所述玩家姿态原始信号中筛选出挥棒动作的关键信号；
将所述关键信号导入预设的挥棒姿势识别模型，识别玩家的挥棒姿势；
根据所述预设的挥棒姿势识别模型的识别结果控制玩家的游戏角色执行相匹配的挥棒动作。
在一实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
从所述玩家姿态原始信号确定一个完整挥棒动作的目标信号区间；
从所述目标信号区间中筛选出挥棒动作的关键信号。
在一实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
根据所述玩家姿态原始信号生成连续波形图；
控制长度为k1，步长为s1的第一窗口在所述连续波形图上滑动；
在滑动所述第一窗口的同时计算所述第一窗口内波形的第一振幅平均值；
若所述第一振幅平均值小于第一幅度阈值且大于第二幅度阈值，则将当前区间标记为静止区间；
若所述第一振幅平均值大于第一幅度阈值，则将当前区间标记为挥棒区间；
当所述窗口依次划过静止区间-挥棒区间-静止区间，且所述窗口在相邻两个静止区间的滑动时长大于预设时长阈值，则将依次连接的静止区间、挥棒区间及静止区间标记为目标信号区间。
在一实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
控制长度为k2，步长为s2的第二窗口在所述目标信号区间滑动；
在滑动所述第二窗口的同时获取所述第二窗口内的最大波峰值；
设定T为第二窗口内的最大波峰值，ΔT为预设峰值阈值，Δt为第二预设时长阈值，则
若Tn-Tn-1≥ΔT，则标记Tn时的第二窗口的前端为挥棒区间起始时刻；
若Tn+1-Tn≤-ΔT，则标记Tn+1时的第二窗口的后端为挥棒区间结束时刻；
获取所述挥棒区间内的信号作为所述挥棒动作的关键信号。
在一实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
获取基于挥棒动作的原始数据集；
对所述原始数据集进行降噪处理以得到目标数据集；
根据所述目标数据集确定所述k1、s1、第一幅度阈值、预设时长阈值、k2、s2、第二幅度阈值及第二预设时长阈值。
在一实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
选择三轴加速度信号和三轴角速度信号中信号波动最为剧烈的一轴的玩家姿态原始信号筛选出挥棒动作的关键信号。挥棒姿势识别
在一实施例中，处理器12可以用于调用存储器11中存储的基于挥棒姿势的体感游戏程序，并执行以下操作：
基于神经网络建立挥棒姿势识别模型；
使用所述目标数据集中与所述挥棒动作关联的数据训练所述挥棒姿势识别模型。
基于上述基于挥棒姿势的体感游戏设备的硬件构架，提出本发明基于挥棒姿势的体感游戏方法的实施例。本发明的基于挥棒姿势的体感游戏方法，旨在提升挥棒类体感游戏对玩家挥棒姿势的识别精度。
参照图2，图2为本发明基于挥棒姿势的体感游戏方法的一实施例，所述基于挥棒姿势的体感游戏方法包括以下步骤：
S10、在预设的挥棒型体感游戏启动后，获取体感设备检测的玩家姿态原始信号。
这其中，挥棒型体感游戏是指需要玩家在现实中做出类似挥棒动作以输入游戏指令的游戏，举例来说，羽毛球、网球、乒乓球、棒球、节奏光剑等游戏均属于挥棒型体感游戏。当然，挥棒型体感游戏并不仅限于上述几类，还可以包括其他游戏，此处不做一一举例，凡是需要玩家在现实中做出类似挥棒动作才能实现游戏角色控制的游戏，均可认为本申请的技术方案所提及的挥棒型体感游戏。
进一步地，该预设的挥棒型体感游戏在终端上运行，该终端可以为台式电脑、笔记本电脑、游戏主机、便携式游戏主机、智能手机、平板电脑、智能手表、智能电视等。
这其中，体感设备是指能够检测玩家姿态数据的设备，通常，体感设备被设置为包括六轴IMU传感器，该六轴IMU传感器包括三轴加速度计和三轴陀螺仪，该六轴IMU传感器通过检测玩家的三轴加速度的变化和三轴角速度的变化以检测玩家的姿态数据。具体地，该体感设备被设置为可穿戴式，其形态包括但不限于以下几种：手环、手套手表、头巾、帽子、背心、健身环、游戏手柄。
进一步地，在游戏前，该体感设备需要与终端建立通信连接，这其中，体感设备与终端之间可以建立有线连接，也可建立无线连接。示例性的，当体感设备与终端建立有线连接时，可基于USB2.0协议、USB3.0协议、雷电3协议、雷电4协议中的至少一者；而当体感设备与终端建立无线连接时，可基于蓝牙协议、WiFi协议、红外协议、2.4G通信协议、NFC协议中的至少一者。在体感设备与终端建立通信连接，且预设的挥棒型体感游戏启动后，体感设备会将所检测到的玩家的姿态原始信号通过上述通信协议中的至少一者发送给终端。这其中，该原始信号是指体感设备的三轴加速度信号及三轴陀螺仪信号。
S20、从所述玩家姿态原始信号中筛选出挥棒动作的关键信号。
这其中，挥棒动作的关键信号是指最能体现玩家挥棒姿势的信号，对于终端而言，仅根据该关键信号便可识别出玩家的挥棒姿势。
具体而言，体感设备所检测的玩家姿态原始信号，包括了玩家运动所产生的所有信号，这导致玩家姿态原始信号中夹杂有许多噪音，这些噪音会影响对终端对玩家挥棒动作的识别。举例来说，若玩家正在进行体感羽毛球游戏，则在玩家游戏的过程中，体感设备不仅能够在玩家挥拍时生成姿态信号，还会在玩家无意识晃动、误挥拍时生成姿态信号，并将这些姿态信号均发送给终端。而在上述这些姿态信号中，玩家实际挥拍时生成的姿态信号能够供终端判断玩家进行了何种姿势的挥拍动作(如正手挥拍、反手挥拍、横挥拍等)，而其他信号则会干扰终端对玩家挥拍动作的识别。
因此，从玩家姿态原始信号中筛除出挥棒动作的关键信号，也可以理解为删除玩家姿态原始信号中影响终端识别玩家动作的姿态信号，进而有助于提升终端对玩家挥棒动作的识别精度。值得说明的是，从玩家姿态原始信号中筛选出关键信号这一动作在终端中执行，以降低对体感设备的算力要求，并有助于降低体感设备到终端的传输延迟。
S30、将所述关键信号导入预设的挥棒姿势识别模型，识别玩家的挥棒姿势。
这其中，该预设的挥棒姿势识别模型基于机器学习算法建立并训练，以用于能够根据关键信号识别玩家挥拍姿势。具体而言，终端在筛选出关键信号后，将关键信号导入预设的挥棒姿势识别模型，以识别玩家的挥棒姿势。示例性的，以体感网球游戏为例，玩家的挥棒动作包括正手挥拍、反手挥拍、切球等挥拍动作。可以理解，通过训练完成的挥棒姿势识别模型能够提高对玩家挥棒动作的识别精度与识别速度，此外，将挥棒动作的关键信号导入模型亦有利于提高终端对玩家挥棒动作的识别精度与识别速度。如此结合，能够最大程度地提升游戏过程中玩家挥棒姿势的识别精度与识别速度，以使游戏能够在更短时间内更为精确地映射玩家挥棒动作，进而有利于提升的玩家的游戏体验。
值得说明的是，该预设的跳跃动作识别模型可直接部署于终端，也可部署于与终端连接的本地服务器或云端服务器。
S40、根据所述预设的挥棒姿势识别模型的识别结果控制玩家的游戏角色执行相匹配的挥棒动作。
这其中，游戏角色是指玩家在游戏中的角色形象，其可以采用第一人称视角，也可采用第三人称视角。此外，本申请对游戏角色不做限制，其可以根据游戏内容及类型做适应性调整。
具体而言，根据挥棒姿势识别出玩家的挥棒姿势后，终端可根据挥棒姿势识别模型的识别结果，控制玩家的游戏角色执行与所识别到的挥棒动作相匹配的游戏动作。示例性的，若玩家正在进行体感羽毛球游戏，且挥棒姿势识别模型所识别到的玩家动作为正手挥拍，那么游戏中的玩家角色相应的也将执行正手挥拍的动作。
可以理解，本申请的基于挥棒姿势的体感游戏方法，通过从玩家姿态原始信号中筛出挥棒动作的关键信号，再将该关键信号导入预设的挥棒姿势识别模型，以识别玩家的挥棒姿势，如此，可提升对玩家挥棒动作的识别速度与识别精度，进而能够提升玩家的操作体验。可见，相较于传统的体感游戏方法，本申请的体感游戏方法具有挥棒姿势识别精度高、玩家游戏体验好的优点。
如图3所示，在一些实施例中，从所述玩家姿态原始信号中筛选出挥棒动作的关键信号，包括：
S21、从所述玩家姿态原始信号确定一个完整挥棒动作的目标信号区间。
这其中，一个完整挥棒动作包括挥棒前的准备动作、挥棒动作及挥棒完成后的停止动作。一般的挥棒型游戏，在游戏时相邻的两个挥棒动作之间存在一定的时间间隔。举例来说，在体感网球游戏中，玩家不会连续进行两次挥拍，这是由于网球被玩家控制的角色击打后，还需要另一个角色(NPC角色或另一个玩家角色)将网球回击后才能继续挥拍。而在相邻两个挥拍动作的时间间隔中，玩家不可避免的会进行其他动作，而这些动作生成的姿态信号会干扰终端对玩家挥拍姿势的识别。
进一步地，玩家姿态原始信号中，除了三轴加速度计和三轴陀螺仪的数据外，还包括各个轴信号的生成时间戳，终端可以根据该时间戳以确定一个完整挥棒动作的目标信号区间。
可以理解，先从玩家姿态原始信号中筛选出一个完整挥棒动作的目标信号区间，能够对玩家姿态原始信号进行预处理，以在减少获取关键信号所需数据量的同时，提升获取的关键信号与实际挥棒动作的匹配度。
S22、从所述目标信号区间中筛选出挥棒动作的关键信号。
具体而言，在确定了挥棒动作的目标信号区间后，便可从该目标信号区间所限定的玩家姿态信号中，筛选出能够体现挥棒动作的姿态信号作为挥棒动作的关键信号。
可以理解，通过上述方法能够对玩家姿态信号进行一个初步筛选，不仅能够缩减终端识别玩家挥拍姿势时的数据量，还有利于提高终端对玩家挥拍姿势的识别精度。
如图4和图5所示，在一些实施例中，从所述玩家姿态原始信号确定一个完整挥棒动作的目标信号区间，包括：
S110、根据所述玩家姿态原始信号生成连续波形图。
具体而言，由于玩家姿态原始信号包括了三轴加速度计和三轴陀螺仪中每个轴信号的变化及变化时间，因此，终端在收到这些姿态原始信号后，可以依此生成以时间为横轴，以振幅为纵轴的连续波形图。该连续波形图以时间为横轴，展示了终端所接收到的玩家原始信号的变化。
值得说明的是，终端针对三轴加速度计和三轴陀螺仪的每一个轴各生成了一个连续波形图。
S120、控制长度为k1，步长为s1的第一窗口在所述连续波形图上滑动。
这其中，长度k1是指第一窗口能够覆盖的范围，由于在本实施例中，连续波形图的横轴是时间，因此该第一窗口的长度以时间为单位，如40毫秒、50毫秒、60毫秒、70毫秒、80毫秒、90毫秒、100毫秒等。
进一步地，步长s1则是指第一窗口在连续波形图上每次滑动的滑动距离，在本实施例中，步长s1的单位也为时间，如10毫秒、20毫秒、30毫秒等。
值得说明的是，步长s1的长度可以大于第一窗口的长度k1，也可等于或小于第一窗口的长度k1，第一窗口的长度k1与步长s1可根据实际情况而做适应性的设计，本申请对此不作具体限制。
具体地，在生成了连续波形图后，可控制第一窗口以沿着连续波形图横轴的正向(即沿着时间增加的方向)，以步长s1在连续波形图上滑动。具体而言，若首次接收到玩家姿态原始信号后，则第一窗口的滑动起点为连续波形图的起点；若并非首次接收到玩家姿态原始信号，那么第一窗口的起点则为上一个挥棒动作的目标信号区间的终点。
S130、在滑动所述第一窗口的同时计算所述第一窗口内波形的第一振幅平均值。
具体而言，在滑动第一窗口的同时，可根据第一窗口覆盖区域中所有波峰及所有波谷的总值及第一窗口的长度计算第一振幅平均值。值得说明的是，在计算第一整幅平均值时，波形的整幅以绝对值计算，以避免时间轴上侧的波与时间轴下侧的波相互抵消。
S140、若所述第一振幅平均值小于第一幅度阈值，则将当前区间标记为静止区间。
S150、若所述第一振幅平均值大于第二幅度阈值，则将当前区间标记为挥棒区间。
S160、当所述窗口依次划过静止区间-挥棒区间-静止区间，且所述窗口在相邻两个静止区间的滑动时长大于预设时长阈值，则将依次连接的静止区间、挥棒区间及静止区间标记为目标信号区间。
具体地，在计算出第一窗口内的第一振幅值后，可比较第一振幅值与第一幅度阈值、第二幅度阈值，以判断当前区间为静止区间还是挥棒区间。这其中，第二幅度阈值大于第一幅度阈值。
具体而言，根据实际的数据与观察，我们能够确定在挥棒前，玩家会保持一定时间段的相对静止，在挥棒动作完成后，玩家也会保持一定时间段的相对静止。因此，我们可以用第一幅度阈值以区分挥棒前的静止阶段生成的信号与两个挥棒动作之间其他动作生成的信号。同时，由于挥棒时生成的信号强度远大于其他动作信号，因此我们可以设置第二幅度阈值以确定挥棒动作信号所处的区间。而设置预设时长阈值是为了能够保证对目标信号区间的识别精度，其能够避免玩家其他误操作对目标信号区间识别的干扰。
值得说明的是，第一幅度阈值、第二幅度阈值及预设时长阈值可根据实际情况而做适应性设计，本申请对此不做具体限制。
可以理解，通过上述方式便可快速且精确的从玩家姿态原始信号中确认出代表一个完整挥棒动作的目标信号区间。
在一些实施例中，从所述目标信号区间中筛选出挥棒动作的关键信号，包括：
S210、控制长度为k2，步长为s2的第二窗口在所述目标信号区间滑动。
这其中，长度k2是指第二窗口能够覆盖的范围，由于在本实施例中，连续波形图的横轴是时间，因此该第二窗口的长度以时间为单位，如10毫秒、20毫秒、30毫秒等。
进一步地，步长s2则是指第二窗口在连续波形图上每次滑动的滑动距离，在本实施例中，步长s2的单位也为时间，如1毫秒、3毫秒、5毫秒等。
值得说明的是，步长s2的长度可以大于第二窗口的长度k2，也可等于或小于第二窗口的长度k2，第二窗口的长度k2与步长s2可根据实际情况而做适应性的设计，本申请对此不作具体限制。
具体而言，在得到目标信号区间后，可控制第二窗口以沿着连续波形图横轴的正向(即沿着时间增加的方向)，以步长s2在目标信号区间的连续波形图上滑动。这其中，第二窗口的滑动起点为目标信号区间的起点。
S220、在滑动所述第二窗口的同时获取所述第二窗口内的最大波峰值。
具体而言，在滑动第二窗口的同时，可根据第二窗口所覆盖区域的波形的振幅，以确定第二窗口内波形的最大波峰值。
S230、设定T为第二窗口内的最大波峰值，t为第二窗口的时刻，ΔT为预设峰值阈值，则
若Tn-Tn-1≥ΔT，则标记Tn时的第二窗口的前端为挥棒区间起始时刻；
若Tn+1-Tn≤-ΔT，则标记Tn+1时的第二窗口的后端为挥棒区间结束时刻。
S240、获取所述挥棒区间内的信号作为所述挥棒动作的关键信号。
具体而言，Tn-Tn-1表示的是相邻的两个第二窗口中最大波峰值的差值，若该差值大于或等于预设峰值阈值，则说明第n个第二窗口中出现了挥棒时才能生成的信号，那么此时可将第二窗口前端(即靠近目标信号区间起点的一端)时刻标记为挥棒区间的起点。同理，若Tn+1-Tn的差值小于或等于负的预设峰值阈值，则说明第二窗口中出现了挥棒动作结束时生成的信号，那么此时，可将第二窗口的后端(即靠近目标信号区间终点的一端)的时刻标记为挥棒区间的结束终点。如此，便可得到所需的挥棒区间的起始时刻与结束时刻。进而，便可将挥棒区间内的信号作为关键信号。
可以理解，通过上述方式所确定的挥棒区间，能够在保证挥棒区间与实际挥棒动作匹配度的基础上，使挥棒区间具有一定的前后容差，进而使得所获得的关键信号有足够的信号量，从而能够在保证对玩家挥棒姿势识别精度的基础上，容许一定程度的误差。
如图5所示，在一些实施例中，在从所述玩家姿态原始信号中筛选出挥棒动作的关键信号之前，所述方法还包括：
310、获取基于挥棒动作的原始数据集。
具体而言，可以收集若干玩家实际进行挥棒类型游戏时的数据以得到原始数据集。
320、对所述原始数据集进行降噪处理以得到目标数据集。
具体地，可通过滤波、归一化等数字信号处理技术对原始数据集进行筛选，以对原始数据集进行降噪处理。
330、根据所述目标数据集确定所述k1、s1、第一幅度阈值、第二幅度阈值、预设时长阈值、k2、s2、及峰值阈值。
具体而言，可根据目标数据集中的数据生成连续波形图，进而以统计得到所需的k1、s1、第一幅度阈值、第二幅度阈值、预设时长阈值、k2、s2及峰值阈值。这样，能够使所获得的上述数值更贴近于实际玩家数据，进而有助于提高对玩家挥棒动作的关键信号的获取精度，进而有助于提升对玩家挥棒动作的识别精度。
在一些实施例中，从所述玩家姿态原始信号中筛选出挥棒动作的关键信号之前，挥棒姿势识别包括：
选择三轴加速度信号和三轴角速度信号中信号波动最为剧烈的一轴的玩家姿态原始信号筛选出挥棒动作的关键信号挥棒姿势识别。
值得说明的是，虽然玩家在挥棒时，三轴加速度计和三轴陀螺仪共六个轴均能够生成信号，但必然会有一轴的信号强度的波动相较而言是最为剧烈的，该信号强度波动最大的轴的所关联的信号在六个轴的信号中最能够体现玩家的挥棒姿势，进而根据该轴的信号便可识别出玩家的挥棒姿势。
具体而言，可通过方差法等方法以辨识出三轴加速度和三轴陀螺仪中信号波动最为剧烈的一轴。在确定了波动最为剧烈的一轴后，可仅从该信号波动最为剧烈的一轴中筛选出所需的挥棒动作的关键信号。这样，能够极大减少终端识别玩家姿势所需的计算量，进而能够提升对玩家挥棒姿势识别的速度，并有助于降低对终端算力需求。
在一些实施例中，在获取体感设备检测的玩家姿态原始信号之前，所述方法还包括：
S410、基于神经网络建立挥棒姿势识别模型。
具体地，可基于卷积神经网络、深度残差神经网络等神经网络建立挥棒姿势识别模型。具体而言，利用神经网络建立挥棒姿势识别模型能够提升对玩家挥棒姿势的识别精度与识别速度。
S420、使用所述目标数据集中与所述挥棒动作关联的数据训练所述挥棒姿势识别模型。
具体地，由于目标数据集是收集玩家进行挥棒型游戏时姿态信号所建立的数据集，因此相应的也可建立连续波形图。由于目标数据集是带有标签的已知数据集，因此，我们可以之间从目标数据集中选择与挥棒动作关联的关键数据，以训练模型，进而以提升模型的训练速度与训练精度。当然，本申请的设计不限于此，在其他实施例中，也可结合我们从玩家姿态原始信号中确认关键信号的方法，以将目标数据集分隔为多个完整的挥棒动作，再从这些完整的挥棒动作中筛选出挥棒动作关联的关键数据以训练所建立的模型。
在一些实施例中，所述挥棒姿势识别模型基于深度残差神经网络，其中，所述深度残差神经网络的残差学习单元不小于4层，且不大于20层。
具体而言，基于深度残差网络建立挥棒姿势识别模型，能够降低模型的收敛难度，并且能够切合不同挥棒动作具有高度相似性的特点，以增强训练后模型对挥棒姿势的识别精度。这其中，但深度残差网络的残差单元设置为不小于4层，且不大于20层，是为了在确保模型识别精度的基础上，减少模型训练时间，以节约开发成本。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括基于挥棒姿势的体感游戏程序10，本发明之计算机可读存储介质的具体实施方式与上述基于挥棒姿势的体感游戏方法以及服务器1的具体实施方式大致相同，在此不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于挥棒姿势的体感游戏方法，其特征在于，包括：
在预设的挥棒型体感游戏启动后，获取体感设备检测的玩家姿态原始信号；
从所述玩家姿态原始信号中筛选出挥棒动作的关键信号；
将所述关键信号导入预设的挥棒姿势识别模型，识别玩家的挥棒姿势；
根据所述预设的挥棒姿势识别模型的识别结果控制玩家的游戏角色执行相匹配的挥棒动作。
2.如权利要求1所述的基于挥棒姿势的体感游戏方法，其特征在于，从所述玩家姿态原始信号中筛选出挥棒动作的关键信号，包括：
从所述玩家姿态原始信号确定一个完整挥棒动作的目标信号区间；
从所述目标信号区间中筛选出挥棒动作的关键信号。
3.如权利要求2所述的基于挥棒姿势的体感游戏方法，其特征在于，从所述玩家姿态原始信号筛选出一个完整挥棒动作的目标信号区间，包括：
根据所述玩家姿态原始信号生成连续波形图；
控制长度为k1，步长为s1的第一窗口在所述连续波形图上滑动；
在滑动所述第一窗口的同时计算所述第一窗口内波形的第一振幅平均值；
若所述第一振幅平均值小于第一幅度阈值且大于第二幅度阈值，则将当前区间标记为静止区间；
若所述第一振幅平均值大于第一幅度阈值，则将当前区间标记为挥棒区间；
当所述窗口依次划过静止区间-挥棒区间-静止区间，且所述窗口在相邻两个静止区间的滑动时长大于预设时长阈值，则将依次连接的静止区间、挥棒区间及静止区间标记为目标信号区间。
4.如权利要求3所述的基于挥棒姿势的体感游戏方法，其特征在于，从所述目标信号区间中筛选出挥棒动作的关键信号，包括：
控制长度为k2，步长为s2的第二窗口在所述目标信号区间滑动；
在滑动所述第二窗口的同时获取所述第二窗口内的最大波峰值；
设定T为第二窗口内的最大波峰值，ΔT为预设峰值阈值，Δt为第二预设时长阈值，则
若Tn-Tn-1≥ΔT，则标记Tn时的第二窗口的前端为挥棒区间起始时刻；
若Tn+1-Tn≤-ΔT，则标记Tn+1时的第二窗口的后端为挥棒区间结束时刻；
获取所述挥棒区间内的信号作为所述挥棒动作的关键信号。
5.如权利要求4所述的基于挥棒姿势的体感游戏方法，其特征在于，在从所述玩家姿态原始信号中筛选出挥棒动作的关键信号之前，所述方法还包括：
获取基于挥棒动作的原始数据集；
对所述原始数据集进行降噪处理以得到目标数据集；
根据所述目标数据集确定所述k1、s1、第一幅度阈值、预设时长阈值、k2、s2、第二幅度阈值及第二预设时长阈值。
6.如权利要求2所述的基于挥棒姿势的体感游戏方法，其特征在于，所述玩家姿态信号包括三轴加速度信号及三轴角速度信号；
从所述玩家姿态原始信号中筛选出挥棒动作的关键信号之前，包括：
选择三轴加速度信号和三轴角速度信号中信号波动最为剧烈的一轴的玩家姿态原始信号筛选出挥棒动作的关键信号。
7.如权利要求4所述的基于挥棒姿势的体感游戏方法，其特征在于，在获取体感设备检测的玩家姿态原始信号之前，所述方法还包括：
基于神经网络建立挥棒姿势识别模型；
使用所述目标数据集中与所述挥棒动作关联的数据训练所述挥棒姿势识别模型。
8.如权利要求7所述的基于挥棒姿势的体感游戏方法，其特征在于，所述挥棒姿势识别模型基于深度残差神经网络，其中，所述深度残差神经网络的残差学习单元不小于4层，且不大于20层。
9.一种基于挥棒姿势的体感游戏设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的基于挥棒姿势的体感游戏程序，所述处理器执行所述基于挥棒姿势的体感游戏程序时实现如权利要求1-8中任一项所述的基于挥棒姿势的体感游戏方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于挥棒姿势的体感游戏程序，所述基于挥棒姿势的体感游戏程序被处理器执行时实现如权利要求1-8中任一项所述的基于挥棒姿势的体感游戏方法。
CN202210667240.1A 2022-06-14 2022-06-14 基于挥棒姿势的体感游戏方法 Pending CN114926908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667240.1A CN114926908A (zh) 2022-06-14 2022-06-14 基于挥棒姿势的体感游戏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667240.1A CN114926908A (zh) 2022-06-14 2022-06-14 基于挥棒姿势的体感游戏方法

Publications (1)

Publication Number Publication Date
CN114926908A true CN114926908A (zh) 2022-08-19

Family

ID=82815371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667240.1A Pending CN114926908A (zh) 2022-06-14 2022-06-14 基于挥棒姿势的体感游戏方法

Country Status (1)

Country Link
CN (1) CN114926908A (zh)

Similar Documents

Publication Publication Date Title
US7988558B2 (en) Game apparatus and storage medium storing game program
JP6080175B2 (ja) ボール運動の動作識別方法、装置及び動作支援装置
CN105229666A (zh) 3d图像中的运动分析
US9044672B2 (en) Game system, game apparatus, storage medium and game controlling method
CN106778565B (zh) 引体向上的计数方法及装置
CN104076920A (zh) 信息处理设备、信息处理方法及存储介质
CN114949839A (zh) 基于游泳姿势的体感游戏方法
US20140031123A1 (en) Systems for and methods of detecting and reproducing motions for video games
CN108629170A (zh) 身份识别方法以及相应的装置、移动终端
Bannach et al. Waving real hand gestures recorded by wearable motion sensors to a virtual car and driver in a mixed-reality parking game
CN114926908A (zh) 基于挥棒姿势的体感游戏方法
CN116196611A (zh) 基于挥手动作的体感游戏方法
CN107506041A (zh) 一种基于运动传感器的可穿戴式鼠标控制方法
CN112711326A (zh) 虚拟物体操作系统及虚拟物体操作方法
CN116271785A (zh) 基于拍击动作的体感游戏方法
US20240226733A9 (en) Method for operating running-type somatosensory game
CN116173491A (zh) 节奏类体感游戏方法、装置、设备及计算机可读存储介质
CN115845356A (zh) 基于挥击动作的体感游戏方法
CN116251343A (zh) 基于投掷动作的体感游戏方法
CN116173492A (zh) 基于拳击动作的体感游戏方法
CN114904258A (zh) 基于平移动作的体感游戏方法
CN115006840A (zh) 体感联网游戏方法、设备及计算机可读存储介质
CN115253270A (zh) 乒乓球体感游戏方法
CN116129518A (zh) 基于手势识别的体感操作方法
CN115282589A (zh) 基于跳绳动作的体感游戏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination