CN110585684A - 基于动作识别的vr互动方法及系统 - Google Patents

基于动作识别的vr互动方法及系统 Download PDF

Info

Publication number
CN110585684A
CN110585684A CN201910603926.2A CN201910603926A CN110585684A CN 110585684 A CN110585684 A CN 110585684A CN 201910603926 A CN201910603926 A CN 201910603926A CN 110585684 A CN110585684 A CN 110585684A
Authority
CN
China
Prior art keywords
signal
target
signals
action
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910603926.2A
Other languages
English (en)
Inventor
王�琦
王庆明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201910603926.2A priority Critical patent/CN110585684A/zh
Publication of CN110585684A publication Critical patent/CN110585684A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/18—Training appliances or apparatus for special sports for skiing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于动作识别的VR互动方法及系统。其中VR互动方法包括：采集多路同步信号；选择一路信号作为基准信号；根据基准信号的动态特征将其分成若干信号段，其中，每一信号段对应一时间区间；对于同一时间区间，所述VR互动方法还包括：提取其他路信号位于该时间区间的部分的动态特征；按照预设顺序组合该时间区间对应的所有动态特征，得到特征矩阵；判断特征矩阵与目标矩阵的相似度是否大于预设阈值；若是，则将该时间区间对应的动作识别为与之对应的目标动作；显示与该目标动作对应的VR场景。本发明根据用户的动作显示与之对应的VR场景，从而可以通过动作主动控制VR场景的显示，使得VR互动性更强，效果也更加逼真。

Description

基于动作识别的VR互动方法及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于动作识别的VR互动方法及系统。
背景技术
现有VR(Virtual Reality，虚拟现实)互动真实性不足，原因在于，目前的VR设备依靠呈现的VR场景带动人作出反应动作，而非根据人体动作呈现相应的VR场景，从而其互动真实性有所欠缺。此外，当前大多通过相机来采集运动对象的运动数据，进而对采集到的图像或者视频格式的运动数据进行处理的方式，来识别运动对象具体实施的动作，其中，由于相机采集到的运动数据的数据量大，使得分析过程复杂。
发明内容
本发明要解决的技术问题是为了克服现有技术中用户在VR互动中被动响应VR场景的缺陷，提供一种基于动作识别的VR互动方法及系统。
本发明是通过下述技术方案来解决上述技术问题：
一种基于动作识别的VR互动方法，其特点在于，所述VR互动方法包括：
采集运动对象的多路信号，其中，所述多路信号时间同步；
从所述多路信号中选择一路信号作为基准信号；
根据所述基准信号的动态特征将所述基准信号分成若干信号段，其中，每一信号段对应一时间区间；
对于同一时间区间，所述VR互动方法还包括：
提取其他路信号位于所述时间区间的部分的动态特征；
按照预设顺序组合所述时间区间对应的所有动态特征，得到特征矩阵；
判断所述特征矩阵与目标矩阵的相似度是否大于预设阈值，其中，所述目标矩阵与目标动作对应；
若是，则将所述时间区间对应的动作识别为所述目标动作；
显示与所述目标动作对应的VR场景。
较佳地，所述目标矩阵根据以下步骤获取得到：
在运动对象执行所述目标动作时采集所述多路信号，并将采集到的每路信标记为目标信号；
提取每路目标信号的动态特征，并将所述动态特征标记为目标特征；
按照所述预设顺序组合得到的所有目标特征，得到目标矩阵；
将所述目标动作标记为所述目标矩阵。
较佳地，所述动态特征包括上升趋势和下降趋势。
较佳地，所述多路信号包括重心高度信号、肌电信号以及肢体间的角度信号，其中，所述重心高度信号被选择为基准信号。
较佳地，所述多路信号还包括压力信号、速度信号、加速度信号中的至少一种。
较佳地，所述根据所述基准信号的动态特征将所述基准信号分成若干信号段的步骤具体包括：
根据所述基准信号的动态特征将所述基准信号分成若干第一信号段；
分别将每一第一信号段均分为若干第二信号段，其中，每一第二信号段对应一时间区间。
较佳地，所述VR互动方法应用于模拟滑雪运动，所述VR场景包括滑雪场景。
一种基于动作识别的VR互动系统，其特点在于，VR互动系统包括：
采集模块，用于采集运动对象的多路信号，其中，所述多路信号时间同步；
选择模块，用于从所述多路信号中选择一路信号作为基准信号；
切分模块，用于根据所述基准信号的动态特征将所述基准信号分成若干信号段，其中，每一信号段对应一时间区间；
提取模块，用于提取其他路信号位于同一时间区间的部分的动态特征；
组合模块，用于按照预设顺序组合所述同一时间区间对应的所有动态特征，得到特征矩阵；
判断模块，用于判断所述特征矩阵与目标矩阵的相似度是否大于预设阈值，其中，所述目标矩阵与目标动作对应；
若是，则调用识别模块，所述识别模块用于将所述同一时间区间对应的动作识别为所述目标动作；
显示模块，用于显示与所述目标动作对应的VR场景。
较佳的，所述采集模块还用于在运动对象执行所述目标动作时采集所述多路信号，并将采集到的每路信标记为目标信号；
所述提取模块还用于提取每路目标信号的动态特征，并将所述动态特征标记为目标特征；
所述组合模块还用于按照所述预设顺序组合得到的所有目标特征，得到目标矩阵；
所述VR互动系统还包括标记模块，所述标记模块用于将所述目标动作标记为所述目标矩阵。
较佳地，所述动态特征包括上升趋势和下降趋势。
较佳地，所述多路信号包括重心高度信号、肌电信号以及肢体间的角度信号，其中，所述重心高度信号被选择为基准信号。
较佳地，所述多路信号还包括压力信号、速度信号、加速度信号中的至少一种。
较佳地，所述切分模块包括：
第一切分单元，用于根据所述基准信号的动态特征将所述基准信号分成若干第一信号段；
第二切分单元，用于分别将每一第一信号段均分为若干第二信号段，其中，每一第二信号段对应一时间区间。
较佳地，所述VR互动系统应用于模拟滑雪运动，所述VR场景包括滑雪场景。
本发明的积极进步效果在于：本发明根据用户的动作显示与之对应的VR场景，而非被动地响应VR场景，从而用户可以通过动作主动控制VR场景的显示，使得VR互动性更强，效果也更加逼真，此外，本发明基于采集的多路信号，可实现动作划分、特征提取等，既简化了分析计算过程，又能够动态捕捉识别用户的动作。
附图说明
图1为根据本发明实施例1的基于动作识别的VR互动方法的流程图。
图2为根据本发明实施例1的基于动作识别的VR互动方法中基准信号的示意图。
图3为根据本发明实施例1的基于动作识别的VR互动方法中获取目标矩阵的流程图。
图4为根据本发明实施例2的基于动作识别的VR互动系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种基于动作识别的VR互动方法，图1示出了本实施例的流程图。参照图1，本实施例的VR互动方法包括：
S11、采集运动对象的多路信号。
在本实施例中，采集的多路信号可以包括但不限于：重心高度信号、肌电信号、肢体间的角度信号、压力信号、速度信号、加速度信号等。具体地，经采集的多路信号需要进行模数转换、滤波、放大等预处理，此外，经采集的多路信号还需统一时间轴，以最终获得时间同步的多路信号。
在本实施例中，可以采取各种方式实现各路信号的采集。例如，可以采用高度传感器采集重心高度信号、采用肌电信号传感器采集肌电信号，采用角度传感器(诸如，Goniometer)采集肢体间的角度信号等。又例如，可以采用肌电信号传感器采集肌电信号，并依托Kine系统分析摄像装置采集的在运动对象肢体上设置的标记(诸如，反光点)来获取重心高度信号、肢体间的角度信号等，较之上述采用各类传感器采集各类信号的方式，采用较少数量的传感器，使得运动对象具有更加轻松自如的使用体验。此外，在本实施例中，信号的传输优选采用无线传输的方式，以给予运动对象较大的活动空间以及自由度。
S12、从多路信号中选择一路信号作为基准信号。
应当理解，运动对象的不同动作使得采集的各路信号呈现出不同的动态特征。在本实施例中，为了实现连续运动中不同动作的切分，可以从采集的多路信号中选择出最能体现运动对象的动作变化的信号作为切分信号的基准信号。例如，在本实施例中，当VR互动方法应用于模拟滑雪运动并且采集的多路信号包括重心高度信号、肌电信号以及肢体间的角度信号时，由于滑雪运动包括大量的下蹲、侧滑、撑杆等涉及重心高度变化的动作，从而可以选择重心高度信号为基准信号。
S13、根据基准信号的动态特征将基准信号分成若干信号段。
不同动作使得不同信号所呈现出的不同的动态特征可以体现在升降趋势，也即，动态特征可以包括上升趋势和下降趋势。以下蹲动作为例，完整的下蹲动作可以包括重心高度的降低(即，下降趋势)，腿部肌肉肌力增大(即，上升趋势)，大腿与小腿间的夹角减小(即，下降趋势)等。在本实施例中，该种切分方法能够有效消除个体差异，例如，就下蹲动作而言，体现在重心高度上，有些运动对象能够蹲得很低，而有的对象仅能半蹲，而不论各运动对象之间存在何种差异，下蹲动作均伴随着重心高度的降低，从而能够有效消除个体差异，进而提高动作识别的准确率和效率。
进一步地，在本实施例中，上升趋势和下降趋势还可以根据趋势变化强弱作进一步细化，如图2所示，重心高度在P1-P3部分呈下降趋势，在P3-P5部分呈上升趋势，可以观察到，P1-P2部分与P2-P3部分呈现出不同强度的下降趋势，P3-P4部分与P4-P5部分呈现出不同强度的上升趋势，从而可以P1、P2、P3、P4为切分点，切分该段重心高度信号。
S14、提取其他路信号位于时间区间的部分的动态特征。
在本实施例中，每一信号段对应一个时间区间，例如，当VR互动方法应用于模拟滑雪运动并且采集的多路信号包括重心高度信号、肌电信号以及肢体间的角度信号时，分析重心高度信号的动态特征，当重心高度下降时，提取与该段呈下降趋势的重心高度信号处于同一时间区间的肌电信号、肢体间的角度信号的动态特征，当重心高度转为上升时，则提取与该段呈上升趋势的重心高度信号处于同一时间区间的肌电信号、肢体间的角度信号的动态特征。
在本实施例中，在提取肌电信号的动态特征时，可以先求得运动对象肌电信号中的肌力数值与事先测得的该运动对象的最大自主收缩(Maximal Voluntary Contraction，MVC)的比值，再根据获得的比值来提取动态特征，以消除不同运动对象个体间的差异。
进一步地，在本实施例中，可以特征值的形式来表征动态特征，例如，当动态特征为上升趋势时，特征值可以取值为1，当动态特征为下降趋势时，特征值可以取值为0。
S15、按照预设顺序组合时间区间对应的所有动态特征，得到特征矩阵。
例如，当VR互动方法应用于模拟滑雪运动并且采集的多路信号包括重心高度信号、肌电信号以及肢体间的角度信号时，在本实施例中采集的肌电信号可以包括但不限于左最长肌、右最长肌、左髂肋肌、右髂肋肌、右手臂肱三头肌、左手臂肱三头肌、右腿股三头肌、左腿股三头肌处的肌电信号，以上肌电信号在各时间区间N(N为正整数)的动态特征分别记为：AN、BN、CN、DN、EN、FN、GN、HN，肢体间的角度信号可以包括但不限于腰椎(比如，第1腰椎至第4腰椎)分别与左上臂、右上臂、左大腿、右大腿之间的夹角角度信号，以上肢体间的夹角角度信号在各时间区间N的动态特征分别记为：IN、JN、KN、LN，此外，将重心高度信号在各时间区间N的动态特征记为MN，如此，组合同一时间区间对应的所有动态特征后，可得特征矩阵[AN、BN、CN、DN、EN、FN、GN、HN、IN、JN、KN、LN、MN]，可用于描述并表征时间区间N所对应的动作。
S16、判断特征矩阵与目标矩阵的相似度是否大于预设阈值；
若是，则转至步骤S17；
S17、将时间区间对应的动作识别为目标动作。
在本实施例中，图3示出了获取目标动作对应的目标矩阵的流程图，参照图3，目标动作对应的目标矩阵可以根据以下步骤获取得到：
S21、在运动对象执行目标动作时采集多路信号，并将采集到的每路信标记为目标信号；
S22、提取每路目标信号的动态特征，并将动态特征标记为目标特征；
S23、按照预设顺序组合得到的所有目标特征，得到目标矩阵；
S24、将目标动作标记为目标矩阵。
相应地，在本实施例中，当VR互动方法应用于模拟滑雪运动时，在运动对象执行目标动作(可以包括但不限于下蹲、侧滑、撑杆等)时采集左最长肌、右最长肌、左髂肋肌、右髂肋肌、右手臂肱三头肌、左手臂肱三头肌、右腿股三头肌、左腿股三头肌处的目标肌电信号，以上目标肌电信号的目标特征分别记为：OAN、OBN、OCN、ODN、OEN、OFN、OGN、OHN，腰椎(第1腰椎至第4腰椎)分别与左上臂、右上臂、左大腿、右大腿之间的目标夹角角度信号，以上肢体间的目标夹角角度信号的目标特征分别记为：OIN、OJN、OKN、OLN，以及目标重心高度信号，并将目标重心高度信号的目标特征记为OMN，如此，按照组合动态特征的预设顺序组合所有目标特征，以得到目标矩阵[OAN、OBN、OCN、ODN、OEN、OFN、OGN、OHN、OIN、OJN、OKN、OLN、OMN]，用于标记目标动作。
在本实施例中，可以采用秩相关性来评估特征矩阵与目标矩阵之间的相似度以提高容错率，例如，特征矩阵与目标矩阵之间的相似度可以通过计算二者之间的Spearman相关系数来评估，若二者之间的Spearman相关系数大于预设阈值(可以根据实际应用自定义设置)，则推定特征矩阵与目标矩阵之间的相似度较高，也即，可以将该特征矩阵对应的时间区间所对应的动作识别为该目标动作。在本实施例中，若特征矩阵与所有的目标矩阵之间的相似度均较低，则可就该结果进行报错。
S18、显示与目标动作对应的VR场景。
在本实施例中，可预设目标动作与VR场景之间的对应关系，当识别到目标动作时，即显示与该目标动作对饮的VR场景，使得运动对象通过其动作即可实现对显示的VR场景的控制。在本实施例中，VR互动方法可应用于但不限于模拟滑雪运动，其中，当本实施例的VR方法应用于模拟滑雪运动时，本实施例中的VR场景可以包括滑雪场景。
本实施例主要以重心高度信号、肌电信号以及肢体间的角度信号进行了阐述，应当理解，当采集的多路信号数量越多，种类越繁多时，对于运动对象的动作识别也就越准确。
此外，为了进一步提高运动对象动作识别的准确率，本实施例中步骤S12具体可以包括：首先根据基准信号的动态特征将基准信号分成若干第一信号段；再分别将每一第一信号段均分为若干第二信号段(例如，均分为两段)。则以其中每一第二信号段对应一时间区间，以实现后续涉及特征矩阵的步骤。
本实施例根据运动对象的动作显示与之对应的VR场景，而非被动地响应VR场景，从而运动对象可以通过动作主动控制VR场景的显示，使得VR互动性更强，效果也更加逼真，又有，本实施例基于采集的多路信号，可实现动作划分、特征提取等，既简化了分析计算过程，又能够动态捕捉识别运动对象的动作。
此外，较之当前的VR互动需依赖于手柄、按钮、方向盘等，本实施例中的运动对象无需抓握外部设备，也就无需过多占用运动对象的注意力，从而运动对象的活动空间及自由度均有所提升，并且，肌电信号能够可靠地反映出运动对象在肌肉紧张之下的内部拮抗，这对于识别诸如滑雪等动作不明显但肌肉发力明显的运动动作是大有裨益的。
实施例2
本实施例提供一种基于动作识别的VR互动系统，图4示出了本实施例的模块示意图。参照图4，本实施例的VR系统包括：采集模块1、选择模块2、切分模块3、提取模块4、组合模块5、判断模块6、识别模块7、显示模块8以及标记模块9。
具体地，采集模块1用于采集运动对象的多路信号。在本实施例中，采集的多路信号可以包括但不限于：重心高度信号、肌电信号、肢体间的角度信号、压力信号、速度信号、加速度信号等。具体地，经采集的多路信号需要经由模数转换模块、滤波模块、放大模块等(图中未示出)进行预处理，此外，经采集的多路信号还需经由时间轴统一模块(图中未示出)，以最终获得时间同步的多路信号。
在本实施例中，可以采取各种模块设备实现各路信号的采集。例如，可以采用高度传感器采集重心高度信号、采用肌电信号传感器采集肌电信号，采用角度传感器(诸如，Goniometer)采集肢体间的角度信号等。又例如，可以采用肌电信号传感器采集肌电信号，并依托Kine系统分析摄像装置采集的在运动对象肢体上设置的标记(诸如，反光点)来获取重心高度信号、肢体间的角度信号等，较之上述采用各类传感器采集各类信号的方式，采用较少数量的传感器，使得运动对象具有更加轻松自如的使用体验。此外，在本实施例中，信号的传输优选采用无线传输模块(图中未示出)，以给予运动对象较大的活动空间以及自由度。
选择模块2用于从多路信号中选择一路信号作为基准信号。应当理解，运动对象的不同动作使得采集的各路信号呈现出不同的动态特征。在本实施例中，为了实现连续运动中不同动作的切分，可以从采集的多路信号中选择出最能体现运动对象的动作变化的信号作为切分信号的基准信号。例如，在本实施例中，当VR互动系统应用于模拟滑雪运动并且采集的多路信号包括重心高度信号、肌电信号以及肢体间的角度信号时，由于滑雪运动包括大量的下蹲、侧滑、撑杆等涉及重心高度变化的动作，从而可以选择重心高度信号为基准信号。
切分模块3用于根据基准信号的动态特征将基准信号分成若干信号段。不同动作使得不同信号所呈现出的不同的动态特征可以体现在升降趋势，也即，动态特征可以包括上升趋势和下降趋势。以下蹲动作为例，完整的下蹲动作可以包括重心高度的降低(即，下降趋势)，腿部肌肉肌力增大(即，上升趋势)，大腿与小腿间的夹角减小(即，下降趋势)等。在本实施例中，该种切分方式能够有效消除个体差异，例如，就下蹲动作而言，体现在重心高度上，有些运动对象能够蹲得很低，而有的对象仅能半蹲，而不论各运动对象之间存在何种差异，下蹲动作均伴随着重心高度的降低，从而能够有效消除个体差异，进而提高动作识别的准确率和效率。
进一步地，在本实施例中，上升趋势和下降趋势还可以根据趋势变化强弱作进一步细化，亦如图2所示，重心高度在P1-P3部分呈下降趋势，在P3-P5部分呈上升趋势，可以观察到，P1-P2部分与P2-P3部分呈现出不同强度的下降趋势，P3-P4部分与P4-P5部分呈现出不同强度的上升趋势，从而可以P1、P2、P3、P4为切分点，切分该段重心高度信号。
提取模块4用于提取其他路信号位于同一时间区间的部分的动态特征。在本实施例中，每一信号段对应一个时间区间，例如，当VR互动系统应用于模拟滑雪运动并且采集的多路信号包括重心高度信号、肌电信号以及肢体间的角度信号时，分析重心高度信号的动态特征，当重心高度下降时，提取与该段呈下降趋势的重心高度信号处于同一时间区间的肌电信号、肢体间的角度信号的动态特征，当重心高度转为上升时，则提取与该段呈上升趋势的重心高度信号处于同一时间区间的肌电信号、肢体间的角度信号的动态特征。
在本实施例中，在提取肌电信号的动态特征时，可以先求得运动对象肌电信号中的肌力数值与事先测得的该运动对象的最大自主收缩(Maximal Voluntary Contraction，MVC)的比值，再根据获得的比值来提取动态特征，以消除不同运动对象个体间的差异。
进一步地，在本实施例中，可以特征值的形式来表征动态特征，例如，当动态特征为上升趋势时，特征值可以取值为1，当动态特征为下降趋势时，特征值可以取值为0。
组合模块5用于按照预设顺序组合同一时间区间对应的所有动态特征，得到特征矩阵。例如，当VR互动系统应用于模拟滑雪运动并且采集的多路信号包括重心高度信号、肌电信号以及肢体间的角度信号时，在本实施例中采集的肌电信号可以包括但不限于左最长肌、右最长肌、左髂肋肌、右髂肋肌、右手臂肱三头肌、左手臂肱三头肌、右腿股三头肌、左腿股三头肌处的肌电信号，以上肌电信号在各时间区间N(N为正整数)的动态特征分别记为：AN、BN、CN、DN、EN、FN、GN、HN，肢体间的角度信号可以包括但不限于腰椎(比如，第1腰椎至第4腰椎)分别与左上臂、右上臂、左大腿、右大腿之间的夹角角度信号，以上肢体间的夹角角度信号在各时间区间N的动态特征分别记为：IN、JN、KN、LN，此外，将重心高度信号在各时间区间N的动态特征记为MN，如此，组合同一时间区间对应的所有动态特征后，可得特征矩阵[AN、BN、CN、DN、EN、FN、GN、HN、IN、JN、KN、LN、MN]，可用于描述并表征时间区间N所对应的动作。
判断模块6用于判断特征矩阵与目标矩阵的相似度是否大于预设阈值，若是，则调用识别模块7，识别模块7用于将同一时间区间对应的动作识别为目标动作。
在本实施例中，采集模块1还用于在运动对象执行目标动作时采集多路信号，并将采集到的每路信标记为目标信号；提取模块4还用于提取每路目标信号的动态特征，并将动态特征标记为目标特征；组合模块5还用于按照预设顺序组合得到的所有目标特征，得到目标矩阵；标记模块9用于将目标动作标记为目标矩阵。如此，以获取目标动作对应的目标矩阵。
相应地，在本实施例中，当VR互动系统应用于模拟滑雪运动时，在运动对象执行目标动作(可以包括但不限于下蹲、侧滑、撑杆等)时采集左最长肌、右最长肌、左髂肋肌、右髂肋肌、右手臂肱三头肌、左手臂肱三头肌、右腿股三头肌、左腿股三头肌处的目标肌电信号，以上目标肌电信号的目标特征分别记为：OAN、OBN、OCN、ODN、OEN、OFN、OGN、OHN，腰椎(第1腰椎至第4腰椎)分别与左上臂、右上臂、左大腿、右大腿之间的目标夹角角度信号，以上肢体间的目标夹角角度信号的目标特征分别记为：OIN、OJN、OKN、OLN，以及目标重心高度信号，并将目标重心高度信号的目标特征记为OMN，如此，按照组合动态特征的预设顺序组合所有目标特征，以得到目标矩阵[OAN、OBN、OCN、ODN、OEN、OFN、OGN、OHN、OIN、OJN、OKN、OLN、OMN]，用于标记目标动作。
在本实施例中，可以采用秩相关性来评估特征矩阵与目标矩阵之间的相似度以提高容错率，例如，特征矩阵与目标矩阵之间的相似度可以通过计算二者之间的Spearman相关系数来评估，若二者之间的Spearman相关系数大于预设阈值(可以根据实际应用自定义设置)，则推定特征矩阵与目标矩阵之间的相似度较高，也即，可以将该特征矩阵对应的时间区间所对应的动作识别为该目标动作。在本实施例中，若特征矩阵与所有的目标矩阵之间的相似度均较低，则可就该结果进行报错。
显示模块8用于显示与目标动作对应的VR场景。在本实施例中，可预设目标动作与VR场景之间的对应关系，当识别到目标动作时，即显示与该目标动作对饮的VR场景，使得运动对象通过其动作即可实现对显示的VR场景的控制。在本实施例中，VR互动系统可应用于但不限于模拟滑雪运动，其中，当本实施例的VR系统应用于模拟滑雪运动时，本实施例中的VR场景可以包括滑雪场景。
本实施例主要以重心高度信号、肌电信号以及肢体间的角度信号进行了阐述，应当理解，当采集的多路信号数量越多，种类越繁多时，对于运动对象的动作识别也就越准确。
此外，参照图4，本实施例中的切分模块3包括第一切分单元31以及第二切分单元32以进一步提高运动对象动作识别的准确率。其中，第一切分单元31用于根据基准信号的动态特征将基准信号分成若干第一信号段；第二切分单元32用于分别将每一第一信号段均分为若干第二信号段(例如，均分为两段)，并使得其中每一第二信号段对应一时间区间。
本实施例根据运动对象的动作显示与之对应的VR场景，而非被动地响应VR场景，从而运动对象可以通过动作主动控制VR场景的显示，使得VR互动性更强，效果也更加逼真，又有，本实施例基于采集的多路信号，可实现动作划分、特征提取等，既简化了分析计算过程，又能够动态捕捉识别运动对象的动作。
此外，较之当前的VR互动需依赖于手柄、按钮、方向盘等，本实施例中的运动对象无需抓握外部设备，也就无需过多占用运动对象的注意力，从而运动对象的活动空间及自由度均有所提升，并且，肌电信号能够可靠地反映出运动对象在肌肉紧张之下的内部拮抗，这对于识别诸如滑雪等动作不明显但肌肉发力明显的运动动作是大有裨益的。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (14)

1.一种基于动作识别的VR互动方法，其特征在于，所述VR互动方法包括：
采集运动对象的多路信号，其中，所述多路信号时间同步；
从所述多路信号中选择一路信号作为基准信号；
根据所述基准信号的动态特征将所述基准信号分成若干信号段，其中，每一信号段对应一时间区间；
对于同一时间区间，所述VR互动方法还包括：
提取其他路信号位于所述时间区间的部分的动态特征；
按照预设顺序组合所述时间区间对应的所有动态特征，得到特征矩阵；
判断所述特征矩阵与目标矩阵的相似度是否大于预设阈值，其中，所述目标矩阵与目标动作对应；
若是，则将所述时间区间对应的动作识别为所述目标动作；
显示与所述目标动作对应的VR场景。
2.如权利要求1所述的基于动作识别的VR互动方法，其特征在于，所述目标矩阵根据以下步骤获取得到：
在运动对象执行所述目标动作时采集所述多路信号，并将采集到的每路信标记为目标信号；
提取每路目标信号的动态特征，并将所述动态特征标记为目标特征；
按照所述预设顺序组合得到的所有目标特征，得到目标矩阵；
将所述目标动作标记为所述目标矩阵。
3.如权利要求1所述的基于动作识别的VR互动方法，其特征在于，所述动态特征包括上升趋势和下降趋势。
4.如权利要求1所述的基于动作识别的VR互动方法，其特征在于，所述多路信号包括重心高度信号、肌电信号以及肢体间的角度信号，其中，所述重心高度信号被选择为基准信号。
5.如权利要求4所述的基于动作识别的VR互动方法，其特征在于，所述多路信号还包括压力信号、速度信号、加速度信号中的至少一种。
6.如权利要求1所述的基于动作识别的VR互动方法，其特征在于，所述根据所述基准信号的动态特征将所述基准信号分成若干信号段的步骤具体包括：
根据所述基准信号的动态特征将所述基准信号分成若干第一信号段；
分别将每一第一信号段均分为若干第二信号段，其中，每一第二信号段对应一时间区间。
7.如权利要求1所述的基于动作识别的VR互动方法，其特征在于，所述VR互动方法应用于模拟滑雪运动，所述VR场景包括滑雪场景。
8.一种基于动作识别的VR互动系统，其特征在于，VR互动系统包括：
采集模块，用于采集运动对象的多路信号，其中，所述多路信号时间同步；
选择模块，用于从所述多路信号中选择一路信号作为基准信号；
切分模块，用于根据所述基准信号的动态特征将所述基准信号分成若干信号段，其中，每一信号段对应一时间区间；
提取模块，用于提取其他路信号位于同一时间区间的部分的动态特征；
组合模块，用于按照预设顺序组合所述同一时间区间对应的所有动态特征，得到特征矩阵；
判断模块，用于判断所述特征矩阵与目标矩阵的相似度是否大于预设阈值，其中，所述目标矩阵与目标动作对应；
若是，则调用识别模块，所述识别模块用于将所述同一时间区间对应的动作识别为所述目标动作；
显示模块，用于显示与所述目标动作对应的VR场景。
9.如权利要求8所述的基于动作识别的VR互动系统，其特征在于，所述采集模块还用于在运动对象执行所述目标动作时采集所述多路信号，并将采集到的每路信标记为目标信号；
所述提取模块还用于提取每路目标信号的动态特征，并将所述动态特征标记为目标特征；
所述组合模块还用于按照所述预设顺序组合得到的所有目标特征，得到目标矩阵；
所述VR互动系统还包括标记模块，所述标记模块用于将所述目标动作标记为所述目标矩阵。
10.如权利要求8所述的基于动作识别的VR互动系统，其特征在于，所述动态特征包括上升趋势和下降趋势。
11.如权利要求8所述的基于动作识别的VR互动系统，其特征在于，所述多路信号包括重心高度信号、肌电信号以及肢体间的角度信号，其中，所述重心高度信号被选择为基准信号。
12.如权利要求11所述的基于动作识别的VR互动系统，其特征在于，所述多路信号还包括压力信号、速度信号、加速度信号中的至少一种。
13.如权利要求8所述的基于动作识别的VR互动系统，其特征在于，所述切分模块包括：
第一切分单元，用于根据所述基准信号的动态特征将所述基准信号分成若干第一信号段；
第二切分单元，用于分别将每一第一信号段均分为若干第二信号段，其中，每一第二信号段对应一时间区间。
14.如权利要求8所述的基于动作识别的VR互动系统，其特征在于，所述VR互动系统应用于模拟滑雪运动，所述VR场景包括滑雪场景。
CN201910603926.2A 2019-07-05 2019-07-05 基于动作识别的vr互动方法及系统 Pending CN110585684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603926.2A CN110585684A (zh) 2019-07-05 2019-07-05 基于动作识别的vr互动方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603926.2A CN110585684A (zh) 2019-07-05 2019-07-05 基于动作识别的vr互动方法及系统

Publications (1)

Publication Number Publication Date
CN110585684A true CN110585684A (zh) 2019-12-20

Family

ID=68852695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603926.2A Pending CN110585684A (zh) 2019-07-05 2019-07-05 基于动作识别的vr互动方法及系统

Country Status (1)

Country Link
CN (1) CN110585684A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204611A (zh) * 2014-06-24 2015-12-30 北京创思博德科技有限公司 一种基于手指运动模式的莫尔斯码字符输入系统和方法
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别系统及方法
US20170220104A1 (en) * 2016-02-03 2017-08-03 Disney Enterprises, Inc. Combination gesture game mechanics using multiple devices
CN107233718A (zh) * 2017-08-07 2017-10-10 深圳市科创数字显示技术有限公司 配合传感器的虚拟现实滑雪训练系统及方法
CN107861628A (zh) * 2017-12-19 2018-03-30 许昌学院 一种基于人体表面肌电信号的手部姿态识别系统
CN109634408A (zh) * 2018-11-15 2019-04-16 南京理工大学 一种Hololens手势识别的扩展方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204611A (zh) * 2014-06-24 2015-12-30 北京创思博德科技有限公司 一种基于手指运动模式的莫尔斯码字符输入系统和方法
US20170220104A1 (en) * 2016-02-03 2017-08-03 Disney Enterprises, Inc. Combination gesture game mechanics using multiple devices
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别系统及方法
CN107233718A (zh) * 2017-08-07 2017-10-10 深圳市科创数字显示技术有限公司 配合传感器的虚拟现实滑雪训练系统及方法
CN107861628A (zh) * 2017-12-19 2018-03-30 许昌学院 一种基于人体表面肌电信号的手部姿态识别系统
CN109634408A (zh) * 2018-11-15 2019-04-16 南京理工大学 一种Hololens手势识别的扩展方法

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
CN111368810A (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
CN107281728B (zh) 配合传感器的增强现实滑雪辅助训练系统及方法
CN111263953A (zh) 动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序
CN108566520B (zh) 视频数据和运动效果动画的同步方法及装置
CN112198959A (zh) 虚拟现实交互方法、装置及系统
Seeberg et al. A multi-sensor system for automatic analysis of classical cross-country skiing techniques
CN107220608B (zh) 一种篮球动作模型重建和防守的指导系统及方法
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
EP2624171B1 (en) Method and node for analysing periodic movements
CN115115751A (zh) 运动数据展示方法和系统
CN114100103B (zh) 一种基于关键点识别的跳绳计数检测系统及方法
CN110989839B (zh) 人机对战的系统和方法
CN112933581A (zh) 一种基于虚拟现实技术的体育动作评分方法与装置
CN110477924B (zh) 适应性运动姿态感测系统与方法
CN111507301B (zh) 视频处理方法、装置、计算机设备以及存储介质
CN113694343A (zh) 一种基于vr技术的沉浸式抗压力心理训练系统及方法
CN110478860A (zh) 基于手物自然交互的手部功能障碍虚拟康复系统
WO2018214521A1 (zh) 健身动作的运动效果显示方法及装置
CN116226727A (zh) 一种基于ai的运动识别系统
Gonjo et al. Do swimmers conform to criterion speed during pace-controlled swimming in a 25-m pool using a visual light pacer?
CN116328279A (zh) 一种基于视觉人体姿势估计的实时辅助训练方法及设备
CN111603750A (zh) 基于边缘计算的动作捕捉识别评估系统及方法
Mekruksavanich et al. Badminton activity recognition and player assessment based on motion signals using deep residual network
Zahan et al. Learning sparse temporal video mapping for action quality assessment in floor gymnastics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191220