CN113058261B - 基于现实场景和游戏场景的体感动作识别方法及系统 - Google Patents

基于现实场景和游戏场景的体感动作识别方法及系统 Download PDF

Info

Publication number
CN113058261B
CN113058261B CN202110437619.9A CN202110437619A CN113058261B CN 113058261 B CN113058261 B CN 113058261B CN 202110437619 A CN202110437619 A CN 202110437619A CN 113058261 B CN113058261 B CN 113058261B
Authority
CN
China
Prior art keywords
current
somatosensory
offset threshold
game
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110437619.9A
Other languages
English (en)
Other versions
CN113058261A (zh
Inventor
余锋
金凌琳
雷钧杰
尤发烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dangbei Network Technology Co ltd
Original Assignee
Dangbei Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dangbei Network Technology Co ltd filed Critical Dangbei Network Technology Co ltd
Priority to CN202110437619.9A priority Critical patent/CN113058261B/zh
Publication of CN113058261A publication Critical patent/CN113058261A/zh
Application granted granted Critical
Publication of CN113058261B publication Critical patent/CN113058261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于现实场景和游戏场景的体感动作识别方法、装置、体感游戏系统及计算机可读存储介质,该方法包括:根据当前玩家的体格参数生成当前玩家的基准人体骨骼关键点模型;根据体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;再根据玩家的游戏预期得到中级局部偏移阈值和中级总体偏移阈值以作为当前局部偏移阈值和当前总体偏移阈值;在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景,在关键游戏场景和非关键游戏场景,进行差异化的实际体感动作有效性判断。本发明体感动作识别更灵活、更贴合玩家需求。

Description

基于现实场景和游戏场景的体感动作识别方法及系统
技术领域
本申请涉及体感游戏控制技术领域,尤其涉及一种基于现实场景和游戏场景的体感动作识别方法、装置、体感游戏系统及计算机可读存储介质。
背景技术
体感游戏,它是通过玩家身体的运动来交互的游戏,是游戏玩家用身体去感受的电子游戏。体感游戏场景一般为:摄像头捕捉玩家所在场景的画面,与体感游戏预存的画面,以此来识别用于的体感动作识别,例如常规动作有跳跃、下蹲、移动、出拳等。每一个体感动作一般具有对应的画面识别的判定标准,判定标准过低会导致有较多体感动作误操作,判定标准过高会会导致体感动作响应时间过长、动作未能及时响应,体感游戏的动作识别不够灵活、无法贴合用户需求,导致体感游戏不流畅。
发明内容
本申请实施例的主要目的在于提供一种基于现实场景和游戏场景的体感动作识别方法、装置、体感游戏系统及计算机可读存储介质,旨在解决体感游戏的动作识别不够灵活、无法贴合用户需求,导致体感游戏不流畅的技术问题。
为实现上述目的,本申请实施例提供一种基于现实场景和游戏场景的体感动作识别方法,所述基于现实场景和游戏场景的体感动作识别方法应用于体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述基于现实场景和游戏场景的体感动作识别方法包括:
获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
可选地,所述基于现实场景和游戏场景的体感动作识别方法还包括:
在体感游戏系统开始运行体感游戏之后,获取当前玩家对各动作类型的体感动作的体感操作习惯,对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正;其中,修正后的强相关骨骼关键点的中级局部偏移阈值和弱相关骨骼关键点初始的中级局部偏移阈值,共同构成高级局部偏移阈值;所述中级总体偏移阈值赋值为高级总体偏移阈值;
高级局部偏移阈值和高级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值。
可选地,所述基于现实场景和游戏场景的体感动作识别方法还包括:
在体感游戏系统开始运行体感游戏之前,控制显示设备逐个展示各动作类型的体感动作,控制摄像头同步采集当前玩家基于各动作类型的体感动作作出的测试体感动作,当前玩家各动作类型的测试体感动作构成所述体感操作习惯;
所述获取当前玩家对各动作类型的体感动作的体感操作习惯,对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正的步骤包括:
计算各动作类型的标准体感动作与测试体感动作在对应强相关骨骼点的测试偏移量,增大测试偏移量大于初级局部偏移阈值的强相关骨骼关键点的中级局部偏移阈值,减小测试偏移量小于初级局部偏移阈值的强相关骨骼关键点的中级局部偏移阈值。
可选地,所述标准人体骨骼关键点模型包括如下骨骼关键点:头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝;
所述体感动作的动作类型包括:跳跃、下蹲、移动、出拳和摆臂。
可选地,所述体感游戏系统还包括与显示设备通信连接的手环,所述手环佩戴在当前玩家手上以检测当前玩家的心率;
所述基于现实场景和游戏场景的体感动作识别方法还包括:
当发生预设时间单元切换时,判断当前玩家的心率是否大于预设心率值,若当前玩家的心率大于预设心率值,则增大各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值;若当前玩家的心率小于或等于预设心率值,则复原各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值。
可选地,所述基于现实场景和游戏场景的体感动作识别方法还包括:
当发生预设时间单元切换时,基于摄像头采集当前玩家的眼睛聚焦方位,若所述眼睛聚焦方位偏离显示设备,则增大各动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值。
可选地,所述基于现实场景和游戏场景的体感动作识别方法还包括:
若检测玩家输入的体感动作灵敏度调整指令,则在发生预设时间单元切换时,控制显示摄像显示各动作类型的体感动作的灵敏度调节界面;
若检测到灵敏度调低操作,则先后增大灵敏度调低操作对应动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值以及强相关骨骼关键点的当前局部偏移阈值;
若检测到灵敏度调高操作,则先后减小灵敏度调低操作对应动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值以及弱相关骨骼关键点的当前局部偏移阈值。
为实现上述目的,本发明还提供一种体感动作识别装置,所述体感动作识别装置应用于体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述体感动作识别装置包括:
模型建立模块,用于获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
阈值设置模块,用于根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
阈值修正模块,用于获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
阈值调整模块,用于获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
动作获取模块,用于在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
偏移量获取模块,用于获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
有效性判断模块,用于:
在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
为实现上述目的,本发明还提供一种体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述显示设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的基于现实场景和游戏场景的体感动作识别方法的步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于现实场景和游戏场景的体感动作识别方法的步骤。
本申请通过基于当前玩家的体格参数针对性建立基准人体骨骼关键点模型、基准局部偏移阈值和基准总体偏移阈值,再基于当前玩家的体能素质参数,对基准局部偏移阈值和基准总体偏移阈值进行修正得到初级局部偏移阈值和初级总体偏移阈值,再综合当前玩家的游戏预期,对初级局部偏移阈值和初级总体偏移阈值进行再次调整以得到中级局部偏移阈值和中级总体偏移阈值,分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值,然后获取实际局部偏移量和实际总体偏移量,并在体感游戏开始之后,在每个预设预设单元中,识别当前游戏场景是否为关键游戏场景,在关键游戏场景的体感动作有效性判断仅考察实际体感动作的强相关骨骼关键点的局部偏移量,在非关键游戏场景的体感动作有效性判断同步考察实际体感动作的所有骨骼关键点的局部偏移量和总体偏移量,从而确定当前预设时间单元中当前游戏场景下实际体感动作的有效性,从而实际体感动作的有效性判断结合了当前玩家体格参数和体能素质参数,针对性的建立基准人体骨骼关键点模型以及局部偏移阈值和总体偏移阈值,局部偏移阈值和总体偏移阈值更加贴合当前玩家的体格状态和体能状态,即贴合玩家的身体素质情况,同时,同步分析骨骼关键点的局部偏移阈值和总体偏移阈值,并结合当前玩家的游戏预期和当前游戏场景是否为关键游戏场景,全方位地从局部和整体同时评估实际体感动作的有效性,在有效性判断标准贴合用户需求及更加灵活的前提下,尽可能减少关键游戏场景对体感游戏流畅性的影响,确保的实际体感动作有效性判断的准确性,提高玩家体验体感游戏的流畅性。
附图说明
图1为本申请实施例一个可选实施例的显示设备的硬件结构示意图;
图2为本申请基于现实场景和游戏场景的体感动作识别方法的流程示意图;
图3为本申请中人体骨骼关键点模型的骨骼关键点框架示意图;
图4为本申请中人体骨骼关键点模型的骨骼关键点框架示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明体感游戏系统包括显示设备和摄像头,显示设备可为智能电视、投影机等,摄像头与显示设备相互之间通信连接,如显示设备为智能电视时,摄像头可设置在智能电视的屏幕顶部,摄像头拍摄方向朝向智能电视屏幕的展示方向一侧;如显示设备为投影机时,摄像头可设置在投影机的投影面上,摄像头朝向投影面的展示方向,也就是说显示设备的显示区域展示方向与摄像头的拍摄方向一致,体感游戏玩家看着显示设备的时候,摄像头可以拍摄到此玩家。
如图1所示,该显示设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、触控屏,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,显示设备还可以包括RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块、配套使用手环等等。其中,传感器比如光传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在显示设备远离用户时,关闭显示屏和/或光机。
本领域技术人员可以理解,图1中示出的显示设备结构并不构成对显示设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于现实场景和游戏场景的体感动作识别程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的基于现实场景和游戏场景的体感动作识别程序,并执行以下操作:
获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
此外,处理器执行存储器中存储的基于现实场景和游戏场景的体感动作识别程序,执行基于现实场景和游戏场景的体感动作识别方法各实施例的步骤。
进一步地,本发明还提供一种基于现实场景和游戏场景的体感动作识别方法,所述基于现实场景和游戏场景的体感动作识别方法应用于体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
参照图2,所述基于现实场景和游戏场景的体感动作识别方法包括:
步骤S10,获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
在用户进入到摄像头的拍摄范围准备玩体感游戏时,摄像头会对用户的轮廓进行拍摄并转发给显示设备的处理器,并将此用户作为当前玩家,显示设备对用户的轮廓进行人体部分分析和尺寸分析,获取当前玩家的体格参数,如基于人体轮廓特征,识别当前画面中的当前玩家的躯干部分、手臂、腿部、肩部和头部,基于当前玩家与摄像头的距离和拍摄当前玩家的画面的尺寸,分析得出肩部的肩宽、头部-躯干部分-腿部的身高、手臂的臂长和腿部的腿长。
在知晓当前玩家的体格参数之后,输入至预设的标准人体骨骼关键点模型,形成了与当前玩家体格参数一致的基准人体骨骼关键点模型,标准人体骨骼关键点模型即将素有骨骼关键点按照人体构造特点拼成类似“火柴人”的骨骼关键点的框架,然后各体感参数对标准人体骨骼关键点的间距进行修正,得到符合当前玩家体格参数的形态一致的基准人体骨骼关键点模型。其中,标准人体骨骼关键点模型包括如下骨骼关键点:头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝,如图3。
步骤S20,根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
在确定基准人体骨骼关键点模型之后,即确定基准人体骨骼关键点模型各骨骼关键点之间间距之后,由于基准人体骨骼关键点模型的整体尺寸越大,相应的评判骨骼关键点的偏移阈值就越大,类似儿童的身体体格尺寸较小(如10单位),手臂移动的绝对距离较小(如1单位),但相对于儿童身体(10单位)占比较高(10%),移动幅度较大;成人的身体体格尺寸较大(如50单位),手臂移动的绝对距离较大(如2单位),但相对于成人身体(50单位)占比较小(4%),移动幅度较小。
因此,根据当前玩家的体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;体格参数中身高、肩宽、臂长和腿长越大,基准局部偏移阈值和基准总体偏移阈值越大。基准总体偏移阈值一般等于各骨骼关键点的基准局部偏移阈值之和。
局部偏移阈值是用于考量标准的体感动作的与玩家实际的体感动作相同的骨骼关键点之间的偏移量是否偏大,局部偏移阈值主要用于判断玩家实际的体感动作的局部是否严重变形或严重不标准。总体偏移阈值是用于考量标准的体感动作的与玩家实际的体感动作所有相同的骨骼关键点的偏移量之和是否偏大,总体偏移阈值主要用于判断标准的体感动作的与玩家实际的体感动作的整体累计是否严重变形或严重不标准。
步骤S30,获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
体能素质参数是指评价玩家运动素质的相关参数,运动素质主要包括力量、速度、协调、柔韧和灵敏,体能素质参数可由当前玩家自行输入到显示设备中,体能素质参数用于表示当前玩家做体感游戏的体感动作的难度,如当前玩家为老人和小孩,由于体能素质参数指示在力量速度、协调、柔韧和灵敏上都会较弱(体能素质参数小于预设体能标准值),老人和小孩要将体感游戏中相关体感动作做得很标准是很有难度的,所以需将基准局部偏移阈值和基准总体偏移阈值适当增大,以容忍老人和小孩的体感动作不标准;如成人,由于体能素质参数指示在力量速度、协调、柔韧和灵敏上都会较强或达标(体能素质参数等于或大于预设体能标准值),成人要将体感游戏中相关体感动作做得标准相对较容易,所以需将基准局部偏移阈值和基准总体偏移阈值适当减小或保持不变,成人执行体感游戏的正常难度即可。
步骤S40,获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
每个玩家在体验体感游戏时,对体感游戏是有游戏预期的,游戏预期一般包括新手入门级和高手进阶级,若玩家对当前体感游戏的游戏预期是新手入门级,则表明玩家对当前体感游戏不太熟悉,相对会有一定的畏难情绪,且对当前体感游戏的兴趣相对不高,玩家的游戏使用粘度较低,所以增大初级局部偏移阈值和初级总体偏移阈值以分别得到中级局部偏移阈值和中级总体偏移阈值,从而增加了当前玩家的实际体感动作与当前标准体感动作在局部偏移容忍度和总体偏移容忍度,从而作为新手入门级的当前玩家尽管实际体感动作相较于当前标准体感动作可能不是很标准,但是体感游戏系统基于中级局部偏移阈值和中级总体偏移阈值可以灵活判定当前玩家的实际体感动作有效,避免当前体感游戏因当前玩家是新手而无法流畅运行;
对应的,若玩家对当前玩家的游戏预期是高手进阶级,则表明玩家对当前体感游戏较为熟悉,希望体感游戏具有一定的挑战性,对体感游戏的兴趣较大,所以减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值,从而减小了当前玩家的实际体感动作与当前标准体感动作在局部偏移容忍度和总体偏移容忍度,针对高手进阶级玩家适当提高体感游戏的难度,体感游戏对于高手进阶级玩家而言具有更大的挑战性和趣味性。
得到中级局部偏移阈值和中级总体偏移阈值之后,将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值。通过增加当前玩家的游戏预期,对初级局部偏移阈值和初级总体偏移阈值进行增大或减小,以形成新的当前局部偏移阈值和当前总体偏移阈值,体感动作的识别更加贴合玩家的游戏预期,更加灵活,使体感游戏在确保体感动作识别的基本准确性大前提下,体感游戏的运行更加流畅。
步骤S50,在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
确定体感游戏系统所需的当前局部偏移阈值和当前总体偏移阈值之后,体感游戏系统开始运行体感游戏,摄像头开始以预设时间单位为周期对当前玩家的实际体感动作的场景画面进行捕捉,例如预设时间单位可为1s。在每个预设时间单元中,摄像头会不断采集当前玩家的实际体感动作,同步地,体感游戏系统的显示设备会获取当前游戏场景,通过当前游戏场景和基准人体骨骼关键点模型生成当前预设时间单元的当前标准体感动作,当前游戏场景用于确定正确体感动作的动作类型,基准人体骨骼关键点模型用于确定正确体感动作的合适动作幅度,从而正确体感动作的动作类型和合适动作幅度共同构成了当前标准体感动作,根据当前游戏场景为跨越障碍,当前标准体感动作的动作类型为跳跃,若基准人体骨骼关键点模型为儿童对应模型,正确体感动作的合适动作幅度会较小,例如15厘米。其中,所述体感动作的动作类型包括:跳跃、下蹲、移动、出拳和摆臂。
步骤S60,获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
分别计算当前标准体感动作与实际体感动作各相同位置的骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量,例如骨骼关键点包括头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝共计14个,分别获取当前标准体感动作和实际体感动作中这14个骨骼关键点之间的实际局部偏移量,14个实际局部偏移量之和为实际总体偏移量。实际局部偏移量是指实际体感动作与当前标准体感动作的相同位置的骨骼关键点之间的偏移距离,实际总体偏移量是所有实际局部偏移量的总和。
步骤S70,在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
体感游戏的游戏场景可包括关键游戏场景和普通游戏场景,关键游戏场景是指会影响提供游戏的流畅性的游戏场景,比如跨越障碍物场景、避开致命一击场景、紧急避险场景等,若玩家的实际体感操作相较于关键游戏场景适配的标准体感操作无效,则体感游戏结束或中断,会较大影响玩家继续后续游戏场景的通关。体感游戏的游戏场景的类型可预先在显示设备中设置,每经过一个预设时间单元,显示设备可识别出当前游戏场景为关键游戏场景还是普通游戏场景(即不是预设关键游戏场景)。
不同动作类型的体感动作,各骨骼关键点对此动作类型的体感动作的有效性影响程度不同,可将骨骼关键点分为强相关骨骼关键点和弱相关骨骼关键点,例如体感动作的动作类型为摆臂,则左肩、右肩、左肘、右肘、左腕、右腕为强相关骨骼关键点,头顶、颈部、左髋、右髋、左膝、右膝、左踝和右踝为弱相关骨骼关键点。
在步骤S70之后,还包括并列步骤的步骤S81和步骤S82。
步骤S81,若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
在当前游戏场景不是预设的关键游戏场景时,当实际局部偏移量大于当前局部偏移阈值时,表明实际体感动作的局部关键骨骼点相较于当前标准体感动作变形较多,当实际总体偏移量大于当前总体偏移阈值时,表明实际体感动作的整体相较于当前标准体感动作变形较多,无论哪一种情形,表明实际体感动作都不标准,此时显示设备判定当前预设时间单元中当前游戏场景下实际体感动作无效。
在当前游戏场景不是预设的关键游戏场景时,当所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,表明实际体感动作无论是局部还是整体,相较于当前标准体感动作变形较少,此时显示设备判定当前预设时间单元中当前游戏场景下所述实际体感动作有效。
步骤S82,若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
在当前游戏场景为预设的关键游戏场景时,在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,表明此时实际体感动作在强相关骨骼关键点的位置上与当前标准体感动动基本相似,即当前玩家的实际体感动作的关键位置符合当前的关键游戏场景的动作需求,由于当前预设时间单元的游戏场景为关键游戏场景,不宜阻断当前用户玩当前体感游戏的流畅性,因此放弃实际体感动作的弱相关骨骼关键点的局部阈值判断以及总体阈值判断。同时,在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,尽管当前预设时间单元的游戏场景为关键游戏场景,但是若当前玩家在强相关骨骼关键点的动作仍然变形很大,为确保体感游戏的可玩性,此依然会判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
在本实施例中,通过基于当前玩家的体格参数针对性建立基准人体骨骼关键点模型、基准局部偏移阈值和基准总体偏移阈值,再基于当前玩家的体能素质参数,对基准局部偏移阈值和基准总体偏移阈值进行修正得到初级局部偏移阈值和初级总体偏移阈值,再综合当前玩家的游戏预期,对初级局部偏移阈值和初级总体偏移阈值进行再次调整以得到中级局部偏移阈值和中级总体偏移阈值,分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值,然后获取实际局部偏移量和实际总体偏移量,并在体感游戏开始之后,在每个预设预设单元中,识别当前游戏场景是否为关键游戏场景,在关键游戏场景的体感动作有效性判断仅考察实际体感动作的强相关骨骼关键点的局部偏移量,在非关键游戏场景的体感动作有效性判断同步考察实际体感动作的所有骨骼关键点的局部偏移量和总体偏移量,从而确定当前预设时间单元中当前游戏场景下实际体感动作的有效性,从而实际体感动作的有效性判断结合了当前玩家体格参数和体能素质参数,针对性的建立基准人体骨骼关键点模型以及局部偏移阈值和总体偏移阈值,局部偏移阈值和总体偏移阈值更加贴合当前玩家的体格状态和体能状态,即贴合玩家的身体素质情况,同时,同步分析骨骼关键点的局部偏移阈值和总体偏移阈值,并结合当前玩家的游戏预期和当前游戏场景是否为关键游戏场景,全方位地从局部和整体同时评估实际体感动作的有效性,在有效性判断标准贴合用户需求及更加灵活的前提下,尽可能减少关键游戏场景对体感游戏流畅性的影响,确保的实际体感动作有效性判断的准确性,提高玩家体验体感游戏的流畅性。
进一步地,在本发明基于现实场景和游戏场景的体感动作识别方法另一实施例中,所述基于现实场景和游戏场景的体感动作识别方法还包括:
步骤A,在体感游戏系统开始运行体感游戏之后,获取当前玩家对各动作类型的体感动作的体感操作习惯,对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正;其中,修正后的强相关骨骼关键点的中级局部偏移阈值和弱相关骨骼关键点初始的中级局部偏移阈值,共同构成高级局部偏移阈值;所述中级总体偏移阈值赋值为高级总体偏移阈值;
高级局部偏移阈值和高级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值。
根据当前玩家的体感操作习惯来修改局部偏移阈值和总体偏移阈值,形成中级局部偏移阈值和中级总体偏移阈值。具体地,每个玩家的体感动作形式可能会一些差异,例如一些玩家在跳跃的时候会进行一定幅度的下蹲、移动的步伐稍小、跳跃的高度偏低等等。在这种情况下,可以根据玩家的体感操作习惯来对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正,修正后的强相关骨骼关键点的中级局部偏移阈值和弱相关骨骼关键点初始的中级局部偏移阈值,共同构成高级局部偏移阈值;所述中级总体偏移阈值赋值为高级总体偏移阈值,在当前体感游戏的后续预设时间单元中,将高级局部偏移阈值和高级总体偏移阈值分别作为体感游戏系统使用的新的当前局部偏移阈值和当前总体偏移阈值,使用智能学习的方式来让玩家有更好的体验。这种优化方法往往在玩家使用一定时间(如多个预设时间单元)后会有效果的提升。
在本实施例中,当前体感游戏的当前局部偏移阈值和当前总体偏移阈值,结合了当前玩家的体感操作习惯,仅对强相关骨骼关键点的局部偏移阈值进行修正以更契合当前玩家的操作习惯,弱相关骨骼关键点的局部偏移阈值不做变化,此外中级总体偏移阈值赋值为高级总体偏移阈值,而不是所有高级局部偏移阈值的总和作为高级总体偏移阈值,是为了仅对当前预设时间单元中实际体感动作的强相关骨骼关键点的有效性判断更倾向于当前玩家的体感操作习惯,而对实际体感动作的弱相关骨骼关键点的有效性判断以及整体的有效性判断不作调整,进而考量实际体感动作有效性的局部偏移阈值和总体偏移阈值更加灵活、更加贴合玩家需求,使得体感游戏更加流畅。
此外,在本发明基于现实场景和游戏场景的体感动作识别方法又一实施例中,所述基于现实场景和游戏场景的体感动作识别方法还包括:
在体感游戏系统开始运行体感游戏之前,控制显示设备逐个展示各动作类型的体感动作,控制摄像头同步采集当前玩家基于各动作类型的体感动作作出的测试体感动作,当前玩家各动作类型的测试体感动作构成所述体感操作习惯;
体感游戏系统预先收集玩家做各动作类型的体感动作的体感动作习惯,体感动作习惯可包括玩家做不同动作类型的体感动作各骨骼关键点的位置情况,当前玩家各动作类型的测试体感动作构成所述体感操作习惯。
步骤A中获取当前玩家对各动作类型的体感动作的体感操作习惯,对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正的步骤包括:
步骤a,计算各动作类型的标准体感动作与测试体感动作在对应强相关骨骼点的测试偏移量,增大测试偏移量大于初级局部偏移阈值的强相关骨骼关键点的中级局部偏移阈值,减小测试偏移量小于初级局部偏移阈值的强相关骨骼关键点的中级局部偏移阈值。
测试体感动作更贴近与当前玩家的动态动作习惯,标准体感动作与测试体感动作在对应强相关骨骼点的测试偏移量即为当前玩家的动态动作习惯与标准体感动作的差异情况,进一步地,测试偏移量大于初级局部偏移阈值的强相关骨骼关键点即是当前玩家的体感动作习惯相较于标准体感动作差异较大的骨骼关键点,从而增大测试偏移量大于初级局部偏移阈值的强相关骨骼关键点的初级局部偏移阈值,以在体感动作有效性判断中避免这部分符合当前玩家的体感操作习惯的强相关骨骼关键点被判定无效,增加关于当前玩家的体感操作习惯的兼容性;同样的,减小测试偏移量小于初级局部偏移阈值的强相关骨骼关键点的初级局部偏移阈值,以在体感动作有效性判断中避免这部分符合当前玩家的体感操作习惯的强相关骨骼关键点的判断标准过低而引起误操作判断。
进一步地,在本发明基于现实场景和游戏场景的体感动作识别方法再一实施例中,所述体感游戏系统还包括与显示设备通信连接的手环,所述手环佩戴在当前玩家手上以检测当前玩家的心率;
所述基于现实场景和游戏场景的体感动作识别方法还包括:
步骤B,当发生预设时间单元切换时,判断当前玩家的心率是否大于预设心率值,若当前玩家的心率大于预设心率值,则增大各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值;若当前玩家的心率小于或等于预设心率值,则复原各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值。
显示设备在一个预设时间单元计时完成,另一个后续预设时间单元即将切换时,判断当前玩家的心率是否大于预设心率值,若当前玩家的心率大于预设心率值,表明当前玩家此时玩体感游戏的运动量较大,很可能会较为疲劳,当前玩家的反应速度和体能都下降较多,此时增大各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值,增加后续预设时间单元中对当前玩家的实际体感动作的有效性判断的容错性,即在当前玩家的心率大于预设心率值,即使当前玩家的实际体感动作相较于当前标准体感动作不是那么标准,只要当前玩家尽量将强相关骨骼关键点相关的动作做得标准,对弱相关骨骼关键点相关的动作的判断降低要求、提高容错程度;若当前玩家的心率小于或等于预设心率值,则表明当前玩家恢复了反应速度和体能,复原各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值。
从而,在本实施例中,通过心率来识别当前玩家的反应速度和体能,体感动作的识别增加当前玩家的反应速度和体能因素的综合分析,使体感动作的识别贴合了玩家的体能和反应速度情况,避免体感游戏出现当前玩家意料之外的过高要求、影响游戏体验的体感动作无效判定,使体感游戏更加流畅。
此外,所述基于现实场景和游戏场景的体感动作识别方法还包括:
步骤C,当发生预设时间单元切换时,基于摄像头采集当前玩家的眼睛聚焦方位,若所述眼睛聚焦方位偏离显示设备,则增大各动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值。
摄像头采集当前玩家的眼睛图像,通过分析当前玩家眼界图像中的瞳孔朝向,进而分析出当前玩家的眼睛聚焦方位,若所述眼睛聚焦方位偏离显示设备,表明当前玩家对体感游戏的投入度偏低,很可能是体感游戏的难度偏大,所以增大各动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值,降低后续预设时间单元中,体感游戏系统对当前玩家的实际体感动作的识别要求,降低了当前体感游戏的游戏难度,以提高当前玩家对当前体感游戏的投入度。
再者,为进一步提高体感游戏的体感动作识别的灵活性,所述基于现实场景和游戏场景的体感动作识别方法还包括:
步骤D1,若检测玩家输入的体感动作灵敏度调整指令,则在发生预设时间单元切换时,控制显示摄像显示各动作类型的体感动作的灵敏度调节界面;
玩家输入的体感动作灵敏度调整指令,启动体感动作识别灵敏度调节功能,灵敏度调节界面如图4,可进行灵敏度调节的动作类型包括跳跃、下蹲、移动和出拳,每个动作类型的灵敏度调整对应一个条形框,条形框上设置灵敏度的调整块,玩家拖动调整块在0~100单位内调整各动作类型的体感动作识别的灵敏度。
步骤D2,若检测到灵敏度调低操作,则先后增大灵敏度调低操作对应动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值以及强相关骨骼关键点的当前局部偏移阈值;
如若是跳跃灵敏度调低,如调整块在跳跃灵敏度条形框50单位以上,则先增大跳跃体感动作的弱相关骨骼关键点的当前局部偏移阈值,只要玩家跳跃体感动作的强相关骨骼关键点达标,降低玩家跳跃体感动作的弱相关骨骼关键点相关动作的动作要求;若跳跃灵敏度进一步调低,如调整块在跳跃灵敏度条形框50单位或50单位以下,则增大强相关骨骼关键点的当前局部偏移阈值,进一步降低玩家跳跃体感动作的强相关骨骼关键点相关动作的动作要求。
步骤D3,若检测到灵敏度调高操作,则先后减小灵敏度调低操作对应动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值以及弱相关骨骼关键点的当前局部偏移阈值。
如若是下蹲灵敏度调高,如调整块在下蹲灵敏度条形框50单位或50单位以下,则先减小跳跃体感动作的强相关骨骼关键点的当前局部偏移阈值,优先保证玩家下蹲体感动作的强相关骨骼关键点的相关动作更加标准,增加玩家下蹲体感动作的强相关骨骼关键点相关动作的动作要求;若下蹲灵敏度进一步调高,如调整块在下蹲灵敏度条形框50单位以上,则减小弱相关骨骼关键点的当前局部偏移阈值,进一步提高玩家下蹲体感动作的弱相关骨骼关键点相关动作的动作要求。
本发明还提供一种体感动作识别装置,所述体感动作识别装置应用于体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述体感动作识别装置包括:
模型建立模块,用于获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
阈值设置模块,用于根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
阈值修正模块,用于获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
阈值调整模块,用于获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
动作获取模块,用于在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
偏移量获取模块,用于获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
有效性判断模块,用于:
在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
本发明还提供一种体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述显示设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的基于现实场景和游戏场景的体感动作识别方法的步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于现实场景和游戏场景的体感动作识别方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本申请的保护之内。

Claims (10)

1.一种基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述基于现实场景和游戏场景的体感动作识别方法应用于体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述基于现实场景和游戏场景的体感动作识别方法包括:
获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
2.如权利要求1所述的基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述基于现实场景和游戏场景的体感动作识别方法还包括:
在体感游戏系统开始运行体感游戏之后,获取当前玩家对各动作类型的体感动作的体感操作习惯,对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正;其中,修正后的强相关骨骼关键点的中级局部偏移阈值和弱相关骨骼关键点初始的中级局部偏移阈值,共同构成高级局部偏移阈值;所述中级总体偏移阈值赋值为高级总体偏移阈值;
高级局部偏移阈值和高级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值。
3.如权利要求2所述的基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述基于现实场景和游戏场景的体感动作识别方法还包括:
在体感游戏系统开始运行体感游戏之前,控制显示设备逐个展示各动作类型的体感动作,控制摄像头同步采集当前玩家基于各动作类型的体感动作作出的测试体感动作,当前玩家各动作类型的测试体感动作构成所述体感操作习惯;
所述获取当前玩家对各动作类型的体感动作的体感操作习惯,对各动作类型的体感动作的强相关骨骼关键点的中级局部偏移阈值进行修正的步骤包括:
计算各动作类型的标准体感动作与测试体感动作在对应强相关骨骼点的测试偏移量,增大测试偏移量大于初级局部偏移阈值的强相关骨骼关键点的中级局部偏移阈值,减小测试偏移量小于初级局部偏移阈值的强相关骨骼关键点的中级局部偏移阈值。
4.如权利要求3所述的基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述标准人体骨骼关键点模型包括如下骨骼关键点:头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝;
所述体感动作的动作类型包括:跳跃、下蹲、移动、出拳和摆臂。
5.如权利要求4所述的基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述体感游戏系统还包括与显示设备通信连接的手环,所述手环佩戴在当前玩家手上以检测当前玩家的心率;
所述基于现实场景和游戏场景的体感动作识别方法还包括:
当发生预设时间单元切换时,判断当前玩家的心率是否大于预设心率值,若当前玩家的心率大于预设心率值,则增大各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值;若当前玩家的心率小于或等于预设心率值,则复原各动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值。
6.如权利要求5所述的基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述基于现实场景和游戏场景的体感动作识别方法还包括:
当发生预设时间单元切换时,基于摄像头采集当前玩家的眼睛聚焦方位,若所述眼睛聚焦方位偏离显示设备,则增大各动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值。
7.如权利要求6所述的基于现实场景和游戏场景的体感动作识别方法,其特征在于,所述基于现实场景和游戏场景的体感动作识别方法还包括:
若检测玩家输入的体感动作灵敏度调整指令,则在发生预设时间单元切换时,控制显示摄像显示各动作类型的体感动作的灵敏度调节界面;
若检测到灵敏度调低操作,则先后增大灵敏度调低操作对应动作类型的体感动作的弱相关骨骼关键点的当前局部偏移阈值以及强相关骨骼关键点的当前局部偏移阈值;
若检测到灵敏度调高操作,则先后减小灵敏度调低操作对应动作类型的体感动作的强相关骨骼关键点的当前局部偏移阈值以及弱相关骨骼关键点的当前局部偏移阈值。
8.一种体感动作识别装置,其特征在于,所述体感动作识别装置应用于体感游戏系统,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述体感动作识别装置包括:
模型建立模块,用于获取体感游戏系统的当前玩家的体格参数,并将所述体格参数输入至预设的标准人体骨骼关键点模型,生产当前玩家的基准人体骨骼关键点模型;其中,所述体格参数包括身高、肩宽、臂长和腿长;
阈值设置模块,用于根据所述体格参数,为基准人体骨骼关键点模型中各骨骼关键点设置基准局部偏移阈值以及基准人体骨骼关键点模型设置基准总体偏移阈值;
阈值修正模块,用于获取体感游戏系统的当前玩家的体能素质参数,并对所述基准局部偏移阈值和基准总体偏移阈值进行修正,分别得到初级局部偏移阈值和初级总体偏移阈值;
阈值调整模块,用于获取体感游戏系统的当前玩家的游戏预期,若当前玩家的游戏预期为新手入门级,则增大所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;若当前当前玩家的游戏预期为高手进阶级,则减小所述初级局部偏移阈值和初级总体偏移阈值,分别得到中级局部偏移阈值和中级总体偏移阈值;将中级局部偏移阈值和中级总体偏移阈值分别作为体感游戏系统使用的当前局部偏移阈值和当前总体偏移阈值;
动作获取模块,用于在体感游戏系统开始运行体感游戏之后,在每个预设时间单元中,获取体感游戏系统基于当前游戏场景生成和基准人体骨骼关键点模型生成的当前标准体感动作,同步基于所述摄像头获取当前玩家的实际体感动作;
偏移量获取模块,用于获取当前标准体感动作和实际体感动作中各对应骨骼关键点之间的实际局部偏移量以及所有骨骼关键点的实际总体偏移量;
有效性判断模块,用于:
在每个预设时间单元中,检测当前预设时间单元的当前游戏场景是否为预设关键游戏场景;并同步在所述基准人体骨骼关键点模型中确定所述当前标准体感动作的动作类型的强相关骨骼关键点和弱相关骨骼关键点;
若当前游戏场景不是预设关键游戏场景,则在当所述实际局部偏移量大于当前局部偏移阈值,或者所述实际总体偏移量大于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效;在所述实际局部偏移量小于或等于当前局部偏移阈值,且所述实际总体偏移量小于或等于当前总体偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;
若当前游戏场景是预设关键游戏场景,则在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量小于或等于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作有效;在当前标准体感动作的动作类型的强相关骨骼关键点的实际局部偏移量大于当前局部偏移阈值时,判定当前预设时间单元中当前游戏场景下所述实际体感动作无效。
9.一种体感游戏系统,其特征在于,所述体感游戏系统包括相互通信连接的显示设备和摄像头,所述显示设备的显示区域展示方向与摄像头的拍摄方向一致;
所述显示设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于现实场景和游戏场景的体感动作识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于现实场景和游戏场景的体感动作识别方法的步骤。
CN202110437619.9A 2021-04-22 2021-04-22 基于现实场景和游戏场景的体感动作识别方法及系统 Active CN113058261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437619.9A CN113058261B (zh) 2021-04-22 2021-04-22 基于现实场景和游戏场景的体感动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437619.9A CN113058261B (zh) 2021-04-22 2021-04-22 基于现实场景和游戏场景的体感动作识别方法及系统

Publications (2)

Publication Number Publication Date
CN113058261A CN113058261A (zh) 2021-07-02
CN113058261B true CN113058261B (zh) 2024-04-19

Family

ID=76567642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437619.9A Active CN113058261B (zh) 2021-04-22 2021-04-22 基于现实场景和游戏场景的体感动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN113058261B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521722B (zh) * 2021-07-13 2023-09-12 上海艾为电子技术股份有限公司 马达控制方法和电路、控制游戏运行的方法、电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138111A (zh) * 2015-07-09 2015-12-09 中山大学 一种基于单摄像头的体感交互方法及系统
CN105847987A (zh) * 2016-03-24 2016-08-10 乐视控股(北京)有限公司 通过电视和体感配件矫正人体动作及系统
CN107688791A (zh) * 2017-09-04 2018-02-13 北京京东金融科技控股有限公司 显示内容控制方法及装置、系统、存储介质和电子设备
CN110197531A (zh) * 2019-05-14 2019-09-03 武汉奥贝赛维数码科技有限公司 基于深度学习的角色骨骼点映射技术
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
CN111160088A (zh) * 2019-11-22 2020-05-15 深圳壹账通智能科技有限公司 Vr体感数据检测方法、装置、计算机设备及存储介质
CN111514584A (zh) * 2019-02-01 2020-08-11 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
CN111897430A (zh) * 2020-07-30 2020-11-06 深圳创维-Rgb电子有限公司 应用的控制方法、显示终端及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138111A (zh) * 2015-07-09 2015-12-09 中山大学 一种基于单摄像头的体感交互方法及系统
CN105847987A (zh) * 2016-03-24 2016-08-10 乐视控股(北京)有限公司 通过电视和体感配件矫正人体动作及系统
CN107688791A (zh) * 2017-09-04 2018-02-13 北京京东金融科技控股有限公司 显示内容控制方法及装置、系统、存储介质和电子设备
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
CN111514584A (zh) * 2019-02-01 2020-08-11 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
CN110197531A (zh) * 2019-05-14 2019-09-03 武汉奥贝赛维数码科技有限公司 基于深度学习的角色骨骼点映射技术
CN111160088A (zh) * 2019-11-22 2020-05-15 深圳壹账通智能科技有限公司 Vr体感数据检测方法、装置、计算机设备及存储介质
CN111897430A (zh) * 2020-07-30 2020-11-06 深圳创维-Rgb电子有限公司 应用的控制方法、显示终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN113058261A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN111263953B (zh) 动作状态评估系统及其装置、服务器、方法以及存储介质
CN108256433B (zh) 一种运动姿态评估方法及系统
US11383144B2 (en) Positional analysis using computer vision sensor synchronization
CN113058260B (zh) 基于玩家画像的体感动作识别方法、系统及存储介质
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN107909060A (zh) 基于深度学习的健身房健身动作识别方法及装置
WO2019116495A1 (ja) 技認識プログラム、技認識方法および技認識システム
CN113058261B (zh) 基于现实场景和游戏场景的体感动作识别方法及系统
CN104353240A (zh) 基于Kinect的跑步机系统
CN110637324B (zh) 三维数据系统以及三维数据处理方法
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN113058259B (zh) 基于游戏内容的体感动作识别方法、系统及存储介质
CN107273857B (zh) 运动动作的识别方法及装置、电子设备
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
KR20210128943A (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
KR20140043174A (ko) 승마 시뮬레이터 및 승마 시뮬레이션 방법
US11995845B2 (en) Evaluation method, storage medium, and information processing apparatus
CN113058258B (zh) 基于玩家游戏预期体感动作识别方法、系统及存储介质
KR102363435B1 (ko) 골프 스윙 동작 피드백 제공 장치 및 방법
CN110996149A (zh) 一种信息处理方法、装置和系统
WO2022230373A1 (ja) 姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置
CN113842622B (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
CN115862810B (zh) 具有量化评估功能的vr康复训练方法及系统
KR102544649B1 (ko) 피드백 제공 장치, 이를 이용하는 신체활동 피드백 제공 시스템 및 방법
WO2023175945A1 (ja) 動作評価装置、動作評価方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant