CN110102044A - 基于智能手环的游戏控制方法、智能手环及存储介质 - Google Patents

基于智能手环的游戏控制方法、智能手环及存储介质 Download PDF

Info

Publication number
CN110102044A
CN110102044A CN201910197022.4A CN201910197022A CN110102044A CN 110102044 A CN110102044 A CN 110102044A CN 201910197022 A CN201910197022 A CN 201910197022A CN 110102044 A CN110102044 A CN 110102044A
Authority
CN
China
Prior art keywords
gesture
attitude data
intelligent bracelet
camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910197022.4A
Other languages
English (en)
Other versions
CN110102044B (zh
Inventor
王芬清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201910197022.4A priority Critical patent/CN110102044B/zh
Publication of CN110102044A publication Critical patent/CN110102044A/zh
Priority to US17/437,352 priority patent/US20220143493A1/en
Priority to PCT/CN2019/122774 priority patent/WO2020186826A1/zh
Application granted granted Critical
Publication of CN110102044B publication Critical patent/CN110102044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本申请实施例提供一种基于智能手环的游戏控制方法、智能手环及存储介质，其中，该方法包括：当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。

Description

基于智能手环的游戏控制方法、智能手环及存储介质
技术领域
本申请涉及智能控制技术领域，尤其涉及一种基于智能手环的游戏控制方法、智能手环及存储介质。
背景技术
目前，电子游戏通常需要采用游戏手柄来进行游戏控制。但是，由于游戏手柄的体积通常比较大，因此其便携性较差，玩家无法随时随地体验游戏的乐趣。
随着智能穿戴设备的迅猛发展，智能手环凭借其便携、智能等优势，被引入游戏控制领域。但在实际应用中，智能手环对游戏控制的精度比较低，导致玩家操控体验不佳。
发明内容
本申请的多个方面提供一种基于智能手环的游戏控制方法、智能手环及存储介质，以提高智能手环的游戏控制精度。
本申请实施例提供一种基于智能手环的游戏控制方法，包括：
当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；
在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；
若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；
根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。
本申请实施例还提供一种智能手环，包括控制器、惯性传感器和摄像头；所述摄像头在所述智能手环处于佩戴状态下朝向用户手指方向；
所述控制器用于：当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；
在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；
若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；
根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。
本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的游戏控制方法。
在本申请实施例中，当智能手环进入游戏控制模式时，可根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；并可从摄像头采集到的姿态控制类手势中，获取第二姿态数据，以及可根据第一姿态数据和第二姿态数据对游戏画面中的目标对象进行姿态控制。因此，本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种智能手环的结构示意图；
图2为本申请实施例提供的一种智能手环佩戴在用户手掌时的佩戴状态示意图；
图3为本申请实施例提供的另一种智能手环的结构示意图；
图4为本申请实施例提供的一种智能手环的产品形态示意图；
图5为本申请实施例提供的一种基于智能手环的游戏控制方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，智能手环对游戏控制的精度比较低，导致玩家操控体验不佳。为解决现有技术存在的缺陷，在本申请的一些实施例中：当智能手环进入游戏控制模式时，可根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；并可从摄像头采集到的姿态控制类手势中，获取第二姿态数据，以及可根据第一姿态数据和第二姿态数据对游戏画面中的目标对象进行姿态控制。因此，本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请实施例提供的一种智能手环的结构示意图。如图1所示，该智能手环包括：控制器10、惯性传感器20和摄像头30。
本实施例中，智能手环除了可具备本实施例提供的游戏控制功能外，还可具备其它产品功能，例如，监测心率、语音通话等等，本实施例对此并不作限定。在实际应用中，为了实现智能手环的不同产品功能之间的切换，可为智能手环设定不同的产品功能模式，用户可根据需要开启智能手环的各种产品功能模式。例如，在需要进行游戏控制时，用户可开启智能手环的游戏控制模式。当智能手环进入游戏控制模式时，智能手环可通过相关的软件和硬件与游戏环境进行对接，例如，接入游戏画面，建立联动坐标系等等，在此不再详述。
基于此，当智能手环进入游戏控制模式时，控制器10可根据惯性传感器20检测到的智能手环的运动状态，获取第一姿态数据。
本实施例中，智能手环可佩戴在用户的手腕或手掌上。图2为本申请实施例提供的一种智能手环佩戴在用户手掌时的佩戴状态示意图。如图2所示，智能手环佩戴在用户的手掌上，并随用户手掌一起运动。例如，当用户手掌在空中平移时，智能手环也将同步平移。在此过程中，智能手环的惯性传感器20可检测智能手环的运动姿态，控制器10可据此获取到基于惯性传感器20确定出的第一姿态数据。
基于第一姿态数据，控制器10可对游戏画面中的目标对象进行姿态控制。承接上例，当用户手掌在空中平移时，游戏画面中的目标对象也将跟随用户手掌呈平移趋势。
对于一些对操控精度要求较高的游戏场景来说，例如，射击类游戏场景，由于惯性传感器20存在漂移现象，这导致操控的精度无法达到预期效果，用户的操控体验较差，甚至不能操控。为了适应这些对操控精度要求较高的游戏场景，本实施例中，为智能手环配置了摄像头30，如图2所示，在智能手环处于佩戴状态下时，摄像头30朝向用户手指方向，用户手指位于摄像头的图像采集范围内。
本实施例中，在启动手指操控事件发生时，控制器10可利用摄像头30采集用户的手指发出的手势。
其中，启动手指操控事件可以是物理按键触发事件或者游戏画面中控件的触发事件等等，本实施例对此不作限定。也即是，在需要进行较高精度的游戏控制时，可启动摄像头30以采集用户的手指发出的手势。例如，可在智能手环上配置物理按键，用户可按下物理按键以触发启动手指操控事件。又例如，用户还可触发游戏画面中的相关控件，从而触发启动手指操控事件。
本实施例中，控制器10可利用摄像头30采集用户手势图像，采集的时间粒度可根据所需的操控精度及控制器10的处理能力等因素而灵活设定。控制器10可基于图像处理技术，识别用户手势图像中包含的用户的手指发出的手势，并对识别出的手势进行分析。
在一些实际应用中，可预先创建手势库，以在手势库中记录姿态控制类手势及指令类手势等预置手势。其中，手势库可存在智能手环的本地，当然也可存在网络中，智能手环可在需要时通过网络使用手势库。控制器10可基于手势库分析摄像头30采集到的手势的属性。例如，若摄像头30采集到的手势与手势库中的任一姿态控制类手势相匹配，则确定摄像头30采集到的手势属于姿态控制类手势。
当确定摄像头30采集到的手势属于姿态控制类手势时，可从摄像头30采集到的手势中，获取第二姿态数据。例如，图2中左侧所示的手势为姿态控制类手势，则控制器10可从摄像头30采集到的该手势中，获取第二姿态数据。
据此，本实施例中可根据第一姿态数据和第二姿态数据，对游戏画面中的目标对象进行姿态控制。由于惯性传感器20的姿态控制精度较低，因此，可通过摄像头30采集到的姿态控制类手势对惯性传感器20的姿态控制效果进行校正。
在本申请实施例中，当智能手环进入游戏控制模式时，可根据惯性传感器20检测到的智能手环的运动姿态，获取第一姿态数据；并可从摄像头30采集到的姿态控制类手势中，获取第二姿态数据，以及可根据第一姿态数据和第二姿态数据对游戏画面中的目标对象进行姿态控制。因此，本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。
在上述或下述实施例中，控制器10可获取摄像头30采集到的包含手势的多张用户手势图像，多张用户手势图像的采集时间连续；基于图像处理技术，在多张用户手势图像中识别用户手指在手势下的运动姿态；根据识别出的用户手指在手势下的运动姿态，生成第二姿态数据。
以当前采集时刻作为起点，控制器10可获取摄像头30在当前采集时刻采集到的用户手势图像以及下一采集时刻的用户手势图像，若下一采集时刻的用户手势图像中仍包含该姿态控制类手势，则可基于该手势在两张用户手势图像中的差异，识别出用户手指在该手势下的运动姿态。
例如，对于图2中所测所示的手势，当用户手指向掌心摆动时，控制器10可根据上述处理过程，确定出用户手指在该手势下的运动姿态，并据此生成第二姿态数据。
在一种实际应用中，控制器10可将用户手指在手势下的运动姿态转换为位移变化数据和角度变化数据；根据转换得到的位移变化数据和角度变化数据，生成第二姿态数据。
承接上例，当图2中的用户手指向掌心摆动时，可计算出指尖的位移变化数据和角度变化数据，并可根据智能手环与游戏画面中的目标对象的姿态换算比例，将用户手指的位移变化数据和角度变化数据换算为游戏画面中的目标对象的位移变化数据和角度变化数据，以生成第二姿态数据。
本实施例中，基于图像处理技术，可基于摄像头30采集到的用户手势图像分析用户手指在姿态控制类手势下的运动姿态，从而生成第二姿态数据。由于图像处理不存在漂移的问题，据此确定出的第二姿态数据的精准度较高，因此，用户的手指发出的姿态控制类手势可更精准地对游戏画面中的目标对象进行姿态控制，以弥补惯性传感器20的漂移问题导致的操控精度不足的问题。
在上述或下述实施例中，控制器10可将第一姿态数据和第二姿态数据进行叠加，以获得目标姿态数据；按照目标姿态数据，对游戏画面中的目标对象进行姿态控制。
本实施例中，基于第一姿态数据和第二姿态数据，可进行姿态数据的加权求和，以获得目标姿态数据，当按照目标姿态数据对游戏画面中的目标对象进行姿态控制时，所获得的姿态控制效果将是惯性传感器20和姿态控制类手势对目标对象的姿态控制效果的叠加。
以射击类游戏为例，并以瞄准点位目标控制对象，当用户佩戴智能手环对瞄准点进行姿态控制时，若用户控制智能手环向左上方45°方向移动1cm，则由于惯性传感器20的漂移问题，第一姿态数据可能是向左上方20°方向移动2cm，与此同时，用户可采用图2左侧的手势对瞄准点进行姿态控制，若用户手指向左上方45°方向移动1cm，则第二姿态数据为向左上方45°方向移动1cm。通过将第一姿态数据和第二姿态数据进行加权求和，获得的目标姿态数据可能是向左上方40°方向移动1.1cm。从而可根据目标姿态数据对瞄准点进行姿态控制，这显然比单独使用惯性传感器20对瞄准点进行姿态控制的操控精度更高。
当然，本实施例中并不限于姿态数据叠加这一种对游戏画面中的目标对象进行姿态控制的实现方式，本实施例中还可采用其它实现方式。例如，可先根据第一姿态数据对游戏画面中的目标对象进行姿态控制，之后暂停惯性传感器20的姿态控制过程，而基于第一姿态数据对应的姿态控制结果，根据第二姿态数据对游戏画面中的目标对象进行姿态控制。承接上例，基于惯性传感器20的姿态控制，将瞄准点移动中游戏画面中的指定区域后，可停止惯性传感器20的姿态控制过程，而以摄像头30采集到的姿态控制类手势的姿态控制为准，从而上例中的瞄准点的姿态控制效果可无限接近于向左上方45°方向移动1cm。当然，本实施例对此并不做限定，具体采用何种实现方式对目标对象进行姿态控制可根据实际需要进行灵活设定。
在上述或下述实施例中，如前文提及的，除姿态控制类手指之外，手势库中还可记录指令类手势。其中，指令类手势是指除可表征操作指令的手势，指令类手势区别于姿态控制类手势。指令类手势可表征的操作指令包括但不限于画面比例缩放、点选、切换等等，在此不再穷举。
据此，本实施例中，若摄像头30采集到的手势属于指令类手势，则基于预置的指令类手势与操作指令之间的对应关系，确定摄像头30采集到的手势对应的目标操作指令；根据目标操作指令，对游戏画面进行指令控制；以及根据第一姿态数据，对游戏画面中的目标对象进行姿态控制。
本实施例中，与识别姿态控制类手势类似地，控制器10也可基于图像处理技术，从摄像头30采集到的用户手势图像中识别出指令类手势。例如，若摄像头30采集到的手势与手势库中的任一指令类手势相匹配，则确定摄像头30采集到的手势属于指令类手势。
而且，手势库中还可预置指令类手势与操作指令之间的对应关系，基于图像处理技术，可确定出摄像头30采集到的手势所对应的指令类手势，从而可进一步确定出该手势对应的操作指令。另外，有一些操作指令相应指令类手势下的用户手指的姿态动作来表征，例如，图2右侧示出的手势为指令类手势，用户手指的捏合动作可表征画面缩小指令。对此，本实施例中，可参考姿态控制类手势的识别过程，从多张用户手势图像中识别出指令类手势及用户手指在该指令类手势下的姿态动作，从而在两个表征因素都满足的情况下，根据确定出的操作指令，对游戏画面进行指令控制。承接上例，当监测到图2所示的指令类手势下用户手指所进行的捏合动作时，可对游戏画面进行画面缩小控制。
另外，在摄像头30未采集到姿态控制类手势的情况下，控制可根据第一姿态数据对游戏画面中的目标对象进行姿态控制，当然，本实施例中的指令控制和姿态控制之间并不冲突，两种游戏控制维度可同步作用在游戏画面中。
本实施例中，通过摄像头30采集指令类手势，可更加灵活地对游戏画面进行指令控制，这有效提高用户在使用智能手环进行游戏控制时的操作灵活性和便利性，而且可将传统的游戏手柄的摇杆、功能按键等等功能统统由用户手指发出的手势来实现，可使得用户可通过智能手环实现单手操作、精细动作操控等等游戏手柄无法突破的用户体验效果。
在上述或下述实施例中，控制器10可包括第一处理器和第二处理器，在启动手指操控事件发生时，第二处理器进入关闭状态，第一处理器用于根据惯性传感器20检测到的智能手环的运动姿态，获取第一姿态数据；在摄像头30采集到的手势属于姿态控制类手势时，从摄像头30采集到的手势中，获取第二姿态数据；并根据第二姿态数据和第一姿态数据，对游戏画面中的目标对象进行姿态控制；在结束手指操控事件发生时，第一处理器进入关闭状态，第二处理器用于根据惯性传感器20检测到的智能手环的运动姿态，获取第一姿态数据；并根据第一姿态数据，对游戏画面中的目标对象进行姿态控制；其中，第一处理器的处理能力大于第二处理器。
本实施例中，在启动手指操控事件发生时，启动第一处理器而关闭第二处理器，并由第一处理器执行获取第一姿态数据、获取第二姿态数据、根据第一姿态数据和第二姿态数据对目标对象进行姿态控制等操作；而在结束手指操作事件发生时，则可启动第二处理器而关闭第一处理器，并由第二处理器执行获取第一姿态数据，根据第一姿态数据对目标对象进行姿态控制等操作。
由于第一处理器的处理能力大于第二处理器，因此，当需要进行图像处理时，可启动第一处理器，以支持图像处理过程；而当不需要进行图像处理时，则可采用第二处理器，以节省资源消耗。
通过第一处理器和第二处理器的灵活切换，可在保证游戏控制功能顺利实现的前提下，降低处理器功耗。
其中，图3为本申请实施例提供的另一种智能手环的结构示意图。本实施例中，智能手环除了可包括前述实施例中提及的控制器10、惯性传感器20、摄像头30等组成部分外，还可包括触摸板40、通信组件50、物理按键60、振动马达70等等组成部分。其中，触摸板40可用于实现现有游戏手柄的摇杆功能，振动马达70可用于实现触觉反馈功能，物理按键60则可实现各种自定义按键功能，等等。当然，图3中示出的智能手环的各个组成部分为示例性的，本实施例并不限于此，图3不应造成对本实施例保护范围的限定。
另外，本实施例中，为了避免第一处理器的功耗过高而降低智能手环的待机时间等参数，可为智能手环增设无线充电单元80，无线充电单元80可用于利用外部电源对智能手环进行充电，从而延长智能手环的待机时间。
图4为本申请实施例提供的一种智能手环的产品形态示意图。但应当理解的是，本申请实施例提供的智能手环的产品形态并不限于此。
图5为本申请实施例提供的一种基于智能手环的游戏控制方法的流程示意图。如图5所示，该方法包括：
500、当智能手环进入游戏控制模式时，根据惯性传感器检测到的智能手环的运动姿态，获取第一姿态数据；
501、在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；
502、若摄像头采集到的手势属于姿态控制类手势，则从摄像头采集到的手势中，获取第二姿态数据；
503、根据第二姿态数据和第一姿态数据，对游戏画面中的目标对象进行姿态控制。
在一可选实施例中，步骤从摄像头采集到的手势中，获取第二姿态数据，包括：
获取摄像头采集到的包含手势的多张用户手势图像，多张用户手势图像的采集时间连续；
基于图像处理技术，在多张用户手势图像中识别用户手指在手势下的运动姿态；
根据识别出的用户手指在手势下的运动姿态，生成第二姿态数据。
在一可选实施例中，步骤根据识别出的用户手指在手势下的运动姿态，生成第二姿态数据，包括：
将用户手指在手势下的运动姿态转换为位移变化数据和角度变化数据；
根据转换得到的位移变化数据和角度变化数据，生成第二姿态数据。
在一可选实施例中，步骤503，包括：
将第一姿态数据和第二姿态数据进行叠加，以获得目标姿态数据；
按照目标姿态数据，对游戏画面中的目标对象进行姿态控制。
在一可选实施例中，该方法还包括：
若摄像头采集到的手势属于指令类手势，则基于预置的指令类手势与操作指令之间的对应关系，确定摄像头采集到的手势对应的目标操作指令；
根据目标操作指令，对游戏画面进行指令控制；以及
根据第一姿态数据，对游戏画面中的目标对象进行姿态控制。
在一可选实施例中，该方法还包括：
在启动手指操控事件发生时，启动智能手环的第一处理器，由第一处理器根据惯性传感器检测到的智能手环的运动姿态，获取第一姿态数据；在摄像头采集到的手势属于姿态控制类手势时，从摄像头采集到的手势中，获取第二姿态数据；并根据第二姿态数据和第一姿态数据，对游戏画面中的目标对象进行姿态控制；
在结束手指操控事件发生时，关闭第一处理器，并启动智能手环的第二处理器，由第二处理器根据惯性传感器检测到的智能手环的运动姿态，获取第一姿态数据；并根据第一姿态数据，对游戏画面中的目标对象进行姿态控制；
其中，第一处理器的处理能力大于第二处理器。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由智能手环执行的各步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于智能手环的游戏控制方法，其特征在于，包括：
当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；
在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；
若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；
根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。
2.根据权利要求1所述的方法，其特征在于，所述从所述摄像头采集到的所述手势中，获取第二姿态数据，包括：
获取所述摄像头采集到的包含所述手势的多张用户手势图像，所述多张用户手势图像的采集时间连续；
基于图像处理技术，在所述多张用户手势图像中识别用户手指在所述手势下的运动姿态；
根据识别出的所述用户手指在所述手势下的运动姿态，生成所述第二姿态数据。
3.根据权利要求2所述的方法，其特征在于，所述根据识别出的所述用户手指在所述手势下的运动姿态，生成所述第二姿态数据，包括：
将所述用户手指在所述手势下的运动姿态转换为位移变化数据和角度变化数据；
根据转换得到的位移变化数据和角度变化数据，生成所述第二姿态数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制，包括：
将所述第一姿态数据和所述第二姿态数据进行叠加，以获得目标姿态数据；
按照所述目标姿态数据，对所述游戏画面中的所述目标对象进行姿态控制。
5.根据权利要求1所述的方法，其特征在于，还包括：
若所述摄像头采集到的所述手势属于指令类手势，则基于预置的指令类手势与操作指令之间的对应关系，确定所述摄像头采集到的所述手势对应的目标操作指令；
根据所述目标操作指令，对所述游戏画面进行指令控制；以及
根据所述第一姿态数据，对所述游戏画面中的目标对象进行姿态控制。
6.根据权利要求1所述的方法，其特征在于，还包括：
在启动手指操控事件发生时，启动所述智能手环的第一处理器，由所述第一处理器根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；在所述摄像头采集到的所述手势属于姿态控制类手势时，从所述摄像头采集到的所述手势中，获取第二姿态数据；并根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制；
在结束手指操控事件发生时，关闭所述第一处理器，并启动所述智能手环的第二处理器，由所述第二处理器根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；并根据所述第一姿态数据，对游戏画面中的目标对象进行姿态控制；
其中，所述第一处理器的处理能力大于所述第二处理器。
7.一种智能手环，其特征在于，包括控制器、惯性传感器和摄像头；所述摄像头在所述智能手环处于佩戴状态下朝向用户手指方向；
所述控制器用于：当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；
在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；
若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；
根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。
8.根据权利要求7所述的智能手环，其特征在于，所述控制器在从所述摄像头采集到的所述手势中，获取第二姿态数据时，用于：
获取所述摄像头采集到的包含所述手势的多张用户手势图像，所述多张用户手势图像的采集时间连续；
基于图像处理技术，在所述多张用户手势图像中识别用户手指在所述手势下的运动姿态；
根据识别出的所述用户手指在所述手势下的运动姿态，生成所述第二姿态数据。
9.根据权利要求8所述的智能手环，其特征在于，所述控制器在根据识别出的所述用户手指在所述手势下的运动姿态，生成所述第二姿态数据时，用于：
将所述用户手指在所述手势下的运动姿态转换为位移变化数据和角度变化数据；
根据转换得到的位移变化数据和角度变化数据，生成所述第二姿态数据。
10.根据权利要求7所述的智能手环，其特征在于，所述控制器在根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制时，用于：
将所述第一姿态数据和所述第二姿态数据进行叠加，以获得目标姿态数据；
按照所述目标姿态数据，对所述游戏画面中的所述目标对象进行姿态控制。
11.根据权利要求7所述的智能手环，其特征在于，所述控制器包括第一处理器和第二处理器；
在启动手指操控事件发生时，所述第二处理器进入关闭状态，所述第一处理器用于根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；在所述摄像头采集到的所述手势属于姿态控制类手势时，从所述摄像头采集到的所述手势中，获取第二姿态数据；并根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制；
在结束手指操控事件发生时，所述第一处理器进入关闭状态，所述第二处理器用于根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；并根据所述第一姿态数据，对游戏画面中的目标对象进行姿态控制；
其中，所述第一处理器的处理能力大于所述第二处理器。
12.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-6任一项所述的游戏控制方法。
CN201910197022.4A 2019-03-15 2019-03-15 基于智能手环的游戏控制方法、智能手环及存储介质 Active CN110102044B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910197022.4A CN110102044B (zh) 2019-03-15 2019-03-15 基于智能手环的游戏控制方法、智能手环及存储介质
US17/437,352 US20220143493A1 (en) 2019-03-15 2019-12-03 Game control method based on a smart bracelet, smart bracelet and storage medium
PCT/CN2019/122774 WO2020186826A1 (zh) 2019-03-15 2019-12-03 基于智能手环的游戏控制方法、智能手环及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910197022.4A CN110102044B (zh) 2019-03-15 2019-03-15 基于智能手环的游戏控制方法、智能手环及存储介质

Publications (2)

Publication Number Publication Date
CN110102044A true CN110102044A (zh) 2019-08-09
CN110102044B CN110102044B (zh) 2021-04-30

Family

ID=67484296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910197022.4A Active CN110102044B (zh) 2019-03-15 2019-03-15 基于智能手环的游戏控制方法、智能手环及存储介质

Country Status (3)

Country Link
US (1) US20220143493A1 (zh)
CN (1) CN110102044B (zh)
WO (1) WO2020186826A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989828A (zh) * 2019-10-30 2020-04-10 广州幻境科技有限公司 一种基于计算机视觉的手势识别方法及手势识别手环
WO2020186826A1 (zh) * 2019-03-15 2020-09-24 歌尔股份有限公司 基于智能手环的游戏控制方法、智能手环及存储介质
CN112337087A (zh) * 2020-09-28 2021-02-09 湖南泽途体育文化有限公司 应用于体育竞技的体感交互方法及系统
CN113970967A (zh) * 2021-10-28 2022-01-25 上海布鲁可积木科技有限公司 手势姿态同步检测控制方法、系统、介质以及移动终端
CN114356102A (zh) * 2022-01-30 2022-04-15 清华大学 基于指纹图像的三维物体绝对姿态控制方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN104826331A (zh) * 2015-04-24 2015-08-12 广东欧珀移动通信有限公司 一种模拟游戏输入的方法及系统
CN204631771U (zh) * 2015-04-17 2015-09-09 杭州豚鼠科技有限公司 体感控制手环
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
CN105765491A (zh) * 2015-09-23 2016-07-13 深圳还是威健康科技有限公司 一种识别手部运动的方法及智能手环、终端
CN106598251A (zh) * 2016-12-23 2017-04-26 重庆墨希科技有限公司 一种基于智能手环的手势控制方法、系统及一种智能手环
CN206404297U (zh) * 2016-12-09 2017-08-15 歌尔科技有限公司 一种手环式游戏控制设备
US9864434B2 (en) * 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
CN108668010A (zh) * 2018-03-30 2018-10-16 努比亚技术有限公司 移动终端控制方法、手环及计算机可读存储介质
CN109240490A (zh) * 2018-08-14 2019-01-18 歌尔科技有限公司 智能穿戴设备及基于其的交互控制方法、系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) * 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US20150062086A1 (en) * 2013-08-29 2015-03-05 Rohildev Nattukallingal Method and system of a wearable ring device for management of another computing device
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
JP6434144B2 (ja) * 2014-07-18 2018-12-05 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． デバイスにおけるレイズジェスチャ検出
CN105653013A (zh) * 2014-11-10 2016-06-08 安徽华米信息科技有限公司 一种播放多媒体的控制方法、装置及系统
WO2016137514A1 (en) * 2015-02-27 2016-09-01 Hewlett-Packard Development Company, L.P. Detecting finger movements
CN104841130A (zh) * 2015-03-19 2015-08-19 惠州Tcl移动通信有限公司 智能手表以及体感游戏运行系统
US10742792B2 (en) * 2015-08-25 2020-08-11 Lg Electronics Inc. Mobile terminal
US10110272B2 (en) * 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
US11794094B2 (en) * 2016-10-17 2023-10-24 Aquimo Inc. Method and system for using sensors of a control device for control of a game
US10572002B2 (en) * 2018-03-13 2020-02-25 Facebook Technologies, Llc Distributed artificial reality system with contextualized hand tracking
CN111868666A (zh) * 2018-03-23 2020-10-30 脸谱科技有限责任公司 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统
CN110102044B (zh) * 2019-03-15 2021-04-30 歌尔科技有限公司 基于智能手环的游戏控制方法、智能手环及存储介质
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
CN204631771U (zh) * 2015-04-17 2015-09-09 杭州豚鼠科技有限公司 体感控制手环
CN104826331A (zh) * 2015-04-24 2015-08-12 广东欧珀移动通信有限公司 一种模拟游戏输入的方法及系统
CN105765491A (zh) * 2015-09-23 2016-07-13 深圳还是威健康科技有限公司 一种识别手部运动的方法及智能手环、终端
US9864434B2 (en) * 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
CN206404297U (zh) * 2016-12-09 2017-08-15 歌尔科技有限公司 一种手环式游戏控制设备
CN106598251A (zh) * 2016-12-23 2017-04-26 重庆墨希科技有限公司 一种基于智能手环的手势控制方法、系统及一种智能手环
CN108668010A (zh) * 2018-03-30 2018-10-16 努比亚技术有限公司 移动终端控制方法、手环及计算机可读存储介质
CN109240490A (zh) * 2018-08-14 2019-01-18 歌尔科技有限公司 智能穿戴设备及基于其的交互控制方法、系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186826A1 (zh) * 2019-03-15 2020-09-24 歌尔股份有限公司 基于智能手环的游戏控制方法、智能手环及存储介质
CN110989828A (zh) * 2019-10-30 2020-04-10 广州幻境科技有限公司 一种基于计算机视觉的手势识别方法及手势识别手环
CN112337087A (zh) * 2020-09-28 2021-02-09 湖南泽途体育文化有限公司 应用于体育竞技的体感交互方法及系统
CN113970967A (zh) * 2021-10-28 2022-01-25 上海布鲁可积木科技有限公司 手势姿态同步检测控制方法、系统、介质以及移动终端
CN114356102A (zh) * 2022-01-30 2022-04-15 清华大学 基于指纹图像的三维物体绝对姿态控制方法及装置

Also Published As

Publication number Publication date
CN110102044B (zh) 2021-04-30
US20220143493A1 (en) 2022-05-12
WO2020186826A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN110102044A (zh) 基于智能手环的游戏控制方法、智能手环及存储介质
KR102319207B1 (ko) 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체
US11640235B2 (en) Additional object display method and apparatus, computer device, and storage medium
EP3469459B1 (en) Altering properties of rendered objects via control points
CN108596976B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US9972134B2 (en) Adaptive smoothing based on user focus on a target object
CN108376424A (zh) 用于对三维虚拟环境进行视角切换的方法、装置、设备及存储介质
JP5665140B2 (ja) 入力装置、入力方法、及びプログラム
US20120036485A1 (en) Motion Driven User Interface
CN104182126B (zh) 一种移动终端拨号方法及装置
CN104869317B (zh) 智能设备拍摄方法及装置
US9891713B2 (en) User input processing method and apparatus using vision sensor
CN109697265A (zh) 一种页面返回方法及装置
EP2558924A1 (en) An apparatus, method, computer program and user interface
CN106648344A (zh) 一种屏幕内容调整方法及其设备
CN110263294A (zh) 损失函数取值的确定方法、装置和电子设备
CN113168281B (zh) 计算机可读介质、电子装置和方法
CN106325505B (zh) 基于视点跟踪的控制方法和装置
CN110052030B (zh) 虚拟角色的形象设置方法、装置及存储介质
CN109766167A (zh) 定时任务分发的方法、装置、系统及设备
CN112197676B (zh) 物体表面信息的获取方法、装置、计算机设备和存储介质
WO2023186009A1 (zh) 计步方法及装置
JP2021129317A (ja) 多次元反応型映像提供方法及びコンピュータ装置。
TW201329780A (zh) 電子裝置解鎖系統及方法
US10114469B2 (en) Input method touch device using the input method, gesture detecting device, computer-readable recording medium, and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant