CN103180803A - 界面切换的方法和装置 - Google Patents

界面切换的方法和装置 Download PDF

Info

Publication number
CN103180803A
CN103180803A CN2012800014677A CN201280001467A CN103180803A CN 103180803 A CN103180803 A CN 103180803A CN 2012800014677 A CN2012800014677 A CN 2012800014677A CN 201280001467 A CN201280001467 A CN 201280001467A CN 103180803 A CN103180803 A CN 103180803A
Authority
CN
China
Prior art keywords
posture
user
articulation point
interface
parameter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800014677A
Other languages
English (en)
Other versions
CN103180803B (zh
Inventor
宣曼
黄晨
薛传颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN103180803A publication Critical patent/CN103180803A/zh
Application granted granted Critical
Publication of CN103180803B publication Critical patent/CN103180803B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种界面切换的方法和装置，所述方法包括：检测到用户信息后，从所述用户信息中识别出用户第一姿势；如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；当在所述指定时间内检测到用户信息时，识别出用户第二姿势；如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。使用本发明，能够解决体感交互场景下界面切换姿势指令识别存在误判率高或等待时间长的缺点，提高姿势操控的准确率，提升用户体验。

Description

界面切换的方法和装置
技术领域
本发明涉及通信网络技术领域，尤其涉及一种体感交互场景下界面切换的方法和装置。
背景技术
基于视觉的体感交互是指计算机通过摄像头捕获用户的图像，并利用模式识别、人工智能等技术理解用户动作的含义，提供更加自然、直观的体感交互方式。目前广泛应用在增强现实、体感游戏控制等场景下。
体感交互的过程中，体感交互应用系统通过摄像头捕获含有用户信息的视频帧，然后通过图像分析技术得到视频帧中用户的信息(例如关节点信息)，从而判断用户的的姿态(pose)以及由连续视频帧中的姿态变化构成的动作(gesture)；用户的姿态与动作共同构成姿势，体感交互应用系统根据用户的姿势对应的指令进行相应的反馈操作。由此构成了完整的基于视觉的体感交互过程。
现有技术中，对于界面切换姿态的判断，采取的方式是：首先识别用户输入的姿态，在满足规定的界面切换姿态时，要求用户保持该姿态一段时间后，才触发界面切换指令。例如：用户在使用微软的体感游戏设备Kinect进行体感游戏过程中，可通过“左手手臂伸直，与身体呈斜下45°”的姿态退出游戏，要求用户保持该姿态一段时间才会触发“退出游戏”操作。否则取消操作，保留原来的游戏界面。
如果等待时间设置的较短时，容易将用户的一些无意识的操作误判为界面切换指令。如果等待时间设置较长时，用户需要较长时间保持某个姿态不变，用户体验差。因此，现有技术存在执行界面切换指令时误判率高或等待时间较长的问题。
发明内容
本发明实施例提供了一种界面切换的方法和装置，用于提高体感交互场景下界面切换姿势指令的识别精确率，提升用户体验。
第一方面，本发明实施例提供的界面切换的方法包含：
检测到用户信息后，从所述用户信息中识别出用户第一姿势；
如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；
当在所述指定时间内检测到用户信息时，识别出用户第二姿势；
如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。
在第一方面的第一种可能的实现方式中，识别用户第二姿势之后还包含：如果所述用户第二姿势为取消切换姿势，取消所述第一姿势关联的界面切换操作；或如果所述用户第二姿势不是确认切换姿势或取消切换姿势，继续检测用户信息，并返回所述当在所述指定时间内检测到用户信息时，识别用户第二姿势的步骤。
结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，提示用户输入第二姿势之后还包含：当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，识别用户第一姿势或第二姿势包含：获得设定的姿势所涉及的关节点；从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；根据所述关节点的数据计算所述设定的姿势的匹配参数值；根据所述匹配参数值识别所述用户第一姿势或第二姿势。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，获得设定的姿势所涉及的关节点包含：确定当前界面类型以及当前界面下所设定的姿势，获得所述当前界面下所设定的姿势涉及的关节点；根据所述关节点的数据计算所述设定的姿势的匹配参数值包含：根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。
结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，获得设定的姿势所涉及的关节点包含：确定体感交互游戏应用系统的默认姿势，获得所述默认姿势涉及的关节点；所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包含：根据所述关节点的数据计算所述默认姿势的匹配参数值。
结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，设定的姿势为动作姿势时，所述从已检测到的所述用户信息中读取所述关节点的数据包括：从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括：根据所述关节点数据和所述时间戳信息计算所述关节点的位移。
结合第一方面的第三种可能的实现方式，在第七种可能的实现方式中，设定的姿势为姿势姿态姿势时，所述从已检测到的所述用户信息中读取所述关节点的数据包括：从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括：根据所述关节点数据计算关节点之间的骨骼夹角。
结合第一方面的第四种可能的实现方式或第一方面的第五种可能的实现方式，在第八种可能的实现方式中，根据所述匹配参数值识别所述用户第一姿势或第二姿势包括：将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。
第二方面，本发明实施例提供的界面切换的装置包含：
检测单元，用于检测用户信息；
第一识别单元，用于所述检测单元检测到用户信息后，从所述用户信息中识别出用户第一姿势；
显示单元，用于当所述用户第一姿势为界面切换姿势时，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；
第二识别单元，用于当所述检测单元在所述指定时间内检测到用户信息时，识别出用户第二姿势；
界面切换处理单元，用于当所述用户第二姿势为确认切换姿势时，执行所述第一姿势关联的界面切换操作。
在第二方面的第一种可能的实现方式中，界面切换处理单元还用于当所述用户第二姿势为取消切换姿势时，取消所述第一姿势关联的界面切换操作。
结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，界面切换处理单元还用于当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，第一识别单元或所述第二识别单元包含：
获得模块，用于获得设定的姿势所涉及的关节点；读取模块，用于从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；
计算模块，用于根据所述关节点的数据计算所述设定的姿势的匹配参数值；
识别模块，用于根据所述匹配参数值识别所述用户第一姿势或第二姿势。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，获得模块，进一步的用于获得当前界面下所设定的姿势涉及的关节点；计算模块，进一步的用于根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。
结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，获得模块，进一步的用于获得体感交互应用系统的默认姿势涉及的关节点；计算模块，进一步的用于根据所述关节点的数据计算所述默认姿势的匹配参数值。
结合第二方面的第三种可能的实现方式，在第六种可能的实现方式中，读取模块，进一步的用于当所述设定的姿势为动作姿势时，从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；计算模块，进一步的用于根据所述关节点数据和所述时间戳信息计算所述关节点的位移。
结合第二方面的第三种可能的实现方式，在第七种可能的实现方式中，读取模块，进一步的用于当所述设定的姿势为姿态姿势时，从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；计算模块，进一步的用于根据所述关节点数据计算关节点之间的骨骼夹角。
结合第二方面的第四种可能的实现方式或第二方面的第五种可能的实现方式，在第八种可能的实现方式中，识别模块，进一步的用于将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。
由以上技术方案可以看出，由于本发明实施例采用第二姿势对第一姿势指令进行确认的机制，从而有效的解决了体感交互场景下界面切换姿势识别时间长或者误判率高的问题，提高了姿势操控的精确率，从而极大提升了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的界面切换方法的流程图；
图2为本发明一个实施例提供的识别用户第一姿势或第二姿势的方法流程图；
图3A-3D说明根据本发明一个实施例，在界面切换的不同时间点，设备的图形用户界面显示；
图4为本发明一个实施例提供的界面切换装置的组成框图；
图5为本发明另一个实施例提供的界面切换装置的组成框图；
图6为本发明再一个实施例提供的基于计算机系统的界面切换装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一个实施例提供一种界面切换的方法，该方法可用于体感交互场景下的界面切换，具体的界面操作包含如下之一：退出应用、返回上一级界面、返回主界面和招出菜单等引起界面变化的操作。
请参照图1，该方法包括：
步骤101：检测到用户信息后，从所述用户信息中识别用户第一姿势。
其中，检测用户信息的方法可以是获取用户的骨骼帧信息，并判断获取到的用户的骨骼帧信息是否包含有效的关节点数据。如果包含有效的关节点数据，说明检测到了用户信息，否则，说明没有检测到用户信息，继续检测。
其中，识别用户第一姿势的方法可以是：获得预设姿势所涉及的关节点；从检测到的用户信息中读取与预设姿势涉及的关节点对应的有效的关节点数据；根据所述有效的关节点数据计算与预设姿势进行匹配的匹配参数值；然后根据该匹配参数值，识别出用户第一姿势。其中，用户第一姿势可以是动作姿势，也可以是姿态姿势。
具体的，在一种是实现方式中，以体感交互应用系统为执行主体，从体感交互设备(本实施例中可以是体感游戏产品Kinect)获取用户的骨骼帧信息。具体的，体感游戏产品Kinect设备提供的SDK(Software Development Kit，开发工具包)中包含有骨骼帧信息提取函数NuiSkeletonGetNextFrame，应用程序通过调用该函数能从kinect设备提取当前时刻的用户骨骼帧信息，无论当前时刻Kinect设备前有没有用户，该设备都会生成一帧用户骨骼帧信息。
其中，用户骨骼帧信息采用NUI_SKELETON_FRAME数据结构表示，该数据结构中包含关节点信息(采用NUI_SKELETON_DATA数据结构表示)和时间戳信息(采用liTimestamp参数表示)，关节点信息中包含是否具有有效关节点数据的判断标识eTrackingState。如果eTrackingState参数值为true，说明检测到了用户信息，否则参数值为false，说明没有检测到用户信息，继续检测。
步骤102：如果所述用户第一姿势为界面切换姿势，则在指定时间内显示提示信息，该提示信息用以提示用户输入第二姿势。
可选的，步骤102还可以包括以下步骤：当所述用户第一姿势不是界面切换姿势时，继续检测用户信息或者，当所述用户第一姿势不是界面切换姿势且设置有与该第一姿势关联的操作时，也可以执行该第一姿势关联的操作。
其中，提示信息可以包含第二姿势选择项以及第二姿势的操作指示。具体的，提示信息的显示方式可以是文字、图片等表现形式，还可以采用闪烁、淡入淡出等显示效果。例如，第二姿势选择项可以是“确认切换姿势”、“取消切换姿势”两个选项，并可以采用文本框或文字的方式显示，对应的，第二姿势的操作指示是“确认切换姿势”、“取消切换姿势”的操作方法指示，可以采用文字、符号、图片或动画指示用户如何操作。
其中，第二姿势可以为动作姿势，也可以为姿态姿势。
步骤103：当在所述指定时间内检测到用户信息时，识别用户第二姿势。
其中，检测用户信息的方法和步骤101中检测用户信息的方法相同，识别用户第二姿势的方法和步骤101中识别用户第一姿势的方法相同。
其中，步骤103还可以包含如果在所述指定时间内未检测到用户信息时，忽略与第一姿势关联的界面切换操作。
步骤104：如果所述用户第二姿势为确认切换姿势，则执行所述第一姿势关联的界面切换操作。
进一步地，如果所述第二姿势是否为取消切换姿势，如果是则忽略第一姿势关联的界面切换操作。可替代地，如果所述第二姿势是否既非确认切换姿势、又非取消切换姿势，则返回步骤103，在指定时间内继续检测用户信息。
本发明一个实施例提供在界面切换的方法中，当检测到用户信息后，识别用户第一姿势的方法，识别第二姿势的方法与此类似，不再赘述。请参照图2，该方法包含：
步骤201：获得设定的姿势所涉及的关节点；
其中，该步骤具体包括：确定当前界面类型以及当前界面下设定的姿势，获得该当前界面下设定姿势涉及的关节点。
可替代地，该步骤也可以具体包括：确定体感交互应用系统所有的默认姿势，获得所述系统所有的默认姿势涉及的关节点。
具体的，在一个实施例中，通过界面切换状态机的状态，判断当前界面为切换前应用界面，且当前界面下设定的姿势只有界面切换姿势；界面切换姿势是一个形状为“左臂45度”姿态姿势，涉及的关节点有7个：SHOULDER_CENTER(中心肩膀关节点)、SHOULDER_RIGHT(右肩膀关节点)与ELBOW_RIGHT(右肘关节点)、WRIST_RIGHT(右腕关节点)、SHOULDER_LEFT(左肩膀关节点)、ELBOW_LEFT(左肘关节点)、WRIST_LEFT(左腕关节点)。
可替代的，通过界面切换状态机的状态，判断当前界面为切换提示界面，且当前界面下设定的姿势有确认切换姿势和取消切换姿势；其中，确认切换姿势是一个左手向右挥动的动作姿势，涉及的关节点有HAND_LEFT(左手关节点)，取消切换姿势是一个左手向左挥动的动作姿势，涉及的关节点有HAND_LEFT(左手关节点)。
步骤202：从已检测到的用户信息中读取该关节点的数据；其中，该用户信息包括用户骨骼帧信息，用户骨骼帧信息包括关节点信息和时间戳信息。
当设定的姿势为姿态姿势时，步骤202，可以具体包括：具体为从该用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据。
当设定的姿势中为动作姿势时，步骤202，可以具体包括：从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息。
当设定的姿势涉及的多个关节点中存在相同的关节点时，对每帧骨骼信息只需要读取一次该关节点数据。
在具体实现中，例如，对于当前界面下设定的姿势为界面切换姿势，因为该姿势是姿态姿势，只需要读取当前骨骼帧信息中该姿势涉及的7个关节点的坐标数据，如表1所示。
Figure BDA00002474459300091
再例如，对于当前界面下设定的姿势有确认切换姿势和取消切换姿势，这两个姿势涉及相同的关节点(左手关节点)，因此对每帧骨骼信息只需要读取一次该关节点数据。又因为两个姿势都是动作姿势，因此需要连续读取用户多个骨骼帧的左手关节点坐标数据以及每帧的时间戳信息，当前检测时间戳为起始时间戳ti，如表2所示。
Position(关节点位置) liTimestamp(时间戳)
x1，y1，z1 t1
x2，y2，z2 t2
...... ......
xi-1，yi-1，zi-1 ti-1
xi，yi，zi ti
步骤203：根据所述关节点的数据计算设定姿势的匹配参数值。
其中，计算设定姿势的匹配参数值包含：计算当前界面下设定的姿势或者体感交互应用系统所有的默认姿势的匹配参数值.。
其中，当该设定姿势存在相同的匹配参数时，只需要计算一次该匹配参数的值。
例如，对于当前界面下设定的姿势为界面切换姿势，其匹配参数为4个骨骼夹角，以∠abc为例，它是表1中中心肩膀关节点a与右肩膀关节点关节点b组成的骨骼与右肩膀关节点b与右肘关节点c组成的骨骼之间的夹角，该夹角的计算公式为：
∠ abc = cos - 1 ( ab 2 + bc 2 - ac 2 2 ab · bc ) ;
ac2＝(x1-x3)2+(y1-y3)2；
ab2＝(x1-x2)2+(y1-y2)2；
bc2＝(x2-x3)2+(y2-y3)2。
通过类似的公式，可以计算其他3个骨骼夹角(∠bcd、∠aef、∠efg)的参数值。
再例如，对于当前界面下设定的姿势有确认切换姿势和取消切换姿势，确认切换姿势的匹配参数是左手关节点的位移，取消切换姿势的匹配参数也是左手关节点的位移。两个姿势存在相同的匹配参数，因此只计算一次该匹配参数的值。其中，左手关节点的位移计算公式为表2中起始检测时间t1与结束时间ti之间的总位移
Figure BDA00002474459300102
相邻两个时间戳ti与ti-1之间的位移为Δsi＝xi-xi-1，比较位移Δsi与总位移s的正负符号，正负符号相同表示需要继续计算，正负符号不同则表示手势结束。在到达预设时间之前，检测到手势结束，停止计时和计算，否则一直计时并计算直到预设时间点，总位移s为左手关节点的位移值。
步骤204：根据所述匹配参数值识别出所述用户第一姿势。
其中，该步骤具体可以为，将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势。
例如，对于当前界面下设定的姿势为界面切换姿势，根据计算得到的4个骨骼夹角，判断是否同时满足匹配条件∠abc＝135°±10°，∠bcd＝180°±10°，∠aef＝90°±10°，∠efg＝180°±10°，若是则识别所述用户姿势为界面切换姿势，否则识别所述用户姿势不是界面切换姿势；为了避免用户无意识的动作带来影响，可以在连续数帧检测到的用户信息符合匹配条件，才识别为该设定姿势。
再例如，对于当前界面下设定的姿势为确认切换姿势和取消切换姿势，根据计算得到的左手关节点的位移值，判断是否满足s＞0.3m或s＜-0.3m，假如s＞0.3m识别所述用户姿势为确认切换姿势，假如s＜-0.3m识别所述用户姿势为取消切换姿势，s为其他范围则识别所述用户姿势不是确认切换姿势或取消切换姿势。
为进一步的理解本发明，提供了一个实施例说明在界面切换的不同时间点时设备的GUI显示。请参照图3A-3D，以退出游戏为例，不同时间点的显示界面如下：
在界面切换前、即收到退出游戏姿势前的界面如图3A所示，设备300包含显示屏301，并且显示屏上显示的是当前的游戏画面302。
在显示切换前的界面3A后，体感交互应用系统识别出用户输入了退出游戏姿势、从而在指定时间内显示包含提示信息的提示界面。一种提示界面如图3B所示：包含退出前的游戏画面302，以及提示用户输入第二姿势的提示信息。提示信息以叠加的方式出现在游戏画面302的左下角，包含“确认退出”、“取消退出”第二姿势提示项303，以及两个提示项对应的第二姿势操作指示304。第二姿势提示项以文字的方式显示，而且文字在闪烁以提醒用户注意，第二姿势操作指示包含文字“向左挥手”、“向右挥手”以及左/右箭头图形符号，用于指示向右挥手动作为确认退出姿势，能够触发确认退出游戏操作，向左挥手动作为取消退出姿势，能够触发取消退出游戏操作。
另外一种提示界面如图3C所示：除了包含退出前的游戏画面302，以及提示用户输入第二姿势的提示信息，可选的，还包含计时进度盘305，随着时间的推进，黑色的扇形区域逐渐减少，通过黑色扇形区域的减少来指示允许用户输入第二姿势的剩余时间的减少。提示信息包含第二姿势提示项306和第二姿势操作指示307，其中第二姿势提示项306包含“确认退出”、“取消退出”，以文本框的方式显示，对应的第二姿势操作指示307包含文字“左手上举”、“左手下举”以及姿势示意图，用于指示左手下举姿态为确认退出姿势，能够触发确认退出游戏操作，左手上举姿态为取消退出姿势，能够触发取消退出游戏操作。可选的，进入提示界面时，提示信息以淡入的方式出现，退出提示界面时，提示信息以淡出的方式消失。
在显示提示界面3B或者3C后，若在指定时间内，体感交互应用系统接收到用户的确认退出姿势，退出游戏，显示退出后的界面如图3D所示：包含游戏菜单画面308。
在显示提示界面3B或者3C后，若在指定时间内，体感交互应用系统接收到用户的取消退出姿势、或者体感交互应用系统既未接收到用户的确认退出姿势也未接收到用户的取消退出姿势，则展示切换前的界面3A。
本发明一个实施例提供一种界面切换的装置，请参照图4，该界面切换装置400包含：
检测单元401，用于检测用户信息；
第一识别单元402，用于所述检测单元检测到用户信息后，从所述用户信息中识别出用户第一姿势；
显示单元403，用于当所述用户第一姿势为界面切换姿势时，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；
第二识别单元404，用于当所述检测单元在所述指定时间内检测到用户信息时，识别出用户第二姿势；
界面切换处理单元405，用于当所述用户第二姿势为确认切换姿势时，执行所述第一姿势关联的界面切换操作。
可选的，界面切换处理单元405，进一步的还用于当所述用户第二姿势为取消切换姿势时，取消所述第一姿势关联的界面切换操作。
可选的，界面切换处理单元405，进一步的还用于当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
参考图5所示，该界面切换装置400中，第一识别单元402进一步的可以包含：
第一获得模块4021，用于获得设定的姿势所涉及的关节点；
第一读取模块4022，用于从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；
第一计算模块4023，用于根据所述关节点的数据计算所述设定的姿势的匹配参数值；
第一识别模块4024，用于根据所述匹配参数值识别所述用户第一姿势或第二姿势；
可选的，所述第一获得模块4021，进一步的用于获得当前界面下所设定的姿势涉及的关节点；
可选的，所述第一计算模块4023，进一步的用于根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值；
可选的，所述第一获得模块4021，进一步的用于获得体感交互应用系统的默认姿势涉及的关节点；
可选的，所述第一计算模块4023，进一步的用于根据所述关节点的数据计算所述默认姿势的匹配参数值；
可选的，所述第一识别模块4024，进一步的用于将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势；
可选的，所述第一读取模块4022，进一步的用于当所述设定的姿势为动作姿势时，从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；
可选的，所述第一计算模块4023，进一步的用于根据所述关节点数据和所述时间戳信息计算所述关节点的位移
可选的，所述第一读取模块4022，进一步的用于当所述设定的姿势为姿态姿势时，从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；
可选的，所述第一计算模块4023，进一步的用于根据所述关节点数据计算关节点之间的骨骼夹角；
和第一识别单元402类似的，第二识别单元404进一步的也可以包含四个模块：第二获得模块4041，第二读取模块4042，第二计算模块4043，第二识别模块4044。该第二识别单元404的每个模块的工呢过和第一识别单元402的对应模块的功能也类似，这里不再详细赘述。
本发明实施例中的界面切换装置可以基于计算机系统来实现，图1-图2所示的方法均可在基于计算机系统的界面切换装置来实现。图6示出了基于计算机系统来实现的界面切换装置的实施例。本实施例中界面切换装置可以包括：处理器601、存储器602和通信接口603，其中：
通信接口603，用于与体感交互设备通信。界面切换装置与体感交互设备之间交互的消息均通过通信接口603发送和接收。具体地，通信接口603用于从体感交互设备获取用户的骨骼帧信息；存储器602用于存储程序指令；处理器601用于调用存储器602中存储的程序指令，执行如下操作：检测到用户信息后，从所述用户信息中识别出用户第一姿势；如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；当在所述指定时间内检测到用户信息时，识别出用户第二姿势；如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。
其中，处理器601可以是中央处理器(central processing unit，CPU)、专用集成电路(application-specific integrated circuit，ASIC)等。其中，本实施例中的界面切换装置可以包括总线604。处理器601、存储器602以及通信接口603之间可通过总线604连接并通信。其中，存储器602可以包括：随机存取存储器(random access memory，RAM)，只读存储器(read-only memory，ROM)，磁盘等具有存储功能的实体；
处理器601还可以用于执行方法实施例中图1到图2描述的各步骤，本发明实施例在此不再详述。
以上对本发明所提供的一种进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种界面切换的方法，其特征在于，所述方法包含：
检测到用户信息后，从所述用户信息中识别出用户第一姿势；
如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；
当在所述指定时间内检测到用户信息时，识别出用户第二姿势；
如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。
2.根据权利要求1所述的方法，其特征在于，所述识别用户第二姿势之后还包含：
如果所述用户第二姿势为取消切换姿势，取消所述第一姿势关联的界面切换操作；或
如果所述用户第二姿势不是确认切换姿势或取消切换姿势，继续检测用户信息，并返回所述当在所述指定时间内检测到用户信息时，识别用户第二姿势的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述提示用户输入第二姿势之后还包含：
当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述识别用户第一姿势或第二姿势包含：
获得设定的姿势所涉及的关节点；
从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；
根据所述关节点的数据计算所述设定的姿势的匹配参数值；
根据所述匹配参数值识别所述用户第一姿势或第二姿势。
5.根据权利要求4所述的方法，其特征在于，所述获得设定的姿势所涉及的关节点包含：
确定当前界面类型以及当前界面下所设定的姿势，获得所述当前界面下所设定的姿势涉及的关节点；
所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包含：
根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。
6.根据权利要求4所述的方法，其特征在于，所述获得设定的姿势所涉及的关节点包含：
确定体感交互应用系统的默认姿势，获得所述默认姿势涉及的关节点；
所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包含：
根据所述关节点的数据计算所述默认姿势的匹配参数值。
7.根据权要求5或6所述的方法，其特征在于，所述根据所述匹配参数值识别所述用户第一姿势或第二姿势包括：
将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；
确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。
8.根据权利要求4述的方法，其特征在于，所述设定的姿势为动作姿势时，
所述从已检测到的所述用户信息中读取所述关节点的数据包括：
从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；
所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括：
根据所述关节点数据和所述时间戳信息计算所述关节点的位移。
9.根据权利要求4所述的方法，其特征在于，所述设定的姿势为姿态姿势时，
所述从已检测到的所述用户信息中读取所述关节点的数据包括：
从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；
所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括：
根据所述关节点数据计算关节点之间的骨骼夹角。
10.一种界面切换的装置，其特征在于，所述装置包含：
检测单元，用于检测用户信息；
第一识别单元，用于所述检测单元检测到用户信息后，从所述用户信息中识别出用户第一姿势；
显示单元，用于当所述用户第一姿势为界面切换姿势时，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；
第二识别单元，用于当所述检测单元在所述指定时间内检测到用户信息时，识别出用户第二姿势；
界面切换处理单元，用于当所述用户第二姿势为确认切换姿势时，执行所述第一姿势关联的界面切换操作。
11.根据权利要求10所述的装置，其特征在于：
所述界面切换处理单元，还用于当所述用户第二姿势为取消切换姿势时，取消所述第一姿势关联的界面切换操作。
12.根据权利要求10或11所述的装置，其特征在于：
所述界面切换处理单元，还用于当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
13.根据权利要求10至12任意一项所述的装置，其特征在于，所述第一识别单元或所述第二识别单元包含：
获得模块，用于获得设定的姿势所涉及的关节点；
读取模块，用于从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；
计算模块，用于根据所述关节点的数据计算所述设定的姿势的匹配参数值；
识别模块，用于根据所述匹配参数值识别所述用户第一姿势或第二姿势。
14.根据权利要求13所述的装置，其特征在于：
所述获得模块，进一步的用于获得当前界面下所设定的姿势涉及的关节点；
所述计算模块，进一步的用于根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。
15.根据权利要求13所述的装置，其特征在于：
所述获得模块，进一步的用于获得体感交互应用系统的默认姿势涉及的关节点；
所述计算模块，进一步的用于根据所述关节点的数据计算所述默认姿势的匹配参数值。
16.根据权利要求14或15所述的装置，其特征在于：
所述识别模块，进一步的用于将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。
17.根据权利要求13所述的装置，其特征在于：
所述读取模块，进一步的用于当所述设定的姿势为动作姿势时，从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；
所述计算模块，进一步的用于根据所述关节点数据和所述时间戳信息计算所述关节点的位移。
18.根据权利要求13所述的装置，其特征在于：
所述读取模块，进一步的用于当所述设定的姿势为姿态姿势时，从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；
所述计算模块，进一步的用于根据所述关节点数据计算关节点之间的骨骼夹角。
CN201280001467.7A 2012-10-30 2012-10-30 界面切换的方法和装置 Expired - Fee Related CN103180803B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/083721 WO2014067058A1 (zh) 2012-10-30 2012-10-30 界面切换的方法和装置

Publications (2)

Publication Number Publication Date
CN103180803A true CN103180803A (zh) 2013-06-26
CN103180803B CN103180803B (zh) 2016-01-13

Family

ID=48639389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001467.7A Expired - Fee Related CN103180803B (zh) 2012-10-30 2012-10-30 界面切换的方法和装置

Country Status (2)

Country Link
CN (1) CN103180803B (zh)
WO (1) WO2014067058A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472920A (zh) * 2013-09-13 2013-12-25 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN104808788A (zh) * 2015-03-18 2015-07-29 北京工业大学 一种非接触式手势操控用户界面的方法
CN104881421A (zh) * 2014-12-15 2015-09-02 深圳市腾讯计算机系统有限公司 一种三维图形的切换方法及装置
CN105929953A (zh) * 2016-04-18 2016-09-07 北京小鸟看看科技有限公司 一种3d沉浸式环境下的操作引导方法和装置及虚拟现实设备
CN109062467A (zh) * 2018-07-03 2018-12-21 Oppo广东移动通信有限公司 分屏应用切换方法、装置、存储介质和电子设备
CN111435512A (zh) * 2019-01-11 2020-07-21 北京嘀嘀无限科技发展有限公司 一种服务信息获取方法及装置
CN112337087A (zh) * 2020-09-28 2021-02-09 湖南泽途体育文化有限公司 应用于体育竞技的体感交互方法及系统
CN112748971A (zh) * 2019-10-31 2021-05-04 合肥海尔洗衣机有限公司 家用电器的开机显示控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201610301YA (en) 2014-06-10 2017-01-27 3M Innovative Properties Co Nozzle assembly with external baffles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729808A (zh) * 2008-10-14 2010-06-09 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
CN102023798A (zh) * 2009-09-17 2011-04-20 宏正自动科技股份有限公司 触控面板上使用手势进行切换多计算机切换端口的方法及装置
WO2012005893A2 (en) * 2010-06-29 2012-01-12 Microsoft Corporation Skeletal joint recognition and tracking system
CN102749993A (zh) * 2012-05-30 2012-10-24 无锡掌游天下科技有限公司 基于骨骼节点数据的动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729808A (zh) * 2008-10-14 2010-06-09 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
CN102023798A (zh) * 2009-09-17 2011-04-20 宏正自动科技股份有限公司 触控面板上使用手势进行切换多计算机切换端口的方法及装置
WO2012005893A2 (en) * 2010-06-29 2012-01-12 Microsoft Corporation Skeletal joint recognition and tracking system
CN102749993A (zh) * 2012-05-30 2012-10-24 无锡掌游天下科技有限公司 基于骨骼节点数据的动作识别方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472920A (zh) * 2013-09-13 2013-12-25 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN104881421A (zh) * 2014-12-15 2015-09-02 深圳市腾讯计算机系统有限公司 一种三维图形的切换方法及装置
CN104881421B (zh) * 2014-12-15 2018-04-27 深圳市腾讯计算机系统有限公司 一种三维图形的切换方法及装置
CN104808788A (zh) * 2015-03-18 2015-07-29 北京工业大学 一种非接触式手势操控用户界面的方法
CN104808788B (zh) * 2015-03-18 2017-09-01 北京工业大学 一种非接触式手势操控用户界面的方法
CN105929953A (zh) * 2016-04-18 2016-09-07 北京小鸟看看科技有限公司 一种3d沉浸式环境下的操作引导方法和装置及虚拟现实设备
CN109062467A (zh) * 2018-07-03 2018-12-21 Oppo广东移动通信有限公司 分屏应用切换方法、装置、存储介质和电子设备
CN109062467B (zh) * 2018-07-03 2020-10-09 Oppo广东移动通信有限公司 分屏应用切换方法、装置、存储介质和电子设备
CN111435512A (zh) * 2019-01-11 2020-07-21 北京嘀嘀无限科技发展有限公司 一种服务信息获取方法及装置
CN112748971A (zh) * 2019-10-31 2021-05-04 合肥海尔洗衣机有限公司 家用电器的开机显示控制方法
CN112337087A (zh) * 2020-09-28 2021-02-09 湖南泽途体育文化有限公司 应用于体育竞技的体感交互方法及系统

Also Published As

Publication number Publication date
WO2014067058A1 (zh) 2014-05-08
CN103180803B (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN103180803A (zh) 界面切换的方法和装置
US20180232135A1 (en) Method for window displaying on a mobile terminal and mobile terminal
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US8902158B2 (en) Multi-user interaction with handheld projectors
US20230343085A1 (en) Object detection device, object detection method, and recording medium
KR20160088620A (ko) 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
CN103123574B (zh) 在触摸设备中输入字符的方法和装置
CN104267931B (zh) 一种信息处理方法及电子设备
CN110362192A (zh) 基于肢体位置的消息位置
CN107185232A (zh) 虚拟对象运动控制方法、装置、电子设备及存储介质
US20120249585A1 (en) Information processing device, method thereof, and display device
JP6470111B2 (ja) メッセージ送信機能を備えたゲームプログラム、メッセージ送信方法及びメッセージ送信機能付きコンピュータ端末
CN113190109A (zh) 头戴式显示设备的输入控制方法、装置及头戴式显示设备
CN103914228B (zh) 一种移动终端及其触摸屏的操作方法
CN104123062B (zh) 一种信息处理方法及电子设备
CN104166508B (zh) 一种触控实现方法及装置
CN103176711A (zh) 信息处理装置
JP2016220847A (ja) メッセージ送信機能を備えたゲームプログラム、メッセージ送信方法及びメッセージ送信機能付きコンピュータ端末
CN108108417A (zh) 跨平台自适应控制的交互方法、系统、设备及存储介质
CN112287708A (zh) 近场通信nfc模拟卡切换方法、装置及设备
CN106909272A (zh) 一种显示控制方法及移动终端
CN112698723B (zh) 支付方法、装置及可穿戴设备
JP5864018B1 (ja) コンピュータ・プログラム
CN114721508A (zh) 虚拟键盘显示方法、装置、设备、介质和程序产品
Kim et al. Method for user interface of large displays using arm pointing and finger counting gesture recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113