CN111522429A - 基于人体姿态的交互方法及装置、计算机设备 - Google Patents

基于人体姿态的交互方法及装置、计算机设备 Download PDF

Info

Publication number
CN111522429A
CN111522429A CN201910104639.7A CN201910104639A CN111522429A CN 111522429 A CN111522429 A CN 111522429A CN 201910104639 A CN201910104639 A CN 201910104639A CN 111522429 A CN111522429 A CN 111522429A
Authority
CN
China
Prior art keywords
human body
body posture
standard
data
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910104639.7A
Other languages
English (en)
Inventor
彭彬绪
陈楷佳
袁玮
黄頔
董亚魁
于志兴
张义保
陆雨柔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910104639.7A priority Critical patent/CN111522429A/zh
Publication of CN111522429A publication Critical patent/CN111522429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开一种基于人体姿态的交互方法及装置、计算机设备，所述方法包括：采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；于所述第一人体姿态数据，生成控制指令；响应所述控制指令，显示展示效果。

Description

基于人体姿态的交互方法及装置、计算机设备
技术领域
本申请涉及交互领域，尤其涉及一种基于人体姿态的交互方法及装置、计算机设备。
背景技术
伴随着人工智能(AI，Artificial Intelligence)和物联网的发展，终端的性能飞速提高，从而给越来越多的应用的产生和发展提供了有力的技术支持。为了增加用户对应用的粘性，一种较为常见的服务是为用户提供个性化、人性化的交互方式，以提高用户的交互兴趣。
然而，传统的交互方式无法满足用户互动的需求。具体原因一是设备使用场景多样，不比手机、电脑总与用户处于一定的距离进行交互；二是设备生产中，配备特定屏幕、按键等需要较高成本，且可拓展性差，给产品设计带来挑战。
发明内容
为解决上述技术问题，本申请实施例提供了一种基于人体姿态的交互方法及装置、存储介质、计算机程序产品、计算机设备。
本申请实施例提供的基于人体姿态的交互方法，包括：
采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；
基于所述第一人体姿态数据，生成控制指令；
响应所述控制指令，显示展示效果。
本申请实施例中，所述基于所述第一人体姿态数据，生成控制指令，包括：
基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；
所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
本申请实施例中，所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配，包括：
判断所述第一人体姿态数据对应的N个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点的第二位置信息是否匹配，N≥3；
所述第一人体姿态数据对应的N个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的N个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
本申请实施例中，所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系；
所述判断所述第一人体姿态数据对应的N个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点的第二位置信息是否匹配，包括：
判断所述第一人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中，所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配，包括：
判断所述第一人体姿态数据对应的N个关键点中的M个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点中的M个关键点的第二位置信息是否匹配，N≥3，2≤M<N；
所述第一人体姿态数据对应的M个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的M个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
本申请实施例中，所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系；
所述判断所述第一人体姿态数据对应的N个关键点中的M个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点中的M个关键点的第二位置信息是否匹配，包括：
判断所述第一人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中，所述标准人体姿态数据的个数为多个，其中，不同的标准人体姿态数据对应不同的控制指令；
所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令，包括：
将所述第一人体姿态数据与多个标准人体姿态数据分别进行比对，确定出与所述第一人体姿态数据相匹配的标准人体姿态数据；
生成所述相匹配的标准人体姿态数据对应的控制指令。
本申请实施例中，所述触发对象的个数为多个；所述采集触发对象的第一人体姿态数据，包括：采集多个触发对象分别对应的多个第一人体姿态数据；
所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令，包括：
将多个第一人体姿态数据中的每个第一人体姿态数据分别与标准人体姿态数据进行比对；
所述多个第一人体姿态数据中的至少一个第一人体姿态数据与标准人体姿态数据匹配，则生成所述标准人体姿态数据对应的控制指令。
本申请实施例中，所述方法还包括：
采集触发对象的第一手势数据；
基于所述第一手势数据和标准手势数据，判断第一手势与标准手势是否匹配；
所述第一人体姿态与所述标准人体姿态匹配，且所述第一手势数据和所述标准手势匹配，则生成所述标准人体姿态对应的控制指令。
本申请实施例中，所述基于所述第一手势数据和标准手势数据，判断第一手势与标准手势是否匹配，包括：
基于第一手势数据对应的关键点确定手部的状态向量和手部的位置向量；
判断所述手部的状态向量和手部的位置向量，与标准手势对应的标准状态向量和标准位置向量是否匹配。
本申请实施例中，所述基于第一手势数据对应的关键点确定手部的状态向量，包括：
基于第一手势数据对应的关键点确定手指的状态，所述手指的状态表示所述手指相对于所述手部的掌根是否伸出和/或伸出程度的状态；
根据所述手指的状态确定所述手指的状态值，其中，不同状态对应的手指的状态值不同；
根据所述手指的状态值确定所述手部的状态向量。
本申请实施例中，所述基于第一手势数据对应的关键点确定手部的位置向量，包括：
基于第一手势数据对应的关键点确定手部的指尖的位置信息，基于所述手部的指尖的位置信息确定手部的位置向量。
本申请实施例中，所述显示展示效果，包括：
控制第一展示界面处于播放状态；或者，
控制第一展示界面处于暂停状态；或者，
控制第一展示界面切换到第二展示界面。
本申请实施例中，所述基于所述第一人体姿态数据，生成控制指令，包括：
基于所述第一人体姿态数据确定所述触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；
基于所述运动数据，生成控制指令。
本申请实施例中，所述触发对象的个数为多个；所述采集触发对象的第一人体姿态数据，包括：采集多个触发对象分别对应的多个第一人体姿态数据；
所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令，包括：
基于多个第一人体姿态数据中的每个第一人体姿态数据，分别确定每个触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；
基于所述每个触发对象的运动数据，生成每个触发对象对应的控制指令。
本申请实施例中，所述显示展示效果，包括：
控制第一展示界面中的交互对象基于所述运动数据进行运动。
本申请实施例提供的基于人体姿态的交互装置，包括：
采集单元，用于采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；
处理单元，用于基于所述第一人体姿态数据，生成控制指令；
显示单元，用于响应所述控制指令，显示展示效果。
本申请实施例中，所述处理单元，用于：
基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；
所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
本申请实施例中，所述处理单元，用于：
判断所述第一人体姿态数据对应的N个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点的第二位置信息是否匹配，N≥3；
所述第一人体姿态数据对应的N个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的N个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
本申请实施例中，所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系；
所述处理单元，用于：判断所述第一人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中，所述处理单元，用于：
判断所述第一人体姿态数据对应的N个关键点中的M个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点中的M个关键点的第二位置信息是否匹配，N≥3，2≤M<N；
所述第一人体姿态数据对应的M个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的M个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
本申请实施例中，所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系；
所述处理单元，用于：判断所述第一人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中，所述标准人体姿态数据的个数为多个，其中，不同的标准人体姿态数据对应不同的控制指令；
所述处理单元，用于：将所述第一人体姿态数据与多个标准人体姿态数据分别进行比对，确定出与所述第一人体姿态数据相匹配的标准人体姿态数据；生成所述相匹配的标准人体姿态数据对应的控制指令。
本申请实施例中，所述触发对象的个数为多个；
所述采集单元，用于：采集多个触发对象分别对应的多个第一人体姿态数据；
所述处理单元，用于：将多个第一人体姿态数据中的每个第一人体姿态数据分别与标准人体姿态数据进行比对；所述多个第一人体姿态数据中的至少一个第一人体姿态数据与标准人体姿态数据匹配，则生成所述标准人体姿态数据对应的控制指令。
本申请实施例中，所述采集单元，还用于采集触发对象的第一手势数据；
所述处理单元，还用于基于所述第一手势数据和标准手势数据，判断第一手势与标准手势是否匹配；所述第一人体姿态与所述标准人体姿态匹配，且所述第一手势数据和所述标准手势匹配，则生成所述标准人体姿态对应的控制指令。
本申请实施例中，所述处理单元，还用于基于第一手势数据对应的关键点确定手部的状态向量和手部的位置向量；判断所述手部的状态向量和手部的位置向量，与标准手势对应的标准状态向量和标准位置向量是否匹配。
本申请实施例中，所述处理单元，用于基于第一手势数据对应的关键点确定手指的状态，所述手指的状态表示所述手指相对于所述手部的掌根是否伸出和/或伸出程度的状态；根据所述手指的状态确定所述手指的状态值，其中，不同状态对应的手指的状态值不同；根据所述手指的状态值确定所述手部的状态向量。
本申请实施例中，所述处理单元，用于基于第一手势数据对应的关键点确定手部的指尖的位置信息，基于所述手部的指尖的位置信息确定手部的位置向量。
本申请实施例中，所述显示单元，用于：
控制第一展示界面处于播放状态；或者，
控制第一展示界面处于暂停状态；或者，
控制第一展示界面切换到第二展示界面。
本申请实施例中，所述处理单元，用于：
基于所述第一人体姿态数据确定所述触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；
基于所述运动数据，生成控制指令。
本申请实施例中，所述触发对象的个数为多个；
所述采集单元，用于：采集多个触发对象分别对应的多个第一人体姿态数据；
所述处理单元，用于：基于多个第一人体姿态数据中的每个第一人体姿态数据，分别确定每个触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；基于所述每个触发对象的运动数据，生成每个触发对象对应的控制指令。
本申请实施例中，所述显示单元，用于：控制第一展示界面中的交互对象基于所述运动数据进行运动。
本申请实施例提供的计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的基于人体姿态的交互方法。
本申请实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的基于人体姿态的交互方法。
本申请实施例提供的计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的基于人体姿态的交互方法。
本申请实施例的技术方案中，采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；基于所述第一人体姿态数据，生成控制指令；响应所述控制指令，显示展示效果。采用本申请实施例的技术方案，实现了通过触发对象的人体姿态来触发对展示界面的控制，这种交互方式解放了双手，可进行体感类的交互，增加了交互的趣味性，大大提高了用户对交互操作的使用体验；另一方面，由于是基于触发对象的人体姿态来触发对展示界面的控制，因而支持触发对象与展示界面具有一定距离的交互，无须触发对象接触屏幕或使用控制器(如游戏手柄)；再者，本申请通过简单有效的方式，不需要检测人体姿态的全部数据，仅需要检测人体姿态的关键点(也即人体姿态的部分位置)即可，使得终端处理速度更快，对硬件要求较低。
附图说明
图1为本申请实施例提供的基于人体姿态的交互方法的流程示意图一；
图2为本申请实施例提供的N个关键点在人体上的位置分布图；
图3(a)为本申请实施例提供的体感交互的示意图一；
图3(b)为本申请实施例提供的体感交互的示意图二；
图3(c)为本申请实施例提供的体感交互的示意图三；
图4为本申请实施例提供的基于人体姿态的交互方法的流程示意图二；
图5为本申请实施例提供的基于人体姿态的交互装置的结构组成示意图；
图6为本发明实施例的计算机设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于固定终端/移动终端等终端设备，例如：手机、平板电脑、游戏机、台式机、一体机、车载终端等等。在本申请实施例中，该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
互动类应用(APP)产品中，如舞蹈类游戏，主要以触屏或按键的方式进行交互，通过此种方式来向APP传递交互指令，如控制APP中人物的动作反应等。但是通过此种方式进行交互时，用户在完成动作过程中，行为动作较为受限，且无法进行如舞蹈等须全身肢体进行配合的操作，且用户需要与APP的终端保持较近的距离。为此，本申请实施例提出了一种基于人体姿态的交互方法，以下对本申请实施例的技术方案进行详细说明。
图1为本申请实施例提供的基于人体姿态的交互方法的流程示意图一，如图1所示，所述基于人体姿态的交互方法包括以下步骤：
步骤101：采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息。
本申请实施例中，终端设备开启摄像头，实时采集触发对象的连续图像，对于每一幅图像，对该图像进行特征分析，从该图像中提取出触发对象的第一人体姿态数据。这里，摄像头可以是普通的二维摄像头，也可以是三维立体摄像头。通过对连续的图像的采集能够捕获触发对象随时间发生变化的第一人体姿态，当然，也可能捕获到的第一人体姿态随时间并未发生变化。
举个例子：用户面对终端设备的摄像头做出第一人体姿态(例如举起手臂)，摄像头采集到该第一人体姿态(例如举起手臂)对应的第一人体姿态数据。
本申请实施例中，所述第一人体姿态数据包括多个关键点的第一位置信息，具体地，所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息，其中，所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息，N≥3。进一步，所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系)，或者，所述N个关键点的第一位置信息包括所述N个关键点分别对应的坐标位置信息。
举个例子，参照图2，图2为N个关键点在人体上的位置分布图，图2中N的取值为14，本申请实施例的技术方案不局限于此，N的取值还可以是其他的数值，例如10、18等等。N个关键点在人体上的位置分布尽量全面且均匀，能够涵盖人体的躯干和四肢。具体实现时，还可以对N个关键点的每个关键点进行编号，例如图2中的14个关键点的编号是从0到13。
步骤102：基于所述第一人体姿态数据，生成控制指令。
在一实施方式中，基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
这里，所述标准人体姿态数与所述第一人体姿态数据同理，包括所述标准人体姿态对应的N个关键点的全部或部分第二位置信息，其中，所述第二位置信息为所述标准人体姿态对应的N个关键点所分别对应的位置信息。需要说明的是，所述第一人体姿态对应的各个关键点与所述标准人体姿态对应的各个关键点具有对应关系。具体实现时，可以对标准人体姿态的N个关键点的每个关键点进行编号，例如编号从0到N-1。这样，就可以根据各个关键点的编号，将标准人体姿态的各个关键点与第一人体姿态的各个关键点对应起来。
本申请实施例中，对于标准人体姿态数据，所述N个关键点的第二位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系)，或者，所述N个关键点的第二位置信息包括所述N个关键点分别对应的坐标位置信息。这里，标准人体姿态数据中的两两关键点之间的相对位置关系与第一人体姿态数据中的两两关键点之间的相对位置关系同理。具体实现时，标准人体姿态数据可以通过一个描述文件进行表达，举个例子：对于一个描述文件中的标准人体姿态数据，包含了14个关键点中的两两关键点之间的相对位置关系。为了便于说明，以下通过N＝3个关键点进行举例，关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括：关键点1和关键点2之间的相对位置关系、关键点2和关键点3之间的相对位置关系、关键点1和关键点3之间的相对位置关系。进一步，两个关键点之间的相对位置关系可以但不局限于是通过以下方式进行表示：
方法一：一个关键点相对于另一个关键点的坐标信息(坐标系的类型不限，例如笛卡尔坐标系、极坐标系等等)。
方式二：一个关键点相对于另一个关键点的距离信息和方向信息。
本申请实施例中，所述标准人体姿态数据的个数为多个，其中，不同的标准人体姿态数据对应不同的控制指令；基于此，将所述第一人体姿态数据与多个标准人体姿态数据分别进行比对，确定出与所述第一人体姿态数据相匹配的标准人体姿态数据；生成所述相匹配的标准人体姿态数据对应的控制指令。需要说明的是，不同的标准人体姿态对应的描述文件(也即标准人体姿态数据)不同，例如，标准人体姿态1(例如挥动手臂)对应的描述文件中的14个关键点的位置信息与标准人体姿态2(例如举起手臂)对应的描述文件中的14个关键点的位置信息不同。
这里，用户可以预先向终端设备录入一个或多个标准人体姿态数据，不同的标准人体姿态数据对应不同的控制指令。举个例子：设置播放指令通过举起手臂来触发，如图3(a)所示，用户做出举起手臂这一动作，终端设备的摄像头采集举起手臂这一动作对应的14个关键点的位置信息，作为播放指令对应的标准人体姿态数据，将该标准人体姿态数据存储至一个描述文件中作为后续匹配的模板；再举个例子：设置切换指令通过挥动手臂来触发，如图3(b)所示，用户做出挥动手臂这一动作，终端设备的摄像头采集挥动手臂这一动作对应的14个关键点的位置信息，作为切换指令对应的标准人体姿态数据，将该标准人体姿态数据存储至一个描述文件中作为后续匹配的模板。用户可以针对不同的应用录入相应的标准人体姿态数据，例如音乐应用录入播放指令对应的标准人体姿态数据、暂停指令对应的标准人体姿态数据、切换指令对应的标准人体姿态数据等等。当然，应用也可以根据自身实现预先设置好一个或多个标准人体姿态数据，而无需用户对标准人体姿态数据进行录入。
在另一实施方式中，基于所述第一人体姿态数据确定所述触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；基于所述运动数据，生成控制指令。
这里，假设触发对象从A位置运动到B位置，运动幅度是指A位置与B位置之间的距离，运动时长是指A位置对应的时刻t1与B位置对应的时刻t2之间的时长。触发对象的运动数据可以是触发对象的某个部位的运动数据，例如腿部弯曲运动，也可以是触发对象的整体的运动数据。而后，控制第一展示界面中的交互对象基于所述运动数据进行运动。如图3(c)所示，通过用户的腿部弯曲这一动作来触发游戏应用中的一个交互对象的运动，腿部弯曲程度越大，则交互对象的发射距离越远；或者，腿部弯曲时间越长，则交互对象的发射距离越远。
本申请实施例中，所述触发对象的个数为多个；相应地，采集多个触发对象分别对应的多个第一人体姿态数据；基于多个第一人体姿态数据中的每个第一人体姿态数据，分别确定每个触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；基于所述每个触发对象的运动数据，生成每个触发对象对应的控制指令。这里，第一展示界面中的交互对象的个数也为多个，不同的触发对应的运动数据可以触发不同的交互对象进行运动。举个例子：第一展示界面左侧展示交互对象A，右侧展示交互对象B，用户A可以通过自身的运动数据控制交互对象A进行运动，用户B可以通过自身的运动数据控制交互对象B进行运动，用户A可以与用户B通过控制各自的交互对象进行对战或比赛。
步骤103：响应所述控制指令，显示展示效果。
在一实施方式中，所述控制指令是与某个标准人体姿态匹配对应的控制指令，这种情况，如果所述控制指令为播放指令，则控制第一展示界面处于播放状态；如果所述控制指令为暂停指令，则控制第一展示界面处于暂停状态；如果控制指令为切换指令，则控制第一展示界面切换到第二展示界面。本申请实施例的技术方案不局限于此，标准人体姿态匹配对应的控制指令还可以具有更多其他类别，对应的展示效果也相应不同，展示效果的方式可以根据应用的实现来灵活设计。
在另一实施方式中，所述控制指令基于触发对象的运动数据生成，这种情况，控制第一展示界面中的交互对象基于所述运动数据进行运动。此外，本申请实施例可以引入AR技术，具体地，展示所述交互对象时，采集所述触发对象的图像；将所述交互对象叠加显示在所述触发对象的图像上。
本申请实施例的技术方案可以应用于各种应用场景，例如娱乐场景，实现音乐播放、运动类游戏等，从而脱离了手柄、鼠标和各种外接设备的束缚，更方便地实现人机交互。再例如智能家居场景，用户可通过体感对智能家电进行控制，如房间里安装摄像头，即可通过肢体动作控制家电的启动/停止。又例如体感游戏场景，用户可通过肢体动作，控制游戏操作的开始/退出/选择关卡；可通过肢体动作，进行游戏互动，特别是在运动类、舞蹈类游戏中，将有广泛运用。
本申请实施例的技术方案可以应用在各种类型的显示终端上，如电视机、广告机、落地大屏等，支持用户进行体感类互动，如跳舞类游戏等。本申请实施例的技术方案，引入基于人体姿态的人机交互方式，实现人与机器的体感式互动，增强了互动类产品的趣味性。
图4为本申请实施例提供的基于人体姿态的交互方法的流程示意图二，如图4所示，所述基于人体姿态的交互方法包括以下步骤：
步骤401：采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息。
本申请实施例中，终端设备开启摄像头，实时采集触发对象的连续图像，对于每一幅图像，对该图像进行特征分析，从该图像中提取出触发对象的第一人体姿态数据。这里，摄像头可以是普通的二维摄像头，也可以是三维立体摄像头。通过对连续的图像的采集能够捕获触发对象随时间发生变化的第一人体姿态，当然，也可能捕获到的第一人体姿态随时间并未发生变化。
举个例子：用户面对终端设备的摄像头做出第一人体姿态(例如举起手臂)，摄像头采集到该第一人体姿态(例如举起手臂)对应的第一人体姿态数据。
本申请实施例中，所述第一人体姿态数据包括多个关键点的第一位置信息，具体地，所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息，其中，所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息，N≥3。进一步，所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系)，或者，所述N个关键点的第一位置信息包括所述N个关键点分别对应的坐标位置信息。
举个例子，参照图2，图2为N个关键点在人体上的位置分布图，图2中N的取值为14，本申请实施例的技术方案不局限于此，N的取值还可以是其他的数值，例如40、18等等。N个关键点在人体上的位置分布尽量全面且均匀，能够涵盖人体的躯干和四肢。具体实现时，还可以对N个关键点的每个关键点进行编号，例如图2中的14个关键点的编号是从0到13。
步骤402：基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
这里，所述标准人体姿态数与所述第一人体姿态数据同理，包括所述标准人体姿态对应的N个关键点的全部或部分第二位置信息，其中，所述第二位置信息为所述标准人体姿态对应的N个关键点所分别对应的位置信息。需要说明的是，所述第一人体姿态对应的各个关键点与所述标准人体姿态对应的各个关键点具有对应关系。具体实现时，可以对标准人体姿态的N个关键点的每个关键点进行编号，例如编号从0到N-1。这样，就可以根据各个关键点的编号，将标准人体姿态的各个关键点与第一人体姿态的各个关键点对应起来。
本申请实施例中，对于标准人体姿态数据，所述N个关键点的第二位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系)，或者，所述N个关键点的第二位置信息包括所述N个关键点分别对应的坐标位置信息。这里，标准人体姿态数据中的两两关键点之间的相对位置关系与第一人体姿态数据中的两两关键点之间的相对位置关系同理。具体实现时，标准人体姿态数据可以通过一个描述文件进行表达，举个例子：对于一个描述文件中的标准人体姿态数据，包含了14个关键点中的两两关键点之间的相对位置关系。为了便于说明，以下通过N＝3个关键点进行举例，关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括：关键点1和关键点2之间的相对位置关系、关键点2和关键点3之间的相对位置关系、关键点1和关键点3之间的相对位置关系。进一步，两个关键点之间的相对位置关系可以但不局限于是通过以下方式进行表示：
方法一：一个关键点相对于另一个关键点的坐标信息(坐标系的类型不限，例如笛卡尔坐标系、极坐标系等等)。
方式二：一个关键点相对于另一个关键点的距离信息和方向信息。
本申请实施例中，所述标准人体姿态数据的个数为多个，其中，不同的标准人体姿态数据对应不同的控制指令；基于此，将所述第一人体姿态数据与多个标准人体姿态数据分别进行比对，确定出与所述第一人体姿态数据相匹配的标准人体姿态数据；生成所述相匹配的标准人体姿态数据对应的控制指令。需要说明的是，不同的标准人体姿态对应的描述文件(也即标准人体姿态数据)不同，例如，标准人体姿态1(例如挥动手臂)对应的描述文件中的14个关键点的位置信息与标准人体姿态2(例如举起手臂)对应的描述文件中的14个关键点的位置信息不同。
本申请实施例中，所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配，可以通过以下方式实现：
方式一：判断所述第一人体姿态数据对应的N个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点的第二位置信息是否匹配，N≥3；所述第一人体姿态数据对应的N个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的N个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
这里，所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系；基于此，判断所述第一人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
为了便于说明，以下通过N＝3个关键点进行举例，所述第一人体姿态中的关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括：关键点1和关键点2之间的相对位置关系R1、关键点2和关键点3之间的相对位置关系S1、关键点1和关键点3之间的相对位置关系T1；所述标准人体姿态中的关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括：关键点1和关键点2之间的相对位置关系R2、关键点2和关键点3之间的相对位置关系S2、关键点1和关键点3之间的相对位置关系T2。将R1与R2进行比对，将S1和S2进行比对，将T1和T2进行比对，如果都比对成功，则表明第一人体姿态与标准人体姿态匹配。
方式二：判断所述第一人体姿态数据对应的N个关键点中的M个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点中的M个关键点的第二位置信息是否匹配，N≥3，2≤M<N；所述第一人体姿态数据对应的M个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的M个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
这里，所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系；基于此，判断所述第一人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
举个例子：如图2所示，人体姿态数据包括N＝14个关键点的位置信息，某个特定的人体姿态可以仅对比其中的3个关键点，例如水平举起双臂的动作，可以选取关键点0、关键点6、关键点7这三个关键点，基于此，所述第一人体姿态中的关键点0、关键点6和关键点7中的两两关键点之间的相对位置关系包括：关键点0和关键点6之间的相对位置关系R1、关键点6和关键点7之间的相对位置关系S1、关键点0和关键点7之间的相对位置关系T1；所述标准人体姿态中的关键点0、关键点6和关键点7中的两两关键点之间的相对位置关系包括：关键点0和关键点6之间的相对位置关系R2、关键点6和关键点7之间的相对位置关系S2、关键点0和关键点7之间的相对位置关系T2。将R1与R2进行比对，将S1和S2进行比对，将T1和T2进行比对，如果都比对成功，则表明第一人体姿态与标准人体姿态匹配。
本申请实施例中，所述触发对象的个数为多个；相应地，采集多个触发对象分别对应的多个第一人体姿态数据；将多个第一人体姿态数据中的每个第一人体姿态数据分别与标准人体姿态数据进行比对；所述多个第一人体姿态数据中的至少一个第一人体姿态数据与标准人体姿态数据匹配，则生成所述标准人体姿态数据对应的控制指令。
举个例子：举起手臂这一动作代表准备好(ready)，触发对象A和触发对象B均作出举起手臂动作，通过对比触发对象A的第一人体姿态数据与标准人体姿态数据可以判断出触发对象A处于ready状态，通过对比触发对象B的第一人体姿态数据与标准人体姿态数据可以判断出触发对象B也处于ready状态，那么，生成“游戏开始”控制指令。
进一步，为了更精确地实现体感控制，采集触发对象的第一手势数据；基于所述第一手势数据和标准手势数据，判断第一手势与标准手势是否匹配；所述第一人体姿态与所述标准人体姿态匹配，且所述第一手势数据和所述标准手势匹配，则生成所述标准人体姿态对应的控制指令。这里的手势匹配与人体姿势匹配同理，可以通过多个关键点来标识人体的手部，手部的五根手指以及手掌上均匀覆盖多个关键点，通过手部的关键点的比对，即可实现手势的匹配。
具体地：基于第一手势数据对应的关键点确定手部的状态向量和手部的位置向量；判断所述手部的状态向量和手部的位置向量，与标准手势对应的标准状态向量和标准位置向量是否匹配。这里，首先，基于第一手势数据对应的关键点确定手指的状态，所述手指的状态表示所述手指相对于所述手部的掌根是否伸出和/或伸出程度的状态；根据所述手指的状态确定所述手指的状态值，其中，不同状态对应的手指的状态值不同；根据所述手指的状态值确定所述手部的状态向量。在一种可能的实现方式中，可以利用数字、字母或符号的其中一种或任意组合来表示第一状态值和第二状态值。第一状态值和第二状态值可以是表示相反含义的两个值，例如第一状态值可以为有效，第二状态值可以为无效。第一状态值和第二状态值也可以是两个不同数值的数字，例如第一状态值可以为1，第二状态值可以为0。假设大拇指的状态值为0、食指的状态值为1、中指的状态值为1，无名指的状态值为0，小指的状态值为0，那么，手部的状态向量为(0，1，1，0，0)。然后，基于第一手势数据对应的关键点确定手部的指尖的位置信息，基于所述手部的指尖的位置信息确定手部的位置向量。例如各手指的指尖的位置信息为：拇指(X1，Y1)、食指(X2，Y2)、中指(X3，Y3)、无名指(X4，Y4)、小指(X5，Y5)，确定所述手部的位置向量为(X1，Y1，X2，Y2，X3，Y3，X4，Y4，X5，Y5)。根据手部的状态向量(0，1，1，0，0)和手部的位置向量(X1，Y1，X2，Y2，X3，Y3，X4，Y4，X5，Y5)，可以确定出手部各个手指的相对位置，将其与标准手势对应的标准状态向量和标准位置向量进行匹配，从而可以确定出检测到的手势是哪种手势。
步骤403：响应所述控制指令，显示展示效果。
本申请实施例中，如果所述控制指令为播放指令，则控制第一展示界面处于播放状态；如果所述控制指令为暂停指令，则控制第一展示界面处于暂停状态；如果控制指令为切换指令，则控制第一展示界面切换到第二展示界面。本申请实施例的技术方案不局限于此，标准人体姿态匹配对应的控制指令还可以具有更多其他类别，对应的展示效果也相应不同，展示效果的方式可以根据应用的实现来灵活设计。
本申请实施例的技术方案可以应用于各种应用场景，例如娱乐场景，实现音乐播放、运动类游戏等，从而脱离了手柄、鼠标和各种外接设备的束缚，更方便地实现人机交互。再例如智能家居场景，用户可通过体感对智能家电进行控制，如房间里安装摄像头，即可通过肢体动作控制家电的启动/停止。又例如体感游戏场景，用户可通过肢体动作，控制游戏操作的开始/退出/选择关卡；可通过肢体动作，进行游戏互动，特别是在运动类、舞蹈类游戏中，将有广泛运用。
本申请实施例的技术方案可以应用在各种类型的显示终端上，如电视机、广告机、落地大屏等，支持用户进行体感类互动，如跳舞类游戏等。本申请实施例的技术方案，引入基于人体姿态的人机交互方式，实现人与机器的体感式互动，增强了互动类产品的趣味性。
图5为本申请实施例提供的基于人体姿态的交互装置的结构组成示意图，如图5所示，所述装置包括：
采集单元501，用于采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；
处理单元502，用于基于所述第一人体姿态数据，生成控制指令；
显示单元503，用于响应所述控制指令，显示展示效果。
在一实施方式中，所述处理单元502，用于：
基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；
所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
在一实施方式中，所述处理单元502，用于：
判断所述第一人体姿态数据对应的N个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点的第二位置信息是否匹配，N≥3；
所述第一人体姿态数据对应的N个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的N个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
在一实施方式中，所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系；
所述处理单元502，用于：判断所述第一人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
在一实施方式中，所述处理单元502，用于：
判断所述第一人体姿态数据对应的N个关键点中的M个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点中的M个关键点的第二位置信息是否匹配，N≥3，2≤M<N；
所述第一人体姿态数据对应的M个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的M个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
在一实施方式中，所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系；
所述处理单元502，用于：判断所述第一人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系，与所述标准人体姿态数据对应的N个关键点中的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
在一实施方式中，所述标准人体姿态数据的个数为多个，其中，不同的标准人体姿态数据对应不同的控制指令；
所述处理单元502，用于：将所述第一人体姿态数据与多个标准人体姿态数据分别进行比对，确定出与所述第一人体姿态数据相匹配的标准人体姿态数据；生成所述相匹配的标准人体姿态数据对应的控制指令。
在一实施方式中，所述触发对象的个数为多个；
所述采集单元501，用于：采集多个触发对象分别对应的多个第一人体姿态数据；
所述处理单元502，用于：将多个第一人体姿态数据中的每个第一人体姿态数据分别与标准人体姿态数据进行比对；所述多个第一人体姿态数据中的至少一个第一人体姿态数据与标准人体姿态数据匹配，则生成所述标准人体姿态数据对应的控制指令。
在一实施方式中，所述采集单元501，还用于采集触发对象的第一手势数据；
所述处理单元502，还用于基于所述第一手势数据和标准手势数据，判断第一手势与标准手势是否匹配；所述第一人体姿态与所述标准人体姿态匹配，且所述第一手势数据和所述标准手势匹配，则生成所述标准人体姿态对应的控制指令。
在一实施方式中，所述处理单元502，还用于基于第一手势数据对应的关键点确定手部的状态向量和手部的位置向量；判断所述手部的状态向量和手部的位置向量，与标准手势对应的标准状态向量和标准位置向量是否匹配。
在一实施方式中，所述处理单元502，用于基于第一手势数据对应的关键点确定手指的状态，所述手指的状态表示所述手指相对于所述手部的掌根是否伸出和/或伸出程度的状态；根据所述手指的状态确定所述手指的状态值，其中，不同状态对应的手指的状态值不同；根据所述手指的状态值确定所述手部的状态向量。
在一实施方式中，所述处理单元502，用于基于第一手势数据对应的关键点确定手部的指尖的位置信息，基于所述手部的指尖的位置信息确定手部的位置向量。
在一实施方式中，所述显示单元503，用于：
控制第一展示界面处于播放状态；或者，
控制第一展示界面处于暂停状态；或者，
控制第一展示界面切换到第二展示界面。
在一实施方式中，所述处理单元502，用于：
基于所述第一人体姿态数据确定所述触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；
基于所述运动数据，生成控制指令。
在一实施方式中，所述触发对象的个数为多个；
所述采集单元501，用于：采集多个触发对象分别对应的多个第一人体姿态数据；
所述处理单元502，用于：基于多个第一人体姿态数据中的每个第一人体姿态数据，分别确定每个触发对象的运动数据，所述运动数据包括运动幅度和/或运动时长；基于所述每个触发对象的运动数据，生成每个触发对象对应的控制指令。
在一实施方式中，所述显示单元503，用于：控制第一展示界面中的交互对象基于所述运动数据进行运动。
本领域技术人员应当理解，图5所示的基于人体姿态的交互装置中的各单元的实现功能可参照前述基于人体姿态的交互方法的相关描述而理解。图5所示的基于人体姿态的交互装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
本发明实施例上述基于人体姿态的交互装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
相应地，本发明实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本发明实施例的上述基于人体姿态的交互方法。
图6为本发明实施例的计算机设备的结构组成示意图，如图6所示，计算机设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备100还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
存储器1004可用于存储应用软件的软件程序以及模块，如本发明实施例中的方法对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于人体姿态的交互方法，其特征在于，所述方法包括：
采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；
基于所述第一人体姿态数据，生成控制指令；
响应所述控制指令，显示展示效果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一人体姿态数据，生成控制指令，包括：
基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；
所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配，包括：
判断所述第一人体姿态数据对应的N个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点的第二位置信息是否匹配，N≥3；
所述第一人体姿态数据对应的N个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的N个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配，包括：
判断所述第一人体姿态数据对应的N个关键点中的M个关键点的第一位置信息和所述标准人体姿态数据对应的N个关键点中的M个关键点的第二位置信息是否匹配，N≥3，2≤M<N；
所述第一人体姿态数据对应的M个关键点的至少一个第一位置信息和所述标准人体姿态数据对应的M个关键点的至少一个第二位置信息匹配，则确定所述标准人体姿态与所述第一人体姿态匹配。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述标准人体姿态数据的个数为多个，其中，不同的标准人体姿态数据对应不同的控制指令；
所述基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令，包括：
将所述第一人体姿态数据与多个标准人体姿态数据分别进行比对，确定出与所述第一人体姿态数据相匹配的标准人体姿态数据；
生成所述相匹配的标准人体姿态数据对应的控制指令。
6.一种基于人体姿态的交互装置，其特征在于，所述装置包括：
采集单元，用于采集触发对象的第一人体姿态数据，所述第一人体姿态数据包括多个关键点的第一位置信息；
处理单元，用于基于所述第一人体姿态数据，生成控制指令；
显示单元，用于响应所述控制指令，显示展示效果。
7.根据权利要求6所述的装置，其特征在于，所述处理单元，用于：
基于所述第一人体姿态数据和标准人体姿态数据，判断第一人体姿态与标准人体姿态是否匹配；
所述第一人体姿态与所述标准人体姿态匹配，则生成所述标准人体姿态对应的控制指令。
8.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至5任一项所述的方法步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至5任一项所述的方法步骤。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至5任一项所述的方法步骤。
CN201910104639.7A 2019-02-01 2019-02-01 基于人体姿态的交互方法及装置、计算机设备 Pending CN111522429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910104639.7A CN111522429A (zh) 2019-02-01 2019-02-01 基于人体姿态的交互方法及装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910104639.7A CN111522429A (zh) 2019-02-01 2019-02-01 基于人体姿态的交互方法及装置、计算机设备

Publications (1)

Publication Number Publication Date
CN111522429A true CN111522429A (zh) 2020-08-11

Family

ID=71908232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910104639.7A Pending CN111522429A (zh) 2019-02-01 2019-02-01 基于人体姿态的交互方法及装置、计算机设备

Country Status (1)

Country Link
CN (1) CN111522429A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040327A (zh) * 2020-08-19 2020-12-04 深圳创维－Rgb电子有限公司 电视游戏的人机交互方法、系统、电视机及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053401A1 (en) * 2014-05-13 2017-02-23 Omron Corporation Posture estimation device, posture estimation system, posture estimation method, posture estimation program, and computer-readable recording medium on which posture estimation program is recorded
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053401A1 (en) * 2014-05-13 2017-02-23 Omron Corporation Posture estimation device, posture estimation system, posture estimation method, posture estimation program, and computer-readable recording medium on which posture estimation program is recorded
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040327A (zh) * 2020-08-19 2020-12-04 深圳创维－Rgb电子有限公司 电视游戏的人机交互方法、系统、电视机及存储介质

Similar Documents

Publication Publication Date Title
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN107533369B (zh) 带有外围装置的手套指尖的磁性跟踪
Lv Wearable smartphone: Wearable hybrid framework for hand and foot gesture interaction on smartphone
CN107896508A (zh) 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN102779000B (zh) 一种用户交互系统和方法
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
KR20160004198A (ko) 정전 햅틱 효과를 제공하는 표면 요소를 위한 시스템 및 방법
CN110389659A (zh) 针对增强或虚拟现实环境提供动态触觉回放的系统和方法
US9753539B2 (en) Method, device, system and non-transitory computer-readable recording medium for providing user interface
WO2018196552A1 (zh) 用于虚拟现实场景中的手型显示方法及装置
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN105843398A (zh) 一种实现触感交互的方法、装置和终端设备
WO2015184778A1 (en) Human body-based interaction method and interaction apparatus
Matulic et al. Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr
Bellucci et al. Human-display interaction technology: Emerging remote interfaces for pervasive display environments
CN109331455A (zh) 人体姿态的动作纠错方法、装置、存储介质及终端
JPWO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
CN112817443A (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
TWI788607B (zh) 人機交互系統和人機交互方法
CN109828672A (zh) 一种用于确定智能设备的人机交互信息的方法与设备
Sarkar et al. Augmented reality-based virtual smartphone
CN111522429A (zh) 基于人体姿态的交互方法及装置、计算机设备
CN109753152A (zh) 基于人体姿态的交互方法及装置、计算机设备
Lang et al. A multimodal smartwatch-based interaction concept for immersive environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination