CN107885317A - 一种基于手势的交互方法及装置 - Google Patents

一种基于手势的交互方法及装置 Download PDF

Info

Publication number
CN107885317A
CN107885317A CN201610866367.0A CN201610866367A CN107885317A CN 107885317 A CN107885317 A CN 107885317A CN 201610866367 A CN201610866367 A CN 201610866367A CN 107885317 A CN107885317 A CN 107885317A
Authority
CN
China
Prior art keywords
gesture
business scenario
image
classification model
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610866367.0A
Other languages
English (en)
Inventor
张磊
彭俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610866367.0A priority Critical patent/CN107885317A/zh
Priority to TW106115503A priority patent/TW201814445A/zh
Priority to US15/714,634 priority patent/US20180088677A1/en
Priority to JP2019511908A priority patent/JP2019535055A/ja
Priority to EP17857283.0A priority patent/EP3520082A4/en
Priority to PCT/US2017/053460 priority patent/WO2018064047A1/en
Publication of CN107885317A publication Critical patent/CN107885317A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于手势的交互方法及装置。本申请中，显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；获取第一手势；确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；响应所述第一操作，从而在多业务场景下，使得基于手势所执行的操作与当前的业务场景相匹配。

Description

一种基于手势的交互方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于手势的交互方法及装置。
背景技术
虚拟现实(Virtual Reality，简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。虚拟现实技术是仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合。虚拟现实技术可以根据的头部转动、眼睛、手势或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应。
增强现实(Augmented Reality，简称AR)技术通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
混合现实(Mix reality，简称MR)技术包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境中，物理和虚拟对象(也即数字对象)共存，并实时互动。
基于VR、AR或MR的技术中，一个应用中可能存在多种业务场景，相同用户手势在不同业务场景中需要实现的操作可能不同。目前，针对这种多场景应用，如何实现基于手势的交互，尚未有解决方案。
发明内容
本申请实施例提供了一种基于手势的交互方法及装置，用以实现多业务场景下的基于手势的交互。
本申请实施例提供的一种基于手势的交互方法，包括：
显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取第一手势；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应所述第一操作。
本申请实施例提的另一种基于手势的交互方法，包括：
在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
本申请实施例提供的另一种基于手势的交互方法，包括：
显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
根据所述第一手势对应的第一操作，对所述第二对象进行处理。
本申请实施例提供的另一种基于手势的交互方法，包括：
获取发送的交互操作信息，所述交互操作信息中包括手势信息以及基于所述手势信息所执行的操作；
根据所述交互操作信息以及所述交互操作信息对应的业务场景，更新相应业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
返回更新后的交互模型。
本申请实施例提供的一种基于手势的交互装置，包括：
显示模块，用于显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取模块，用于获取第一手势；
确定模块，用于确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应模块，用于响应所述第一操作。
本申请实施例提供的另一种基于手势的交互装置，包括：
获取模块，用于在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
处理模块，用于若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
本申请实施例提供的另一种基于手势的交互装置，包括：
显示模块，用于显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取模块，用于获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
处理模块，用于根据所述第一手势对应的第一操作，对所述第二对象进行处理。
本申请实施例提供的另一种基于手势的交互装置，包括：
接收模块，用于获取发送的交互操作信息，所述交互操作信息中包括手势信息以及基于所述手势信息所执行的操作；
更新模块，用于根据所述交互操作信息以及所述交互操作信息对应的业务场景，更新相应业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
发送模块，用于返回更新后的交互模型。
本申请实施例提供的另一种基于手势的交互装置，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
通过所述显示器显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取第一手势；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应所述第一操作。
本申请实施例提供的另一种基于手势的交互装置，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
本申请实施例提供的另一种基于手势的交互装置，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
通过显示器显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
根据所述第一手势对应的第一操作，对所述第二对象进行处理。
本申请的上述实施例中，显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；获取第一手势，并确定第一图像对应的业务场景下第一手势对应的第一操作，响应该第一操作，从而在多业务场景下，使得基于手势所执行的操作与当前的业务场景相匹配。
附图说明
图1为本申请实施例提供的基于手势的交互系统的功能架构框图；
图2为本申请实施例提供的基于手势的交互流程示意图；
图3为本申请另外的实施例提供的基于手势的交互流程示意图；
图4为本申请另外的实施例提供的基于手势的交互流程示意图；
图5至图11分别为本申请实施例提供的基于手势的交互装置的结构示意图。
具体实施方式
本申请实施例提供了基于手势的交互方法。该方法可应用于多业务场景的VR、AR或MA应用中，或者适用于具有多业务场景的类似应用中。
本申请实施例中，针对不同的业务场景设置有对应的交互模型，交互模型用于根据手势确定对应的操作，这样，当运行多场景应用的终端获取到用户的手势后，可以根据该手势所在的业务场景，使用该业务场景对应的交互模型，确定该业务场景下该手势对应的操作并执行该操作，从而在多业务场景下，使得基于手势所执行的操作与该手势所在的业务场景相匹配。
其中，一个多场景应用中存在多种业务场景，并可能在多种业务场景之间进行切换。比如，一个与运动相关的虚拟现实应用中包含多种运动场景：乒乓球双人比赛场景、羽毛球双人比赛场景等等，用户可在不同运动场景之间进行选择。再比如，一个模拟对抗的虚拟现实应用中包含多种对抗场景：手枪射击场景、近身格斗场景等等，根据用户的选择或者应用设置，可在不同对抗场景之间进行切换。在另一些实施例中，一个应用可能会调用另一个应用，因此存在多应用之间的切换，这种情况下，一个应用可对应一种业务场景。
业务场景可预先定义，也可由服务器设置。比如，对于一个多场景应用来说，该应用中的场景划分，可以在该应用的配置文件或该应用的代码中预定义，也可以由服务器进行设置，终端可将服务器所划分的场景的相关信息存储在该应用的配置文件中。业务场景的划分还可以在该应用的配置文件或该应用的代码中预定义，后续服务器可根据需要对该应用的场景进行重新划分并将重新划分的业务场景的相关信息发送给终端，从而提高多场景应用的灵活性。
运行多场景应用的终端，可以是任何能够运行该多场景应用的电子设备。该终端可包括用于采集手势的部件，用于基于业务场景对采集的手势进行响应操作的部件，用于显示的部件等。以运行虚拟现实应用的终端为例，用于采集手势的部件可以包括：红外摄像头，也可以包括各种传感器(如光学传感器、加速度计等等)；用于显示的部件可以显示虚拟现实场景图像、基于手势进行的响应操作结果等。当然，用于采集手势的部件、显示部件等，也可以不作为该终端的组成部分，而是作为外接部件与该终端连接。
下面对本申请实施例中所使用的交互模型，从以下几个方面进行说明。
(一)交互模型与业务场景以及用户的对应关系
本申请的一些实施例中，一个业务场景所对应的交互模型，可适用于所有使用该多场景应用的用户，即，对于使用该多场景应用的所有用户，在针对相同业务场景下的手势进行响应操作时，均使用相同的交互模型确定该业务场景下的手势所对应的操作。
进一步地，为了更好地匹配用户的行为特征或行为习惯，本申请的一些实施例中，可以将用户进行分组，不同的用户分组使用不同的交互模型，一个用户分组内的用户使用相同的交互模型。可以将具有相同或相似行为特征或行为习惯的用户分为一组，比如，可以根据用户年龄对用户进行分组，因为通常不同年龄段的用户，即使做相同类型的手势，由于其手的大小以及手部行为动作的差异，也可能导致手势识别结果存在差异。当然也可以采用其他的用户分组方式，本申请实施例对此不做限制。具体实施时，用户注册后获得用户账号(用户账号与用户ID对应)，用户注册信息中包含有用户的年龄信息，不同的年龄段对应不同的用户分组。用户使用多场景应用之前首先需要使用用户账号进行登录，这样，可根据用户账号查询到该用户注册的年龄信息，从而确定出该用户所属的用户分组，进而基于该用户分组对应的交互模型对该用户的手势进行响应操作。
表1示例性地示出了业务场景、用户分组以及交互模型之间的关系。根据表1可以看出，同一业务场景下，不同的用户分组对应不同的交互模型，当然不同的用户分组所对应的交互模型也可能相同。不失一般性地，对于同一用户分组，不同业务场景下使用的交互模型通常有所不同。
表1
更进一步地，为了更好地匹配用户的行为特征或行为习惯，以便更精准地对用户的手势进行响应操作，本申请实施例的一些实施例中，可对应每个用户设置交互模型。具体实施时，用户注册后获得用户账号(用户账号与用户ID对应)，不同的用户ID对应不同的交互模型。用户使用多场景应用之前首先需要使用用户账号进行登录，这样，可根据用户账号查询到该用户的用户ID，进而基于该用户ID对应的交互模型对该用户的手势进行响应操作。
表2示例性地示出了业务场景、用户ID以及交互模型之间的关系。根据表2可以看出，同一业务场景下，不同的用户ID对应不同的交互模型。不失一般性地，对于同一用户ID，不同业务场景下使用的交互模型通常有所不同。
表2
(二)交互模型的输入和输出
简单来说，交互模型定义了手势与操作的对应关系。在一些实施例中，交互模型的输入数据包括手势数据，输出数据包括操作信息(如操作指令)。
(三)交互模型的架构
为了便于技术实现，在一些实施例中，交互模型可包括手势分类模型以及手势类型与操作的映射关系。其中，手势分类模型用于根据手势确定对应的手势类型。手势分类模型可以适用于所有用户，也可以不同用户分组配置有各自的手势分类模型，或者不同的用户配置有各自的手势分类模型。手势分类模型可以通过样本训练得到，也可以通过对用户的手势以及基于手势所进行的操作进行学习得到。
手势类型与操作的映射关系，在无需更新业务场景的情况下，通常保持不变。根据不同业务场景的需要，可预先定义不同业务场景下，手势类型与操作的映射关系。
(四)交互模型所定义的手势类型和操作
本申请实施例中，手势类型可包括单手手势类型，也可包括双手手势类型。作为一个例子，单手手势类型可包括以下类型中的一种或多种：
-单手手掌掌心朝向VR对象的手势，更具体地，可包括朝向VR对象运动的手势、向远离VR对象的方向运动的手势，摆动手掌的手势，在平行于VR场景图像的平面上进行平移手掌的手势等等；
-单手手掌掌心背向VR对象的手势，更具体地，可包括朝向VR对象运动的手势、向远离VR对象的方向运动的手势，摆动手掌的手势，在平行于VR场景图像的平面上进行平移手掌的手势等等；
-单手握拳或手指合拢的手势；
-单手放开握拳或手指伸开的手势；
-右手的手势；
-左手的手势。
作为另一个例子，双手手势类型可包括以下中的一种或多种：
-左手手掌掌心朝向VR对象、右手单手手掌掌心背向VR对象的组合手势；
-右手手掌掌心朝向VR对象、左手单手手掌掌心背向VR对象的组合手势；
-左手手指伸开、右手的一个手指点选的组合手势；
-左右时交叉。
以上仅为示例性地举例，实际应用中可根据需要对手势类型进行定义。
作为一个例子，针对菜单操作，可定义如下手势类型与操作的映射关系中的一种或多种：
-单手放开握拳或手指伸开的手势，用于打开菜单；
-单手握拳或手指合拢的手势，用于关闭菜单；
-单手的一个手指点选的手势，用于选中菜单中的菜单选项(比如选中菜单中的选项，或者打开下一级菜单)；
-右手手掌掌心朝向VR对象、左手单手手掌掌心背向VR对象的组合手势，用于打开菜单并选择手指所点选的菜单选项。
以上仅为示例性地举例，实际应用中可根据需要对手势类型与操作的映射关系进行定义。
(五)交互模型的配置方式
本申请实施例中的交互模型或者手势分类模型，可以预先设置。比如，可以将交互模型或手势分类模型设置在应用程序的安装包中，从而在应用程序安装后存储在终端中；或者，服务器将交互模型或手势分类模型发送给终端。这种配置方式适合于交互模型或者手势分类模型适用于所有用户的情形。
在另外的实施例中，可预先设置初始的交互模型或者手势分类模型，后续由终端根据手势以及基于手势所执行的操作的统计信息，对交互模型或手势分类模型进行更新，从而实现由终端基于学习的方式不断完善交互模型或手势分类模型。这种配置方式比较适合于交互模型或手势分类模型适用于特定用户的情形。
在另外的实施例中，可预先设置初始的交互模型或者手势分类模型，后续由终端将手势以及基于手势所执行的操作的统计信息发送给服务器，由服务器根据手势以及基于手势所执行的操作的统计信息，对交互模型或手势分类模型进行更新，并将更新后的交互模型或手势分类模型发送给终端，从而实现由服务器基于学习的方式不断完善交互模型或手势分类模型。这种配置方式比较适合于交互模型或手势分类模型适用于特定用户分组或适用于所有用户的情形。可选地，服务器可采用云操作系统，这样，可以充分利用服务器的云计算能力。当然，这种配置方式也适用于交互模型或手势分类模型适用于特定用户的情形。
下面结合附图对本申请实施例进行详细描述。
参见图1，为本申请实施例提供的基于手势的交互系统的功能架构框图。
如图所示，场景识别功能101用于对业务场景进行识别。手势识别功能102用于对用户手势进行识别，识别结果可包括手指和/或指关节的状态和运动等信息。交互判断功能103可根据识别出的业务场景以及识别出的手势，使用交互模型104确定出在该业务场景下该手势所对应的操作。操作执行功能105用于执行交互模型所确定出的操作。交互模型学习功能106可根据操作执行功能105所执行的操作的统计数据进行学习，从而对交互模型104进行更新。
进一步地，交互判断功能103还可根据用户信息，确定对应的交互模型，并使用确定出的与该用户信息对应的交互模型，确定在识别出的业务场景下，相应用户的手势所对应的操作。
参见图2，为本申请实施例提供的基于手势的交互流程示意图。该流程可在运行场景应用的终端侧执行。如图所示，该流程可包括如下步骤：
步骤201：显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合。
步骤202：获取第一手势。
本申请实施例支持多种采集用户的手势的方式。比如，可以采用红外摄像头采集图像，对采集到的图像进行手势识别，从而获得用户的手势。采用这种方式进行手势采集，可以对裸手手势进行采集。
其中，为了提高手势识别精度，可选地，可对红外摄像头采集到的图像进行预处理，以便去除噪声。具体地，对图像的预处理操作可包括但不限于：
-图像增强。若外部光照不足或太强，需要亮度增强，这样可以提高手势检测和识别精度。具体地，可采用以下方式进行亮度参数检测：计算视频帧的平均Y值，通过阈值T，若Y>T，则表明过亮，否则表明较暗。进一步地，可通过非线性算法进行Y增强，如Y’＝Y*a+b。
-图像二值化。图像二值化是指将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果；
-图像灰度化。在RGB(Red Green Blue，红绿蓝)模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。
-去噪声处理。将图像中的噪声点去除。
具体实施时，可根据手势精度要求以及性能要求(比如响应速度)，确定是否进行图像预处理，或者确定所采用的图像预处理方法。
在进行手势识别时，可使用手势分类模型进行手势识别。使用手势分类模型进行手势识别时，该模型的输入参数可以是红外摄像头采集到的图像(或者预处理后的图像)，输出参数可以是手势类型。该手势分类模型可基于支持向量机(Support Vector Machine，简称SVM)、卷积神经网络(Convolutional Neural Network，简称CNN)或DL等算法，通过学习方式获得。
进一步地，本申请实施例中可支持多种手势，比如可支持手指弯曲的手势。相应地，为了对该类手势进行识别，可进行关节识别，即，通过关节识别可检测到手部手指关节的状态，从而确定手势的类型。关节识别的具体方法可采用Kinect算法，通过手建模可以得到关节信息，从而进行关节识别。
步骤203：确定第一图像对应的业务场景下第一手势对应的第一操作。
步骤204：响应第一操作。
其中，第一操作可以是用户界面操作，更具体地，可以是菜单操作，比如打开菜单、关闭菜单、打开当前菜单的子菜单、选择当前菜单上的菜单选项等操作。相应地，在响应菜单操作时，比如打开菜单，可对菜单进行渲染，并最终向用户显示该菜单，具体可将菜单通过VR显示部件显示给用户。
当然，上述第一操作不限于菜单操作，还可以是其他操作，比如进行语音提示的操作，在此不再一一列举。
通过以上描述可以看出，本申请的上述实施例中，获取用户的第一手势，并确定第一手势所在的业务场景，根据该业务场景确定该业务场景下该第一手势对应的第一操作并执行该第一操作，从而在多业务场景下，使得基于手势所执行的操作与当前的业务场景相匹配。
基于前述描述，在一些实施例中，在步骤203之前，还可执行以下步骤：根据第一手势所在的业务场景，获取该业务场景对应的交互模型。相应地，在步骤203中，根据第一手势，使用该业务场景对应的交互模型，确定该业务场景下第一手势对应的第一操作。
基于前述描述，交互模型中可包括手势分类模型以及手势类型与操作的映射关系，这样，在步骤203中，可根据第一手势，使用该业务场景对应的手势分类模型，确定该业务场景下第一手势所属的手势类型，根据第一手势所属的手势类型以及所述映射关系，确定该业务场景下第一手势对应的第一操作。
进一步地，在针对不同的用户分组设置有各自对应的交互模型或手势分类模型的情况下，可获取作出第一手势的用户的信息，根据该用户信息确定该用户所属的用户分组，并获取该用户分组对应的手势分类模型。具体实施时，可根据用户分组信息以及该用户的用户信息(比如年龄)，确定该用户所在的用户分组，并获取该用户所在的用户分组所对应的手势分类模型。
进一步地，在针对不同的用户设置有各自对应的交互模型或手势分类模型的情况下，可获取作出第一手势的用户的ID，根据该用户ID获取该用户ID对应的手势分类模型。
本申请实施例中的交互模型或手势分类模型，可以通过离线方式学习得到。比如，可以使用手势样本对手势分类模型进行训练，由服务器将训练好的手势分类模型发送给终端。再比如，终端侧可提供手势分类模型训练功能，当用户选择进入手势分类模型训练模式后，可通过作出各种手势以获得对应的操作，并对所响应的操作进行评估，从而不断修正手势分类模型。
在另外一些实施例中，交互模型或手势分类模型可通过在线方式进行学习。比如，可由终端根据采集到的手势以及根据手势所响应的操作进行交互模型或手势分类模型的在线学习，终端也可以将手势以及根据手势所执行的操作的交互操作信息发送给服务器，由服务器对交互模型或手势分类模型进行修正，并将修正后的交互模型或手势分类模型发送给终端。
基于图2所示的流程，在终端侧进行手势分类模型的学习的方案中，在步骤204之后，终端可获取该业务场景下，基于第一手势之后的第二手势所执行的第二操作，根据第二操作与第一操作的关系，更新手势分类模型。由于根据第一操作之后的第二操作，可以一定程度上判断第一操作是否是用户期望的操作，若不是，则表明可能是手势分类模型不够精确，需要更新。
进一步地，作为一个例子，上述根据第二操作与第一操作的关系，更新手势分类模型，可包括以下操作之一或任意组合：
-若第一操作的目标对象与第二操作的目标对象相同，且操作动作不同，则更新手势分类模型中第一手势所属的手势类型。
例如，若第一操作为打开第一菜单的操作，第二操作为关闭第一菜单的操作，则表明用户在作出第一手势时，实际上并不希望打开菜单，也就是说对于该手势的识别需要进一步提高精度，因此可更新手势分类模型中第一手势所属的手势分类。
-若第二操作的目标对象是第一操作的目标对象的子对象，则保持手势分类模型中所述第一手势所属的手势类型不变。
例如，若第一操作为打开第二菜单的操作，第二操作为选择第二菜单中的菜单选项的操作，则保持手势分类模型中第一手势所属的手势类型不变。
进一步地，在不同用户分组各自设置有交互模型互手势分类模型的情形下，在进行交互模型或手势分类模型的学习时，对于一个用户分组，使用该用户分组中的用户的交互操作信息，对该用户分组对应的交互模型或手势分类模型进行训练或学习；在不同用户各自设置有交互模型互手势分类模型的情形下，在进行交互模型或手势分类模型的学习时，对于一个用户，使用该用户中的交互操作信息，对该用户对应的交互模型或手势分类模型进行训练或学习。
参见图3，为本申请另一实施例提供的基于手势的交互流程。如图所示，该流程可包括如下步骤：
步骤301：在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势。
该步骤中，在上述场景下获取第一手势的方法同前所述，在此不再重复。
步骤302：确定第一手势是否满足触发条件，若是，则转入步骤303；否则转入步骤304。
其中，所述触发条件预先定义，或者由服务器进行设置。不同的触发条件所对应的控制数据的输出操作可以不同。
该步骤中，在确定第一手势满足的触发条件后，可获取触发条件与控制数据的输出操作间的对应关系，根据该对应关系确定第一手势当前满足的触发条件所对应的控制数据的输出操作。
步骤303：控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
其中，所述图像数据可包括虚拟现实图像、增强现实图像、混合现实图像中的一种或多种；所述音频数据可包括与当前场景对应的音频。
步骤304：根据该第一手势进行响应或进行其它操作。
在虚拟现实场景的一个例子中，如果用户在黑夜的场景中作出推门的动作，则会发出门卡开的声音。针对该应用，在当前黑夜的场景中，若捕获到用户的手势，根据该手势的相关信息判断该手势的幅度或力度超过一定阈值(表明只有在比较用力的情况下才能打开大门)，则发出打开大门的声音。进一步地，根据该手势的幅度或力度，所发出的声音在音量、音色或持续时间上有所不同。
参见图4，为本申请另外的实施例提供的基于手势的交互流程。如图所示，该流程可包括如下步骤：
步骤401：显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象。
步骤402：获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联。
步骤403：根据第一手势对应的第一操作，对所述第二对象进行处理。
该步骤中，可首先根据第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；然后，根据该第一手势，使用该业务场景对应的交互模型，确定该业务场景下第一手势对应的第一操作。其中，交互模型以及基于交互模型确定手势对应的操作的方法，可参见前述实施例，在此不再重复。
进一步地，手势与对象的关联关系可预先设置，比如设置在配置文件中或程序代码中，也可由服务器进行设置。
作为一个例子，针对模拟切水果的VR应用，用户手势与“水果刀”关联。其中，“水果刀”是虚拟对象。当运行该VR应用时，终端可根据采集并识别出的用户手势，在该VR的应用界面中显示“水果刀”，且该“水果刀”可跟随用户手势进行运动，以产生切削界面中的水果的视觉效果。基于该用于，在具体实施时，在步骤401中，首先显示初始画面，其中“水果刀”作为第一对象显示在该画面中，各种水果作为“第二对象”显示在该画面中，其中水果刀和水果均为虚拟现实对象。在步骤402中，用户抓取水果刀并挥动做切水果的动作，该过程中，终端可获得用户的手势，根据手势与对象的映射关系，确定出该手势与作为“第一对象”的水果刀关联。在步骤403中，终端根据该手势的运动轨迹、速度、力度等信息，对作为“第二对象”的水果进行切削等效果处理。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图5，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：显示模块501、获取模块502、确定模块503、响应模块504，其中：
显示模块501，用于显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取模块502，用于获取第一手势；
确定模块503，用于确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应模块504，用于响应所述第一操作。
可选地，确定模块503还用于：在确定所述第一图像对应的业务场景下所述第一手势对应的第一操作之前，根据所述第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；确定模块503具体用于：根据所述第一手势，使用所述业务场景对应的交互模型，确定所述业务场景下所述第一手势对应的第一操作。
可选地，所述交互模型中包括手势分类模型以及手势类型与操作的映射关系，所述手势分类模型用于根据手势确定对应的手势类型；确定模块503可具体用于：根据所述第一手势，使用所述业务场景对应的手势分类模型，确定所述业务场景下所述第一手势所属的手势类型，根据所述第一手势所属的手势类型以及所述映射关系，确定所述业务场景下所述第一手势对应的第一操作。
可选地，还可包括更新模块(未在图中示出)，用于在响应所述第一操作之后，获取所述业务场景下，基于所述第一手势之后的第二手势所响应的第二操作；根据所述第二操作与所述第一操作的关系，更新所述手势分类模型。
可选地，所述更新模块具体用于，执行以下操作之一或任意组合：
若所述第一操作的目标对象与所述第二操作的目标对象相同，且操作动作不同，则更新所述手势分类模型中所述第一手势所属的手势类型；
若所述第二操作的目标对象是所述第一操作的目标对象的子对象，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图6，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：获取模块601、处理模块602，其中：
获取模块601，用于在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
处理模块602，用于若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
可选地，所述图像数据包括虚拟现实图像、增强现实图像、混合现实图像中的一种或多种；所述音频数据包括与当前场景对应的音频。
可选地，不同的触发条件所对应的控制数据的输出操作不同；处理模块602具体用于：在确定所述第一手势满足的触发条件后，获取触发条件与控制数据的输出操作间的对应关系，根据该对应关系确定所述第一手势当前满足的触发条件所对应的控制数据的输出操作。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图7，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：显示模块701、获取模块702、处理模块703，其中：
显示模块701，用于显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取模块702，用于获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
处理模块703，用于根据所述第一手势对应的第一操作，对所述第二对象进行处理。
可选地，处理模块703还用于：根据所述第一手势对应的第一操作，对所述第二对象进行处理之前，根据所述第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；根据所述第一手势，使用所述业务场景对应的交互模型，确定所述业务场景下所述第一手势对应的第一操作。
可选地，所述交互模型中包括手势分类模型以及手势类型与操作的映射关系，所述手势分类模型用于根据手势确定对应的手势类型；处理模块703具体用于：根据所述第一手势，使用所述业务场景对应的手势分类模型，确定所述业务场景下所述第一手势所属的手势类型；根据所述第一手势所属的手势类型以及所述映射关系，确定所述业务场景下所述第一手势对应的第一操作。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图8，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：接收模块801、更新模块802、发送模块803，其中：
接收模块801，用于获取发送的交互操作信息，所述交互操作信息中包括手势信息以及基于所述手势信息所执行的操作；
更新模块802，用于根据所述交互操作信息以及所述交互操作信息对应的业务场景，更新相应业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
发送模块803，用于返回更新后的交互模型。
可选地，所述交互操作信息中包括：第一业务场景下，第一手势以及基于第一手势响应的第一操作，以及所述第一手势之后的第二手势以及基于第二手势响应的第二操作；更新模块803具体用于：根据所述第二操作与所述第一操作的关系，更新所述交互模型中的手势分类模型。
可选地，更新模块803具体用于执行以下操作之一或任意组合：
若所述第一操作的目标对象与所述第二操作的目标对象相同，且操作动作不同，则更新所述手势分类模型中所述第一手势所属的手势类型；
若所述第二操作的目标对象是所述第一操作的目标对象的子对象，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图9，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置中可包括：处理器901，存储器902、显示器903。
其中，处理器901可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器902具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。
处理器901与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器901代表的一个或多个处理器和存储器1002代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器901负责管理总线架构和通常的处理，存储器902可以存储处理器901在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器901中，或者由处理器901实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器901，耦合到存储器902，用于读取存储器902存储的计算机程序指令，并作为响应，执行如下操作：通过所述显示器显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；获取第一手势；确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；响应所述第一操作。上述流程的具体实现过程，可参见前述实施例的描述，在此不再重复。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图10，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置中可包括：处理器1001，存储器1002、显示器1003。
其中，处理器1001可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器1002具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。
处理器1001与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器1001代表的一个或多个处理器和存储器1002代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1001负责管理总线架构和通常的处理，存储器1002可以存储处理器1001在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器1001中，或者由处理器1001实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器1001，耦合到存储器1002，用于读取存储器1002存储的计算机程序指令，并作为响应，执行如下操作：在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。上述流程的具体实现过程，可参见前述实施例的描述，在此不再重复。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图11，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置中可包括：处理器1101，存储器1102、显示器1103。
其中，处理器1101可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器1102具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。
处理器1101与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器1101代表的一个或多个处理器和存储器1102代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1101负责管理总线架构和通常的处理，存储器1102可以存储处理器1101在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器1001中，或者由处理器1101实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器1101，耦合到存储器1102，用于读取存储器1102存储的计算机程序指令，并作为响应，执行如下操作：通过显示器显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；根据所述第一手势对应的第一操作，对所述第二对象进行处理。。上述流程的具体实现过程，可参见前述实施例的描述，在此不再重复。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (43)

1.一种基于手势的交互方法，其特征在于，包括：
显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取第一手势；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应所述第一操作。
2.如权利要求1所述的方法，其特征在于，确定所述第一图像对应的业务场景下所述第一手势对应的第一操作之前，还包括：
根据所述第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作，包括：
根据所述第一手势，使用所述业务场景对应的交互模型，确定所述业务场景下所述第一手势对应的第一操作。
3.如权利要求2所述的方法，其特征在于，所述交互模型中包括手势分类模型以及手势类型与操作的映射关系，所述手势分类模型用于根据手势确定对应的手势类型；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作，包括：
根据所述第一手势，使用所述业务场景对应的手势分类模型，确定所述业务场景下所述第一手势所属的手势类型；
根据所述第一手势所属的手势类型以及所述映射关系，确定所述业务场景下所述第一手势对应的第一操作。
4.如权利要求3所述的方法，其特征在于，获取手势分类模型，包括：
根据用户信息，获取对应用户的手势分类模型。
5.如权利要求4所述的方法，其特征在于，根据用户信息，获取对应用户的手势分类模型，包括：
根据用户标识，获取所述用户标识对应的手势分类模型，其中，一个用户标识唯一对应一个手势分类模型；或者，
根据用户分组信息以及所述用户信息，确定相应用户所在的用户分组，获取所述相应用户所在的用户分组所对应的手势分类模型，其中，一个用户分组中包含一个或多个用户，一个用户分组唯一对应一个手势分类模型。
6.如权利要求3所述的方法，其特征在于，响应所述第一操作之后，还包括：
获取所述业务场景下，基于所述第一手势之后的第二手势所响应的第二操作；
根据所述第二操作与所述第一操作的关系，更新所述手势分类模型。
7.如权利要求6所述的方法，其特征在于，根据所述第二操作与所述第一操作的关系，更新所述手势分类模型，包括以下操作之一或任意组合：
若所述第一操作的目标对象与所述第二操作的目标对象相同，且操作动作不同，则更新所述手势分类模型中所述第一手势所属的手势类型；
若所述第二操作的目标对象是所述第一操作的目标对象的子对象，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
8.如权利要求7所述的方法，其特征在于，若所述第一操作为打开第一菜单的操作，所述第二操作为关闭所述第一菜单的操作，则更新所述手势分类模型中所述第一手势所属的手势分类；或者
若所述第一操作为打开第二菜单的操作，所述第二操作为选择所述第二菜单中的菜单选项的操作，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
9.如权利要求2所述的方法，其特征在于，还包括：
向服务器发送所述业务场景下的交互操作信息，所述业务场景下的交互操作信息中包括所述业务场景下获取的手势与基于所获取的手势所执行的操作；
接收所述服务器根据发送的所述业务场景下的交互操作信息所更新的所述业务场景对应的交互模型。
10.如权利要求1所述的方法，其特征在于，获取第一手势，包括：
获取至少一只手作出的第一手势的数据；
根据所述第一手势的数据，对所述至少一只手的关节进行识别；
根据关节识别结果，确定所述第一手势所属的手势类型。
11.如权利要求1所述的方法，其特征在于，所述第一手势，包括：
单手手势，或者双手组合手势。
12.如权利要求1所述的方法，其特征在于，所述第一操作，包括：用户界面操作。
13.如权利要求12所述的方法，其特征在于，所述用户界面操作，包括：菜单操作。
14.如权利要求1所述的方法，其特征在于，所述业务场景包括：
虚拟现实VR业务场景；或者
增强现实AR业务场景；或者
混合现实MR业务场景。
15.一种基于手势的交互方法，其特征在于，包括：
在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
16.如权利要求15所述的方法，其特征在于，所述图像数据包括虚拟现实图像、增强现实图像、混合现实图像中的一种或多种；所述音频数据包括与当前场景对应的音频。
17.如权利要求15所述的方法，其特征在于，所述触发条件预先定义，或者由服务器进行设置。
18.如权利要求15所述的方法，其特征在于，不同的触发条件所对应的控制数据的输出操作不同；
在确定所述第一手势满足的触发条件后，获取触发条件与控制数据的输出操作间的对应关系，根据该对应关系确定所述第一手势当前满足的触发条件所对应的控制数据的输出操作。
19.一种基于手势的交互方法，其特征在于，包括：
显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
根据所述第一手势对应的第一操作，对所述第二对象进行处理。
20.如权利要求19所述的方法，其特征在于，根据所述第一手势对应的第一操作，对所述第二对象进行处理之前，还包括：
根据所述第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
根据所述第一手势，使用所述业务场景对应的交互模型，确定所述业务场景下所述第一手势对应的第一操作。
21.如权利要求20所述的方法，其特征在于，所述交互模型中包括手势分类模型以及手势类型与操作的映射关系，所述手势分类模型用于根据手势确定对应的手势类型；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作，包括：
根据所述第一手势，使用所述业务场景对应的手势分类模型，确定所述业务场景下所述第一手势所属的手势类型；
根据所述第一手势所属的手势类型以及所述映射关系，确定所述业务场景下所述第一手势对应的第一操作。
22.如权利要求21所述的方法，其特征在于，根据用户信息，获取对应用户的手势分类模型，包括：
根据用户标识，获取所述用户标识对应的手势分类模型，其中，一个用户标识唯一对应一个手势分类模型；或者，
根据用户分组信息以及所述用户信息，确定相应用户所在的用户分组，获取所述相应用户所在的用户分组所对应的手势分类模型，其中，一个用户分组中包含一个或多个用户，一个用户分组唯一对应一个手势分类模型。
23.一种基于手势的交互方法，其特征在于，包括：
获取发送的交互操作信息，所述交互操作信息中包括手势信息以及基于所述手势信息所执行的操作；
根据所述交互操作信息以及所述交互操作信息对应的业务场景，更新相应业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
返回更新后的交互模型。
24.如权利要求23所述的方法，其特征在于，所述交互操作信息中包括：第一业务场景下，第一手势以及基于第一手势响应的第一操作，以及所述第一手势之后的第二手势以及基于第二手势响应的第二操作；
所述根据所述交互操作信息以及所述交互操作信息对应的业务场景，更新相应业务场景对应的交互模型，包括：
根据所述第二操作与所述第一操作的关系，更新所述交互模型中的手势分类模型。
25.如权利要求24所述的方法，其特征在于，根据所述第二操作与所述第一操作的关系，更新所述手势分类模型，包括以下操作之一或任意组合：
若所述第一操作的目标对象与所述第二操作的目标对象相同，且操作动作不同，则更新所述手势分类模型中所述第一手势所属的手势类型；
若所述第二操作的目标对象是所述第一操作的目标对象的子对象，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
26.如权利要求25所述的方法，其特征在于，若所述第一操作为打开第一菜单的操作，所述第二操作为关闭所述第一菜单的操作，则更新所述手势分类模型中所述第一手势所属的手势分类；或者
若所述第一操作为打开第二菜单的操作，所述第二操作为选择所述第二菜单中的菜单选项的操作，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
27.一种基于手势的交互装置，其特征在于，包括：
显示模块，用于显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取模块，用于获取第一手势；
确定模块，用于确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应模块，用于响应所述第一操作。
28.如权利要求27所述的装置，其特征在于，所述确定模块还用于：
在确定所述第一图像对应的业务场景下所述第一手势对应的第一操作之前，根据所述第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
所述确定模块具体用于：根据所述第一手势，使用所述业务场景对应的交互模型，确定所述业务场景下所述第一手势对应的第一操作。
29.如权利要求28所述的装置，其特征在于，所述交互模型中包括手势分类模型以及手势类型与操作的映射关系，所述手势分类模型用于根据手势确定对应的手势类型；
所述确定模块具体用于：
根据所述第一手势，使用所述业务场景对应的手势分类模型，确定所述业务场景下所述第一手势所属的手势类型；
根据所述第一手势所属的手势类型以及所述映射关系，确定所述业务场景下所述第一手势对应的第一操作。
30.如权利要求29所述的装置，其特征在于，还包括：
更新模块，用于在响应所述第一操作之后，获取所述业务场景下，基于所述第一手势之后的第二手势所响应的第二操作；根据所述第二操作与所述第一操作的关系，更新所述手势分类模型。
31.如权利要求30所述的装置，其特征在于，所述更新模块具体用于，执行以下操作之一或任意组合：
若所述第一操作的目标对象与所述第二操作的目标对象相同，且操作动作不同，则更新所述手势分类模型中所述第一手势所属的手势类型；
若所述第二操作的目标对象是所述第一操作的目标对象的子对象，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
32.一种基于手势的交互装置，其特征在于，包括：
获取模块，用于在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
处理模块，用于若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
33.如权利要求32所述的装置，其特征在于，所述图像数据包括虚拟现实图像、增强现实图像、混合现实图像中的一种或多种；所述音频数据包括与当前场景对应的音频。
34.如权利要求32所述的装置，其特征在于，不同的触发条件所对应的控制数据的输出操作不同；
所述处理模块具体用于：在确定所述第一手势满足的触发条件后，获取触发条件与控制数据的输出操作间的对应关系，根据该对应关系确定所述第一手势当前满足的触发条件所对应的控制数据的输出操作。
35.一种基于手势的交互装置，其特征在于，包括：
显示模块，用于显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取模块，用于获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
处理模块，用于根据所述第一手势对应的第一操作，对所述第二对象进行处理。
36.如权利要求35所述的装置，其特征在于，所述处理模块还用于：、
根据所述第一手势对应的第一操作，对所述第二对象进行处理之前，根据所述第一手势所在的业务场景，获取所述业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；根据所述第一手势，使用所述业务场景对应的交互模型，确定所述业务场景下所述第一手势对应的第一操作。
37.如权利要求36所述的装置，其特征在于，所述交互模型中包括手势分类模型以及手势类型与操作的映射关系，所述手势分类模型用于根据手势确定对应的手势类型；
所述处理模块具体用于：根据所述第一手势，使用所述业务场景对应的手势分类模型，确定所述业务场景下所述第一手势所属的手势类型；根据所述第一手势所属的手势类型以及所述映射关系，确定所述业务场景下所述第一手势对应的第一操作。
38.一种基于手势的交互装置，其特征在于，包括：
接收模块，用于获取发送的交互操作信息，所述交互操作信息中包括手势信息以及基于所述手势信息所执行的操作；
更新模块，用于根据所述交互操作信息以及所述交互操作信息对应的业务场景，更新相应业务场景对应的交互模型，所述交互模型用于根据手势确定对应的操作；
发送模块，用于返回更新后的交互模型。
39.如权利要求38所述的装置，其特征在于，所述交互操作信息中包括：第一业务场景下，第一手势以及基于第一手势响应的第一操作，以及所述第一手势之后的第二手势以及基于第二手势响应的第二操作；
所述更新模块具体用于：根据所述第二操作与所述第一操作的关系，更新所述交互模型中的手势分类模型。
40.如权利要求39所述的装置，其特征在于，所述更新模块具体用于执行以下操作之一或任意组合：
若所述第一操作的目标对象与所述第二操作的目标对象相同，且操作动作不同，则更新所述手势分类模型中所述第一手势所属的手势类型；
若所述第二操作的目标对象是所述第一操作的目标对象的子对象，则保持所述手势分类模型中所述第一手势所属的手势类型不变。
41.一种基于手势的交互装置，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
通过所述显示器显示第一图像，所述第一图像包括：虚拟现实图像、增强现实图像、混合现实图像中的一种或多种组合；
获取第一手势；
确定所述第一图像对应的业务场景下所述第一手势对应的第一操作；
响应所述第一操作。
42.一种基于手势的交互装置，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
在虚拟现实场景、增强现实场景或混合现实场景下，获取第一手势；
若确定所述第一手势满足触发条件，则控制数据的输出，所述数据包括：音频数据、图像数据、视频数据之一或组合。
43.一种基于手势的交互装置，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
通过显示器显示第一图像，所述第一图像包括：第一对象和第二对象，所述第一对象和第二对象中至少一个为：虚拟现实对象、增强现实对象或混合现实对象；
获取输入的第一手势信号；其中，所述第一手势信号与所述第一对象关联；
根据所述第一手势对应的第一操作，对所述第二对象进行处理。
CN201610866367.0A 2016-09-29 2016-09-29 一种基于手势的交互方法及装置 Pending CN107885317A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610866367.0A CN107885317A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置
TW106115503A TW201814445A (zh) 2016-09-29 2017-05-10 基於手勢的互動方法及裝置
US15/714,634 US20180088677A1 (en) 2016-09-29 2017-09-25 Performing operations based on gestures
JP2019511908A JP2019535055A (ja) 2016-09-29 2017-09-26 ジェスチャに基づく操作の実施
EP17857283.0A EP3520082A4 (en) 2016-09-29 2017-09-26 IMPLEMENTATION OF OPERATIONS BASED ON GESTURES
PCT/US2017/053460 WO2018064047A1 (en) 2016-09-29 2017-09-26 Performing operations based on gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610866367.0A CN107885317A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置

Publications (1)

Publication Number Publication Date
CN107885317A true CN107885317A (zh) 2018-04-06

Family

ID=61685328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866367.0A Pending CN107885317A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置

Country Status (6)

Country Link
US (1) US20180088677A1 (zh)
EP (1) EP3520082A4 (zh)
JP (1) JP2019535055A (zh)
CN (1) CN107885317A (zh)
TW (1) TW201814445A (zh)
WO (1) WO2018064047A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681402A (zh) * 2018-05-16 2018-10-19 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN108763514A (zh) * 2018-05-30 2018-11-06 维沃移动通信有限公司 一种信息显示方法及移动终端
CN108771864A (zh) * 2018-05-17 2018-11-09 东莞市华睿电子科技有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN108984238A (zh) * 2018-05-29 2018-12-11 北京五八信息技术有限公司 应用程序的手势处理方法、装置及电子设备
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN109035421A (zh) * 2018-08-29 2018-12-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及存储介质
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN110928411A (zh) * 2019-11-18 2020-03-27 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN111045511A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 基于手势的操控方法及终端设备
CN111831120A (zh) * 2020-07-14 2020-10-27 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统
CN112286363A (zh) * 2020-11-19 2021-01-29 网易（杭州）网络有限公司 虚拟主体形态改变方法及装置、存储介质、电子设备
CN112445340A (zh) * 2020-11-13 2021-03-05 杭州易现先进科技有限公司 Ar桌面互动方法、装置、电子设备及计算机存储介质
CN112925418A (zh) * 2018-08-02 2021-06-08 创新先进技术有限公司 一种人机交互方法和装置
CN113064483A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种手势识别方法以及相关装置
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113296653A (zh) * 2021-07-27 2021-08-24 阿里云计算有限公司 一种仿真交互模型构建方法、交互方法及相关设备
CN113407031A (zh) * 2021-06-29 2021-09-17 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN113986111A (zh) * 2021-12-28 2022-01-28 北京亮亮视野科技有限公司 一种交互方法、装置、电子设备及存储介质
CN114679455A (zh) * 2022-03-27 2022-06-28 泰州市朗嘉馨网络科技有限公司 分布式云端服务系统
WO2022193632A1 (zh) * 2021-03-16 2022-09-22 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238526B1 (en) * 2016-12-23 2022-02-01 Wells Fargo Bank, N.A. Product display visualization in augmented reality platforms
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
CN108596735A (zh) * 2018-04-28 2018-09-28 北京旷视科技有限公司 信息推送方法、装置及系统
US11467553B2 (en) * 2018-10-22 2022-10-11 Accenture Global Solutions Limited Efficient configuration of scenarios for event sequencing
WO2020088681A1 (zh) * 2018-11-01 2020-05-07 华为技术有限公司 模型文件的管理方法和终端设备
US11093041B2 (en) * 2018-11-30 2021-08-17 International Business Machines Corporation Computer system gesture-based graphical user interface control
CN109766822B (zh) * 2019-01-07 2021-02-05 山东大学 基于神经网络的手势识别方法及系统
CN111610850A (zh) * 2019-02-22 2020-09-01 东喜和仪(珠海市)数据科技有限公司 一种基于无人机进行人机交互的方法
US20200326765A1 (en) * 2019-04-12 2020-10-15 XRSpace CO., LTD. Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
CN110276292B (zh) * 2019-06-19 2021-09-10 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质
US11461586B2 (en) * 2019-06-25 2022-10-04 International Business Machines Corporation Learned interaction with a virtual scenario
US11347756B2 (en) * 2019-08-26 2022-05-31 Microsoft Technology Licensing, Llc Deep command search within and across applications
EP4031956A1 (en) 2019-09-20 2022-07-27 InterDigital CE Patent Holdings, SAS Device and method for hand-based user interaction in vr and ar environments
DE102019125348A1 (de) * 2019-09-20 2021-03-25 365FarmNet Group GmbH & Co. KG Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit
CN110737332A (zh) * 2019-09-24 2020-01-31 深圳市联谛信息无障碍有限责任公司 一种手势沟通方法和服务器
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN113552994A (zh) * 2020-04-23 2021-10-26 华为技术有限公司 一种触控操作方法及设备
CN111651054A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 音效控制方法、装置、电子设备及存储介质
US11900046B2 (en) 2020-08-07 2024-02-13 Microsoft Technology Licensing, Llc Intelligent feature identification and presentation
KR20220067964A (ko) * 2020-11-18 2022-05-25 삼성전자주식회사 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
TWI780663B (zh) * 2021-04-16 2022-10-11 圓展科技股份有限公司 互動式觸控系統的操作判斷方法
CN113536008B (zh) * 2021-07-29 2024-04-26 珠海宇为科技有限公司 一种多场景交互的数据可视化系统及其工作方法
CN113696904B (zh) * 2021-08-27 2024-03-05 上海仙塔智能科技有限公司 基于手势控制车辆的处理方法、装置、设备与介质
CN114690731B (zh) * 2022-03-09 2024-05-24 青岛海尔科技有限公司 一种关联场景推荐方法、装置、存储介质及电子装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093820A1 (en) * 2009-10-19 2011-04-21 Microsoft Corporation Gesture personalization and profile roaming
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140218371A1 (en) * 2012-12-17 2014-08-07 Yangzhou Du Facial movement based avatar animation
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
US20150193107A1 (en) * 2014-01-09 2015-07-09 Microsoft Corporation Gesture library for natural user input
US20150212585A1 (en) * 2010-12-21 2015-07-30 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN105518575A (zh) * 2013-08-05 2016-04-20 微软技术许可有限责任公司 与自然用户界面的双手交互
CN105867626A (zh) * 2016-04-12 2016-08-17 京东方科技集团股份有限公司 头戴式虚拟现实设备及其控制方法、虚拟现实系统
CN105975072A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 识别手势动作的方法、装置及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
JP2013254251A (ja) * 2012-06-05 2013-12-19 Nec System Technologies Ltd ヘッドマウントディスプレイ装置、制御方法、及びプログラム
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US20140181758A1 (en) * 2012-12-20 2014-06-26 Research In Motion Limited System and Method for Displaying Characters Using Gestures
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
JP6094638B2 (ja) * 2015-07-10 2017-03-15 カシオ計算機株式会社 処理装置及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093820A1 (en) * 2009-10-19 2011-04-21 Microsoft Corporation Gesture personalization and profile roaming
US20150212585A1 (en) * 2010-12-21 2015-07-30 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140218371A1 (en) * 2012-12-17 2014-08-07 Yangzhou Du Facial movement based avatar animation
CN105518575A (zh) * 2013-08-05 2016-04-20 微软技术许可有限责任公司 与自然用户界面的双手交互
US20150193107A1 (en) * 2014-01-09 2015-07-09 Microsoft Corporation Gesture library for natural user input
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN105867626A (zh) * 2016-04-12 2016-08-17 京东方科技集团股份有限公司 头戴式虚拟现实设备及其控制方法、虚拟现实系统
CN105975072A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 识别手势动作的方法、装置及系统

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681402A (zh) * 2018-05-16 2018-10-19 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN108771864A (zh) * 2018-05-17 2018-11-09 东莞市华睿电子科技有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN108771864B (zh) * 2018-05-17 2021-08-10 北京热带雨林互动娱乐有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN108984238A (zh) * 2018-05-29 2018-12-11 北京五八信息技术有限公司 应用程序的手势处理方法、装置及电子设备
CN108763514A (zh) * 2018-05-30 2018-11-06 维沃移动通信有限公司 一种信息显示方法及移动终端
CN108763514B (zh) * 2018-05-30 2021-01-26 维沃移动通信有限公司 一种信息显示方法及移动终端
CN112925418A (zh) * 2018-08-02 2021-06-08 创新先进技术有限公司 一种人机交互方法和装置
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN109035421A (zh) * 2018-08-29 2018-12-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及存储介质
WO2020078319A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 基于手势的操控方法及终端设备
CN111045511A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 基于手势的操控方法及终端设备
CN111045511B (zh) * 2018-10-15 2022-06-07 华为技术有限公司 基于手势的操控方法及终端设备
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN110928411B (zh) * 2019-11-18 2021-03-26 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN110928411A (zh) * 2019-11-18 2020-03-27 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN111831120A (zh) * 2020-07-14 2020-10-27 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统
CN111831120B (zh) * 2020-07-14 2024-02-09 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统
CN112445340A (zh) * 2020-11-13 2021-03-05 杭州易现先进科技有限公司 Ar桌面互动方法、装置、电子设备及计算机存储介质
CN112286363A (zh) * 2020-11-19 2021-01-29 网易（杭州）网络有限公司 虚拟主体形态改变方法及装置、存储介质、电子设备
CN113064483A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种手势识别方法以及相关装置
WO2022193632A1 (zh) * 2021-03-16 2022-09-22 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113407031A (zh) * 2021-06-29 2021-09-17 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN113407031B (zh) * 2021-06-29 2023-04-18 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN113296653A (zh) * 2021-07-27 2021-08-24 阿里云计算有限公司 一种仿真交互模型构建方法、交互方法及相关设备
CN113296653B (zh) * 2021-07-27 2021-10-22 阿里云计算有限公司 一种仿真交互模型构建方法、交互方法及相关设备
CN113986111A (zh) * 2021-12-28 2022-01-28 北京亮亮视野科技有限公司 一种交互方法、装置、电子设备及存储介质
CN114679455A (zh) * 2022-03-27 2022-06-28 泰州市朗嘉馨网络科技有限公司 分布式云端服务系统

Also Published As

Publication number Publication date
TW201814445A (zh) 2018-04-16
EP3520082A4 (en) 2020-06-03
JP2019535055A (ja) 2019-12-05
US20180088677A1 (en) 2018-03-29
WO2018064047A1 (en) 2018-04-05
EP3520082A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
CN107885317A (zh) 一种基于手势的交互方法及装置
CN107885316A (zh) 一种基于手势的交互方法及装置
Zhang et al. Hierarchical feature fusion with mixed convolution attention for single image dehazing
CN112446919B (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
TW202038191A (zh) 活體檢測方法和裝置、電子設備及儲存介質
CN109345553A (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN109002820A (zh) 一种车牌识别方法、装置及相关设备
CN111079507B (zh) 一种行为识别方法及装置、计算机装置及可读存储介质
CN112465709B (zh) 一种图像增强方法、装置、存储介质及设备
CN109284735B (zh) 鼠情监控方法、装置及存储介质
CN107909638A (zh) 虚拟物体的渲染方法、介质、系统和电子设备
CN110321845A (zh) 一种从视频中提取表情包的方法、装置及电子设备
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
CN108304839A (zh) 一种图像数据处理方法以及装置
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN110287767A (zh) 可防攻击的活体检测方法、装置、计算机设备及存储介质
CN108573255A (zh) 文字合成图像的识别方法及装置、图像识别方法
CN110502959A (zh) 性别判断方法、装置、存储介质及电子设备
CN115082291A (zh) 图像亮度调整的方法、计算机程序产品、电子设备及介质
CN108197203A (zh) 一种门脸头图挑选方法、装置、服务器和存储介质
CN114360018A (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN109801224A (zh) 一种图片处理方法、装置、服务器和存储介质
CN108932703A (zh) 图片处理方法、图片处理装置及终端设备
CN113128411A (zh) 跨域抓取识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406