CN107885316A - 一种基于手势的交互方法及装置 - Google Patents

一种基于手势的交互方法及装置 Download PDF

Info

Publication number
CN107885316A
CN107885316A CN201610866360.9A CN201610866360A CN107885316A CN 107885316 A CN107885316 A CN 107885316A CN 201610866360 A CN201610866360 A CN 201610866360A CN 107885316 A CN107885316 A CN 107885316A
Authority
CN
China
Prior art keywords
gesture
virtual objects
application scenarios
virtual
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610866360.9A
Other languages
English (en)
Inventor
张磊
杜武平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610866360.9A priority Critical patent/CN107885316A/zh
Priority to TW106115502A priority patent/TWI742079B/zh
Priority to US15/695,980 priority patent/US20180088663A1/en
Priority to JP2019511905A priority patent/JP7137804B2/ja
Priority to EP17857168.3A priority patent/EP3519926A4/en
Priority to PCT/US2017/050325 priority patent/WO2018063759A1/en
Publication of CN107885316A publication Critical patent/CN107885316A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本申请公开了一种基于手势的交互方法及装置。本申请中，根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；显示所述虚拟对象；响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。从而在多应用场景下，自适应确定手势所关联的虚拟对象，使得手势与相应场景中的虚拟对象相匹配。

Description

一种基于手势的交互方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于手势的交互方法及装置。
背景技术
虚拟现实(Virtual Reality，简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。虚拟现实技术是仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合。虚拟现实技术可以根据的头部转动、眼睛、手势或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应。
增强现实(Augmented Reality，简称AR)技术通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
混合现实(Mix reality，简称MR)技术包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境中，物理和虚拟对象(也即数字对象)共存，并实时互动。
基于VR、AR或MR的技术中，一个应用中可能存在多种应用场景，相同用户手势在不同应用场景中需要操作的虚拟对象可能不同。目前，针对这种多场景应用，如何实现基于手势的交互，尚未有解决方案。
发明内容
本申请实施例提供了一种基于手势的交互方法及装置，用以实现多应用场景下的基于手势的交互。
本申请实施例提供的基于手势的交互方法，包括：
根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
显示所述虚拟对象；
响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
本申请实施例提供的另一种基于手势的交互方法，包括：
根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
显示所述虚拟对象；
响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
可选地，根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象，包括：获取所述第一应用场景下，手势与虚拟对象之间的映射关系；根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
本申请实施例提供的另一种基于手势的交互方法，包括：
接收第一手势；
显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
本申请实施例提供的一种基于手势的交互装置，包括：
确定模块，用于根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
显示模块，用于显示所述虚拟对象；
处理模块，用于响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
本申请实施例提供的另一种基于手势的交互装置，包括：
确定模块，用于根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
显示模块，用于显示所述虚拟对象；
处理模块，用于响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
本申请实施例提供的另一种基于手势的交互装置，包括：
接收模块，用于接收第一手势；
显示模块，用于显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
本申请实施例提供的一种基于手势的交互装置，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
通过所述显示器显示所述虚拟对象；
响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
本申请实施例提供的另一种基于手势的交互装置，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
通过所述显示器显示所述虚拟对象；
响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
本申请实施例提供的另一种基于手势的交互装置，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
接收第一手势；
通过所述显示器显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
本申请的上述实施例中，根据第一应用场景，确定第一应用场景下的手势所关联的虚拟对象，显示该虚拟对象，并可进一步响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作，从而在多应用场景下，自适应确定手势所关联的虚拟对象，使得手势与相应场景中的虚拟对象相匹配。
附图说明
图1为本申请实施例提供的基于手势的交互系统的功能架构框图；
图2为本申请实施例提供的基于手势的交互流程示意图；
图3为本申请实施例中手指与虚拟对象相应部位之间的关联关系示意图；
图4为本申请另外的实施例提供的基于手势的交互流程示意图；
图5为本申请另外的实施例提供的基于手势的交互流程示意图；
图6至图11分别为本申请实施例提供的基于手势的交互装置的结构示意图。
具体实施方式
本申请实施例提供了基于手势的交互方法。该方法可应用于多应用场景的VR、AR或MA应用中，或者适用于具有多应用场景的类似应用中。
在一些实施例中，一个多场景应用中存在多种应用场景，并可能在多种应用场景之间进行切换。比如，一个与运动相关的虚拟现实应用中包含多种运动场景：乒乓球双人比赛场景、羽毛球双人比赛场景等等，用户可在不同运动场景之间进行选择。再比如，一个模拟对抗的虚拟现实应用中包含多种对抗场景：手枪射击场景、近身格斗场景等等，根据用户的选择或者应用设置，可在不同对抗场景之间进行切换。在另一些实施例中，一个应用可能会调用另一个应用，因此存在多应用之间的切换，这种情况下，一个应用可对应一种应用场景。
应用场景可预先定义，也可由服务器设置。比如，对于一个多场景应用来说，该应用中的场景划分，可以在该应用的配置文件或该应用的代码中预定义，也可以由服务器进行设置，终端可将服务器所划分的场景的相关信息存储在该应用的配置文件中。应用场景的划分还可以在该应用的配置文件或该应用的代码中预定义，后续服务器可根据需要对该应用的场景进行重新划分并将重新划分的应用场景的相关信息发送给终端，从而提高多场景应用的灵活性。
本申请实施例中，针对不同的应用场景，可设置相应应用场景下的手势与虚拟对象的关联关系。其中，虚拟对象也可称为数字对象，是采用计算机技术生成的模拟对象，可被终端显示。
比如，对于上述与运动相关的虚拟现实应用，针对乒乓球双人比赛场景，用户手势与该场景下的参赛者手中的乒乓球球拍关联；针对羽毛球双人比赛场景，用户手势与该场景下的参赛者手中的羽毛球拍关联。再比如，对于上述模拟对抗的虚拟现实应用，针对手枪射击场景，用户手势与手枪关联；针对近身格斗场景，用户手势与刀关联。
相应应用场景下的手势与虚拟对象的关联关系可预先定义。比如，对于一个多场景应用来说，针对每个应用场景，可以在该应用的配置文件或该应用的代码中预定义手势与该应用场景下的虚拟对象之间的映射关系，该映射关系也可以由服务器进行设置，终端可将服务器设置的映射关系存储在该应用的配置文件中。该映射关系还可以在该应用的配置文件或该应用的代码中预定义，后续服务器可根据需要对该应用场景下的手势与虚拟对象之间的映射关系重新设置并可将重新设置的映射关系发送给终端，从而提高多场景应用的灵活性。
下面示例性地示出了几种应用场景下，手势与虚拟对象之间的映射关系：
-针对模拟切水果的VR应用，用户手势与“水果刀”关联。其中，“水果刀”是虚拟对象。当运行该VR应用时，终端可根据采集并识别出的用户手势，在该VR的应用界面中显示“水果刀”，且该“水果刀”可跟随用户手势进行运动，以产生切削界面中的水果的视觉效果；
-针对模拟控制木偶的VR应用，用户手势与“木偶”关联。其中“木偶”是虚拟对象。当运行该VR应用时，终端可根据采集并识别出的用户手势，控制该VR应用的界面中显示的“木偶”进行运动，比如，向不同方向运动。
为了更灵活和更精细地对“木偶”进行控制，进一步地，可将用户手部的所有或部分手指与“木偶”的相应部位进行关联。这样，终端可根据采集并识别出的用户手势中手指的运动或状态，控制该VR应用的界面中显示的“木偶”中的相应部分进行运动，比如，控制“木偶”的四肢进行运动，从而实现对虚拟对象更精细化的控制。
更进一步地，可将用户手部的所有或部分手指与“木偶”的相应部位进行关联。这样，终端可根据采集并识别出的用户手势中手指的运动或状态，控制该VR应用的界面中显示的“木偶”中的相应部分进行运动，比如，控制“木偶”的四肢进行运动，从而实现对虚拟对象更精细化的控制。
更进一步地，可将用户手部的手指关节与“木偶”的相应部位进行关联。这样，终端可根据采集并识别出的用户手势中手指关节的运动或状态，控制该VR应用的界面中显示的“木偶”中的相应部分进行运动，从而实现对虚拟对象更精细化的控制。
上述手指与手指关节也可以相互结合，与“木偶”的相应部位进行关联，比如有些部位与手指关联，另外一些部位与指关节关联。
-针对模拟对抗的VR应用，在手枪射击场景中，用户手势与“枪”关联，在近身格斗场景中，用户手势与“刀”关联。其中，“枪”和“刀”均为虚拟对象。这样，在不同应用场景下，可根据用户手势显示相关联的虚拟对象，并显示该虚拟对象在用户手势控制下的各种状态或运动。
进一步地，可将用户手部的手指关节与“枪”的相应部位进行关联。这样，终端可根据采集并识别出的用户手势中手指关节的运动或状态，控制“枪”的操作，比如扣动扳机，从而实现对虚拟对象更精细化的控制
-针对某些视频回放应用或社交应用等，用户手势与虚拟输入设备(比如虚拟键盘或虚拟鼠标)关联。更具体地，可将用户手部的手指关节与虚拟输入设备的相应部位关联，比如与虚拟鼠标的左键或右键关联，或者与虚拟键盘的各按键关联。这样，可根据用户手势对虚拟输入设备进行操作，并基于虚拟设备的操作进行响应。
针对另外一些应用场景，用户手势可以与多种虚拟对象关联，比如，不同的手指可关联相应的虚拟对象，或者不同的手指关节关联不同的虚拟对象。
本申请实施例中，运行多场景应用的终端，可以是任何能够运行该多场景应用的电子设备。该终端可包括用于采集手势的部件，用于基于应用场景确定该应用场景下的手势所关联的虚拟对象，并根据手势对所关联的虚拟对象进行操作的部件，用于显示的部件等。以运行虚拟现实应用的终端为例，用于采集手势的部件可以包括：红外摄像头，也可以包括各种传感器(如光学传感器、加速度计等等)；用于显示的部件可以显示虚拟现实场景图像、基于手势进行的响应操作结果等。当然，用于采集手势的部件、显示部件等，也可以不作为该终端的组成部分，而是作为外接部件与该终端连接。
下面结合附图对本申请实施例进行详细描述。
参见图1，为本申请实施例提供的基于手势的交互系统的功能架构框图。
如图所示，场景识别功能101用于对应用场景进行识别。手势识别功能102用于对用户手势进行识别，识别结果可包括手指和/或指关节的状态和运动等信息。自适应交互功能103可根据识别出的应用场景，通过查询手势与虚拟对象的映射关系104，确定出该应用场景下，用户手势所关联的虚拟对象，并根据手势识别结果，对该虚拟对象进行操作。显示处理功能105可根据自适应交互结果进行显示，比如显示虚拟对象在手势控制下的不同运动或不同状态。
上述交互式系统可由计算机程序实现，或者计算机程序结合硬件实现。具体来说，可由基于手势的交互装置实现，比如虚拟现实头戴装置。
基于上述功能架构框图，图2示例性地示出了本申请实施例提供的基于手势的交互流程。
参见图2，为本申请实施例提供的基于手势的交互流程示意图。该流程可在终端侧执行，具体可由上述交互系统实现。如图所示，该流程可包括如下步骤：
步骤201：根据第一应用场景，确定第一应用场景下的第一手势所关联的虚拟对象。
其中，“第一应用场景”仅出于描述方便，并不特指某一种或某一类应用场景。
具体实施时，可针对第一应用场景，获取该应用场景下，手势与虚拟对象之间的映射关系，根据该映射关系，确定第一应用场景下的第一手势所关联的虚拟对象。如前所述，该映射关系可以预定义，也可以由服务器设置。
该步骤中，可首先进行手势识别，然后根据识别出的第一手势所在的第一应用场景，确定第一应用场景下的手势所关联的虚拟对象。
本申请实施例支持多种采集用户的手势的方式。比如，可以采用红外摄像头采集图像，对采集到的图像进行手势识别，从而获得用户的手势。采用这种方式进行手势采集，可以对裸手手势进行采集。
其中，为了提高手势识别精度，可选地，可对红外摄像头采集到的图像进行预处理，以便去除噪声。具体地，对图像的预处理操作可包括但不限于：
-图像增强。若外部光照不足或太强，需要亮度增强，这样可以提高手势检测和识别精度。具体地，可采用以下方式进行亮度参数检测：计算视频帧的平均Y值，通过阈值T，若Y>T，则表明过亮，否则表明较暗。进一步地，可通过非线性算法进行Y增强，如Y’＝Y*a+b。
-图像二值化。图像二值化是指将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果；
-图像灰度化。在RGB(Red Green Blue，红绿蓝)模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。
-去噪声处理。将图像中的噪声点去除。
具体实施时，可根据手势精度要求以及性能要求(比如响应速度)，确定是否进行图像预处理，或者确定所采用的图像预处理方法。
在进行手势识别时，可使用手势分类模型进行手势识别。使用手势分类模型进行手势识别时，该模型的输入参数可以是红外摄像头采集到的图像(或者预处理后的图像)，输出参数可以是手势类型。该手势分类模型可基于支持向量机(Support Vector Machine，简称SVM)、卷积神经网络(Convolutional Neural Network，简称CNN)或DL等算法，通过学习方式获得。
在一些实施例中，为了实现对虚拟对象更精细地控制操作，可在进行手势识别时，识别用户手部指关节的状态，其中，不同指关节可对应于虚拟对象的不同部位。这样，在根据第一应用场景下的手势，对虚拟对象进行操作时，可根据第一应用场景下的手势中不同指关节的状态，对虚拟对象的相应部位进行操作。关节识别的具体方法可采用Kinect算法，通过手建模可以得到关节信息，从而进行关节识别。
步骤202：显示步骤201中确定出的虚拟对象。
该步骤中，在显示虚拟对象时，可根据第一手势当前的状态进行显示，具体可包括以下之一或任意组合：
-根据第一手势当前状态，确定虚拟对象的显示属性，并进行相应显示。其中，虚拟对象的显示属性可包括但不限于以下属性中的一种或多种：颜色、透明度、渐变效果；
-根据第一手势当前的状态，确定虚拟对象的形态，并进行相应显示。其中，虚拟对象的状态包括但不限于以下状态中的一种或多种：虚拟对象的长度、宽度、高度，虚拟对象的形状；
-根据第一手势当前的状态，确定虚拟对象的姿态，并进行相应显示。其中，虚拟对象的姿态包括但不限于以下中的一种或多种：仰角，转动角，偏转角；
-根据第一手势当前的状态，确定虚拟对象的空间位置，并进行相应显示。其中，虚拟对象的空间位置包括但不限于虚拟对象在当前应用场景画面中的景深。
其中，对于VR，可在当前虚拟的第一应用场景中显示步骤201中确定出的虚拟对象；对于AR，可在当前虚拟和真实场景相叠加的第一应用场景中显示步骤201中确定出的虚拟对象；对于MR，可在当前虚拟和真实场景相融合(结合)的第一应用场景中显示步骤201中确定出的虚拟对象。
步骤203：响应于接收到的第一手势操作，对步骤201确定出的虚拟对象执行该第一手势操作关联的操作。
可选地，可根据第一手势中的以下运动信息中的一种或任意组合，对虚拟对象进行操作：
-运动轨迹；
-运动速度；
-运动幅度；
-旋转角度
-手部状态；手部状态可包括整个手掌的状态、手指的状态、指关节的状态中的一种或多种。所述状态可包括姿态等参数，如手指是否弯曲，向哪个方向弯曲等。
以上仅示例性地示出了一些用于控制虚拟对象的手势运动信息，本申请实施例对使用手势控制虚拟对象的具体实现方式不作限制。
作为一个例子，以将图2所示的流程应用于上述模拟切水果的VR应用为例，该基于手势的交互过程可包括：
在步骤201中，VR应用运行，进入切水果场景，场景识别功能识别出该场景的类型。自适应交互功能根据识别的应用场景查询该应用场景下的手势与虚拟对象的映射关系，得到该应用场景下的手势所关联的虚拟对象为“水果刀”。
在步骤202中，在当前虚拟现实场景中显示水果刀。
在步骤203中，在该应用场景下，用户挥动手部，做出切水果的手势，手势识别功能对用户手势进行识别，得到手势相关参数。所述手势相关参数可包括整个手掌的状态(如掌心朝向)、运动速度、运动幅度、运动轨迹，旋转角度等。自适应交互功能根据识别出的手势，对与该手势关联的虚拟对象“水果刀”进行操作，使“水果刀”能够按照手势的运动而运动，实现切水果的效果。比如，可根据掌心朝向确定水果刀刀刃一侧的朝向，根据运行轨迹确定水果刀的运动轨迹，根据运动速度和运动幅度确定水果刀切削水果的力度等。
作为另一个例子，以将图2所示的流程应用于上述模拟控制木偶的VR应用为例，该基于手势的交互过程可包括：
在步骤201中，VR应用运行，进入木偶控制场景，场景识别功能识别出该场景的类型。自适应交互功能根据识别的应用场景查询该应用场景下的手势与虚拟对象的映射关系，得到该应用场景下的手势所关联的虚拟对象为“木偶”。
在步骤202中，在当前虚拟现实场景中，显示上述“木偶”。
在步骤203中，在该应用场景下，用户运动各手指，做出控制木偶的手势，手势识别功能对用户手势进行识别，得到手势相关参数。所述手势相关参数可包括整个手部以及每个手指和指关节的相关参数，这些参数可包括运动速度、运动幅度、运动轨迹，旋转角度等。自适应交互功能根据识别出的手势，对与该手势关联的虚拟对象“木偶”进行操作，使“木偶”的不同部位能够按照手势中各手指的运动而运动，实现木偶运动的效果。
图3示例性地示出了一种不同手指与“木偶”的不同部位之间的关联关系。其中，手指1、手指2、手指3、手指5分别与“木偶”的四肢关联，手指4与“木偶”的头部关联。不同手指的状态或动作会导致“木偶”相应部位的运动或状态的改变。
基于上述功能架构框图，图4示例性地示出了本申请另外的实施例提供的基于手势的交互流程。
参见图4，为本申请实施例提供的基于手势的交互流程示意图。该流程可在终端侧执行，具体可由上述交互系统实现。如图所示，该流程可包括如下步骤：
步骤401：根据第一应用场景，确定第一应用场景下的手势所关联的虚拟对象。
该步骤中，可首先获取第一应用场景下，手势与虚拟对象之间的映射关系，然后根据该映射关系，确定第一应用场景下的第一手势所关联的虚拟对象。其中，该映射关系可以是预定义的，也可以是服务器设置的。进一步地，在步骤401之前，可首先进行手势识别。上述步骤的具体实现方式可参见前述实施例，在此不再重复。
步骤402：显示该虚拟对象。
该步骤中，在显示虚拟对象时，可根据第一手势当前的状态进行显示，具体可包括以下之一或任意组合：
-根据第一手势当前状态，确定虚拟对象的显示属性，并进行相应显示。其中，虚拟对象的显示属性可包括但不限于以下属性中的一种或多种：颜色、透明度、渐变效果；
-根据第一手势当前的状态，确定虚拟对象的形态，并进行相应显示。其中，虚拟对象的状态包括但不限于以下状态中的一种或多种：虚拟对象的长度、宽度、高度，虚拟对象的形状；
-根据第一手势当前的状态，确定虚拟对象的姿态，并进行相应显示。其中，虚拟对象的姿态包括但不限于以下中的一种或多种：仰角，转动角，偏转角；
-根据第一手势当前的状态，确定虚拟对象的空间位置，并进行相应显示。其中，虚拟对象的空间位置包括但不限于虚拟对象在当前应用场景画面中的景深。
步骤403：响应于接收到的第一手势操作，改变该虚拟对象的显示方式。
该步骤中，可响应于第一手势操作，改变虚拟对象的以下显示方式中的一种或多种：
-改变虚拟对象的显示属性，其中，显示属性的定义可参见前述描述；
-改变虚拟对象的形态，其中，虚拟对象的形态的定义，可参见前述描述；
-改变虚拟对象的姿态，其中，虚拟对象的姿态的定义，可参见前述描述；
-改变虚拟对象的空间位置，其中，空间位置的定义可参见前述描述。
进一步地，第一手势所关联的虚拟对象可以是一个也可以是多个。如果是多个，则用户手部不同部位可关联相应的虚拟对象，相应地，在步骤403中，可响应于接收到的第一手势操作中用户手部部位的状态，改变相应虚拟对象的显示方式。其中，用户手部的不同部位，包括以下之一或任意组合：用户手部的不同手指，用户手部的不同指关节。
基于上述功能架构框图，图5示例性地示出了本申请另外的实施例提供的基于手势的交互流程。
参见图5，为本申请实施例提供的基于手势的交互流程示意图。该流程可在终端侧执行，具体可由上述交互系统实现。如图所示，该流程可包括如下步骤：
步骤501：接收第一手势。
该步骤中，所接收到的手势可以是通过采集手势的部件采集得到的。其中采集手势的部件可包括但不限于：红外摄像头，各种传感器(如光学传感器、加速度计等等)。
进一步地，在步骤501之前，可首先进行手势识别。
进一步地，在接收到第一手势之后，可获取第一应用场景下，手势与虚拟对象之间的映射关系，然后根据该映射关系，确定第一应用场景下的第一手势所关联的虚拟对象。其中，该映射关系可以是预定义的，也可以是服务器设置的。上述步骤的具体实现方式可参见前述实施例，在此不再重复。
步骤502：显示第一手势在当前场景下关联的虚拟对象，其中，该虚拟对象的显示状态与该第一手势关联。
该步骤中，在显示虚拟对象时，可根据第一手势当前的状态进行显示，具体可包括以下之一或任意组合：
-根据第一手势当前状态，确定虚拟对象的显示属性，并进行相应显示。其中，虚拟对象的显示属性可包括但不限于以下属性中的一种或多种：颜色、透明度、渐变效果；
-根据第一手势当前的状态，确定虚拟对象的形态，并进行相应显示。其中，虚拟对象的状态包括但不限于以下状态中的一种或多种：虚拟对象的长度、宽度、高度，虚拟对象的形状；
-根据第一手势当前的状态，确定虚拟对象的姿态，并进行相应显示。其中，虚拟对象的姿态包括但不限于以下中的一种或多种：仰角，转动角，偏转角；
-根据第一手势当前的状态，确定虚拟对象的空间位置，并进行相应显示。其中，虚拟对象的空间位置包括但不限于虚拟对象在当前应用场景画面中的景深。
其中，上述第一手势的不同状态与虚拟对象的显示方式之间的对应关系，可以预先定义，也可以通过服务器设置。
进一步地，第一手势所关联的虚拟对象可以是一个也可以是多个。如果是多个，则用户手部不同部位可关联相应的虚拟对象，其中，用户手部的不同部位，包括以下之一或任意组合：用户手部的不同手指，用户手部的不同指关节。
通过上述描述可以看出，根据第一应用场景，确定第一应用场景下的手势所关联的虚拟对象，根据第一应用场景下的第一手势操作进行响应，从而对该虚拟对象进行相应的操作，从而在多应用场景下，自适应确定手势所关联的虚拟对象，使得手势与相应场景中的虚拟对象相匹配。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图6，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：确定模块601、显示模块602、处理模块603，其中：
确定模块601，用于根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
显示模块602，用于显示所述虚拟对象；
处理模块603，用于响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
可选地，确定模块601可具体用于：获取所述第一应用场景下，手势与虚拟对象之间的映射关系；根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
可选地，显示模块602可具体用于执行以下操作之一或任意组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
可选地，第一手势所关联的虚拟对象为一个或多个；第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象。相应地，处理模块603可具体用于：响应于接收到的第一手势操作中用户手部部位的状态，对相应虚拟对象执行所述第一手势操作关联的操作。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图7，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：确定模块701、显示模块702、处理模块703，其中：
确定模块701，用于根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
显示模块702，用于显示所述虚拟对象；
处理模块703，用于响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
可选地，确定模块701可具体用于：获取所述第一应用场景下，手势与虚拟对象之间的映射关系；根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
可选地，显示模块702可具体用于执行以下操作之一或任意组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
可选地，第一手势所关联的虚拟对象为一个或多个，第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象，相应地，处理模块703可具体用于：响应于接收到的第一手势操作中用户手部部位的状态，改变相应虚拟对象的显示方式。
可选地，处理模块703可具体用于：执行以下操作之一或任意组合：
改变所述虚拟对象的显示属性；
改变所述虚拟对象的形态；
改变所述虚拟对象的姿态；
改变所述虚拟对象的空间位置。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图8，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置可包括：接收模块801、显示模块8，进一步地，还可包括确定模块803，其中：
接收模块801，用于接收第一手势；
显示模块802，用于显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
可选地，确定模块803可用于在接收第一手势之后，获取所述第一应用场景下，手势与虚拟对象之间的映射关系，根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
可选地，显示模块802可具体用于：执行以下操作之一或任何组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
可选地，所述第一手势所关联的虚拟对象为一个或多个；所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图9，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置中可包括：处理器901，存储器902、显示器903。
其中，处理器901可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器902具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。
处理器901与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器901代表的一个或多个处理器和存储器1002代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器901负责管理总线架构和通常的处理，存储器902可以存储处理器901在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器901中，或者由处理器901实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器901，耦合到存储器902，用于读取存储器902存储的计算机程序指令，并作为响应，执行如下操作：根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；通过显示器903显示所述虚拟对象；响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。上述流程的具体实现过程，可参见前述实施例的描述，在此不再重复。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图10，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置中可包括：处理器1001，存储器1002、显示器1003。
其中，处理器1001可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器1002具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。
处理器1001与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器1001代表的一个或多个处理器和存储器1002代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1001负责管理总线架构和通常的处理，存储器1002可以存储处理器1001在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器1001中，或者由处理器1001实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器1001，耦合到存储器1002，用于读取存储器1002存储的计算机程序指令，并作为响应，执行如下操作：根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；通过显示器1003显示所述虚拟对象；响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。上述流程的具体实现过程，可参见前述实施例的描述，在此不再重复。
基于相同的技术构思，本申请实施例还提供了一种基于手势的交互装置，该装置可实现前述实施例描述的基于手势的交互流程。比如该装置可以是用于虚拟现实、增强现实或混合现实的装置。
参见图11，为本申请实施例提供的基于手势的交互装置的结构示意图。该装置中可包括：处理器1101，存储器1102、显示器1103。
其中，处理器1101可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器1102具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。
处理器1101与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器1101代表的一个或多个处理器和存储器1102代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1101负责管理总线架构和通常的处理，存储器1102可以存储处理器1101在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器1001中，或者由处理器1101实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器1101，耦合到存储器1102，用于读取存储器1102存储的计算机程序指令，并作为响应，执行如下操作：接收第一手势；通过显示器1103显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。上述流程的具体实现过程，可参见前述实施例的描述，在此不再重复。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (47)

1.一种基于手势的交互方法，其特征在于，包括：
根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
显示所述虚拟对象；
响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
2.如权利要求1所述的方法，其特征在于，根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象，包括：
获取所述第一应用场景下，手势与虚拟对象之间的映射关系；
根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
3.如权利要求2所述的方法，其特征在于，所述映射关系是预定义的，或者是服务器设置的。
4.如权利要求1至3中任一项所述的方法，其特征在于，确定所述第一应用场景下的第一手势所关联的虚拟对象之前，还包括：进行手势识别。
5.如权利要求4所述的方法，其特征在于，进行手势识别，包括：
识别用户手部指关节的状态，其中，不同指关节对应于虚拟对象的不同部位；
响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作，包括：
响应于接收到的第一手势操作中用户手部指关节的状态，对所述虚拟对象的相应部位执行所述第一手势操作关联的操作。
6.如权利要求1所述的方法，其特征在于，显示所述虚拟对象，包括执行以下之一或任意组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
7.如权利要求1所述的方法，其特征在于，所述第一手势所关联的虚拟对象为一个或多个。
8.如权利要求7所述的方法，其特征在于，所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象；
响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作，包括：
响应于接收到的第一手势操作中用户手部部位的状态，对相应虚拟对象执行所述第一手势操作关联的操作。
9.如权利要求8所述的方法，其特征在于，所述用户手部的不同部位，包括以下之一或任意组合：
用户手部的不同手指；
用户手部的不同指关节。
10.如权利要求1所述的方法，其特征在于，响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作，包括：
根据所述第一手势操作中的以下运动信息中的一种或任意组合，对所述虚拟对象进行操作：运动轨迹、运动速度、运动幅度、旋转角度、手部状态。
11.如权利要求1所述的方法，其特征在于，所述应用场景包括：
虚拟现实VR应用场景；或者
增强现实AR应用场景；或者
混合现实MR应用场景。
12.如权利要求1所述的方法，其特征在于，一个应用中包含一个或多个应用场景。
13.一种基于手势的交互方法，其特征在于，包括：
根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
显示所述虚拟对象；
响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
14.如权利要求13所述的方法，其特征在于，根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象，包括：
获取所述第一应用场景下，手势与虚拟对象之间的映射关系；
根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
15.如权利要求14所述的方法，其特征在于，所述映射关系是预定义的，或者是服务器设置的。
16.如权利要求13至15中任一项所述的方法，其特征在于，确定所述第一应用场景下的第一手势所关联的虚拟对象之前，识别用户手部指关节的状态，其中，不同指关节对应于虚拟对象的不同部位；
响应于接收到的第一手势操作，改变所述虚拟对象的显示方式，包括：
响应于接收到的第一手势操作中用户手部指关节的状态，改变所述虚拟对象的相应部位的显示方式。
17.如权利要求13所述的方法，其特征在于，显示所述虚拟对象，包括执行以下操作之一或任意组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
18.如权利要求13所述的方法，其特征在于，所述第一手势所关联的虚拟对象为一个或多个。
19.如权利要求18所述的方法，其特征在于，所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象；
响应于接收到的第一手势操作，改变所述虚拟对象的显示方式，包括：
响应于接收到的第一手势操作中用户手部部位的状态，改变相应虚拟对象的显示方式。
20.如权利要求19所述的方法，其特征在于，所述用户手部的不同部位，包括以下之一或任意组合：
用户手部的不同手指；
用户手部的不同指关节。
21.如权利要求13至20中任一项所述的方法，其特征在于，改变所述虚拟对象的显示方式，包括以下之一或任意组合：
改变所述虚拟对象的显示属性；
改变所述虚拟对象的形态；
改变所述虚拟对象的姿态；
改变所述虚拟对象的空间位置。
22.如权利要求13所述的方法，其特征在于，所述应用场景包括：
虚拟现实VR应用场景；或者
增强现实AR应用场景；或者
混合现实MR应用场景。
23.如权利要求13所述的方法，其特征在于，一个应用中包含一个或多个应用场景。
24.一种基于手势的交互方法，其特征在于，包括：
接收第一手势；
显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
25.如权利要求24所述的方法，其特征在于，接收第一手势之后，还包括：
获取所述第一应用场景下，手势与虚拟对象之间的映射关系；
根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
26.如权利要求25所述的方法，其特征在于，所述映射关系是预定义的，或者是服务器设置的。
27.如权利要求24所述的方法，其特征在于，显示所述第一手势在当前场景下关联的虚拟对象，包括以下之一或任何组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
28.如权利要求24所述的方法，其特征在于，所述第一手势所关联的虚拟对象为一个或多个。
29.如权利要求28所述的方法，其特征在于，所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象。
30.如权利要求24所述的方法，其特征在于，所述应用场景包括：
虚拟现实VR应用场景；或者
增强现实AR应用场景；或者
混合现实MR应用场景。
31.如权利要求24所述的方法，其特征在于，一个应用中包含一个或多个应用场景。
32.一种基于手势的交互装置，其特征在于，包括：
确定模块，用于根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
显示模块，用于显示所述虚拟对象；
处理模块，用于响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
33.如权利要求32所述的装置，其特征在于，所述确定模块具体用于：
获取所述第一应用场景下，手势与虚拟对象之间的映射关系；
根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
34.如权利要求32所述的装置，其特征在于，所述显示模块具体用于执行以下操作之一或任意组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
35.如权利要求32所述的装置，其特征在于，所述第一手势所关联的虚拟对象为一个或多个；所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象；
所述处理模块具体用于：响应于接收到的第一手势操作中用户手部部位的状态，对相应虚拟对象执行所述第一手势操作关联的操作。
36.一种基于手势的交互装置，其特征在于，包括：
确定模块，用于根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
显示模块，用于显示所述虚拟对象；
处理模块，用于响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
37.如权利要求36所述的装置，其特征在于，所述确定模块具体用于：
获取所述第一应用场景下，手势与虚拟对象之间的映射关系；
根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
38.如权利要求36所述的装置，其特征在于，所述显示模块具体用于执行以下操作之一或任意组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
39.如权利要求36所述的装置，其特征在于，所述第一手势所关联的虚拟对象为一个或多个，所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象；
所述处理模块具体用于：响应于接收到的第一手势操作中用户手部部位的状态，改变相应虚拟对象的显示方式。
40.如权利要求36至39中任一项所述的装置，其特征在于，所述处理模块具体用于：执行以下操作之一或任意组合：
改变所述虚拟对象的显示属性；
改变所述虚拟对象的形态；
改变所述虚拟对象的姿态；
改变所述虚拟对象的空间位置。
41.一种基于手势的交互装置，其特征在于，包括：
接收模块，用于接收第一手势；
显示模块，用于显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
42.如权利要求41所述的装置，其特征在于，还包括：
确定模块，用于在接收第一手势之后，获取所述第一应用场景下，手势与虚拟对象之间的映射关系，根据所述映射关系，确定所述第一应用场景下的所述第一手势所关联的虚拟对象。
43.如权利要求41所述的装置，其特征在于，所述显示模块具体用于：执行以下操作之一或任何组合：
根据所述第一手势，确定所述虚拟对象的显示属性并进行相应显示；
根据所述第一手势，确定所述虚拟对象的形态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的姿态并进行相应显示；
根据所述第一手势，确定所述虚拟对象的空间位置并进行相应显示。
44.如权利要求36所述的装置，其特征在于，所述第一手势所关联的虚拟对象为一个或多个；所述第一手势所关联的虚拟对象为多个时，用户手部不同部位关联相应的虚拟对象。
45.一种基于手势的交互装置，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
根据第一应用场景，确定所述第一应用场景下的第一手势所关联的虚拟对象；
通过所述显示器显示所述虚拟对象；
响应于接收到的第一手势操作，对所述虚拟对象执行所述第一手势操作关联的操作。
46.一种基于手势的交互装置，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
根据第一应用场景，确定所述第一应用场景下的手势所关联的虚拟对象；
通过所述显示器显示所述虚拟对象；
响应于接收到的第一手势操作，改变所述虚拟对象的显示方式。
47.一种基于手势的交互装置，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如下操作：
接收第一手势；
通过所述显示器显示所述第一手势在当前场景下关联的虚拟对象，其中，所述虚拟对象的显示状态与所述第一手势关联。
CN201610866360.9A 2016-09-29 2016-09-29 一种基于手势的交互方法及装置 Pending CN107885316A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610866360.9A CN107885316A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置
TW106115502A TWI742079B (zh) 2016-09-29 2017-05-10 基於手勢的互動方法及裝置
US15/695,980 US20180088663A1 (en) 2016-09-29 2017-09-05 Method and system for gesture-based interactions
JP2019511905A JP7137804B2 (ja) 2016-09-29 2017-09-06 ジェスチャベースインタラクションのための方法およびシステム
EP17857168.3A EP3519926A4 (en) 2016-09-29 2017-09-06 METHOD AND SYSTEM FOR GESTURE-BASED INTERACTIONS
PCT/US2017/050325 WO2018063759A1 (en) 2016-09-29 2017-09-06 Method and system for gesture-based interactions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610866360.9A CN107885316A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置

Publications (1)

Publication Number Publication Date
CN107885316A true CN107885316A (zh) 2018-04-06

Family

ID=61687907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866360.9A Pending CN107885316A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置

Country Status (6)

Country Link
US (1) US20180088663A1 (zh)
EP (1) EP3519926A4 (zh)
JP (1) JP7137804B2 (zh)
CN (1) CN107885316A (zh)
TW (1) TWI742079B (zh)
WO (1) WO2018063759A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958475A (zh) * 2018-06-06 2018-12-07 阿里巴巴集团控股有限公司 虚拟对象控制方法、装置及设备
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN109524853A (zh) * 2018-10-23 2019-03-26 珠海市杰理科技股份有限公司 手势识别插座和插座控制方法
CN109685910A (zh) * 2018-11-16 2019-04-26 成都生活家网络科技有限公司 基于vr的房间布景设置方法、装置及vr穿戴设备
CN109710075A (zh) * 2018-12-29 2019-05-03 北京诺亦腾科技有限公司 一种在vr场景中显示内容的方法及装置
CN109741459A (zh) * 2018-11-16 2019-05-10 成都生活家网络科技有限公司 基于vr的房间布景设置方法及装置
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110908581A (zh) * 2019-11-20 2020-03-24 网易（杭州）网络有限公司 手势识别的方法及装置、计算机存储介质、电子设备
CN110941974A (zh) * 2018-09-21 2020-03-31 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110947182A (zh) * 2019-11-26 2020-04-03 上海米哈游网络科技股份有限公司 事件应对方法、装置、游戏终端及介质
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN111627097A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN112121406A (zh) * 2020-09-22 2020-12-25 北京完美赤金科技有限公司 对象的控制方法和装置、存储介质、电子装置
CN112488954A (zh) * 2020-12-07 2021-03-12 江苏理工学院 基于图像灰度级的自适应图像增强的方法及装置
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113325954A (zh) * 2021-05-27 2021-08-31 百度在线网络技术（北京）有限公司 用于处理虚拟对象的方法、装置、设备、介质和产品
CN114115536A (zh) * 2021-11-22 2022-03-01 北京字节跳动网络技术有限公司 一种交互方法、装置、电子设备和存储介质
WO2024032517A1 (zh) * 2022-08-10 2024-02-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446073A (zh) * 2018-03-12 2018-08-24 阿里巴巴集团控股有限公司 一种利用手势模拟鼠标操作的方法、装置及终端
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
CN108984238B (zh) * 2018-05-29 2021-11-09 北京五八信息技术有限公司 应用程序的手势处理方法、装置及电子设备
US10635895B2 (en) * 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11328211B2 (en) * 2018-07-06 2022-05-10 Facebook Technologies, Llc Delimitation in unsupervised classification of gestures
CN112925418A (zh) * 2018-08-02 2021-06-08 创新先进技术有限公司 一种人机交互方法和装置
JP2020113094A (ja) * 2019-01-15 2020-07-27 株式会社シーエスレポーターズ 拡張現実空間に配置される３ｄオブジェクトを生成する方法
DE102019125348A1 (de) * 2019-09-20 2021-03-25 365FarmNet Group GmbH & Co. KG Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit
US20210201581A1 (en) * 2019-12-30 2021-07-01 Intuit Inc. Methods and systems to create a controller in an augmented reality (ar) environment using any physical object
CN111340962B (zh) * 2020-02-24 2023-08-15 维沃移动通信有限公司 控制方法、电子设备及存储介质
CN111773668A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种动画播放方法和装置
US11360733B2 (en) * 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
TWI797956B (zh) * 2022-01-13 2023-04-01 國立勤益科技大學 手部辨識裝置控制系統
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
CN115309271B (zh) * 2022-09-29 2023-03-21 南方科技大学 基于混合现实的信息展示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053464A1 (en) * 1998-04-13 1999-10-21 Intel Corporation Computer assisted interactive entertainment/educational character goods
CN105334959A (zh) * 2015-10-22 2016-02-17 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制系统和方法
CN105975158A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟现实交互的方法及装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
CN102478960B (zh) * 2010-11-29 2015-11-18 国际商业机器公司 人机交互设备以及将该设备用于虚拟世界的装置和方法
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140085625A1 (en) * 2012-09-26 2014-03-27 Abdelrehim Ahmed Skin and other surface classification using albedo
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
TWI544367B (zh) * 2013-01-29 2016-08-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
US20140245192A1 (en) * 2013-02-26 2014-08-28 Avaya Inc. Portable and context sensitive avatar methods and systems
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
KR102077108B1 (ko) * 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
WO2015153739A1 (en) * 2014-04-01 2015-10-08 University Of South Florida Systems and methods for planning a robot grasp based upon a demonstrated grasp
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
JP2017099686A (ja) * 2015-12-02 2017-06-08 株式会社ブリリアントサービス ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053464A1 (en) * 1998-04-13 1999-10-21 Intel Corporation Computer assisted interactive entertainment/educational character goods
CN105334959A (zh) * 2015-10-22 2016-02-17 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制系统和方法
CN105975158A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟现实交互的方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958475A (zh) * 2018-06-06 2018-12-07 阿里巴巴集团控股有限公司 虚拟对象控制方法、装置及设备
CN109032358B (zh) * 2018-08-27 2023-04-07 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN110941974A (zh) * 2018-09-21 2020-03-31 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110941974B (zh) * 2018-09-21 2021-07-20 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN109524853A (zh) * 2018-10-23 2019-03-26 珠海市杰理科技股份有限公司 手势识别插座和插座控制方法
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN109741459A (zh) * 2018-11-16 2019-05-10 成都生活家网络科技有限公司 基于vr的房间布景设置方法及装置
CN109685910A (zh) * 2018-11-16 2019-04-26 成都生活家网络科技有限公司 基于vr的房间布景设置方法、装置及vr穿戴设备
CN109710075B (zh) * 2018-12-29 2021-02-09 北京诺亦腾科技有限公司 一种在vr场景中显示内容的方法及装置
CN109710075A (zh) * 2018-12-29 2019-05-03 北京诺亦腾科技有限公司 一种在vr场景中显示内容的方法及装置
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110908581A (zh) * 2019-11-20 2020-03-24 网易（杭州）网络有限公司 手势识别的方法及装置、计算机存储介质、电子设备
CN110908581B (zh) * 2019-11-20 2021-04-23 网易（杭州）网络有限公司 手势识别的方法及装置、计算机存储介质、电子设备
CN110947182A (zh) * 2019-11-26 2020-04-03 上海米哈游网络科技股份有限公司 事件应对方法、装置、游戏终端及介质
CN110947182B (zh) * 2019-11-26 2024-02-02 上海米哈游网络科技股份有限公司 事件应对方法、装置、游戏终端及介质
CN111627097A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN112121406A (zh) * 2020-09-22 2020-12-25 北京完美赤金科技有限公司 对象的控制方法和装置、存储介质、电子装置
CN112488954B (zh) * 2020-12-07 2023-09-22 江苏理工学院 基于图像灰度级的自适应图像增强的方法及装置
CN112488954A (zh) * 2020-12-07 2021-03-12 江苏理工学院 基于图像灰度级的自适应图像增强的方法及装置
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113325954A (zh) * 2021-05-27 2021-08-31 百度在线网络技术（北京）有限公司 用于处理虚拟对象的方法、装置、设备、介质和产品
CN114115536A (zh) * 2021-11-22 2022-03-01 北京字节跳动网络技术有限公司 一种交互方法、装置、电子设备和存储介质
WO2024032517A1 (zh) * 2022-08-10 2024-02-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JP2019537763A (ja) 2019-12-26
JP7137804B2 (ja) 2022-09-15
TWI742079B (zh) 2021-10-11
EP3519926A4 (en) 2020-05-27
TW201814435A (zh) 2018-04-16
US20180088663A1 (en) 2018-03-29
WO2018063759A1 (en) 2018-04-05
EP3519926A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
CN107885316A (zh) 一种基于手势的交互方法及装置
CN107885317A (zh) 一种基于手势的交互方法及装置
CN109815881A (zh) 行为识别模型的训练方法、行为识别方法、装置及设备
CN108229277A (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
CN106997236A (zh) 基于多模态输入进行交互的方法和设备
TW202038191A (zh) 活體檢測方法和裝置、電子設備及儲存介質
CN109816773A (zh) 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备
CN109847366B (zh) 用于游戏的数据处理方法和装置
CN108647634A (zh) 图像边框查找方法、装置、计算机设备及存储介质
CN111667420B (zh) 图像处理方法及装置
EP3540574A1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN109821239A (zh) 体感游戏的实现方法、装置、设备及存储介质
CN112232164A (zh) 一种视频分类方法和装置
KR101916675B1 (ko) 사용자 인터랙션을 위한 제스처 인식 방법 및 시스템
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN110251942A (zh) 控制游戏场景中虚拟角色的方法及装置
CN105975072A (zh) 识别手势动作的方法、装置及系统
CN109740567A (zh) 关键点定位模型训练方法、定位方法、装置及设备
CN113370217A (zh) 基于深度学习的物体姿态识别和抓取的智能机器人的方法
Ku et al. A virtual sign language translator on smartphones
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN114360018A (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN113975812A (zh) 游戏图像的处理方法、装置、设备及存储介质
CN109981967A (zh) 用于智能机器人的拍摄方法、装置、终端设备及介质
WO2023078272A1 (zh) 虚拟对象显示方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406

RJ01 Rejection of invention patent application after publication