CN104571510A - 一种3d场景中输入手势的系统和方法 - Google Patents

一种3d场景中输入手势的系统和方法 Download PDF

Info

Publication number
CN104571510A
CN104571510A CN201410842158.3A CN201410842158A CN104571510A CN 104571510 A CN104571510 A CN 104571510A CN 201410842158 A CN201410842158 A CN 201410842158A CN 104571510 A CN104571510 A CN 104571510A
Authority
CN
China
Prior art keywords
gesture
shape
information
real
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410842158.3A
Other languages
English (en)
Other versions
CN104571510B (zh
Inventor
姜茂山
徐国庆
周宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Qingdao Goertek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Co Ltd filed Critical Qingdao Goertek Co Ltd
Priority to CN201410842158.3A priority Critical patent/CN104571510B/zh
Publication of CN104571510A publication Critical patent/CN104571510A/zh
Priority to US15/313,472 priority patent/US10466798B2/en
Priority to PCT/CN2015/090531 priority patent/WO2016107231A1/zh
Priority to JP2017509021A priority patent/JP6259545B2/ja
Priority to US15/808,151 priority patent/US10482670B2/en
Application granted granted Critical
Publication of CN104571510B publication Critical patent/CN104571510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种3D场景中输入手势的系统和方法，所述系统包括用于分别对用户的手势实时采集至少两路视频流数据的手势采集单元；用于从所述至少两路视频流数据中识别出实时变化的手势形状的手势识别单元；用于解析所述实时变化的手势形状，获得对应的手势动作的手势解析单元；用于将所述手势动作处理成3D图像实时显示在所述3D场景中的手势显示单元。本发明的技术方案能够在3D场景中实时显示用户的真实手势，增强系统的真实效果，以及提高用户使用体验。

Description

一种3D场景中输入手势的系统和方法
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种3D场景中输入手势的系统和方法。
背景技术
虚拟现实技术未来将会发展成为一种改变人们生活方式的新突破，目前，虚拟现实技术如何在虚拟世界中与目标进行互动是虚拟现实技术所面临的巨大挑战，因此虚拟现实技术想要真正进入消费级市场还有一段很长的路要走。
当前已有的各种虚拟现实装备依然阻挡着用户和虚拟世界之间的交流，在3D场景中并不能追踪身体的相关部位，比如用户的手部动作现在就无法真正模拟。
发明内容
本发明提供了一种3D场景中输入手势的系统和方法，以解决现有技术在3D场景中无法真正模拟用户手部动作的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一方面，本发明提供了一种3D场景中输入手势的系统，所述系统包括：手势采集单元、手势识别单元、手势解析单元和手势显示单元；
所述手势采集单元，用于分别对用户的手势实时采集至少两路视频流数据；
所述手势识别单元，用于从所述至少两路视频流数据中识别出实时变化的手势形状；
所述手势解析单元，用于解析所述实时变化的手势形状，获得对应的手势动作；
所述手势显示单元，用于将所述手势动作处理成3D图像实时显示在所述3D场景中。
优选地，所述系统还包括手势操作单元，
所述手势操作单元，用于在预先设定的语义数据库中获得所述手势动作的手势语义和该手势语义对应的操作指令；以及将所述手势语义对应的操作指令发送给所述3D场景，使所述3D场景进行所述手势语义的操作。
优选地，所述手势识别单元包括：
采样模块，用于对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
手势轮廓提取模块，用于判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息；
手势形状识别模块，用于在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状；
手势形状合成模块，用于合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。
优选地，所述手势解析单元包括：
位置信息获取模块，用于获得实时变化的手势形状的相对空间位置信息；
触点信息获取模块，用于根据实时变化的手势形状上确定出的触点，获得所述实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点；
手势动作获取模块，用于根据所述相对空间位置信息和所述触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。
进一步优选地，所述位置信息获取模块具体用于，
从所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；
根据所述手势形状变化的角度信息获得用户手势的距离信息，或者通过距离传感器实时感应用户手势的距离信息；
根据所述手势形状变化的角度信息和所述用户手势的距离信息获得用户手势的相对空间位置信息。
另一方面，本发明提供了一种3D场景中输入手势的方法，所述方法包括：
对用户的手势实时采集至少两路视频流数据；
从所述至少两路视频流数据中识别出实时变化的手势形状；
解析所述实时变化的手势形状，获得对应的手势动作；
将所述手势动作处理成3D图像实时显示在所述3D场景中。
优选地，所述方法还包括：
在预先设定的语义数据库中获得所述手势动作的手势语义和该手势语义对应的操作指令；
将所述手势语义对应的操作指令发送给所述3D场景，使所述3D场景进行所述手势语义的操作。
优选地，所述从所述至少两路视频流数据中识别出实时变化的手势形状包括：
对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息；
在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状；
合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。
优选地，所述解析所述实时变化的手势形状，获得对应的手势动作包括：
获得实时变化的手势形状的相对空间位置信息；
根据实时变化的手势形状上确定出的触点，获得所述实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点；
根据所述相对空间位置信息和所述触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。
进一步优选地，所述获得实时变化的手势形状的相对空间位置信息包括：
从所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；
根据所述手势形状变化的角度信息获得用户手势的距离信息，或者通过距离传感器实时感应用户手势的距离信息；
根据所述手势形状变化的角度信息和所述用户手势的距离信息获得用户手势的相对空间位置信息。
本发明实施例的有益效果是：本发明实施例公开了一种3D场景中输入手势的系统和方法，所述系统的手势采集单元对用户手势实时采集至少两路视频流数据，手势识别单元从所述至少两路视频流数据中识别出具有完整手部信息的手势形状，经手势解析单元对该手势形状解析后获得相应的手势动作，通过手势显示单元将该手势动作处理成3D图像实时显示在3D场景中，从而达到了在3D场景中显示用户真实手势的目的。
并且，本发明的优选技术方案还将手势动作通过手势操作单元进行处理，生成相应的手势语义，使3D场景按该手势语义的进行相应操作，从而实现通过输入手势控制3D场景的目的。相比于现有技术，本技术方案不需键盘和鼠标就可以与虚拟设备进行交互，且该交互过程无需对使用者及使用环境做过多的约束，即无需在用户身体上佩戴任何标志与传感器，通过用户的真实手势实时控制用户与场景之间的交互，提高用户的使用体验。
附图说明
图1为本发明实施例提供的一种3D场景中输入手势的系统结构示意图；
图2为本发明实施例提供的一种利用手势动作操作虚拟现实头戴设备的技术流程示意图；
图3为本发明实施例提供的一种3D场景中输入手势的方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的整体思路是：利用至少两个摄像头从不同角度实时采集用户手势，根据每个摄像头采集的视频流数据识别用户的手势形状，对识别出的手势形状进行解析获得相应的手势动作，将所述手势动作处理成3D图像实时显示在3D场景中，并使3D场景进行该手势动作的操作，从而通过用户真实手势完成人机交互。
图1为本发明实施例提供的一种3D场景中输入手势的系统结构示意图，所述系统包括：手势采集单元11、手势识别单元12、手势解析单元13和手势显示单元14。
手势采集单元11，用于分别对用户的手势实时采集至少两路视频流数据。
其中，手势采集单元11可以通过多个摄像头，从不同角度实时采集用户的手势，从而获得多路视频流数据。在实际应用中，可以根据系统的数据处理性能和系统精度要求，选择合适数量的摄像头采集相应路数的视频流数据。需要说明的是，手势采集单元11中的摄像头可以为普通性能的白光摄像头，也可以是红外摄像头，本实施例并不对手势采集单元做特别限定。
手势识别单元12，用于从至少两路视频流数据中识别出实时变化的手势形状。
手势解析单元13，用于解析实时变化的手势形状，获得对应的手势动作。
手势显示单元14，用于将该手势动作处理成3D图像实时显示在3D场景中。
本发明中的手势显示单元14可以将该手势动作处理成3D图像叠加投影到3D场景中，实现该手势动作在3D场景中的实时显示。优选地，可以采用分屏技术将3D图像投影到3D场景中，即采用主显示屏显示3D场景，将处理成3D图像的手势动作通过另一显示屏进行显示，通过光学的相关原理，使呈现到人眼中的是包含手势动作的3D场景。
优选地，所述系统还包括手势操作单元，用于在预先设定的语义数据库中获得上述手势动作相应的手势语义和该手势语义对应的操作指令；以及将该手势语义对应的操作指令发送给3D场景，使3D场景进行该手势语义的操作。
其中，语义数据库可以是一个数据关系表，每一种手势动作分别对应一种手势语义和该手势语义对应的操作指令，例如可以将平移的手势动作定义为滑动屏幕以切换显示内容。
本实施例的手势采集单元对用户手势实时采集至少两路视频流数据，手势识别单元从至少两路视频流数据中识别出具有完整手部信息的手势形状，经手势解析单元对该手势形状解析后获得相应的手势动作，通过手势显示单元将该手势动作处理成3D图像实时显示在3D场景中，从而达到了在3D场景中显示用户真实手势的目的。
并且，优选实施例还将该手势动作通过手势操作单元处理，生成相应的手势语义，使3D场景进行该手势语义的操作，从而实现通过输入手势控制3D场景的目的。相比于现有技术，本技术方案不需键盘和鼠标就可以与虚拟现实设备进行交互，且该交互过程无需对使用者及使用环境做过多的约束，即无需在用户身体上佩戴任何标志与传感器。
优选地，在上述图1所示实施例中的手势识别单元12包括：采样模块、手势轮廓提取模块、手势形状识别模块和手势形状合成模块。
采样模块，用于对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据。
手势轮廓提取模块，用于判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息。
需要说明的是，本实施例中的手势轮廓提取模块可以通过已有技术判断视频图像数据中是否包含手部信息，例如可以通过分析视频图像中是否出现五个手指的特征形状和手掌的特征形状等信息，来判断该视频图像中是否包含手部信息。
手势形状识别模块，用于在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状。
示例性的，上述手势轮廓提取模块可以在用户第一次使用本系统时，将用户的各种手势(例如五指撑开、握拳等手势)保存到手势模型数据库中，此时手势形状识别模块则可以根据存储着用户的真实手势的手势模型数据库识别出对应于该手部轮廓信息的手势形状。当然手势模型数据库中预先存入的也可以是手型特征(例如五指的不同状态特征)，通过检测手部轮廓信息中各手指的状态特征识别相应的手势形状。
手势形状合成模块，用于合成各路视频流数据的每次采样后识别出的手势形状，得到实时变化的手势形状。
在实际应用中，由于每一路视频流数据采用到的都是用户的手部的一部分，无法在同一时刻获得完整的手部，因此本实施例采用手势形状合成模块，将各路视频流数据的每次采样后识别出的手势形状进行合成处理，以获得更多信息的手势形状。
由上所述，手势识别单元根据各路视频流数据中的手势轮廓信息识别出相应的手势形状，并将多路视频流数据中已识别出的手势进行合成出来，得到包含用户手部全部信息的手势形状，从而加强显示在3D场景中的手势的真实效果，提高用户的使用体验。
优选地，在上述图1所示优选实施例中的手势解析单元包括：位置信息获取模块、触点信息获取模块和手势动作获取模块。
位置信息获取模块，用于获得实时变化的手势形状的相对空间位置信息。
由于多个摄像头同一时刻对用户手势进行拍摄时，每个摄像头发出的光线会和用户手势形成一个夹角，如用户手势发生移动或变化则每个摄像头发出的光线与用户手势形成的夹角可能会发生变化，而这些夹角的变化反映在视频流图像数据中则表现为空间位置的变化，因此本技术方案基于该客观事实获取实时变化的手势形状的相对空间位置信息。
具体的，本发明示意性的示出两种获取实时变化的手势形状的相对空间位置信息。其中，第一种获得手势形状的相对空间位置信息的方式是：
从上述手势采集单元中的所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；根据手势形状变化的角度信息获得用户手势的距离信息，结合手势形状变化的角度信息和用户手势的距离信息获得用户手势的相对空间位置信息。
第二种获得手势形状的相对空间位置信息的方式是：
从上述手势采集单元中的所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；通过距离传感器实时感应用户手势的距离信息；结合手势形状变化的角度信息和用户手势的距离信息获得用户手势的相对空间位置信息。
上述两种方案均通过结合手势变化的角度信息和手势的实时距离信息提高获得的手势形状的相对空间位置信息的准确度。其中第一种方案不需要额外的传感器，只通过视频流数据本身提供的信息就可以获得手势形状的相对空间位置信息，但是需要通过高级算法实现，会增加系统的计算复杂度；而第二种方案通过距离传感器实时感应手势的距离变化，通过简单的算法就可获得较高的精度的相对空间位置信息。在实际使用时，可以根据具体设计要求选择合适的方案。
触点信息获取模块，用于根据实时变化的手势形状上确定出的触点，获得实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点。
需要说明的是，本模块中的触点为标识手部的特征关键点，该关键点优选地为手部的各个关节点，从而更好的确定实时变化的手势形状。本技术方案并不对手势形状上的触点的数量和触点设的设置方式做特别限定，在设计过程中可以综合衡量系统精度和系统的数据处理能力等方面的要求具体设计。
手势动作获取模块，用于根据相对空间位置信息和触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。
为更加详细的说明本技术方案的有益效果，以一虚拟头戴设备为例进行说明。
该虚拟头戴设备包括：用于显示3D虚拟现实场景的3D显示屏和上述技术方案的3D场景中输入手势的系统，其中3D场景中输入手势的系统的手势采集单元为设置在虚拟现实头戴设备上的一前置摄像头和一底置摄像头。
该虚拟现实头戴设备的工作原理是：通过前置摄像头和底置摄像头对用户的手势进行实时采集，获得两路视频流数据，从两路视频流数据中识别出手势形状，通过解析所述手势形状获得相应的手势动作，将该手势动作处理成3D图像实时显示在3D虚拟现实场景中，同时将该手势动作对应的手势语义发送给虚拟现实头戴设备的主处理器，控制虚拟现实头戴设备进行所述语义的操作。
其中，根据视频流数据获取用户的手势动作，并根据该手势动作驱动虚拟现实头戴设备进行相应操作的技术流程如图2所示：
S200，获取前置摄像头和底置摄像头采集到的视频流数据。
S201，对当前时刻的两路视频流数据分别进行视频采样处理，得到相应的视频图像。
S202，判断视频图像中是否有用户的手势，如果有，则跳转到步骤S202，如果没有，则获取下一时刻的视频流数据。
S203，对视频图像数据进行二值化处理，提取手部轮廓信息。
S204，根据预先设定的静态手势模型从手部轮廓信息中识别出当前的手势形状。
S205，合成两路视频流数据采样后识别出的手势形状，获得包含更多手部信息的手势形状。
S206，获取手势的空间位置变化信息。
S207，根据手势触点的变化信息和手势空间位置变化信息，利用HMM(Hidden Markov Model，隐马尔可夫模型)动态手势识别方法，获得实时变化的手势形状的相应手势动作。
S208，根据手势动作在预先设定的语义数据库中获得相应的手势语义。
S209，控制虚拟现实头戴设备进行上述手势语义的操作。
本实施例将3D场景中输入手势的系统应用在虚拟现实头戴设备中，将用户自己手部的动作作为虚拟现实头戴设备的输入，使用户通过自己的手来完成在虚拟现实场景中的相关操作，从而提高用户的体验，优化人机交互。
图3为本发明实施例提供的一种3D场景中输入手势的方法流程图，所述方法包括：
S300，对用户的手势实时采集至少两路视频流数据。
S301，从至少两路视频流数据中识别出实时变化的手势形状。
具体的，
对上述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
判断该视频图像数据中是否包含手部信息，若包含则对该视频图像数据进行二值化处理，提取手部轮廓信息；
在预先设定的手势模型数据库中识别出手部轮廓信息对应的手势形状；
合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。
S302，解析实时变化的手势形状，获得对应的手势动作。
具体的，获得实时变化的手势形状的相对空间位置信息；
根据实时变化的手势形状上确定出的触点，获得实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点；
根据相对空间位置信息和触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。
其中，获得实时变化的手势形状的相对空间位置信息包括：
从上述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；
根据手势形状变化的角度信息获得用户手势的距离信息，或者通过距离传感器实时感应用户手势的距离信息；
根据手势形状变化的角度信息和用户手势的距离信息获得用户手势的相对空间位置信息。
S303，将手势动作处理成3D图像实时显示在3D场景中。
优选地，本方法还包括：
在预先设定的语义数据库中获得上述手势动作的手势语义和该手势语义对应的操作指令；
将该手势语义对应的操作指令发送给3D场景，使3D场景进行该手势语义的操作。
综上所述，本发明实施例公开了一种3D场景中输入手势的系统和方法，所述系统的手势采集单元对用户手势实时采集至少两路视频流数据，手势识别单元从至少两路视频流数据中识别出具有完整手部信息的手势形状，经手势解析单元对该手势形状解析后获得相应的手势动作，通过手势显示单元将该手势动作处理成3D图像实时显示在3D场景中，从而达到了在3D场景中显示用户真实手势的目的。并且，本发明的优选技术方案还将手势动作通过手势操作单元进行处理，生成相应的手势语义，使3D场景按该手势语义的进行相应操作，从而实现通过输入手势控制3D场景的目的。相比于现有技术，本技术方案不需键盘和鼠标就可以与虚拟设备进行交互，且该交互过程无需对使用者及使用环境做过多的约束，即无需在用户身体上佩戴任何标志与传感器，通过用户的真实手势控制与场景进行交互，提高用户的使用体验。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种3D场景中输入手势的系统，其特征在于，包括：手势采集单元、手势识别单元、手势解析单元和手势显示单元；
所述手势采集单元，用于分别对用户的手势实时采集至少两路视频流数据；
所述手势识别单元，用于从所述至少两路视频流数据中识别出实时变化的手势形状；
所述手势解析单元，用于解析所述实时变化的手势形状，获得对应的手势动作；
所述手势显示单元，用于将所述手势动作处理成3D图像实时显示在所述3D场景中。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括手势操作单元，
所述手势操作单元，用于在预先设定的语义数据库中获得所述手势动作的手势语义和该手势语义对应的操作指令；以及将所述手势语义对应的操作指令发送给所述3D场景，使所述3D场景进行所述手势语义的操作。
3.根据权利要求1所述的系统，其特征在于，所述手势识别单元包括：
采样模块，用于对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
手势轮廓提取模块，用于判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息；
手势形状识别模块，用于在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状；
手势形状合成模块，用于合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。
4.根据权利要求1所述的系统，其特征在于，所述手势解析单元包括：
位置信息获取模块，用于获得实时变化的手势形状的相对空间位置信息；
触点信息获取模块，用于根据实时变化的手势形状上确定出的触点，获得所述实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点；
手势动作获取模块，用于根据所述相对空间位置信息和所述触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。
5.根据权利要求4所述的系统，其特征在于，所述位置信息获取模块具体用于，
从所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；
根据所述手势形状变化的角度信息获得用户手势的距离信息，或者通过距离传感器实时感应用户手势的距离信息；
根据所述手势形状变化的角度信息和所述用户手势的距离信息获得用户手势的相对空间位置信息。
6.一种3D场景中输入手势的方法，其特征在于，包括：
对用户的手势实时采集至少两路视频流数据；
从所述至少两路视频流数据中识别出实时变化的手势形状；
解析所述实时变化的手势形状，获得对应的手势动作；
将所述手势动作处理成3D图像实时显示在所述3D场景中。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在预先设定的语义数据库中获得所述手势动作的手势语义和该手势语义对应的操作指令；
将所述手势语义对应的操作指令发送给所述3D场景，使所述3D场景进行所述手势语义的操作。
8.根据权利要求6所述的方法，其特征在于，所述从所述至少两路视频流数据中识别出实时变化的手势形状包括：
对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
判断所述视频图像数据中是否包含手部信息，若包含则对所述视频图像数据进行二值化处理，提取手部轮廓信息；
在预先设定的手势模型数据库中识别出所述手部轮廓信息对应的手势形状；
合成各路视频流数据的每次采样识别出的手势形状，得到实时变化的手势形状。
9.根据权利要求6所述的方法，其特征在于，所述解析所述实时变化的手势形状，获得对应的手势动作包括：
获得实时变化的手势形状的相对空间位置信息；
根据实时变化的手势形状上确定出的触点，获得所述实时变化的手势形状上的触点的变化信息，所述触点为标识手部的特征关键点；
根据所述相对空间位置信息和所述触点的变化信息，在预先设定的动作数据库中获得相应的手势动作。
10.根据权利要求9所述的方法，其特征在于，所述获得实时变化的手势形状的相对空间位置信息包括：
从所述至少两路视频数据流的视频图像信息中获得手势形状变化的角度信息；
根据所述手势形状变化的角度信息获得用户手势的距离信息，或者通过距离传感器实时感应用户手势的距离信息；
根据所述手势形状变化的角度信息和所述用户手势的距离信息获得用户手势的相对空间位置信息。
CN201410842158.3A 2014-12-30 2014-12-30 一种3d场景中输入手势的系统和方法 Active CN104571510B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410842158.3A CN104571510B (zh) 2014-12-30 2014-12-30 一种3d场景中输入手势的系统和方法
US15/313,472 US10466798B2 (en) 2014-12-30 2015-09-24 System and method for inputting gestures in 3D scene
PCT/CN2015/090531 WO2016107231A1 (zh) 2014-12-30 2015-09-24 一种3d场景中输入手势的系统和方法
JP2017509021A JP6259545B2 (ja) 2014-12-30 2015-09-24 ３ｄシーンでジェスチャーを入力するシステム及び方法
US15/808,151 US10482670B2 (en) 2014-12-30 2017-11-09 Method for reproducing object in 3D scene and virtual reality head-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410842158.3A CN104571510B (zh) 2014-12-30 2014-12-30 一种3d场景中输入手势的系统和方法

Publications (2)

Publication Number Publication Date
CN104571510A true CN104571510A (zh) 2015-04-29
CN104571510B CN104571510B (zh) 2018-05-04

Family

ID=53087788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410842158.3A Active CN104571510B (zh) 2014-12-30 2014-12-30 一种3d场景中输入手势的系统和方法

Country Status (4)

Country Link
US (1) US10466798B2 (zh)
JP (1) JP6259545B2 (zh)
CN (1) CN104571510B (zh)
WO (1) WO2016107231A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739703A (zh) * 2016-02-02 2016-07-06 北方工业大学 面向无线头戴显示设备的虚拟现实体感交互系统及方法
WO2016107231A1 (zh) * 2014-12-30 2016-07-07 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和方法
CN106250903A (zh) * 2016-04-15 2016-12-21 广东工业大学 有限的用户自定义手势语义的手势知识库创建方法
CN106383586A (zh) * 2016-10-21 2017-02-08 东南大学 一种孤独症谱系障碍儿童训练系统
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法
WO2017075932A1 (zh) * 2015-11-02 2017-05-11 深圳奥比中光科技有限公司 基于三维显示的手势操控方法和系统
WO2017084253A1 (zh) * 2015-11-20 2017-05-26 乐视控股（北京）有限公司 一种应用于头戴设备的控制方法及头戴设备
CN109358748A (zh) * 2018-09-30 2019-02-19 深圳仓谷创新软件有限公司 一种用手与手机ar虚拟物体交互的设备和方法
CN109656369A (zh) * 2018-12-27 2019-04-19 张家港康得新光电材料有限公司 一种数值显示方法、装置以及3d显示终端
CN109683765A (zh) * 2018-12-27 2019-04-26 张家港康得新光电材料有限公司 一种资源分配方法、装置以及3d显示终端
US10482670B2 (en) 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602516A (zh) * 2019-09-16 2019-12-20 腾讯科技（深圳）有限公司 基于视频直播的信息交互方法、装置及电子设备
CN116560509A (zh) * 2023-05-17 2023-08-08 山东格物智能科技有限公司 一种基于视觉核心算法的人机交互系统及方法
CN116719416B (zh) * 2023-08-07 2023-12-15 海马云（天津）信息技术有限公司 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648840A (zh) * 2005-01-27 2005-08-03 北京理工大学 一种头戴式立体视觉手势识别装置
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN102681651A (zh) * 2011-03-07 2012-09-19 刘广松 一种用户交互系统和方法
US20140125584A1 (en) * 2012-11-07 2014-05-08 Samsung Electronics Co., Ltd. System and method for human computer interaction
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN104050859A (zh) * 2014-05-08 2014-09-17 南京大学 可交互数字化立体沙盘系统
CN204463032U (zh) * 2014-12-30 2015-07-08 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和虚拟现实头戴设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100407798C (zh) 2005-07-29 2008-07-30 北京大学 三维几何建模系统和方法
JP5711962B2 (ja) 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
US20120229509A1 (en) 2011-03-07 2012-09-13 Liu Guangsong System and method for user interaction
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
JP5906779B2 (ja) 2012-02-09 2016-04-20 株式会社リコー 画像表示装置
CN102722249B (zh) * 2012-06-05 2016-03-30 上海鼎为电子科技（集团）有限公司 操控方法、操控装置及电子装置
US20150029092A1 (en) * 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
CN104571510B (zh) 2014-12-30 2018-05-04 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648840A (zh) * 2005-01-27 2005-08-03 北京理工大学 一种头戴式立体视觉手势识别装置
CN102681651A (zh) * 2011-03-07 2012-09-19 刘广松 一种用户交互系统和方法
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
US20140125584A1 (en) * 2012-11-07 2014-05-08 Samsung Electronics Co., Ltd. System and method for human computer interaction
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN104050859A (zh) * 2014-05-08 2014-09-17 南京大学 可交互数字化立体沙盘系统
CN204463032U (zh) * 2014-12-30 2015-07-08 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和虚拟现实头戴设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466798B2 (en) 2014-12-30 2019-11-05 Qingdao Goertek Technology Co., Ltd. System and method for inputting gestures in 3D scene
WO2016107231A1 (zh) * 2014-12-30 2016-07-07 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和方法
US10482670B2 (en) 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法
WO2017075932A1 (zh) * 2015-11-02 2017-05-11 深圳奥比中光科技有限公司 基于三维显示的手势操控方法和系统
WO2017084253A1 (zh) * 2015-11-20 2017-05-26 乐视控股（北京）有限公司 一种应用于头戴设备的控制方法及头戴设备
CN105739703A (zh) * 2016-02-02 2016-07-06 北方工业大学 面向无线头戴显示设备的虚拟现实体感交互系统及方法
CN106250903A (zh) * 2016-04-15 2016-12-21 广东工业大学 有限的用户自定义手势语义的手势知识库创建方法
CN106383586A (zh) * 2016-10-21 2017-02-08 东南大学 一种孤独症谱系障碍儿童训练系统
CN109358748B (zh) * 2018-09-30 2019-09-10 深圳仓谷创新软件有限公司 一种用手与手机ar虚拟物体交互的设备和方法
CN109358748A (zh) * 2018-09-30 2019-02-19 深圳仓谷创新软件有限公司 一种用手与手机ar虚拟物体交互的设备和方法
CN109683765A (zh) * 2018-12-27 2019-04-26 张家港康得新光电材料有限公司 一种资源分配方法、装置以及3d显示终端
CN109656369A (zh) * 2018-12-27 2019-04-19 张家港康得新光电材料有限公司 一种数值显示方法、装置以及3d显示终端

Also Published As

Publication number Publication date
JP2017530447A (ja) 2017-10-12
WO2016107231A1 (zh) 2016-07-07
CN104571510B (zh) 2018-05-04
US10466798B2 (en) 2019-11-05
JP6259545B2 (ja) 2018-01-10
US20170192519A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
CN204463032U (zh) 一种3d场景中输入手势的系统和虚拟现实头戴设备
CN104571510A (zh) 一种3d场景中输入手势的系统和方法
Shriram et al. Deep learning-based real-time AI virtual mouse system using computer vision to avoid COVID-19 spread
CN104571511B (zh) 一种3d场景中重现物体的系统和方法
CN106598227B (zh) 基于Leap Motion和Kinect的手势识别方法
CN107728792B (zh) 一种基于手势识别的增强现实三维绘图系统及绘图方法
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN110210426B (zh) 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
Chen et al. Research and implementation of sign language recognition method based on Kinect
CN104460967A (zh) 一种人体上肢骨骼手势识别方法
WO2012163124A1 (zh) 基于空间运动的输入方法及终端
CN103105924A (zh) 人机交互方法和装置
CN204463031U (zh) 一种3d场景中重现物体的系统和虚拟现实头戴设备
CN109933190B (zh) 一种头戴显示设备及其交互方法
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
US20130187890A1 (en) User interface apparatus and method for 3d space-touch using multiple imaging sensors
Abdallah et al. An overview of gesture recognition
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
Xu et al. Bare hand gesture recognition with a single color camera
CN203070205U (zh) 一种基于手势识别的输入设备
CN105045390A (zh) 一种人体上肢骨骼手势识别方法
Gupta et al. Hand gesture based region marking for tele-support using wearables
Abate et al. Mixed reality environment for mission critical systems servicing and repair
CN103699214A (zh) 一种基于三维自然手势的三维跟踪和交互方法
CN113961067A (zh) 基于深度学习的非接触式涂鸦绘制方法与识别交互系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201015

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: International Exhibition Center of wealth 18 No. 266061 Shandong province Qingdao city Laoshan District No. 3 Qinling Mountains Road, building 5 floor

Patentee before: Qingdao GoerTek Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221221

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.