CN104571511B - 一种3d场景中重现物体的系统和方法 - Google Patents

一种3d场景中重现物体的系统和方法 Download PDF

Info

Publication number
CN104571511B
CN104571511B CN201410842257.1A CN201410842257A CN104571511B CN 104571511 B CN104571511 B CN 104571511B CN 201410842257 A CN201410842257 A CN 201410842257A CN 104571511 B CN104571511 B CN 104571511B
Authority
CN
China
Prior art keywords
body form
real
information
change
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410842257.1A
Other languages
English (en)
Other versions
CN104571511A (zh
Inventor
姜茂山
徐国庆
周宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Qingdao Goertek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Co Ltd filed Critical Qingdao Goertek Co Ltd
Priority to CN201410842257.1A priority Critical patent/CN104571511B/zh
Publication of CN104571511A publication Critical patent/CN104571511A/zh
Priority to PCT/CN2015/090529 priority patent/WO2016107230A1/zh
Priority to JP2017509026A priority patent/JP2017534940A/ja
Priority to US15/313,446 priority patent/US9842434B2/en
Priority to US15/808,151 priority patent/US10482670B2/en
Application granted granted Critical
Publication of CN104571511B publication Critical patent/CN104571511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种3D场景中重现物体的系统和方法，所述系统包括用于分别对待显示的物体实时采集至少两路视频流数据的物体采集单元；用于从所述至少两路视频流数据中识别出实时变化的物体形状的物体识别单元；用于根据所述实时变化的物体形状，获得对应的物体运动轨迹的物体追踪单元；用于将所述实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中的物体投影单元。本发明的技术方案能够将物体重现在3D场景中，达到3D场景中显示真实物体的目的。

Description

一种3D场景中重现物体的系统和方法
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种3D场景中重现物体的系统和方法。
背景技术
虚拟现实技术未来将会发展成为一种改变人们生活方式的新突破，目前，虚拟现实技术如何在虚拟世界中与目标进行互动是虚拟现实技术所面临的巨大挑战，因此虚拟现实技术想要真正进入消费级市场还有一段很长的路要走。
当前已有的各种虚拟现实装备依然阻挡着用户和虚拟世界之间的交流，在3D场景中并不能追踪身体的相关部位，比如用户的手部运动轨迹现在就无法真正模拟。
发明内容
本发明提供了一种3D场景中输入物体的系统和方法，以解决现有技术在3D场景中无法真正重现物体的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一方面，本发明提供了一种3D场景中输入物体的系统，包括：物体采集单元、物体识别单元、物体追踪单元和物体投影单元；
所述物体采集单元，用于分别对待显示的物体实时采集至少两路视频流数据；
所述物体识别单元，用于从所述至少两路视频流数据中识别出实时变化的物体形状；
所述物体追踪单元，用于根据所述实时变化的物体形状，获得对应的物体运动轨迹；
所述物体投影单元，用于将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中。
优选地，所述物体识别单元包括：
采样模块，用于对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
轮廓提取模块，用于判断所述视频图像数据中是否包含物体，若包含则对所述视频图像数据进行二值化处理，提取物体轮廓信息；
形状识别模块，用于在预先设定的物体模型数据库中识别出所述物体轮廓信息对应的物体形状；
形状合成模块，用于合成各路视频流数据的每次采样识别出的物体形状，得到实时变化的物体形状。
优选地，所述物体追踪单元包括：
位置信息获取模块，用于获得实时变化的物体形状的相对空间位置信息；
触点信息获取模块，用于根据实时变化的物体形状上确定出的触点，获得所述实时变化的物体形状上的触点的变化信息，所述触点为标识物体的特征关键点；
运动轨迹获取模块，用于根据所述相对空间位置信息和所述触点的变化信息，在预先设定的运动轨迹数据库中获得相应的物体运动轨迹。
优选地，所述位置信息获取模块具体用于，
从所述至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；
根据所述物体形状变化的角度信息获得物体的距离信息；或者通过距离传感器实时感应物体的距离信息；
根据所述物体形状变化的角度信息和所述物体的距离信息获得物体的相对空间位置信息。
优选地，所述物体投影单元，进一步用于将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像，根据分屏技术将所述3D图像投影到3D场景中。
另一方面，本发明提供了一种3D场景中输入物体的方法，包括：
对待显示的物体实时采集至少两路视频流数据；
从所述至少两路视频流数据中识别出实时变化的物体形状；
根据所述实时变化的物体形状，获得对应的物体运动轨迹；
将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中。
优选地，所述从所述至少两路视频流数据中识别出实时变化的物体形状包括：
对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
判断所述视频图像数据中是否包含物体，若包含则对所述视频图像数据进行二值化处理，提取物体轮廓信息；
在预先设定的物体模型数据库中识别出所述物体轮廓信息对应的物体形状；
合成各路视频流数据的每次采样识别出的物体形状，得到实时变化的物体形状。
优选地，所述根据所述实时变化的物体形状，获得对应的物体运动轨迹包括：
获得实时变化的物体形状的相对空间位置信息；
根据实时变化的物体形状上确定出的触点，获得所述实时变化的物体形状上的触点的变化信息，所述触点为标识物体的特征关键点；
根据所述相对空间位置信息和所述触点的变化信息，在预先设定的运动轨迹数据库中获得相应的物体运动轨迹。
优选地，所述获得实时变化的物体形状的相对空间位置信息包括：
从所述至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；
根据所述物体形状变化的角度信息获得物体的距离信息；或者通过距离传感器实时感应物体的距离信息；
根据所述物体形状变化的角度信息和所述物体的距离信息获得物体的相对空间位置信息。
优选地，所述将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中包括：
将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像；
根据分屏技术将所述3D图像投影到3D场景中。
本发明实施例的有益效果是：本发明实施例公开了一种3D场景中重现物体的系统和方法，所述系统的物体采集单元对待显示物体实时采集至少两路视频流数据，物体识别单元从所述至少两路视频流数据中识别出具有完整物体信息的物体形状，经物体追踪单元获得所述实时变化的物体形状相应的物体运动轨迹，通过物体投影单元将实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中，从而达到了在3D场景中显示真实物体的目的。相比于现有技术，本发明不需要根据数据库的物体形态进行重新绘制需显示的物体，可以直接将采集到的物体图像进行真实显示，以提高用户的使用体验。
附图说明
图1为本发明实施例提供的一种3D场景中重现物体的系统结构示意图；
图2为本发明实施例提供的一种将用户手势重现与虚拟现实头戴设备中的技术流程示意图；
图3为本发明实施例提供的一种3D场景中重现物体的方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的整体思路是：利用至少两个摄像头从不同角度实时采集物体，根据每个摄像头采集的视频流数据识别物体形状，根据识别出的物体形状进获得相应的物体运动轨迹，将实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中，从而在3D场景中重现真实物体。
图1为本发明实施例提供的一种3D场景中重现物体的系统结构示意图，所述系统包括：物体采集单元11、物体识别单元12、物体追踪单元13和物体投影单元14。
物体采集单元11，用于分别对待显示的物体实时采集至少两路视频流数据。
其中，物体采集单元11可以通过多个摄像头，从不同角度实时采集待显示的物体，从而获得多路视频流数据。在实际应用中，可以根据系统的数据处理性能和系统精度要求，选择合适数量的摄像头采集相应路数的视频流数据。需要说明的是，物体采集单元11中的摄像头可以为普通性能的白光摄像头，也可以是红外摄像头，本实施例并不对物体采集单元做特别限定。
物体识别单元12，用于从至少两路视频流数据中识别出实时变化的物体形状。
物体追踪单元13，用于根据实时变化的物体形状，获得对应的物体运动轨迹。
物体投影单元14，用于将实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中。
在实际应用中，物体投影单元14，用于将实时变化的物体形状和对应的物体运动轨迹处理成3D图像，根据分屏技术将所述3D图像投影到3D场景中。即采用主显示屏显示3D场景，将处理成3D图像的实时变化的物体形状和对应的物体运动轨迹通过另一显示屏进行显示，通过光学的相关原理，使呈现到人眼中的是包含物体的形状和运动姿态的3D场景。
本实施例的物体采集单元对物体实时采集至少两路视频流数据，物体识别单元从至少两路视频流数据中识别出具有完整物体信息的物体形状，经物体追踪单元获得相应的物体运动轨迹后，通过物体投影单元将实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中，从而达到了在3D场景中显示用户真实物体的目的。
优选地，在上述图1所示实施例中的物体识别单元12包括：采样模块、轮廓提取模块、形状识别模块和形状合成模块。
采样模块，用于对至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据。
轮廓提取模块，用于判断视频图像数据中是否包含物体，若包含则对视频图像数据进行二值化处理，提取物体轮廓信息。
形状识别模块，用于在预先设定的物体模型数据库中识别出物体轮廓信息对应的物体形状。
示例性的，上述物体模型数据库保存着各种物体模型，该物体模型即可以是具有生命特征的人体手部、头部等部位，也可以机械、电子等设备，此时形状识别模块则可以根据该物体模型数据库中的各种物体模型对该物体轮廓信息进行识别，获得相应的物体形状。
形状合成模块，用于合成各路视频流数据的每次采样后识别出的物体形状，得到实时变化的物体形状。
在实际应用中，由于每一路视频流数据采用到的都是物体的一部分，无法在同一时刻获得完整的物体，因此本实施例采用形状合成模块，将各路视频流数据的每次采样后识别出的物体形状进行合成处理，以获得更多信息的物体形状。
由上所述，识别单元根据各路视频流数据中的物体轮廓信息识别出相应的物体形状，并将多路视频流数据中已识别出的物体进行合成处理，得到包含物体全部信息的物体形状，从而加强重现在3D场景中的物体的真实效果，提高用户的使用体验。
优选地，在上述图1所示优选实施例中的物体追踪单元包括：位置信息获取模块、触点信息获取模块和运动轨迹获取模块。
位置信息获取模块，用于获得实时变化的物体形状的相对空间位置信息。
由于多个摄像头同一时刻对用户手势进行拍摄时，每个摄像头发出的光线会和用户手势形成一个夹角，如用户手势发生移动或变化则每个摄像头发出的光线与用户手势形成的夹角可能会发生变化，而这些夹角的变化反映在视频流图像数据中则表现为空间位置的变化，因此本技术方案基于该客观事实获取实时变化的手势形状的相对空间位置信息。
具体的，本发明示意性的示出两种获取实时变化的手势形状的相对空间位置信息。其中，第一种获得物体形状的相对空间位置信息的方式是：
位置信息获取模块从上述物体采集单元中的至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；根据物体形状变化的角度信息获得物体的距离信息，结合物体形状变化的角度信息和物体的距离信息获得物 体的相对空间位置信息。
第二种获得物体形状的相对空间位置信息的方式是：
位置信息获取模块从上述物体采集单元中的至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；通过距离传感器实时感应物体的距离信息；结合物体形状变化的角度信息和物体的距离信息获得物体的相对空间位置信息。
上述两种方案均通过结合物体变化的角度信息和物体的实时距离信息提高获得的物体形状的相对空间位置信息的准确度。其中第一种方案不需要额外的传感器，只通过视频流数据本身提供的信息就可以获得物体形状的相对空间位置信息，但是需要通过高级算法实现，会增加系统的计算复杂度；而第二种方案通过距离传感器实时感应物体的距离变化，通过简单的算法就可获得较高的精度的相对空间位置信息。在实际使用时，可以根据具体设计要求选择合适的方案。
触点信息获取模块，用于根据实时变化的物体形状上确定出的触点，获得实时变化的物体形状上的触点的变化信息，所述触点为标识物体的特征关键点。
需要说明的是，本模块中的触点为标识物体的特征关键点，该关键点优选地为物体运动的各个关节点，从而更好的确定实时变化的物体形状。本技术方案并不对物体形状上的触点的数量和触点设的设置方式做特别限定，在设计过程中可以综合衡量系统精度和系统的数据处理能力等方面的要求具体设计。
运动轨迹获取模块，用于根据相对空间位置信息和触点的变化信息，在预先设定的运动轨迹数据库中获得相应的物体运动轨迹。
为更加详细的说明本技术方案的有益效果，现将用户手部重现在虚拟现实头戴设备为例进行说明。
该虚拟头戴设备包括：用于显示3D虚拟现实场景的显示屏和上述技术方案的3D场景中重现物体的系统，其中3D场景中重现物体的系统的物体采集单元为设置在虚拟现实头戴设备上的一前置摄像头和一底置摄像头。
该将用户手势重现于虚拟现实头戴设备中的工作原理是：通过前置摄像 头和底置摄像头对用户的手部进行实时采集，获得两路视频流数据，从两路视频流数据中识别出手势形状，根据实时变化的手势形状获得相应的手势动作，将该手势动作处理成3D图像实时叠加投影在3D虚拟现实场景中。
其中，根据视频流数据获取手势动作，并将该手势动作重现于3D虚拟现实头戴设备的技术流程如图2所示：
S200，获取前置摄像头和底置摄像头采集到用户手势的视频流数据。
S201，对当前时刻的两路视频流数据分别进行视频采样处理，得到相应的视频图像。
S202，判断视频图像中是否有用户的手势，如果有，则跳转到步骤S202，如果没有，则获取下一时刻的视频流数据。
S203，对视频图像数据进行二值化处理，提取手部轮廓信息。
S204，根据预先设定的手势模型从手部轮廓信息中识别出当前的手势形状。
S205，合成两路视频流数据采样后识别出的手势形状，获得包含更多手部信息的手势形状。
S206，获取手势的空间位置变化信息。
S207，根据手势触点的变化信息和手势空间位置变化信息，利用HMM(HiddenMarkov Model，隐马尔可夫模型)动态手势识别方法，获得实时变化的手势形状的相应手势动作。
S208，将上述手势动作叠加投影到3D虚拟现实场景中。
本实施例将3D场景中重现物体的系统应用在虚拟现实头戴设备中，能够通过该3D场景中重现物体的系统将用户自己手部重现于虚拟现实头戴设备中，使虚拟现实头戴设备显示用户的真实手部，从而提高用户的体验。
图3为本发明实施例提供的一种3D场景中重现物体的方法流程图，所述方法包括：
S300，对待显示的物体实时采集至少两路视频流数据。
S301，从至少两路视频流数据中识别出实时变化的物体形状。
具体的，
对上述至少两路视频流数据中的各路分别进行采样处理，获得每次采样 的视频图像数据；
判断该视频图像数据中是否包含物体，若包含则对该视频图像数据进行二值化处理，提取物体轮廓信息；
在预先设定的物体模型数据库中识别出物体轮廓信息对应的物体形状；
合成各路视频流数据的每次采样识别出的物体形状，得到实时变化的物体形状。
S302，根据实时变化的物体形状，获得对应的物体运动轨迹。
具体的，获得实时变化的物体形状的相对空间位置信息；
根据实时变化的物体形状上确定出的触点，获得实时变化的物体形状上的触点的变化信息，所述触点为标识物体的特征关键点；
根据相对空间位置信息和触点的变化信息，在预先设定的运动轨迹数据库中获得相应的物体运动轨迹。
其中，获得实时变化的物体形状的相对空间位置信息包括：
从上述至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；
根据物体形状变化的角度信息获得物体的距离信息，或者通过距离传感器实时感应物体的距离信息；
根据物体形状变化的角度信息和物体的距离信息获得物体的相对空间位置信息。
S303，将实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中。
优选地，根据分屏技术将所述3D图像投影到3D场景中。
综上所述，本发明实施例公开了一种3D场景中重现物体的系统和方法，所述系统的物体采集单元对待显示物体实时采集至少两路视频流数据，物体识别单元从所述至少两路视频流数据中识别出具有完整物体信息的物体形状，经物体追踪单元获得所述实时变化的物体形状相应的物体运动轨迹，通过物体投影单元将实时变化的物体形状和对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中，从而达到了在3D场景中显示真实物体的目的。 相比于现有技术，本发明不需要根据数据库的物体形态进行重新绘制需显示的物体，可以直接将采集到的物体图像进行真实显示，以提高用户的使用体验。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种3D场景中重现物体的系统，其特征在于，包括：物体采集单元、物体识别单元、物体追踪单元和物体投影单元；
所述物体采集单元包括至少两个摄像头，用于分别从不同角度对待显示的物体实时采集至少两路视频流数据，每路视频流数据采集所述物体的一部分；
所述物体识别单元，用于从所述至少两路视频流数据中识别出实时变化的物体形状；
所述物体追踪单元，用于根据所述实时变化的物体形状，获得对应的物体运动轨迹；
所述物体投影单元，用于将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中；
其中，所述物体识别单元包括：
采样模块，用于对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
轮廓提取模块，用于判断所述视频图像数据中是否包含物体，若包含则对所述视频图像数据进行二值化处理，提取物体轮廓信息；
形状识别模块，用于在预先设定的物体模型数据库中识别出所述物体轮廓信息对应的物体形状；
形状合成模块，用于合成各路视频流数据的每次采样识别出的物体形状，得到实时变化的物体形状。
2.根据权利要求1所述的系统，其特征在于，所述物体追踪单元包括：
位置信息获取模块，用于获得实时变化的物体形状的相对空间位置信息；
触点信息获取模块，用于根据实时变化的物体形状上确定出的触点，获得所述实时变化的物体形状上的触点的变化信息，所述触点为标识物体的特征关键点；
运动轨迹获取模块，用于根据所述相对空间位置信息和所述触点的变化信息，在预先设定的运动轨迹数据库中获得相应的物体运动轨迹。
3.根据权利要求2所述的系统，其特征在于，所述位置信息获取模块具体用于，
从所述至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；
根据所述物体形状变化的角度信息获得物体的距离信息；或者通过距离传感器实时感应物体的距离信息；
根据所述物体形状变化的角度信息和所述物体的距离信息获得物体的相对空间位置信息。
4.根据权利要求1所述的系统，其特征在于，所述物体投影单元，进一步用于将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像，根据分屏技术将所述3D图像投影到3D场景中。
5.一种3D场景中重现物体的方法，其特征在于，包括：
通过至少两个摄像头从不同角度对待显示的物体实时采集至少两路视频流数据，每路视频流数据采集所述物体的一部分；
从所述至少两路视频流数据中识别出实时变化的物体形状；
根据所述实时变化的物体形状，获得对应的物体运动轨迹；
将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中；
所述从所述至少两路视频流数据中识别出实时变化的物体形状包括：
对所述至少两路视频流数据中的各路分别进行采样处理，获得每次采样的视频图像数据；
判断所述视频图像数据中是否包含物体，若包含则对所述视频图像数据进行二值化处理，提取物体轮廓信息；
在预先设定的物体模型数据库中识别出所述物体轮廓信息对应的物体形状；
合成各路视频流数据的每次采样识别出的物体形状，得到实时变化的物体形状。
6.根据权利要求5所述的方法，其特征在于，所述根据所述实时变化的物体形状，获得对应的物体运动轨迹包括：
获得实时变化的物体形状的相对空间位置信息；
根据实时变化的物体形状上确定出的触点，获得所述实时变化的物体形状上的触点的变化信息，所述触点为标识物体的特征关键点；
根据所述相对空间位置信息和所述触点的变化信息，在预先设定的运动轨迹数据库中获得相应的物体运动轨迹。
7.根据权利要求6所述的方法，其特征在于，所述获得实时变化的物体形状的相对空间位置信息包括：
从所述至少两路视频数据流的视频图像信息中获得物体形状变化的角度信息；
根据所述物体形状变化的角度信息获得物体的距离信息；或者通过距离传感器实时感应物体的距离信息；
根据所述物体形状变化的角度信息和所述物体的距离信息获得物体的相对空间位置信息。
8.根据权利要求5所述的方法，其特征在于，所述将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像实时叠加投影在3D场景中包括：
将所述实时变化的物体形状和所述对应的物体运动轨迹处理成3D图像；
根据分屏技术将所述3D图像投影到3D场景中。
CN201410842257.1A 2014-12-30 2014-12-30 一种3d场景中重现物体的系统和方法 Active CN104571511B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410842257.1A CN104571511B (zh) 2014-12-30 2014-12-30 一种3d场景中重现物体的系统和方法
PCT/CN2015/090529 WO2016107230A1 (zh) 2014-12-30 2015-09-24 一种3d场景中重现物体的系统和方法
JP2017509026A JP2017534940A (ja) 2014-12-30 2015-09-24 ３ｄシーンでオブジェクトを再現するシステム及び方法
US15/313,446 US9842434B2 (en) 2014-12-30 2015-09-24 System and method for reproducing objects in 3D scene
US15/808,151 US10482670B2 (en) 2014-12-30 2017-11-09 Method for reproducing object in 3D scene and virtual reality head-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410842257.1A CN104571511B (zh) 2014-12-30 2014-12-30 一种3d场景中重现物体的系统和方法

Publications (2)

Publication Number Publication Date
CN104571511A CN104571511A (zh) 2015-04-29
CN104571511B true CN104571511B (zh) 2018-04-27

Family

ID=53087789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410842257.1A Active CN104571511B (zh) 2014-12-30 2014-12-30 一种3d场景中重现物体的系统和方法

Country Status (4)

Country Link
US (1) US9842434B2 (zh)
JP (1) JP2017534940A (zh)
CN (1) CN104571511B (zh)
WO (1) WO2016107230A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104571511B (zh) * 2014-12-30 2018-04-27 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法
US10482670B2 (en) 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
US10471304B2 (en) 2016-03-08 2019-11-12 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform
DE102017200607B4 (de) * 2017-01-17 2024-02-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Objekts in einem Fahrzeug
CN106843532A (zh) * 2017-02-08 2017-06-13 北京小鸟看看科技有限公司 一种虚拟现实场景的实现方法和装置
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
DE102017211518A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, entsprechendes Virtual-Reality-System sowie Fahrzeug
US10832055B2 (en) * 2018-01-31 2020-11-10 Sportsmedia Technology Corporation Systems and methods for providing video presentation and video analytics for live sporting events
CN109407826B (zh) * 2018-08-31 2020-04-07 百度在线网络技术（北京）有限公司 球类运动模拟方法、装置、存储介质及电子设备
CN110211661B (zh) * 2019-06-05 2021-05-28 山东大学 基于混合现实的手功能训练系统及数据处理方法
CN110276841B (zh) * 2019-06-27 2023-11-24 北京小米移动软件有限公司 应用于增强现实设备的运动轨迹确定方法、装置及终端
CN110930805A (zh) * 2019-12-20 2020-03-27 国网湖北省电力公司咸宁供电公司 变电站三维仿真系统
CN111010561A (zh) * 2019-12-20 2020-04-14 上海沃咨信息科技有限公司 一种基于vr技术的虚拟现实投影系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742348A (zh) * 2010-01-04 2010-06-16 中国电信股份有限公司 渲染方法与系统
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926318A (ja) * 1995-07-13 1997-01-28 Seikosha Co Ltd 測距装置
JP3660492B2 (ja) * 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
CN1304931C (zh) * 2005-01-27 2007-03-14 北京理工大学 一种头戴式立体视觉手势识别装置
CN100407798C (zh) * 2005-07-29 2008-07-30 北京大学 三维几何建模系统和方法
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US8832574B2 (en) * 2009-06-30 2014-09-09 Nokia Corporation Apparatus and associated methods
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8751215B2 (en) * 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US20140307920A1 (en) * 2013-04-12 2014-10-16 David Holz Systems and methods for tracking occluded objects in three-dimensional space
CN102722249B (zh) 2012-06-05 2016-03-30 上海鼎为电子科技（集团）有限公司 操控方法、操控装置及电子装置
JP5833526B2 (ja) * 2012-10-19 2015-12-16 日本電信電話株式会社 映像コミュニケーションシステム及び映像コミュニケーション方法
DE102012111304A1 (de) * 2012-11-22 2014-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Rekonstruktion einer Bewegung eines Objekts
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
CN204463031U (zh) * 2014-12-30 2015-07-08 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和虚拟现实头戴设备
CN104571511B (zh) * 2014-12-30 2018-04-27 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742348A (zh) * 2010-01-04 2010-06-16 中国电信股份有限公司 渲染方法与系统
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统

Also Published As

Publication number Publication date
US20170098331A1 (en) 2017-04-06
US9842434B2 (en) 2017-12-12
WO2016107230A1 (zh) 2016-07-07
CN104571511A (zh) 2015-04-29
JP2017534940A (ja) 2017-11-24

Similar Documents

Publication Publication Date Title
CN104571511B (zh) 一种3d场景中重现物体的系统和方法
CN104571510B (zh) 一种3d场景中输入手势的系统和方法
Rhodin et al. Egocap: egocentric marker-less motion capture with two fisheye cameras
CN105487673B (zh) 一种人机交互系统、方法及装置
CN105718878B (zh) 基于级联卷积神经网络的第一视角空中手写和空中交互方法
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN107656613A (zh) 一种基于眼动追踪的人机交互系统及其工作方法
CN105426827A (zh) 活体验证方法、装置和系统
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN111696140B (zh) 基于单目的三维手势追踪方法
CN105107200B (zh) 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN104571482A (zh) 一种基于体感识别的数字设备操控方法
CN110211222A (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN107392098A (zh) 一种基于人体骨架信息的动作完成度识别方法
CN204463031U (zh) 一种3d场景中重现物体的系统和虚拟现实头戴设备
CN111596767A (zh) 一种基于虚拟现实的姿态捕获方法和装置
CN108932060A (zh) 手势立体互动投影技术
CN105225270A (zh) 一种信息处理方法及电子设备
CN104898971A (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
Conly et al. An integrated RGB-D system for looking up the meaning of signs
Seo et al. Stereo feature learning based on attention and geometry for absolute hand pose estimation in egocentric stereo views
Jain et al. [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices
Purkrábek et al. Improving 2D Human Pose Estimation across Unseen Camera Views with Synthetic Data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201012

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: International Exhibition Center of wealth 18 No. 266061 Shandong province Qingdao city Laoshan District No. 3 Qinling Mountains Road, building 5 floor

Patentee before: Qingdao GoerTek Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221221

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right