CN105487660A - 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 - Google Patents
基于虚拟现实技术的沉浸式舞台表演交互方法及系统 Download PDFInfo
- Publication number
- CN105487660A CN105487660A CN201510834004.4A CN201510834004A CN105487660A CN 105487660 A CN105487660 A CN 105487660A CN 201510834004 A CN201510834004 A CN 201510834004A CN 105487660 A CN105487660 A CN 105487660A
- Authority
- CN
- China
- Prior art keywords
- eyepiece
- user
- virtual
- wearable display
- analog image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Abstract
本发明公开一种基于虚拟现实技术的沉浸式舞台表演交互方法及系统,能够提供一种新型,沉浸式的虚拟舞台交互方式。所述方法包括:S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据,其中,所述可穿戴式显示头盔包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
Description
技术领域
本发明涉及虚拟现实技术领域,具体涉及一种基于虚拟现实技术的沉浸式舞台表演交互方法及系统。
背景技术
虚拟现实技术是利用计算机模拟生成三维数字信息的虚拟空间,从而增强使用者在虚拟环境中的感知能力,加深沉浸感的体验。虚拟现实技术主要集成了计算机图形,计算机仿真,人工智能等技术,是一种由计算机技术辅助生成的高技术模拟系统。虚拟现实技术也广泛应用于数字舞台表演领域中,增强表演者与数字化信息的虚拟交互。但目前的虚拟现实技术主要是在演出阶段作为舞美表演的辅助技术,并没有建立表演者在训练阶段的仿真舞台交互模式。从而无法满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互,排练效果呈现等需求。
发明内容
本发明的目的在于,提供一种基于虚拟现实技术的沉浸式舞台表演交互方法及系统,能够为表演者提供一种基于第三视角的实时动作图像交互模式,以及沉浸式的虚拟舞台仿真环境,满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互,排练效果呈现等需求。
为此目的,一方面,本发明提出一种基于虚拟现实技术的沉浸式舞台表演交互方法,包括:
S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据,其中,所述可穿戴式显示头盔包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;
S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;
S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
另一方面,本发明提出一种基于虚拟现实技术的沉浸式舞台表演交互系统,包括:
可穿戴式显示头盔、提取装置、模拟影像生成装置和固定第三视角的红外深度摄像头;其中,
所述红外深度摄像头,用于采集穿戴所述可穿戴式显示头盔的使用者的深度图像数据,其中,所述可穿戴式显示头盔包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;
提取装置,用于从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;
模拟影像生成装置,用于利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
本发明实施例所述的基于虚拟现实技术的沉浸式舞台表演交互方法及系统,通过可穿戴式虚拟头盔显示目镜以及红外深度摄像头,使用者可以沉浸到虚拟仿真的舞台环境中,并在通过自身骨骼数据驱动虚拟演员模型的同时,从第三视角进行实时观察,通过这种方式,可以提供一种新型,沉浸式的虚拟舞台交互方式,同时摆脱自我视角观察的局限性,从观众的视角实时感知演出效果,加大使用者在训练过程中的自由度,以及对真实舞台环境的临场感,从而提升训练效果,从而相较于现有技术,本发明能够为表演者提供基于第三视角的沉浸式舞台交互训练模式,满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互,排练效果实时呈现等需求,并有助于提升训练效果。
附图说明
图1为本发明一种基于虚拟现实技术的沉浸式舞台表演交互方法一实施例的流程示意图;
图2为本发明一种基于虚拟现实技术的沉浸式舞台表演交互系统一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参看图1,本实施例公开一种基于虚拟现实技术的沉浸式舞台表演交互方法,包括:
S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据,其中,所述可穿戴式显示头盔包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;
S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;
S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
本发明实施例所述的基于虚拟现实技术的沉浸式舞台表演交互方法,通过可穿戴式虚拟头盔显示目镜以及红外深度摄像头,使用者可以沉浸到虚拟仿真的舞台环境中,并在通过自身骨骼数据驱动虚拟演员模型的同时,从第三视角进行实时观察,通过这种方式,可以提供一种新型,沉浸式的虚拟舞台交互方式,同时摆脱自我视角观察的局限性,从观众的视角实时感知演出效果,加大使用者在训练过程中的自由度,以及对真实舞台环境的临场感,从而提升训练效果,从而相较于现有技术,本发明能够为表演者提供基于第三视角的沉浸式舞台交互训练模式,满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互,排练效果实时呈现等需求,并有助于提升训练效果。
参看图2,本实施例公开一种基于虚拟现实技术的沉浸式舞台表演交互系统,包括:
可穿戴式显示头盔1、提取装置2、模拟影像生成装置3和固定第三视角的红外深度摄像头4;其中,
所述红外深度摄像头4,用于采集穿戴所述可穿戴式显示头盔1的使用者的深度图像数据,其中,所述可穿戴式显示头盔1包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;
提取装置2,用于从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;
模拟影像生成装置3,用于利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
本发明实施例所述的基于虚拟现实技术的沉浸式舞台表演交互系统,通过可穿戴式虚拟头盔显示目镜以及红外深度摄像头,使用者可以沉浸到虚拟仿真的舞台环境中,并在通过自身骨骼数据驱动虚拟演员模型的同时,从第三视角进行实时观察,通过这种方式,可以提供一种新型,沉浸式的虚拟舞台交互方式,同时摆脱自我视角观察的局限性,从观众的视角实时感知演出效果,加大使用者在训练过程中的自由度,以及对真实舞台环境的临场感,从而提升训练效果,从而相较于现有技术,本发明能够为表演者提供基于第三视角的沉浸式舞台交互训练模式,满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互,排练效果实时呈现等需求,并有助于提升训练效果。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (2)
1.一种基于虚拟现实技术的沉浸式舞台表演交互方法,其特征在于,包括:
S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据,其中,所述可穿戴式显示头盔包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;
S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;
S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
2.一种基于虚拟现实技术的沉浸式舞台表演交互系统,其特征在于,包括:
可穿戴式显示头盔、提取装置、模拟影像生成装置和固定第三视角的红外深度摄像头;其中,
所述红外深度摄像头,用于采集穿戴所述可穿戴式显示头盔的使用者的深度图像数据,其中,所述可穿戴式显示头盔包括第一目镜和第二目镜,所述第一目镜位于所述使用者左眼的前方,所述第二目镜位于所述使用者右眼的前方;
提取装置,用于从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据;
模拟影像生成装置,用于利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作,得到模拟影像,并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510834004.4A CN105487660A (zh) | 2015-11-25 | 2015-11-25 | 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510834004.4A CN105487660A (zh) | 2015-11-25 | 2015-11-25 | 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105487660A true CN105487660A (zh) | 2016-04-13 |
Family
ID=55674684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510834004.4A Pending CN105487660A (zh) | 2015-11-25 | 2015-11-25 | 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105487660A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106110627A (zh) * | 2016-06-20 | 2016-11-16 | 曲大方 | 体育和武术运动动作校正设备和方法 |
CN107103645A (zh) * | 2017-04-27 | 2017-08-29 | 腾讯科技(深圳)有限公司 | 虚拟现实媒体文件生成方法及装置 |
CN108227931A (zh) * | 2018-01-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 |
CN109089017A (zh) * | 2018-09-05 | 2018-12-25 | 宁波梅霖文化科技有限公司 | 魔术虚拟装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103112007A (zh) * | 2013-02-06 | 2013-05-22 | 华南理工大学 | 基于混合传感器的人机交互方法 |
CN103179692A (zh) * | 2011-12-26 | 2013-06-26 | 陈建新 | 基于ZigBee/IEEE802.15.4的人体运动追踪系统 |
CN103220543A (zh) * | 2013-04-25 | 2013-07-24 | 同济大学 | 基于Kinect的实时3D视频通信系统及其实现方法 |
CN103440677A (zh) * | 2013-07-30 | 2013-12-11 | 四川大学 | 一种基于Kinect体感设备的多视点自由立体交互系统 |
CN103995352A (zh) * | 2013-02-14 | 2014-08-20 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN203825855U (zh) * | 2014-04-17 | 2014-09-10 | 国网上海市电力公司 | 基于三维体感摄影机的带电作业仿真训练系统 |
US20140327970A1 (en) * | 2013-05-02 | 2014-11-06 | David D. Bohn | Spherical interface for binocular display |
CN104436634A (zh) * | 2014-11-19 | 2015-03-25 | 重庆邮电大学 | 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 |
CN104662587A (zh) * | 2012-07-27 | 2015-05-27 | 日本电气方案创新株式会社 | 三维用户界面装置以及三维操作方法 |
CN104771892A (zh) * | 2015-04-02 | 2015-07-15 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的同步显示方法和系统 |
CN105027190A (zh) * | 2013-01-03 | 2015-11-04 | 美达公司 | 用于虚拟或增强介导视觉的射出空间成像数字眼镜 |
CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
CN204745623U (zh) * | 2015-06-11 | 2015-11-11 | 苏州百源软件设计有限公司 | 可穿戴虚拟现实运动头盔及可穿戴虚拟动作游戏系统 |
-
2015
- 2015-11-25 CN CN201510834004.4A patent/CN105487660A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179692A (zh) * | 2011-12-26 | 2013-06-26 | 陈建新 | 基于ZigBee/IEEE802.15.4的人体运动追踪系统 |
CN104662587A (zh) * | 2012-07-27 | 2015-05-27 | 日本电气方案创新株式会社 | 三维用户界面装置以及三维操作方法 |
CN105027190A (zh) * | 2013-01-03 | 2015-11-04 | 美达公司 | 用于虚拟或增强介导视觉的射出空间成像数字眼镜 |
CN103112007A (zh) * | 2013-02-06 | 2013-05-22 | 华南理工大学 | 基于混合传感器的人机交互方法 |
CN103995352A (zh) * | 2013-02-14 | 2014-08-20 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN103220543A (zh) * | 2013-04-25 | 2013-07-24 | 同济大学 | 基于Kinect的实时3D视频通信系统及其实现方法 |
US20140327970A1 (en) * | 2013-05-02 | 2014-11-06 | David D. Bohn | Spherical interface for binocular display |
CN103440677A (zh) * | 2013-07-30 | 2013-12-11 | 四川大学 | 一种基于Kinect体感设备的多视点自由立体交互系统 |
CN203825855U (zh) * | 2014-04-17 | 2014-09-10 | 国网上海市电力公司 | 基于三维体感摄影机的带电作业仿真训练系统 |
CN104436634A (zh) * | 2014-11-19 | 2015-03-25 | 重庆邮电大学 | 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 |
CN104771892A (zh) * | 2015-04-02 | 2015-07-15 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的同步显示方法和系统 |
CN204745623U (zh) * | 2015-06-11 | 2015-11-11 | 苏州百源软件设计有限公司 | 可穿戴虚拟现实运动头盔及可穿戴虚拟动作游戏系统 |
CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106110627A (zh) * | 2016-06-20 | 2016-11-16 | 曲大方 | 体育和武术运动动作校正设备和方法 |
CN107103645A (zh) * | 2017-04-27 | 2017-08-29 | 腾讯科技(深圳)有限公司 | 虚拟现实媒体文件生成方法及装置 |
CN107103645B (zh) * | 2017-04-27 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 虚拟现实媒体文件生成方法及装置 |
CN108227931A (zh) * | 2018-01-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 |
CN109089017A (zh) * | 2018-09-05 | 2018-12-25 | 宁波梅霖文化科技有限公司 | 魔术虚拟装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111968207B (zh) | 动画生成方法、装置、系统及存储介质 | |
US11577159B2 (en) | Realistic virtual/augmented/mixed reality viewing and interactions | |
CN105487660A (zh) | 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 | |
CN106873778A (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
CN106157359A (zh) | 一种虚拟场景体验系统的设计方法 | |
CN103777757B (zh) | 一种结合显著性检测的在增强现实中放置虚拟对象的系统 | |
CN103106604A (zh) | 基于体感技术的3d虚拟试衣方法 | |
CN102801994B (zh) | 一种信息物理图像融合装置与方法 | |
CN106710362A (zh) | 使用虚拟现实设备进行的飞行训练方法 | |
CN105068649A (zh) | 基于虚拟现实头盔的双目手势识别装置及方法 | |
CN103337095A (zh) | 一种真实空间三维地理实体的立体虚拟显示方法 | |
CN104702936A (zh) | 一种基于裸眼3d显示的虚拟现实交互方法 | |
CN102184342B (zh) | 一种虚实融合的手功能康复训练系统及方法 | |
CN105955483A (zh) | 虚拟现实终端及其视觉虚拟方法和装置 | |
CN204406327U (zh) | 基于三维体感摄影机的肢体康复模拟仿真训练系统 | |
JP2017016577A (ja) | 情報処理装置、その制御方法及びプログラム | |
KR102188313B1 (ko) | Vr을 이용한 다기종 비행 훈련 시뮬레이터 | |
CN105739703A (zh) | 面向无线头戴显示设备的虚拟现实体感交互系统及方法 | |
CN105006011B (zh) | 真实感三维场景的体感交互式绘制系统与方法 | |
CN105184622A (zh) | 利用虚拟技术帮助消费者网络购物 | |
CN108804061A (zh) | 虚拟现实系统的虚拟场景显示方法 | |
CN106126145A (zh) | 一种显示方法及电子设备 | |
CN107613161A (zh) | 基于虚拟世界的视频数据处理方法及装置、计算设备 | |
CN105721857A (zh) | 一种具有双摄像头的头盔 | |
CN106973283A (zh) | 一种图像显示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160413 |