CN110442239A - 基于动作捕捉技术的梨园戏虚拟现实再现方法 - Google Patents

基于动作捕捉技术的梨园戏虚拟现实再现方法 Download PDF

Info

Publication number
CN110442239A
CN110442239A CN201910726662.XA CN201910726662A CN110442239A CN 110442239 A CN110442239 A CN 110442239A CN 201910726662 A CN201910726662 A CN 201910726662A CN 110442239 A CN110442239 A CN 110442239A
Authority
CN
China
Prior art keywords
opera
data
virtual reality
performance
performer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910726662.XA
Other languages
English (en)
Other versions
CN110442239B (zh
Inventor
王鸿伟
刘清彬
陈明玉
谢叻
王荣海
林捷
吴伊萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Normal University
Original Assignee
Quanzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Normal University filed Critical Quanzhou Normal University
Priority to CN201910726662.XA priority Critical patent/CN110442239B/zh
Publication of CN110442239A publication Critical patent/CN110442239A/zh
Application granted granted Critical
Publication of CN110442239B publication Critical patent/CN110442239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出基于动作捕捉技术的梨园戏虚拟现实再现方法，包括以下步骤；A1、把待捕捉场景切分为若干采集片段，确定片段内戏曲演员的动作、台词念白和音乐场景；A2、戏曲演员穿戴惯性动作捕捉设备进行表演，采集设备经惯性动作捕捉设备采集演员在三维空间内的动作数据、经录音设备采集戏曲演员的台词念白数据和背景音乐数据；A3、根据戏曲演员的体征创建三维人物模型对三维人物模型进行骨骼绑定；A5、对各采集片段进行组合，并以动作数据驱动三维人物模型进行虚拟表演动作，同时组合台词念白数据和背景音乐数据，形成虚拟现实场景中的戏曲表演虚拟场景；本发明能高精度地把传统戏曲表演制作为可用虚拟现实头盔观看的虚拟现实场景。

Description

基于动作捕捉技术的梨园戏虚拟现实再现方法
技术领域
本发明涉及虚拟现实技术，尤其是基于动作捕捉技术的梨园戏虚拟现实再现方法。
背景技术
虚拟现实技术在创建传统戏曲场景时，有时需要采集表演人员动作来增强场景的真实性，但传统戏曲的服装遮挡性较强，不利于光学采集，而且传统戏曲的表演动作十分精细，也需要进一步提升三维采集设备的采集精度，如何解决这些问题，是一个研究方向。
发明内容
本发明提出基于动作捕捉技术的梨园戏虚拟现实再现方法，能高精度地把传统戏曲表演制作为可用虚拟现实头盔观看的虚拟现实场景。
本发明采用以下技术方案。
基于动作捕捉技术的梨园戏虚拟现实再现方法，用于把戏曲表演制作为虚拟现实场景，所述再现方法包括以下步骤；
A1、对需以动作捕捉技术进行数据采集的戏曲表演进行待捕捉场景定义，然后把待捕捉场景切分为若干采集片段，确定每个采集片段内戏曲演员的动作、台词念白和音乐场景以便同步采集；
A2、戏曲演员穿戴惯性动作捕捉设备进行采集片段内的梨园戏表演，采集设备经惯性动作捕捉设备采集演员在三维空间内的动作数据、经录音设备采集戏曲演员的台词念白数据和背景音乐数据；
A3、根据戏曲演员的体征创建三维人物模型，体征包括身高和躯体比例，同时对三维人物模型进行骨骼绑定；
A5、在三维场景开发平台下，对各采集片段进行组合，并以采集片段的动作数据驱动三维人物模型进行虚拟表演动作，同时把虚拟表演动作与念白数据和背景音乐数据进行组合，形成虚拟现实场景中的戏曲表演虚拟场景。
所述戏曲表演虚拟场景的观看可通过虚拟现实头盔进行，且在观看时能在360度范围内调整观看角度。
所述三维场景开发平台为Unity3D平台。
所述惯性动作捕捉设备内置数据传感器；所述数据传感器数量不低于31个。
当戏曲演员穿戴惯性动作捕捉设备时，各数据传感器分别绑定并贴于戏曲演员的人体各个部位；所述绑定部位包括头部、躯干、四肢和手部，当戏曲演员表演时，所述数据传感器记录人体相应骨骼的空间移动信息以获取人体的表演运动数据。
在步骤A5中，可对三维人物模型的虚拟表演动作添加脸部表情；所述脸部表情为基于第三方数据创建的可更换的脸部表情模型。
在步骤A3中，可对三维人物模型添加或更换戏曲表演服，也可对三维人物添加或更改戏曲妆容。
本发明所述方案，可以将人物的表演数据，切割成片段；然后可以按具体需求，随意设置各个表演片段的顺序和表演片段出现的次数。从而获得设计出一个全新的表演片段，达到以虚拟现实的方式，完成戏剧表演编排方法的创新。
本发明的优点在于：
1、使用惯性动作捕捉技术，数据采集全面、能解决采集过程的戏服遮挡问题，直接采集人体骨骼数据，使制作出的虚拟场景真实度更高，而且惯性动作捕捉技术对场地要求比光学式动作捕捉低，设备价格也比较便宜；
2、对虚拟现实场景采用后期制作的方式，可以让表演组合更加丰富；
3、所再现的虚拟现实场景能支持使用虚拟现实头盔来观看最终成品，给观众一个全新的360度沉浸式体验。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明在戏曲表演数据采集时的流程示意图；
附图2是本发明制作戏曲表演虚拟场景时的流程示意图；
附图3是戏曲人员穿戴惯性动作捕捉设备的示意图；
附图4是戏曲人员穿戴惯性动作捕捉设备的另一示意图。
具体实施方式
如图1-4所示，基于动作捕捉技术的梨园戏虚拟现实再现方法，用于把戏曲表演制作为虚拟现实场景，所述再现方法包括以下步骤；
A1、对需以动作捕捉技术进行数据采集的戏曲表演进行待捕捉场景定义，然后把待捕捉场景切分为若干采集片段，确定每个采集片段内戏曲演员的动作、台词念白和音乐场景以便同步采集；
A2、戏曲演员穿戴惯性动作捕捉设备进行采集片段内的梨园戏表演，采集设备经惯性动作捕捉设备采集演员在三维空间内的动作数据、经录音设备采集戏曲演员的台词念白数据和背景音乐数据；
A3、根据戏曲演员的体征创建三维人物模型，体征包括身高和躯体比例，同时对三维人物模型进行骨骼绑定；
A5、在三维场景开发平台下，对各采集片段进行组合，并以采集片段的动作数据驱动三维人物模型进行虚拟表演动作，同时把虚拟表演动作与念白数据和背景音乐数据进行组合，形成虚拟现实场景中的戏曲表演虚拟场景。
所述戏曲表演虚拟场景的观看可通过虚拟现实头盔进行，且在观看时能在360度范围内调整观看角度。
所述三维场景开发平台为Unity3D平台。
所述惯性动作捕捉设备内置数据传感器；所述数据传感器数量不低于31个。
当戏曲演员穿戴惯性动作捕捉设备时，各数据传感器分别绑定并贴于戏曲演员的人体各个部位；所述绑定部位包括头部、躯干、四肢和手部，当戏曲演员表演时，所述数据传感器记录人体相应骨骼的空间移动信息以获取人体的表演运动数据。
在步骤A5中，可对三维人物模型的虚拟表演动作添加脸部表情；所述脸部表情为基于第三方数据创建的可更换的脸部表情模型。
在步骤A3中，可对三维人物模型添加或更换戏曲表演服，也可对三维人物添加或更改戏曲妆容。
实施例：
戏曲演员穿戴惯性动作捕捉设备进行表演，惯性动作捕捉设备采集演员在三维空间内的动作数据，录音设备采集戏曲演员的台词念白数据和背景音乐数据。
在Unity3D平台根据演员体征建立人体模型并进行骨髂绑定，数据采集完成后，在Unity3D平台上以采集的动作数据驱动人物模型进行虚拟表演动作（优选方式以动作数据驱动骨髂来使人体模型进行动作），同时组合台词念白数据和背景音乐数据形成戏曲表演的虚拟场景。
制作人员可通过虚拟现实头盔，在360度范围内细致观察戏曲表演的虚拟场景，并按需求更改人体模型的妆容、戏服和面部表情。

Claims (7)

1.基于动作捕捉技术的梨园戏虚拟现实再现方法，用于把戏曲表演制作为虚拟现实场景，其特征在于：所述再现方法包括以下步骤；
A1、对需以动作捕捉技术进行数据采集的戏曲表演进行待捕捉场景定义，然后把待捕捉场景切分为若干采集片段，确定每个采集片段内戏曲演员的动作、台词念白和音乐场景以便同步采集；
A2、戏曲演员穿戴惯性动作捕捉设备进行采集片段内的梨园戏表演，采集设备经惯性动作捕捉设备采集演员在三维空间内的动作数据、经录音设备采集戏曲演员的台词念白数据和背景音乐数据；
A3、根据戏曲演员的体征创建三维人物模型，体征包括身高和躯体比例，同时对三维人物模型进行骨骼绑定；
A5、在三维场景开发平台下，对各采集片段进行组合，并以采集片段的动作数据驱动三维人物模型进行虚拟表演动作，同时把虚拟表演动作与念白数据和背景音乐数据进行组合，形成虚拟现实场景中的戏曲表演虚拟场景。
2.根据权利要求1所述的基于动作捕捉技术的梨园戏虚拟现实再现方法，其特征在于：所述戏曲表演虚拟场景的观看可通过虚拟现实头盔进行，且在观看时能在360度范围内调整观看角度。
3.根据权利要求1所述的基于动作捕捉技术的梨园戏虚拟现实再现方法，其特征在于：所述三维场景开发平台为Unity3D平台。
4.根据权利要求1所述的基于动作捕捉技术的梨园戏虚拟现实再现方法，其特征在于：所述惯性动作捕捉设备内置数据传感器；所述数据传感器数量不低于31个。
5.根据权利要求4所述的基于动作捕捉技术的梨园戏虚拟现实再现方法，其特征在于：当戏曲演员穿戴惯性动作捕捉设备时，各数据传感器分别绑定并贴于戏曲演员的人体各个部位；所述绑定部位包括头部、躯干、四肢和手部，当戏曲演员表演时，所述数据传感器记录人体相应骨骼的空间移动信息以获取人体的表演运动数据。
6.根据权利要求1所述的基于动作捕捉技术的梨园戏虚拟现实再现方法，其特征在于：在步骤A5中，可对三维人物模型的虚拟表演动作添加脸部表情；所述脸部表情为基于第三方数据创建的可更换的脸部表情模型。
7.根据权利要求1所述的基于动作捕捉技术的梨园戏虚拟现实再现方法，其特征在于：在步骤A3中，可对三维人物模型添加或更换戏曲表演服，也可对三维人物添加或更改戏曲妆容。
CN201910726662.XA 2019-08-07 2019-08-07 基于动作捕捉技术的梨园戏虚拟现实再现方法 Active CN110442239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910726662.XA CN110442239B (zh) 2019-08-07 2019-08-07 基于动作捕捉技术的梨园戏虚拟现实再现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910726662.XA CN110442239B (zh) 2019-08-07 2019-08-07 基于动作捕捉技术的梨园戏虚拟现实再现方法

Publications (2)

Publication Number Publication Date
CN110442239A true CN110442239A (zh) 2019-11-12
CN110442239B CN110442239B (zh) 2024-01-26

Family

ID=68433764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910726662.XA Active CN110442239B (zh) 2019-08-07 2019-08-07 基于动作捕捉技术的梨园戏虚拟现实再现方法

Country Status (1)

Country Link
CN (1) CN110442239B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111298435A (zh) * 2020-02-12 2020-06-19 网易（杭州）网络有限公司 Vr游戏的视野控制方法、vr显示终端、设备及介质
CN113017615A (zh) * 2021-03-08 2021-06-25 安徽大学 基于惯性动作捕捉设备的虚拟交互运动辅助系统及方法
CN114554111A (zh) * 2022-02-22 2022-05-27 广州繁星互娱信息科技有限公司 视频生成方法和装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070099949A (ko) * 2006-04-06 2007-10-10 박주영 쓰리디콘티 제작시스템 및 그 제공방법
WO2011090509A1 (en) * 2010-01-22 2011-07-28 Sony Computer Entertainment America Inc. Capturing views and movements of actors performing within generated scenes
US20120194645A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Living room movie creation
KR101768958B1 (ko) * 2016-10-31 2017-08-17 (주)코어센스 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
CN108108026A (zh) * 2018-01-18 2018-06-01 珠海金山网络游戏科技有限公司 一种vr虚拟现实动作捕捉系统和动作捕捉方法
CN108304064A (zh) * 2018-01-09 2018-07-20 上海大学 基于被动式光学动作捕捉的多人虚拟预演系统
CN109785415A (zh) * 2018-12-18 2019-05-21 武汉西山艺创文化有限公司 一种基于外骨骼技术的动作采集系统及其方法
CN109829976A (zh) * 2018-12-18 2019-05-31 武汉西山艺创文化有限公司 一种基于全息技术实时表演方法及其系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070099949A (ko) * 2006-04-06 2007-10-10 박주영 쓰리디콘티 제작시스템 및 그 제공방법
WO2011090509A1 (en) * 2010-01-22 2011-07-28 Sony Computer Entertainment America Inc. Capturing views and movements of actors performing within generated scenes
US20120194645A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Living room movie creation
KR101768958B1 (ko) * 2016-10-31 2017-08-17 (주)코어센스 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
CN108304064A (zh) * 2018-01-09 2018-07-20 上海大学 基于被动式光学动作捕捉的多人虚拟预演系统
CN108108026A (zh) * 2018-01-18 2018-06-01 珠海金山网络游戏科技有限公司 一种vr虚拟现实动作捕捉系统和动作捕捉方法
CN109785415A (zh) * 2018-12-18 2019-05-21 武汉西山艺创文化有限公司 一种基于外骨骼技术的动作采集系统及其方法
CN109829976A (zh) * 2018-12-18 2019-05-31 武汉西山艺创文化有限公司 一种基于全息技术实时表演方法及其系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111298435A (zh) * 2020-02-12 2020-06-19 网易（杭州）网络有限公司 Vr游戏的视野控制方法、vr显示终端、设备及介质
CN111298435B (zh) * 2020-02-12 2024-04-12 网易（杭州）网络有限公司 Vr游戏的视野控制方法、vr显示终端、设备及介质
CN113017615A (zh) * 2021-03-08 2021-06-25 安徽大学 基于惯性动作捕捉设备的虚拟交互运动辅助系统及方法
CN114554111A (zh) * 2022-02-22 2022-05-27 广州繁星互娱信息科技有限公司 视频生成方法和装置、存储介质及电子设备
CN114554111B (zh) * 2022-02-22 2023-08-01 广州繁星互娱信息科技有限公司 视频生成方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110442239B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN110442239A (zh) 基于动作捕捉技术的梨园戏虚拟现实再现方法
CN104623910B (zh) 舞蹈辅助特效伴侣系统及实现方法
US11893670B2 (en) Animation generation method, apparatus and system, and storage medium
CN207460313U (zh) 混合现实演播室系统
Menache Understanding motion capture for computer animation
CN105488457B (zh) 摄影机运动控制系统在电影拍摄中的虚拟仿真方法及系统
CN108986189A (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
CN109829976A (zh) 一种基于全息技术实时表演方法及其系统
CN105608934B (zh) Ar儿童故事早教舞台剧系统
CN108986190A (zh) 一种基于三维动画中非人形角色的虚拟主播的方法和系统
CN105931283B (zh) 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN106777119A (zh) 在线式同步旅游方法
CN107810531A (zh) 数据处理系统
CN108200445A (zh) 虚拟形象的虚拟演播系统及方法
JP5724283B2 (ja) 情報処理装置、同期方法およびプログラム
JP2017534940A (ja) ３ｄシーンでオブジェクトを再現するシステム及び方法
CN1949274A (zh) 一种虚拟人群运动的三维可视化方法
CN108766408A (zh) 一种电子乐器合奏系统和方法
US20170076629A1 (en) Apparatus and method for supporting choreography
CN105938541A (zh) 利用数字内容增强现场表演的系统和方法
CN104408775A (zh) 基于深度感知的三维皮影戏制作方法
CN108335346A (zh) 一种互动动画生成系统
CN110379259B (zh) 基于动作捕捉的演员培训方法
CN102693549A (zh) 一种虚拟人群运动的三维可视化方法
CN103744511B (zh) 一种交互式皮影表演系统及操作控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant