CN110737338A - 一种特效自动跟随角色的全息投影方法及系统 - Google Patents

一种特效自动跟随角色的全息投影方法及系统 Download PDF

Info

Publication number
CN110737338A
CN110737338A CN201910997051.9A CN201910997051A CN110737338A CN 110737338 A CN110737338 A CN 110737338A CN 201910997051 A CN201910997051 A CN 201910997051A CN 110737338 A CN110737338 A CN 110737338A
Authority
CN
China
Prior art keywords
holographic projection
light source
special effect
infrared light
curtain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910997051.9A
Other languages
English (en)
Inventor
曾义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiangpini Technology Co Ltd
Original Assignee
Nanjing Xiangpini Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiangpini Technology Co Ltd filed Critical Nanjing Xiangpini Technology Co Ltd
Priority to CN201910997051.9A priority Critical patent/CN110737338A/zh
Publication of CN110737338A publication Critical patent/CN110737338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address

Abstract

本发明提供一种特效自动跟随角色的全息投影系统。本发明包括透明的全息投影幕布，所述透明的全息投影幕布的一侧布置有投影仪、PC主机、体感设备、麦克风阵列，所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源，所述的体感设备和所述麦克风阵列连接所述的PC主机。本发明通过深度摄像头捕捉投影幕布前人员的骨骼信息和人员穿戴的红外灯位置，将采集到的骨骼信息和穿戴红外灯位置与投影区域进行校准。计算出投影幕布上特效出现的区域并投影。后续只要人员不走出深度摄像头的捕捉范围，则特效可以实时跟随人员进行移动。节省大量影视后期工作难度和工作量。也使得舞台人员不用再去配合特效的位置，极大减轻舞台人员的工作量。

Description

一种特效自动跟随角色的全息投影方法及系统
技术领域：
本发明涉及一种特效自动跟随角色的全息投影方法及系统，属于影视特效技术领域。
背景技术：
现有的影视特效，主要通过影视后期软件来融合。需要演员先表演完毕后，由后期制作人员使用类似Adobe After Effects等软件去修改原片，为原片中的人员添加各种特效。制作时需要根据演员在镜头中的位置以及姿态来融合特效，耗时耗力对后期制作人员的要求很高。
而现有的舞台剧则是根据剧情事先制作好特效，然后根据时间自动在特定的位置显示。需要舞台剧演员去记住每个特效出现的时间点及位置，提前做出反应进行表演。对舞台剧演员的要求也很高。
发明内容：
本发明的目的是针对上述存在的问题提供一种特效自动跟随角色的全息投影方法及系统，通过深度摄像头捕捉投影幕布前人员的骨骼信息和人员穿戴的红外灯位置，将采集到的骨骼信息和穿戴红外灯位置与投影区域进行校准。计算出投影幕布上特效出现的区域并投影。后续只要人员不走出深度摄像头的捕捉范围，则特效可以实时跟随人员进行移动。节省大量影视后期工作难度和工作量。也使得舞台人员不用再去配合特效的位置，极大减轻舞台人员的工作量。
上述的目的通过以下的技术方案实现：
一种特效自动跟随角色的全息投影系统，包括透明的全息投影幕布，所述透明的全息投影幕布的一侧布置有投影仪、PC主机、体感设备、麦克风阵列，所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源，所述的体感设备和所述麦克风阵列连接所述的PC主机。
所述的特效自动跟随角色的全息投影系统，所述体感设备采用深度红外摄像头。
用上述特效自动跟随角色的全息投影系统进行特效自动跟随角色的影视特效融合方法，该方法包括如下步骤：
步骤1. 部署好PC主机、体感设备、麦克风阵列、投影仪和透明的全息投影幕布，将PC视频信号输出到投影仪，并将投影仪投向全息投影幕布，其中PC主机、体感设备、麦克风阵列、投影仪位于全息投影幕布的一侧，用于演员穿戴的穿戴红外光源位于全息投影幕布的另一侧，使得体感设备透过透明的全息投影幕布对准红外光源；
步骤2. 当体感设备检测到演员信息，则通过3D引擎把骨骼信息和空间坐标输出到幕布上；同时当体感设备捕捉到红外光源，则系统把红外光源的位置换算成屏幕坐标也输出到幕布；
步骤3. 系统通过姿态识别和穿戴红外光源的开闭，来给幕布上骨骼位置和红外光源位置加上预制好的特效。
所述的特效自动跟随角色的影视特效融合方法，步骤2中所述的体感设备检测到演员信息以及感设备捕捉到红外光源后还设置有抗干扰处理流程。
所述的特效自动跟随角色的影视特效融合方法，所述3D引擎采用unity3d。
所述的特效自动跟随角色的影视特效融合方法，系统过过麦克风阵列检测到的语音识别设置触发关键字，来作为特效追踪的开关。
所述的特效自动跟随角色的影视特效融合方法，所述系统过过麦克风阵列检测到的语音识别关键字后设置有抗干扰处理流程。
有益效果：
采用本发明的系统和方法，演绎人员不需要提前记住特效出现的位置，现在是由系统主动去追踪人员然后给投影幕布上人员位置加上特效。可以使演绎人员可以全部精力投入演出。
本发明的系统和方法，当体感设备捕捉不到演绎人员骨骼时，还可以通过计算出人员穿戴的红外光源位置来给人员加特效配合剧情演出。
将本发明的特效自动跟随的全息投影系统，在不同场景下多次反复测试效果显著。
附图说明：
图1是本发明的系统示意图；
图2是本发明的原理框架图；
图3是本发明综合处理流程示意图。
具体实施方式：
如图1所示，本实施例的一种特效自动跟随角色的全息投影系统，包括透明的全息投影幕布1，所述透明的全息投影幕布的一侧布置有投影仪2、PC主机3、体感设备4、麦克风阵列5，所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源6，所述的体感设备和所述麦克风阵列连接所述的PC主机。
所述的特效自动跟随角色的全息投影系统，所述体感设备采用深度红外摄像头。
如图1-3所示，用上述特效自动跟随角色的全息投影系统进行特效自动跟随角色的影视特效融合方法，该方法包括如下步骤：
步骤1. 部署好PC主机、体感设备、麦克风阵列、投影仪和透明的全息投影幕布，将PC视频信号输出到投影仪，并将投影仪投向全息投影幕布，其中PC主机、体感设备、麦克风阵列、投影仪位于全息投影幕布的一侧，用于演员穿戴的穿戴红外光源位于全息投影幕布的另一侧，使得体感设备透过透明的全息投影幕布对准红外光源；
步骤2. 当体感设备检测到演员信息，则通过3D引擎把骨骼信息和空间坐标输出到幕布上；同时当体感设备捕捉到红外光源，则系统把红外光源的位置换算成屏幕坐标也输出到幕布；
步骤3. 系统通过姿态识别和穿戴红外光源的开闭，来给幕布上骨骼位置和红外光源位置加上预制好的特效。
所述的特效自动跟随角色的影视特效融合方法，步骤2中所述的体感设备检测到演员信息以及感设备捕捉到红外光源后还设置有抗干扰处理流程。
所述的特效自动跟随角色的影视特效融合方法，所述3D引擎采用unity3d。
所述的特效自动跟随角色的影视特效融合方法，系统过过麦克风阵列检测到的语音识别设置触发关键字，来作为特效追踪的开关。
所述的特效自动跟随角色的影视特效融合方法，所述系统过过麦克风阵列检测到的语音识别关键字后设置有抗干扰处理流程。
工作过程：
体感设备用来捕捉人体骨骼，当识别到一个人体骨骼时，产生一个追踪信号，系统开始在幕布上对应位置给幕布后人员叠加特效，当识别到多个人体骨骼时，系统按骨骼的识别顺序为人员添加各自的特效；
体感设备上的红外摄像头检测幕布后人员的穿戴式红外光源有没有笔激发。穿戴式红外光源有两个用处，一是当人员因为侧身或背向体感设备骨骼信息不全时充当第二个追踪标记，二是可以给人员在特定的部位更加准确的加上特效；
语音识别模块里可以设置触发关键字，来作为特效追踪的开关。当检测到人员说出关键字后来开启或关闭特效。
如图2所示，三个模块在后端都增加了去干扰模块进行抗干扰处理。
抗干扰处理流程：
抗干扰后，当人体骨骼捕捉形成事件A【-1，0，1】，1表示检测到骨骼，0表示无变化，-1在检测到骨骼丢失，；每个信号处理后，最后都输出值为这三种状态【-1，0，1】之一。
抗干扰后，红外光源识别形成事件B【-1，0，1】，1为红外光源打开，0为无变化，-1为红外光源关闭。每个信号处理后，最后都输出值为这三种状态【-1，0，1】之一。
抗干扰后，声音传感器形成事件C【-1，0，1】，1为有声音并识别到关键字，0为无变化，-1为有声音但未识别到关键字。每个信号处理后，最后都输出值为这三种状态【-1，0，1】之一。
然后我们针对这三路输入及三种状态进行处理，处理流程如下：
综合处理流程：
通常本投影系统处于待机状态，当输入环境发生变化时，本系统会根据不同的输出来采取不同的策略。输出参数我们可以归类为三种，一是捕捉到人体骨骼，二是穿戴的红外光源开闭，三是是否识别到语音关键字：
如图3所示，定义状态组合【A,B,C】
针对情况一：通过体感设备，当检测到人体骨骼时，系统开始在幕布上对应位置给幕布后人员叠加特效，当识别到多个人体骨骼时，系统按骨骼的识别顺序为人员添加各自的特效；反之，当检测丢失人体骨骼时，清除原有位置上的特效。
针对情况二：通过红外传感器，当检测到红外光源打开时，系统先将红外光源位置换算成屏幕坐标。然后在投影幕布对应位置开启特效并追踪红外光源。当检测到红外光源关闭时，系统清除对应位置的特效并停止追踪。
针对情况三：通过麦克风阵列，识别到开启/关闭的关键字时。立即对音源方位骨骼位置进行特效的开启/关闭操作。
此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种特效自动跟随角色的全息投影系统，其特征是：包括透明的全息投影幕布，所述透明的全息投影幕布的一侧布置有投影仪、PC主机、体感设备、麦克风阵列，所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源，所述的体感设备和所述麦克风阵列连接所述的PC主机。
2.根据权利要求1所述的特效自动跟随角色的全息投影系统，其特征是：所述体感设备采用深度红外摄像头。
3.一种用上述特效自动跟随角色的全息投影系统进行特效自动跟随角色的影视特效融合方法，其特征是：该方法包括如下步骤：
步骤1. 部署好PC主机、体感设备、麦克风阵列、投影仪和透明的全息投影幕布，将PC视频信号输出到投影仪，并将投影仪投向全息投影幕布，其中PC主机、体感设备、麦克风阵列、投影仪位于全息投影幕布的一侧，用于演员穿戴的穿戴红外光源位于全息投影幕布的另一侧，使得体感设备透过透明的全息投影幕布对准红外光源；
步骤2. 当体感设备检测到演员信息，则通过3D引擎把骨骼信息和空间坐标输出到幕布上；同时当体感设备捕捉到红外光源，则系统把红外光源的位置换算成屏幕坐标也输出到幕布；
步骤3. 系统通过姿态识别和穿戴红外光源的开闭，来给幕布上骨骼位置和红外光源位置加上预制好的特效。
4.根据权利要求3所述的特效自动跟随角色的影视特效融合方法，其特征是：步骤2中所述的体感设备检测到演员信息以及感设备捕捉到红外光源后还设置有抗干扰处理流程。
5.根据权利要求3所述的特效自动跟随角色的影视特效融合方法，其特征是：所述3D引擎采用unity3d。
6.根据权利要求3所述的特效自动跟随角色的影视特效融合方法，其特征是：系统过过麦克风阵列检测到的语音识别设置触发关键字，来作为特效追踪的开关。
7.根据权利要求3所述的特效自动跟随角色的影视特效融合方法，其特征是：所述系统过过麦克风阵列检测到的语音识别关键字后设置有抗干扰处理流程。
CN201910997051.9A 2019-10-20 2019-10-20 一种特效自动跟随角色的全息投影方法及系统 Pending CN110737338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910997051.9A CN110737338A (zh) 2019-10-20 2019-10-20 一种特效自动跟随角色的全息投影方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910997051.9A CN110737338A (zh) 2019-10-20 2019-10-20 一种特效自动跟随角色的全息投影方法及系统

Publications (1)

Publication Number Publication Date
CN110737338A true CN110737338A (zh) 2020-01-31

Family

ID=69270173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910997051.9A Pending CN110737338A (zh) 2019-10-20 2019-10-20 一种特效自动跟随角色的全息投影方法及系统

Country Status (1)

Country Link
CN (1) CN110737338A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379774A (zh) * 2020-11-12 2021-02-19 歌尔光学科技有限公司 Vr眼镜与腕带设备的交互方法及相关组件
CN112714305A (zh) * 2020-12-25 2021-04-27 北京市商汤科技开发有限公司 展示方法、装置、设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102688603A (zh) * 2011-03-22 2012-09-26 王鹏勃 基于增强现实与动作识别技术的实时魔幻类舞台表演的系统与方法
CN105513436A (zh) * 2014-10-17 2016-04-20 北方工业大学 交互式全息幻象教学系统及方法
CN206325235U (zh) * 2016-11-11 2017-07-14 张燕翔 一种戏曲舞台虚实融合互动表演系统
CN109936735A (zh) * 2019-04-09 2019-06-25 深圳市远望淦拓科技有限公司 一种影子投影系统及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102688603A (zh) * 2011-03-22 2012-09-26 王鹏勃 基于增强现实与动作识别技术的实时魔幻类舞台表演的系统与方法
CN105513436A (zh) * 2014-10-17 2016-04-20 北方工业大学 交互式全息幻象教学系统及方法
CN206325235U (zh) * 2016-11-11 2017-07-14 张燕翔 一种戏曲舞台虚实融合互动表演系统
CN109936735A (zh) * 2019-04-09 2019-06-25 深圳市远望淦拓科技有限公司 一种影子投影系统及控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379774A (zh) * 2020-11-12 2021-02-19 歌尔光学科技有限公司 Vr眼镜与腕带设备的交互方法及相关组件
CN112714305A (zh) * 2020-12-25 2021-04-27 北京市商汤科技开发有限公司 展示方法、装置、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10956725B2 (en) Automated sign language translation and communication using multiple input and output modalities
US11087488B2 (en) Automated gesture identification using neural networks
CN102221887B (zh) 互动投影系统及方法
US20180173300A1 (en) Interactive virtual objects in mixed reality environments
WO2017149868A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11048326B2 (en) Information processing system, information processing method, and program
CN102854983A (zh) 一种基于手势识别的人机交互方法
CN102103409A (zh) 基于运动轨迹识别的人机交互方法及装置
Yargıç et al. A lip reading application on MS Kinect camera
CN206340066U (zh) 虚拟人现场互动表演系统
CN110737338A (zh) 一种特效自动跟随角色的全息投影方法及系统
TWI677751B (zh) 攝像裝置與運作攝像裝置的方法
CN110062145B (zh) 深度相机、电子设备及图像获取方法
CN101872329A (zh) 保护演讲人眼睛的智能视频投影系统
Zhang et al. Boosting-based multimodal speaker detection for distributed meeting videos
CN111726921A (zh) 一种体感交互灯光控制系统
KR101375186B1 (ko) 감시 카메라 교란 검출 방법
KR102012719B1 (ko) 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법
CN202196425U (zh) 增强现实中的逆向红外动作捕捉装置
WO2019119290A1 (zh) 提示信息确定方法、装置、电子设备和计算机程序产品
CN113920354A (zh) 一种基于事件相机的动作识别方法
CN106557738A (zh) 一种远距离虹膜识别装置
KR101981648B1 (ko) 전력절감기능을 갖는 야간 감시 시스템 및 방법
CN202422002U (zh) 体感互动系统
CN108833741A (zh) 用于ar与实时动捕相结合的虚拟摄影棚系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination