CN113315885A - 一种用于远程互动的全息演播室及系统 - Google Patents
一种用于远程互动的全息演播室及系统 Download PDFInfo
- Publication number
- CN113315885A CN113315885A CN202110658209.7A CN202110658209A CN113315885A CN 113315885 A CN113315885 A CN 113315885A CN 202110658209 A CN202110658209 A CN 202110658209A CN 113315885 A CN113315885 A CN 113315885A
- Authority
- CN
- China
- Prior art keywords
- video
- holographic
- demonstration
- interactive
- studio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 55
- 230000002452 interceptive effect Effects 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 29
- 230000009471 action Effects 0.000 claims abstract description 16
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000011022 operating instruction Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
Abstract
本发明涉及一种用于远程互动的全息演播室及系统,其中所述全息演播室系统包括视音频采集系统、数据处理系统、数据传输系统和视频播放系统,所述视音频采集系统实时采集具有深度信息的主持人演示/互动动作的视频图像和主持人的音频信息;所述数据处理系统生成演示/互动全息视频;所述数据传输系统将所述演示/互动全息视频发送到异地演示区的演示互动系统,并接收来自所述演示互动系统的实时现场视频;所述视频播放系统播放展品全息视频、演示/互动全息视频和多个异地演示区的实时现场视频。本发明在多个地点同时进行的演示及互动形象、逼真,效果直观。
Description
技术领域
本发明涉及一种全息系统,特别地涉及一种用于远程互动的全息演播室及系统。
背景技术
随着全息技术的发展,诸如教学演示、产品演示、产品发布等演示场景越来越多地应用到全息技术。其中包括在一些静态展示装置中应用的全息技术,如申请号为121212151072.2、名称为“一种全息展示装置”的实用新型专利提供了一种全息展示装置,其通过全息成像玻璃形成悬空的全息图像。另外还包括在一些动态场景中应用的全息技术。申请号为121621281710.7、名称为“具有全息膜结构的舞台”的实用新型专利公开了一种舞台,其包括两个舞台,一个是位于前端、用于演员表演的第一舞台,一个是可以位于后端的第二舞台,在第一舞台和第二舞台之前设置有倾斜的全息膜架,观众可以看到通过全息膜呈现的虚拟影像。虚拟影像与演员的表演相结合,从而呈现出美仑美奂的舞台效果。一些教学系统中也应用了全息技术。申请号为121611177530.9、发明名称为“全息展示教学系统”的发明申请提供了一种供教师在上课时使用的教学系统,其采用全息投影仪和全息投影屏作为投影部分,全息投影仪连接数据设备处理器,数据设备处理器由播放控制器控制。在使用时,通过操作播放控制器来控制数据设备处理器对展示的全息图像或视频的切换、播放或停止。在产品展示系统中,申请号为121621330944.6、发明名称为“一种互动全息系统”的发明申请提供了一种系统,其通过3D摄像机获取场景图像和人物动作信息,并将其制作成全息影像而叠加到原全息影像中,从而形成与原全息影像的互动全息影像。
尽管上述各种装置及系统中采用全息技术来提高展示、表演时的视觉效果,但是前述各种方案中播放的全息投影均为事先录制好的全息图片或视频。虽然发明名称为“一种互动全息系统”的发明申请可以采用3D摄像机获取场景图像和人物动作信息,并将其制作成全息影像而叠加到原全息影像中,但是该系统仅仅给出了将现场录制的全息视频叠加到现场播放的原全息影像中的启示,并未揭示更多的实现互动的细节。另外,对于需要互动的远程演示,目前的实现方法通常是演示主持人在主会场进行演示并录制现场视频发送到其他分会场,分会场的观众通过屏幕观看主会场的现场直播,在主会场的主持人演示完之后的互动环节,主持人与分会场通过视频进行互动。由于这种实现方式仅通过屏幕进行演示,从观看的角度来说,屏幕演示效果要比全息演示效果差很多,从互动角度来说,分会场在演示过程中无法和主持人形成有效的互动,专门的互动环节中的演示也仅局限于屏幕演示,不够直观、全面。
发明内容
针对现有技术中存在的技术问题,本发明提出了一种用于远程互动的全息演播室及系统,能够与多个异地演示区进行远程、有效、直观地演示和互动。
为了解决上述技术问题,根据本发明的一个方面,本发明提供了一种用于远程互动的全息演播室系统,其中包括视音频采集系统、数据处理系统、数据传输系统和视频播放系统,其中,所述视音频采集系统经配置以实时采集具有深度信息的主持人演示/互动动作的视频图像和主持人的音频信息;所述数据处理系统连接所述视音频采集系统,经配置以利用具有深度信息的主持人演示/互动动作的视频图像生成表现主持人演示/互动动作的第一/二全息视频,并与展品全息视频、主持人的音频信息相融合生成演示/互动全息视频;所述数据传输系统连接所述数据处理系统,经配置以将所述演示/互动全息视频发送到异地演示区的演示互动系统,并接收来自所述演示互动系统的实时现场视频;所述视频播放系统包括多个显示屏及播放控制模块,所述播放控制模块至少分别与所述数据处理系统和数据传输系统相连接,经配置以在显示屏上播放展品全息视频、演示/互动全息视频和多个异地演示区的实时现场视频。
优选地,所述数据处理系统包括全息视频制作模块和视频融合模块,所述全息视频制作模块经配置以根据视音频采集系统实时采集的主持人演示/互动动作的视频图像生成所述第一/二全息视频;所述视频融合模块经配置以将所述第一/二全息视频、主持人的音频信息和当前正在播放的展品全息视频融合到一起生成演示/互动全息视频。
优选地,所述的全息演播室系统还包括指令输入器,其至少连接所述视频播放系统和数据传输系统,经配置以提供各种操作指令。
优选地,所述指令输入器向所述视频播放系统提供展品全息视频的播放指令、停止指令,其中,所述播放指令包括展品全息视频的播放时间起始时间信息。
优选地,所述指令输入器向所述数据传输系统提供进行互动的指定异地演示区身份信息,所述数据传输系统根据接收到的指定异地演示区的身份信息,将所述互动全息视频发送给所述指定异地演示区的演示互动系统。
优选地,所述的全息演播室系统还包括全息视频库,经配置以存储展品全息视频和主持人互动等待全息视频;所述数据传输系统在将所述互动全息视频发送给所述指定异地演示区的演示互动系统的同时,从所述全息视频库中提取出主持人互动等待全息视频,并将其发送到剩余异地演示区的演示互动系统。
优选地,发送给剩余异地演示区的演示互动系统的所述主持人互动等待全息视频相同或不同。
根据本发明的另一方面,本发明还包括一种全息演播室,其中包括舞台、视频采集装置、多个显示屏、指令输入器和拾音器,其中,所述舞台经配置以提供主持人演示场所;所述视频采集装置面向所述舞台设置,经配置以实时采集主持人演示/互动动作的视频图像以形成具有深度信息的视频;所述多个显示屏面向所述舞台设置,经配置以分别显示展品全息视频、演示/互动全息视频和多个异地演示区的实时现场视频;所述指令输入器供输入各种操作指令;所述拾音器经配置以获取主持人的音频信息。
优选地,所述的全息演播室还包括纯色的舞台背景。
优选地,所述的全息演播室还包括无影灯系统,无影灯设置在所述舞台顶部和/或四周,其发出的光在控制下始终聚光于主持人所在的位置。
优选地,所述多个显示屏分组设置,和/或在一个显示屏上分屏显示不同的视频。
优选地,所述指令输入器包括操作台和/或遥控器。
优选地,所述拾音器为设置于舞台顶部的吊顶式全向麦克风;或者为有线/无线的头戴式、夹持式、手持式麦克风。
本发明提供的用于远程互动的全息演播室及系统,通过对全息技术的运用,可以与多个异地演示区同时进行演示及互动,形象、逼真,使异地演示区的观众得到如同在本地演示、互动相同的直观效果。本发明中所述的全息演播室及系统可以应用于各种场合,例如多地远程产品发布会、展销会、展品介绍会等等,应用广泛。
附图说明
下面,将结合附图对本发明的优选实施方式进行进一步详细的说明,其中:
图1是根据本发明的一个实施例的一种远程互动全息演示系统框图;
图2是根据本发明的一个实施例的演播室示意图;
图3是根据本发明的一个实施例的演播室系统的原理框图;
图4是根据本发明的一个实施例的异地演示区示意图;
图5是根据本发明的一个实施例的演示互动系统框图;
图6是根据本发明的一个实施例的在演播室进行的远程互动全息演示方法流程图;以及
图7是根据本发明的一个实施例的在异地演示区进行的远程互动全息演示方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在以下的详细描述中,可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中,相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述,使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解,还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。
图1是根据本发明一个实施例的一种远程互动全息演示系统框图,所述远程互动全息演示系统包括演播室系统10和多个异地演示区的演示互动系统30a-30n,其通过网络20进行数据传输。其中,所述演播室系统10的部分装置位于演播室T内,部分装置设置于与演播室位于同一地点的机房内,二者通过内部网络传输数据及控制信号;或者,部分装置为某个服务商提供的云平台,其与演播室T通过专有传输线路或互联网传输数据及控制信号。其中,图2是根据本发明一个实施例的演播室的现场示意图,图3是根据本发明一个实施例的演播室系统的原理框图。参见图3,所述演播室系统10包括视音频采集系统110、数据处理系统120、数据传输系统130和视频播放系统140,其中,所述视音频采集系统110用以实时采集具有深度信息的主持人演示/互动动作的视频图像和主持人的音频信息。参见图2,其包括视频采集装置和拾音器14,视频采集装置例如为两台高清摄像机11a、11b或者是一台双目摄像机。拾音器14例如为吊顶式全向麦克风,当然也可以为有线/无线的头戴式、夹持式、手持式麦克风等。
所述数据处理系统120接收视音频采集系统110发送的视频及音频,并生成演示/互动全息视频。在一个实施例中,所述数据处理系统120包括全息视频制作模块121和视频融合模块122。全息视频制作模块121与视频采集装置相连接,接收其拍摄的主持人视频,生成主持人全息视频。在一个实施例中,首先将视频中的主持人图像提取出来。在一个较好的实施方式中,在演播室T采用纯色背景时,如黑色或绿色背景,能够快速地从拍摄视频中去掉背景而提到主持人的图像,从而加快了视频的制作速度。然后利用深度测量算法得到每一帧视频图像的景深信息,再将两帧视频图再拼接起来从而得到主持人全息视频。根据演示的不同进度,所述全息视频制作模块121首先制作的是主持人演示展品时的演示动作的第一全息视频,而后是主持人在互动时为互动而作出互动动作的第二全息视频。所述视频融合模块122连接全息视频制作模块121,并接收拾音器14发送的主持人的音频,将当前制作的第一/二全息视频、主持人的音频和当前正在播放的展品全息视频融合到一起生成演示/互动全息视频。
数据传输系统130连接所述数据处理系统120,经配置以将所述演示/互动全息视频发送到异地演示区的演示互动系统,其中,在演示阶段,将演示全息视频发送到所有的异地演示区,在互动阶段,只将互动全息视频发送到指定异地演示区,并向其他异地演示区发送替代视频。在另一方面,数据传输系统130接收来自异地演示区的演示互动系统的实时现场视频,并通知所述视频播放系统140。
所述视频播放系统140包括多个显示屏12及播放控制模块141,所述播放控制模块141至少分别与所述数据处理系统120和数据传输系统130相连接,经配置以在显示屏12上播放展品全息视频、演示/互动全息视频和多个异地演示区的实时现场视频。当然,也可以播放全息视频制作模块121生成的第一或第二全息视频。
参见图2,演播室T内包括一舞台S,舞台上还设置有纯色背景,如绿色或黑色的背景布、背景板等。在所述舞台对面,面向舞台设置有视频采集装置11,例如图中的两台高清摄像机11a、11b。在所述舞台对面,面向舞台还设置多个显示屏12a-12n。演播室T还包括拾音器14。所述拾音器14可以是各种结构的拾音设备,例如图2中所示的专用于较大面积拾音的吊顶数字全向麦克风,也可以采用有线或无线的头戴式、夹持式、手持式等麦克风。拾音器14将主持人的讲解音频发送到数据处理系统120。
另外,为了方便主持人根据需要进行视频播放、切换等操作,在演播室还设置了指令输入器13,其可以为一操作台或遥控器,其上设置有各种控制按键、开关等。指令输入器13与所述视频播放系统140中的播放控制模块141和数据传输系统130连接,向其提供各种操作指令。例如,通过指令输入器13可以向播放控制模块141提供控制各个显示屏上的视频的播放、停止指令。在一个实施例中,在控制展品全息视频的播放时,还可以提供视频的播放时间起始时间信息,从而可以在展品全息视频中的某一处开始播放,以满足互动时的展示需要。又例如,通过指令输入器13可以向数据传输系统130提供进行互动的指定异地演示区身份信息。在主持人确定了某个进行互动的异地演示区时,可通过指令输入器13输入指定异地演示区的身份信息,数据传输系统130将数据处理模块120生成的互动全息视频发送给所述指定异地演示区的演示互动系统。在本实施例中,所述演播室系统还包括全息数据库150,其中存储有展品全息视频及主持人的互动替代全息视频。其用于在主持人与一个异地演示区互动时,为了不影响其他异地演示区的演示进行下去,向其他异地演示区发送的替代全息视频。
图2中所示的指令输入器13为一个操作台,其位于舞台之外,其不会出现在对主持人A采集的视频中。在操作时,可以通过工作人员的配合完成指令的输入。当然,指令输入器13也可以是体积小巧的遥控器,由主持人手持或配带,在需要时,由主持人操纵遥控器发出指令。
在进行演示时,主持人A站在舞台S上,在主持人A作演示动作时,高清摄像机11a、11b位于可以得到相应景深的舞台S对应的位置,同时拍摄舞台S中的主持人A的动作视频,并将其拍摄的视频发送给数据处理系统120。由于高清摄像机11a、11b在不同视点同时拍摄同一场景,因而其视频中的相同场景的两幅图像存在双目视差,数据处理系统120在处理时,通过深度测量算法可以得到同一场景的景深,进而生成主持人演示/互动动作的第一/二全息视频。显示屏12a-12n分别与播放控制模块141连接,用于播放不同的视频。例如,显示屏12a播放展品全息视频,显示屏12b播放正在录制的主持人演示/互动动作的第一/二全息视频,显示屏12c播放将第一/二全息视频和展品全息视频融合到一起形成演示/互动全息视频,显示屏12d播放异地演示区Ta的舞台现场视频、显示屏12e播放异地演示区Ta的观众现场视频……。主持人A通过显示屏12a可以看到展品全息视频,方便主持人在演示、互时时选择合适的视频片段;通过显示屏12b可以看到自己做出的演示/互动动作;通过显示屏12c可以看到自己的动作与展品融合在一起的效果,方便主持人根据显示屏12c呈现出的演示全息视频调节其演示、互动动作。主持人可通过显示屏12d和显示屏12e了解到异地演示区Ta的舞台现场和观众区的观众对进行的演示的反映。
演播室T还包括无影灯系统,无影灯16设置在所述舞台顶部和/或四周,其发出的光在系统控制下始终聚光于主持人所在的位置,从而使舞台上的主持人没有影子,有利于主持人全息视频的制作。当然,还可以包括其他设备,例如灯光控制系统、音响控制系统等,在此不再赘述。
图4是根据本发明一个实施例的异地演示区示意图。图5是根据本发明一个实施例的异地演示区的演示互动系统框图。参见图5,所述异地演示区Ta包括全息演示舞台300a和观众区300b。全息演示舞台300a包括舞台S2,其后面为全息投影设备,包括全息膜31和LED显示区32。其中,LED显示区32为平铺在舞台S2后的显示屏,其视频信号接口与播放设备相连接,从而可以播放全息视频。全息膜31由刚性框架固定,其底端通过转轴可转动地固定在柱体上,其顶端由升降装置(图中未示出)牵动,拉动全息膜31向上,并固定在柱体上,从而使全息膜31与LED显示区32呈一锐角。当通过LED显示区32播放全息视频时,视频通过全息膜31在其上方呈现三维立体全息影像。演示区的主持人可以站在舞台S2与通过全息膜31呈现的三维立体全息影像进行互动。为了将异地演示区Ta的现场情况反映给演播室的主持人,对应于所述全息演示舞台和观众区各自设置有一个摄像机33a、33b,分别获得舞台现场视频和观众现场视频。同时,为了获得现场互动的音频,如现场主持人的语音、观众的提问,在异地演示区Ta还包括拾音器,为了与演播室中的拾音器相区别,在此称为第二拾音器34。所述异地演示区Ta还设置有数据处理设备302,如图中所示,其可以设置于现场的任何位置,其可以包括PC机、播放设备和存储器等,其与全息投影设备、摄像机33a、33b和第二拾音器34a、34b相连接,以实现对现场全息投影设备的播放控制,接收摄像机33a、33b和第二拾音器34a、34b的数据,将所述第二拾音器34a、34b获得的现场互动音频混入对应的现场视频,并将舞台现场视频和观众现场视频发送给数据传输系统130,同时接收来自演播室系统10的全息视频。当然,异地演示区还包括其他设备,例如灯光控制系统、音响控制系统等,在此不再赘述。
图6是根据本发明一个实施例的在演播室进行的远程互动全息演示方法流程图,结合图2-图3,所述方法包括:
步骤S101,实时制作主持人演示动作的第一全息视频,并同时拾取主持人的音频信息。在演示开始时,播放展品全息视频,主持人通过显示屏12a可以观看到展品的状态,并结合展品全息视频中展示出的展品状态作出适当的动作。两台摄像机11a、11b同时录制主持人的动作视频,同时,演播室中的第一拾音器14采集主持人的语音信息。两台摄像机11a、11b将其录制的视频图像发送到数据处理系统120,第一拾音器14将采集到的主持人语音信息发送到数据处理系统120。数据处理系统120接收两台摄像机11a、11b录制的主持人动作视频图像,从背景中提取出主持人的图像,再利用深度测量算法得到景深信息,通过图像拼接生成主持人第一全息视频。
步骤S102,将所述第一全息视频、主持人的音频信息和展品全息视频融合到一起形成演示全息视频,并发送到异地演示区实时播放。数据处理系统120将得到的主持人全息视频、主持人语音信息及当前自在播放的展品全息视频按照时间信息融合到一起从而形成演示全息视频。在该视频中,包括了主持人与展品的互动,例如,当展品是一本书,展品的全息视频展现了书在一页一页地打开,主持人配合书页的打开作出翻书的动作,从而在演示全息视频中展现的是主持人在一页一页地翻动书页。数据传输系统130将演示全息视频发送到多个异地演示区。
步骤S103,接收并播放异地演示区的实时现场视频。数据传输系统130接收从多个异地演示区传回的现场视频,通过视频播放系统中的播放控制模块播放视频,并将视频信号接入到演播室中相应的显示屏上,以供主持人观看各个异地演示区的现场情况。其中,在一个实施例中,每个异地演示区发送两个现场视频,一个是对应于舞台的舞台现场视频,例如其由显示屏12d呈现,另一个是观众区的观众现场视频,其由显示屏12e呈现。在一个实施例中,演播室中用于播放一个异地演示区的两个视频的显示屏可以固定在一起,或者由一个较大的屏幕分屏显示。从而方便主持人识别是哪一个演示区的哪一个现场视频。
步骤S104,判断是否接收到主持人选择的异地演示区信息,如果收到了主持人选择的异地演示区信息,如主持人选择了异地演示区Ta进行互动,则执行步骤S105,如果没有收到,则保持当前状态。由于有多个异地演示区,主持人在互动时可选择其中一个进行互动,在本次互动完成后,再选择其他的异地演示区进行互动。例如,可通过设置在演播室内的指令输入器13来选择要互动的异地演示区。
步骤S105,实时制作主持人为响应已选择的异地演示区现场而作出的互动动作的第二全息视频。制作第二全息视频的过程与步骤S101相类似。当主持人选择了本次进行互动的异地演示区后,其与该异地演示区进行互动。在一个实施例中,主持人在互动过程中为了回答该异地演示区的主持人或观众提出的问题,在进行口头解释、说明时,可配合播放一段展品全息视频片段,从而可以使其说明更加直观、形象、易于理解。通过演播室中的指令输入器13控制展品全息视频,从中选择一个合适的片段,对其进行口头解释、动作演示等。
步骤S106,将所述第二全息视频、主持人的音频信息和对应的展品全息视频片段或图像融合到一起形成互动全息视频,并发送到已选择的异地演示区实时播放。例如,在录制主持人的视频时,同时获得当前展品全息视频的播放情况,利用视频及播放记录中的时间戳,将第二全息视频和与其对应的播放的展品全息视频片段融合到一起,从而形成了互动全息视频。例如,当主持人对展品的一个特征进行说明时,其可以选择展品全息视频中的一帧图像中的展品进行说明,也可以选择展品的一段全息视频进行说明,因而,在形成的互动全息视频中,展品可能处于静止状态,也可能是处于运动状态。
步骤S107,向剩余的异地演示区30b-30n发送第三全息视频,所述第三全息视频为存储在数据库中的作为互动替代的全息视频。在主持人与异地演示区Ta互动的过程中,为了不影响其他异地演示区的演示进行下去,在一个实施例中,向其他异地演示区Tb-Tn发送替代全息视频。例如,呈现主持人思索状态的全息视频、主持人查看展品的全息视频等。
步骤S108,判断是否接收到主持人结束演示的指令,如果接收到主持人结束演示的指令,则结束演示流程,如停止生成和发送演示全息视频,停止对主持人的视频录制。如果没有,则执行步骤S109。
步骤S109判断主持人是否选择另外一个异地演示区,如异地演示区Tb,如果是,则在步骤S110向异地演示区Tb发送用于衔接原第三全息视频和互动全息视频的第四全息视频。然后再返回步骤S105,生成针对该异地演示区30b的互动全息视频。如果没有,则继续执行保持当前状态,并执行步骤S108。其中,由于在主持人与异地演示区Ta互动时,异地演示区Tb播放的是代替全息视频,当主持人将互动的异地演示区从Ta转为Tb时,为了减少原第三全息视频和互动全息视频之间的差异感、突兀感,数据传输系统130在发送互动全息视频之前,发送一个起衔接作用的第四全息视频,例如,其中呈现主持人从思考姿势转换到准备回答问题姿势的全息视频。主持人在互动开始时的姿势与第四全息视频中的姿势相同,从而可以达到无缝衔接的目的。
图7是根据本发明一个实施例的在异地演示区进行的远程互动全息演示方法流程图,结合图4-图5对所述演示方法说明如下:
步骤S201,异地演示区中的数据处理设备302接入到网络中与演播室系统10建立连接。
步骤S202,数据处理设备302接收并播放来自于演播室系统的演示全息视频。所述演示全息视频信号接入LED显示区32,LED显示区32播放的视频通过全息膜31,在现场呈现出展品和主持人的演示全息影像。
步骤S203,录制现场视频,将其发送演播室系统10。演播室系统10将其传入演播室内的显示屏中显示。现场的摄像机33a录制舞台现场视频,摄像机33b录制观众区的观众现场视频,并通过数据处理设备302发送出去。另外,在互动时,异地演示区的主持人或观众可提出问题以与远端的演播室的主持人进行互动,此时可通过第二拾音器34a拾取舞台现场互动音频,通过第二拾音器34b拾取观众区的现场互动音频,再通过数据处理设备302将音频混入舞台现场视频或观众现场视频。
步骤S204,判断是否接收到互动全息视频,如果接收到,则说明演播室的主持人正在与本演示区进行互动,则在步骤S205,播放演播室的主持人为响应现场互动的互动全息视频。然后执行步骤S206。如果没有接收到互动全息视频,则执行步骤S207。
步骤S206,判断是否接收到演示结束指令,例如在互动时与演播室的主持人确认演示结束,从而关断数据处理设备302与演播室系统10的网络连接,结束互动。如果没有收到演示结束指令,则执行步骤S207。
步骤S207,判断是否接收到作为互动替代的第三全息视频。如果演播室的主持人没有响应本演示区时,数据数据传输系统130会发送替代全息视频,例如主持人在思考、踱步的一个全息视频。如果收到了第三全息视频,则在步骤S208播放所述第三全息视频,此时在本演示区看到的是远端演播室的主持人在思考的一个全息影像。如果没有收到,说明演播室的主持人还没有开始互动,则保持现状,即回到步骤S205,继续接收并播放互动全息视频。
步骤S209,判断是否接到第四全息视频,如果接收到第四全息视频,则在步骤S210由所述第四全息视频替换所述第三全息视频而播放。然后返回步骤S204,判断是否收到互动全息视频。所述的第四全息视频是一个与互动全息视频衔接的视频,例如,一个主持人从思考姿势转换到准备回答问题的正面姿势的一个视频。如果没有接收到第四全息视频,则返回步骤S208,继续播放所述第三全息视频。
对于本演示区的观众,首先看到的是舞台上的演播室主持人对展品进行演示。在本演示区提出互动问题后,或者看到演播室主持人在回答问题,与本演示区的观众或本地主持人在一问一答的互动,其间还会演示展品;或者看到演播室主持人在舞台踱步、思考,然后面向观众,开始回复互动问题,演示展品,与现场观众或本地主持人一问一答的互动。整个演示过程就如同远端的演播室主持人就在本地舞台上一样,形象逼真。
本发明提供的远程互动的演播室,通过互动过程中运用全息技术,使得多个地点同时进行的演示及互动形象、逼真,具有如同在本地演示、互动的相同效果。本发明中所述的系统和方法可以应用于各种场合,例如多地远程产品发布会、展销会、展品介绍会等等,应用广泛。
上述实施例仅供说明本发明之用,而并非是对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明范围的情况下,还可以做出各种变化和变型,因此,所有等同的技术方案也应属于本发明公开的范畴。
Claims (13)
1.一种用于远程互动的全息演播室系统,其中包括:
视音频采集系统,经配置以实时采集具有深度信息的主持人演示/互动动作的视频图像和主持人的音频信息;
数据处理系统,其连接所述视音频采集系统,经配置以利用具有深度信息的主持人演示/互动动作的视频图像生成表现主持人演示/互动动作的第一/二全息视频,并与展品全息视频、主持人的音频信息相融合生成演示/互动全息视频;
数据传输系统,其连接所述数据处理系统,经配置以将所述演示/互动全息视频发送到异地演示区的演示互动系统,并接收来自所述演示互动系统的实时现场视频;以及
视频播放系统,其包括多个显示屏及播放控制模块,所述播放控制模块至少分别与所述数据处理系统和数据传输系统相连接,经配置以在显示屏上播放展品全息视频、演示/互动全息视频和多个异地演示区的实时现场视频。
2.根据权利要求1所述的全息演播室系统,其中所述数据处理系统包括:
全息视频制作模块,经配置以根据视音频采集系统实时采集的主持人演示/互动动作的视频图像生成所述第一/二全息视频;以及
视频融合模块,经配置以将所述第一/二全息视频、主持人的音频信息和当前正在播放的展品全息视频融合到一起生成演示/互动全息视频。
3.根据权利要求1所述的全息演播室系统,其中还包括指令输入器,其至少连接所述视频播放系统和数据传输系统,经配置以提供各种操作指令。
4.根据权利要求3所述的全息演播室系统,其中所述指令输入器向所述视频播放系统提供展品全息视频的播放指令、停止指令,其中,所述播放指令包括展品全息视频的播放时间起始时间信息。
5.根据权利要求3所述的全息演播室系统,其中所述指令输入器向所述数据传输系统提供进行互动的指定异地演示区身份信息,所述数据传输系统根据接收到的指定异地演示区的身份信息,将所述互动全息视频发送给所述指定异地演示区的演示互动系统。
6.根据权利要求5所述的全息演播室系统,其中还包括全息视频库,经配置以存储展品全息视频和主持人互动等待全息视频;所述数据传输系统在将所述互动全息视频发送给所述指定异地演示区的演示互动系统的同时,从所述全息视频库中提取出主持人互动等待全息视频,并将其发送到剩余异地演示区的演示互动系统。
7.根据权利要求6所述的全息演播室系统,其中发送给剩余异地演示区的演示互动系统的所述主持人互动等待全息视频相同或不同。
8.一种全息演播室,其中包括:
舞台,经配置以提供主持人演示场所;
视频采集装置,其面向所述舞台设置,经配置以实时采集主持人演示/互动动作的视频图像以形成具有深度信息的视频;
多个显示屏,其面向所述舞台设置,经配置以分别显示展品全息视频、演示/互动全息视频和多个异地演示区的实时现场视频;
指令输入器,以供输入各种操作指令;以及
拾音器,经配置以获取主持人的音频信息。
9.根据权利要求8所述的全息演播室,其中还包括纯色的舞台背景。
10.根据权利要求8所述的全息演播室,其中还包括无影灯系统,无影灯设置在所述舞台顶部和/或四周,其发出的光在控制下始终聚光于主持人所在的位置。
11.根据权利要求8所述的全息演播室,其中所述多个显示屏分组设置,和/或在一个显示屏上分屏显示不同的视频。
12.根据权利要求8所述的全息演播室,其中所述指令输入器包括操作台和/或遥控器。
13.根据权利要求8所述的全息演播室,其中所述拾音器为设置于舞台顶部的吊顶式全向麦克风;或者为有线/无线的头戴式、夹持式、手持式麦克风。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110658209.7A CN113315885B (zh) | 2021-06-15 | 2021-06-15 | 一种用于远程互动的全息演播室及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110658209.7A CN113315885B (zh) | 2021-06-15 | 2021-06-15 | 一种用于远程互动的全息演播室及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113315885A true CN113315885A (zh) | 2021-08-27 |
CN113315885B CN113315885B (zh) | 2023-04-07 |
Family
ID=77378857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110658209.7A Active CN113315885B (zh) | 2021-06-15 | 2021-06-15 | 一种用于远程互动的全息演播室及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113315885B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115016648A (zh) * | 2022-07-15 | 2022-09-06 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011141529A1 (de) * | 2010-05-11 | 2011-11-17 | Stephan Overkott | Holografisches live-präsentationssystem und verfahren zur liveübertragung einer holografischen präsentation |
CN204117555U (zh) * | 2013-09-29 | 2015-01-21 | 成都有尔科技有限公司 | 全息人像实时交互系统 |
CN206518893U (zh) * | 2017-02-09 | 2017-09-26 | 何星 | 观众互动全息舞台系统 |
CN112532963A (zh) * | 2020-12-18 | 2021-03-19 | 深圳臻像科技有限公司 | 一种基于ar的三维全息实时互动系统及方法 |
-
2021
- 2021-06-15 CN CN202110658209.7A patent/CN113315885B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011141529A1 (de) * | 2010-05-11 | 2011-11-17 | Stephan Overkott | Holografisches live-präsentationssystem und verfahren zur liveübertragung einer holografischen präsentation |
CN204117555U (zh) * | 2013-09-29 | 2015-01-21 | 成都有尔科技有限公司 | 全息人像实时交互系统 |
CN206518893U (zh) * | 2017-02-09 | 2017-09-26 | 何星 | 观众互动全息舞台系统 |
CN112532963A (zh) * | 2020-12-18 | 2021-03-19 | 深圳臻像科技有限公司 | 一种基于ar的三维全息实时互动系统及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115016648A (zh) * | 2022-07-15 | 2022-09-06 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
CN115016648B (zh) * | 2022-07-15 | 2022-12-20 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113315885B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108900857B (zh) | 一种多视角视频流处理方法和装置 | |
CN110349456B (zh) | 互动课堂的智能控制系统、远程控制终端及教室终端 | |
CN106210703A (zh) | Vr环境中特写镜头的运用及显示方法和系统 | |
CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
CN114327700A (zh) | 一种虚拟现实设备及截屏图片播放方法 | |
CN112492231B (zh) | 远程交互方法、装置、电子设备和计算机可读存储介质 | |
KR102371031B1 (ko) | 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램 | |
CN115209172A (zh) | 一种基于xr的异地互动演出的方法 | |
CN208985412U (zh) | 智慧教育物理环境系统 | |
CN114402276A (zh) | 授课系统、视听终端、信息处理方法以及程序 | |
WO2021095573A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
CN112732089A (zh) | 一种虚拟现实设备及快捷交互方法 | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
CN113315885B (zh) | 一种用于远程互动的全息演播室及系统 | |
CN113259544B (zh) | 一种远程互动全息演示系统及方法 | |
CN108831216B (zh) | 真三维虚拟仿真交互方法及系统 | |
WO2009078909A1 (en) | Virtual object rendering system and method | |
CN114125301A (zh) | 一种虚拟现实技术拍摄延迟处理方法及装置 | |
CN109116987A (zh) | 一种基于Kinect手势控制的全息展示系统 | |
WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
CN111698543B (zh) | 基于演唱场景的交互实现方法、介质及系统 | |
CN112019921A (zh) | 应用于虚拟演播室的肢体动作数据处理方法 | |
CN114302221A (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
CN113676690A (zh) | 一种视频会议的实现方法、设备及存储介质 | |
CN109872400B (zh) | 一种全景虚拟现实场景的生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |