CN116248851A - 基于实体剧场场景的增强现实系统和增强现实播放方法 - Google Patents
基于实体剧场场景的增强现实系统和增强现实播放方法 Download PDFInfo
- Publication number
- CN116248851A CN116248851A CN202211539090.2A CN202211539090A CN116248851A CN 116248851 A CN116248851 A CN 116248851A CN 202211539090 A CN202211539090 A CN 202211539090A CN 116248851 A CN116248851 A CN 116248851A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- playing
- mounted display
- head
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开的实施例公开了基于实体剧场场景的增强现实系统和增强现实播放方法。该增强现实系统包括头戴式显示设备,头戴式显示设备包括定位定向装置和播放装置,其中,定位定向装置与播放装置通信连接,定位定向装置被配置成响应于检测到头戴式显示设备开启,对头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息;播放装置与头戴式显示设备通信连接,播放装置被配置成根据当前的剧场演艺流程节点信息匹配增强现实内容,根据设备位姿信息对增强现实内容进行定位,并对增强现实内容进行播放;播放装置还被配置成更改剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。该实施方式实现了用户可以提升用户观看剧场演出的体验感。
Description
技术领域
本公开的实施例涉增强现实技术领域,具体涉及基于实体剧场场景的增强现实系统和增强现实播放方法。
背景技术
目前剧场演艺场景(包括室内和室外)运用包括剧场,演员,物理场景,灯光,显示屏,投影等技术来烘托渲染以及阐述剧情,并推进情节。目前,存在通过头戴式显示设备(例如VR头显)来代替演艺场景。然而,当采用上述方式实现演艺场景时,经常会存在如下技术问题:
头戴式显示设备(例如VR头显)是采用全虚拟的剧场模式,头戴式显示设备和实体的剧场无交互互动,造成头戴式显示设备与剧场剧目的融合性较差,导致头戴式显示设备所显示的画面与正在表演的剧目的割裂感强,无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了基于实体剧场场景的增强现实系统和增强现实播放方法,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种基于实体剧场场景的增强现实系统,包括头戴式显示设备,上述头戴式显示设备包括定位定向装置和播放装置,其中,上述定位定向装置与上述播放装置通信连接,上述定位定向装置被配置成响应于检测到上述头戴式显示设备开启,对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息,其中,上述设备位姿信息包括设备位置信息和设备方向姿态信息;上述播放装置与上述头戴式显示设备通信连接,上述播放装置被配置成根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放;上述播放装置还被配置成根据更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。
可选地,上述定位定向装置还被配置成通过视觉定位定向技术和/或信标通信定位定向技术对上述头戴式显示设备的位置和方向姿态进行定位定向处理,其中,上述信标通信定位定向技术为以下中的任意一项:蓝牙信标技术、超宽带技术;上述播放装置还被配置成响应于未通过视觉定位定向技术和/或信标通信定位定向技术定位定向到上述头戴式显示设备的位置和方向姿态,显示需主动定位定向信息;上述定位定向装置还被配置成响应于检测到用户输入的主动定位定向信息,将上述主动定位定向信息确定为设备位姿信息。
可选地,上述播放装置还被配置成响应于接收到中央控制终端发送的增强现实内容播放指令,播放上述增强现实内容播放指令对应的增强现实内容。
可选地,上述增强现实系统还包括姿势识别装置,上述姿势识别装置与上述头戴式显示设备通信连接;以及上述姿势识别装置被配置成对人体进行姿势识别,得到人体姿势信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。
可选地,上述姿势识别装置位于预设剧场舞台范围内;以及上述姿势识别装置还被配置成对预设剧场舞台范围内的人体进行姿势识别,得到人体姿势信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。
可选地,上述增强现实系统还包括语音识别装置,上述语音识别装置与上述头戴式显示设备通信连接;以及上述语音识别装置被配置成对实时音频进行采集处理,以及对采集到的实时音频进行识别处理,得到音频识别信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。
可选地,上述语音识别装置还被配置成响应于上述实时音频满足预设音频条件,将采集到上述实时音频的时间确定为演艺开始时间,以及将上述演艺开始时间发送至上述播放装置。
可选地,上述播放装置还被配置成接收上述演艺开始时间,以及根据上述演艺开始时间和预设播放间隔时长,对上述增强现实内容进行播放。
可选地,上述播放装置还被配置成响应于检测到上述更改播放命令信息,对更改播放内容窗口进行显示,以及响应于检测到对于上述更改播放内容窗口中任一更改播放内容的选择操作,将播放所选择的更改播放内容确定为更改播放命令信息。
可选地,上述增强现实系统还包括摄像头装置,上述摄像头装置与上述头戴式显示设备连接;以及上述播放装置还被配置成响应于检测到作用于上述头戴式显示设备所显示的画面的缩放操作,向上述摄像头装置发送焦距调节指令;上述摄像头装置被配置成响应于接收到上述焦距调节指令,调节上述摄像头装置的焦距,以及将调节焦距后的摄像头装置所拍摄的画面传输至上述播放装置;上述播放装置还被配置成对上述摄像头装置传输的画面进行播放。
可选地,上述摄像头装置与上述头戴式显示设备通信连接;以及上述播放装置还被配置成响应于检测到作用于上述头戴式显示设备所显示的画面的缩放操作,向上述摄像头装置发送画面传输指令;上述摄像头装置还被配置成响应于接收到上述画面传输指令,将上述摄像头装置拍摄的画面传输至上述播放装置;上述播放装置还被配置成对上述摄像头装置传输的画面进行播放。
第二方面,本公开的一些实施例提供了一种基于剧场场景的增强现实播放方法,该方法包括:对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息;根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放;响应于检测到更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于实体剧场场景的增强现实系统,增强了用户体验感,使得用户可以通过头戴式显示设备沉浸式体验与观看剧场演出。具体来说,造成无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差的原因在于:头戴式显示设备(例如VR头显)是采用全虚拟的剧场模式,头戴式显示设备和实体的剧场无交互互动,造成头戴式显示设备与剧场剧目的融合性较差,导致头戴式显示设备所显示的画面与正在表演的剧目的割裂感强,无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差。基于此,本公开的一些实施例的基于实体剧场场景的增强现实系统,包括头戴式显示设备,上述头戴式显示设备包括定位定向装置和播放装置,其中,上述定位定向装置与上述播放装置通信连接,上述定位定向装置被配置成响应于检测到上述头戴式显示设备开启,对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息,其中,上述设备位姿信息包括设备位置信息和设备方向姿态信息。由此,可以对上述头戴式显示设备的位置和方向姿态进行定位定向,从而确定佩戴上述头戴式显示设备的佩戴者的位置与方向姿态。上述播放装置与上述头戴式显示设备通信连接,上述播放装置被配置成根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放。由此,可以有限制的播放增强现实内容,从而增加剧场舞台与佩戴上述头戴式显示设备的佩戴者的交互性。上述播放装置还被配置成根据更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。由此,可以在接收到更改播放命令信息时,更改当前的剧场演艺流程节点信息,以更新播放上述头戴式显示设备所显示的画面,从而进一步提高上述头戴式显示设备与剧场场景以及佩戴者的交互性,使得播放的增强现实内容与当前的剧场场景相适应,提高了头戴式显示设备与剧场剧目的融合性。也因为通过预设剧场演艺流程节点信息和更改播放命令信息,减少了头戴式显示设备与剧场剧目的割裂感,使得用户可以通过头戴式显示设备沉浸式体验与观看剧场演出。提高了用户的体验感。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的基于实体剧场场景的增强现实系统的结构示意图;
图2是根据本公开的基于实体剧场场景的增强现实播放方法的一些实施例的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的描述中,需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本公开中的具体含义。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关公开相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开的基于实体剧场场景的增强现实系统的结构示意图。其中,上述基于实体剧场场景的增强现实系统包括头戴式显示设备1。上述头戴式显示设备1包括定位定向装置2和播放装置3。
在一些实施例中,上述定位定向装置可以与上述播放装置通信连接。上述定位定向装置可以被配置成响应于检测到上述头戴式显示设备开启,对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息。其中,上述设备位姿信息可以包括设备位置信息和设备方向姿态信息。这里,对于定位定向处理的具体方式,不作限定。作为示例,上述定位定向装置可以通过视觉定位定向技术对上述头戴式显示设备的位置和方向姿态进行定位定向。上述定位定向装置还可以通过信标通信定位定向技术对上述头戴式显示设备的位置和方向姿态进行定位定向。上述设备位置信息可以为表征上述头戴式显示设备的位置的信息。上述设备方向姿态信息可以为表征上述头戴式显示设备的方向与姿态。由此,可以对上述头戴式显示设备的位置和方向姿态进行定位定向,从而确定佩戴上述头戴式显示设备的佩戴者的位置与方向姿态。
在一些实施例中,上述播放装置可以与上述头戴式显示设备通信连接。上述播放装置可以被配置成根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放。其中,上述增强现实内容可以为以下中的至少一项:虚拟叠加视频、虚拟语音、虚拟文字、虚拟图像。其中,上述预设剧场演艺流程节点信息可以为预先设置的用于播放增强现实内容的信息。作为示例,上述预设剧场演艺流程节点信息可以以时间线的方式,记载各个需要播放的增强现实内容的播放时间点和播放时长。例如,上述预设剧场演艺流程节点信息可以包括:18:30播放表示下雨的虚拟叠加视频。上述虚拟叠加视频可以为用于叠加显示的视频。例如,上述虚拟叠加视频可以为蝴蝶飞舞的动画。上述虚拟语音可以为预先设置的用于播放的语音。上述虚拟文字可以为预先设置的用于显示的文字。上述虚拟图像可以为预先设置的用于显示的图像。这里,对于上述定位的具体方式,不作限定。例如,上述定位的具体方式可以为3DOF(Three Degrees Of Freedom,三自由度)定位。上述定位的具体方式也可以为6DOF(SixDegrees Of Freedom,六自由度)定位。例如,可以根据当前的剧场演艺流程节点信息匹配到为表示下雨的虚拟叠加视频的增强现实内容,通过3DOF定位该虚拟叠加视频的播放位置,并在18:30时在定位到的播放位置处播放该表示下雨的虚拟叠加视频。由此,可以有限制的播放增强现实内容,从而增加剧场舞台与佩戴上述头戴式显示设备的佩戴者的交互性。
作为示例,当上述预设剧场演艺流程节点信息为18:30播放表示下雨的虚拟叠加视频时,可以根据上述设备位姿信息对上述增强现实内容进行定位所得到的播放位置,调整虚拟叠加视频的显示角度与显示大小,并在18:30播放调整后的虚拟叠加视频,使得在剧场场景中有多名佩戴上述头戴式显示设备的佩戴者时,对于每位佩戴者,该佩戴者看到的画面中的雨滴角度,雨滴大小,滴落雨滴的时间与剧场舞台上正在表演的节目相适应。例如,对于位于剧场观看席中的中间位置与边缘位置的佩戴者,头戴式显示设备所显示的雨滴角度与雨滴大小会有细微差别。从而可以提高每个佩戴者所观看到的增强现实内容与剧场舞台的适应性。这里,对于具体的调整方式,不作限定。例如,可以通过距离比例确定雨滴大小。通过映射的方式确定雨滴角度。
在一些实施例中,上述播放装置还可以被配置成根据更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。其中,上述更改播放命令信息可以为表征更换所播放的增强现实内容的信息。这里,对于控制生成上述更改播放命令信息的具体人员,可以包括但不限于:佩戴上述头戴式显示设备的佩戴者、剧场工作人员(幕后导演、中控室中的工作人员)、剧场舞台上的表演人员。由此,可以在接收到更改播放命令信息时,更改当前的剧场演艺流程节点信息,以更新播放上述头戴式显示设备所显示的画面,从而进一步提高上述头戴式显示设备与剧场场景以及佩戴者的交互性,使得播放的增强现实内容与当前的剧场场景相适应,提高了用户的体验感。
可选地,上述定位定向装置还可以被配置成通过视觉定位定向技术和/或信标通信定位定向技术对上述头戴式显示设备的位置和方向姿态进行定位定向处理。其中,上述信标通信定位定向技术可以为以下中的任意一项:蓝牙信标技术、超宽带技术。上述播放装置还可以被配置成响应于未通过视觉定位定向技术和/或信标通信定位定向技术定位定向到上述头戴式显示设备的位置和方向姿态,显示需主动定位定向信息。其中,上述需主动定位定向信息可以为表示需要用户或佩戴者主动对上述头戴式显示设备的位置和方向姿态进行定位定向的信息。例如,上述需主动定位定向信息可以为:请手动输入当前位置和姿态。上述定位定向装置还可以被配置成响应于检测到用户输入的主动定位定向信息,将上述主动定位定向信息确定为设备位姿信息。其中,对于用户输入主动定位定向信息的具体方式,不作限定。例如,用户可以通过手动输入所在座位的排号和列号输入主动定位定向信息。又如,用户可以通过使用头戴式显示设备的摄像头扫描二维码的方式实现输入主动定位定向信息。其中,上述二维码可以为剧场中的座位上或门票中设置的一个包含指定的座位位置信息的二维码。上述座位位置信息可以表征座位在剧场中的位置。例如,该座位位置信息可以包括座位的排号和列号。由于剧场中的座位的位置和朝向已经固定,因此可以用该座位位置信息作为设备位姿信息,从而可以实现头戴式显示设备的准确定位。由此,可以在由于光线、电磁等干扰下未定位定向到上述头戴式显示设备的位置和方向姿态时,提示用户输入以确定设备位姿信息。
可选地,上述播放装置还可以被配置成响应于接收到中央控制终端发送的增强现实内容播放指令,播放上述增强现实内容播放指令对应的增强现实内容。其中,上述中央控制终端可以为剧场场景中的中控室中的终端。上述增强现实内容播放指令可以为剧场工作人员通过中央控制终端向位于剧场场景中的头戴式显示设备发送的指定播放增强现实内容的指令。由此,可以通过中央控制终端统一控制剧场场景中的头戴式显示设备所播放的增强现实内容。
可选地,上述增强现实系统还可以包括姿势识别装置。其中,上述姿势识别装置可以为用于识别人体姿势(手部姿势、肢体姿势)的装置。上述姿势识别装置可以与上述头戴式显示设备通信连接。上述姿势识别装置可以位于上述头戴式显示设备的内部。上述姿势识别装置可以被配置成对人体进行姿势识别,得到人体姿势信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。实践中,可以对人体进行姿势识别,并按照姿势命令信息对照表,将所识别到的人体姿势所对应的播放命令确定为人体姿势信息并作为更改播放命令信息。其中,上述姿势命令信息对照表可以为表征人体姿势与播放命令对应关系的对照表。作为示例,人体姿态为比心姿势时,上述姿势命令信息对照表中对应比心姿势的播放命令可以为播放预设爱心音效。由此,可以通过姿势识别确定更改播放命令信息。
可选地,上述姿势识别装置可以为手势识别装置。其中,上述手势识别装置可以为用于对用户(佩戴者、剧场工作人员、剧场舞台上的表演人员)的手势进行识别的装置。例如,上述手势识别装置可以为电容传感器。上述手势识别装置可以被配置成对手部姿势进行识别,得到手部姿势信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。实践中,可以对手部姿势进行识别,并按照手部姿势命令信息对照表,将所识别到的手部姿势所对应的播放命令确定为手部姿势信息并作为更改播放命令信息。其中,上述手部姿势命令信息对照表可以为表征手部姿势与播放命令对应关系的对照表。作为示例,手部姿态为握笔姿势时,上述手部姿势命令信息对照表中对应握笔姿势的播放命令可以为显示虚拟毛笔影像。由此,可以通过手部姿势识别确定更改播放命令信息。
可选地,上述姿势识别装置可以为肢体动作识别装置。其中,上述肢体动作识别装置可以为用于对用户(佩戴者、剧场工作人员、剧场舞台上的表演人员)的肢体动作进行识别的装置。例如,上述肢体动作识别装置可以为电容传感器。上述肢体动作识别装置可以被配置成对肢体动作进行姿势识别,得到肢体动作姿势信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。实践中,可以对肢体动作进行识别,并按照肢体动作命令信息对照表,将所识别到的肢体动作所对应的播放命令确定为肢体动作姿势信息并作为更改播放命令信息。其中,上述肢体动作命令信息对照表可以为表征肢体动作与播放命令对应关系的对照表。作为示例,肢体动作为双臂向上时,上述肢体动作命令信息对照表中对应该肢体动作的播放命令可以为播放打雷音效。由此,可以通过肢体动作识别确定更改播放命令信息。
可选地,上述姿势识别装置可以位于预设剧场舞台范围内。上述预设剧场舞台范围可以为预先设置的距离剧场舞台的距离范围。上述姿势识别装置还可以被配置成对预设剧场舞台范围内的人体进行姿势识别,得到人体姿势信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。作为示例,预设剧场舞台范围内的人体可以为剧场舞台上的表演人员。
可选地,上述增强现实系统还可以包括语音识别装置。其中,上述语音识别装置可以为用于采集、识别实时音频的装置。上述语音识别装置可以与上述头戴式显示设备通信连接。上述语音识别装置可以被配置成对实时音频进行采集处理,以及对采集到的实时音频进行识别处理,得到音频识别信息作为更改播放命令信息,以及将上述更改播放命令信息发送至上述播放装置。采集到的实时音频可以包括但不限于:台词、音乐。实践中,可以对采集到的实时音频进行识别处理,并按照音频命令信息对照表,将所识别到的实时音频所对应的播放命令确定为音频识别信息并作为更改播放命令信息。其中,上述音频命令信息对照表可以为表征音频与播放命令对应关系的对照表。作为示例,采集到的实时音频为梁祝音乐片段中的歌词“碧草青青花盛开,彩蝶双双久徘徊”时,上述音频命令信息对照表中对应该实时音频的播放命令可以为显示蝴蝶飞舞特效。由此,可以通过语音识别确定更改播放命令信息。
可选地,上述语音识别装置还被可以配置成响应于上述实时音频满足预设音频条件,将采集到上述实时音频的时间确定为演艺开始时间,以及将上述演艺开始时间发送至上述播放装置。这里,对于上述预设音频条件的具体设定,不作限定。作为示例,上述预设音频条件可以为实时音频的音色与预设音色的相似度大于等于预设音色相似度阈值。作为又一示例,上述预设音频条件可以为上述实时音频所表征的文字与预设音频文本的相似度大于等于预设文本相似度阈值。由此,可以确定剧场舞台上表演的节目的演艺开始时间。
可选地,上述播放装置还可以被配置成接收上述演艺开始时间,以及根据上述演艺开始时间和预设播放间隔时长,对上述增强现实内容进行播放。实践中,可以将上述演艺开始时间与预设播放间隔时长的和确定为增强现实内容播放时间,并在时间到达该增强现实内容播放时间,播放上述增强现实内容。由此,可以根据接受到的演艺开始时间,灵活播放增强现实内容。从而提升增强现实内容与剧场舞台表演的适应性。
可选地,上述播放装置还可以被配置成响应于检测到上述更改播放命令信息,对更改播放内容窗口进行显示,以及响应于检测到对于上述更改播放内容窗口中任一更改播放内容的选择操作,将播放所选择的更改播放内容确定为更改播放命令信息。其中,上述更改播放内容窗口可以为用于用户选择切换播放的增强现实内容的窗口。上述更改播放内容可以为待用户选择切换播放的增强现实内容。由此,上述头戴式显示设备可以通过上述播放装置向用户显示更改播放内容窗口,从而使得用户自行选择切换播放的内容,使得增强现实内容的播放更加灵活。
可选地,上述增强现实系统还可以包括摄像头装置。上述摄像头装置可以与上述头戴式显示设备连接。上述摄像头装置可以位于上述头戴式显示设备上。上述播放装置还可以被配置成响应于检测到作用于上述头戴式显示设备所显示的画面的缩放操作,向上述摄像头装置发送焦距调节指令;上述摄像头装置被配置成响应于接收到上述焦距调节指令,调节上述摄像头装置的焦距,以及将调节焦距后的摄像头装置所拍摄的画面传输至上述播放装置;上述播放装置还被配置成对上述摄像头装置传输的画面进行播放。其中,上述缩放操作可以为缩小操作或放大操作。上述焦距调节指令可以为调节焦距大小的指令。由此,可以通过缩放操作,利用上述头戴式显示设备上的摄像头进一步查看舞台表演的细节,突破剧场场景的物理限制,提升用户的体验感。
可选地,上述摄像头装置可以与上述头戴式显示设备通信连接。其中,上述摄像头装置可以不位于上述头戴式显示设备上。例如,上述摄像头装置可以位于剧场舞台上或上述预设剧场舞台范围内。上述播放装置还可以被配置成响应于检测到作用于上述头戴式显示设备所显示的画面的缩放操作,向上述摄像头装置发送画面传输指令;上述摄像头装置还被配置成响应于接收到上述画面传输指令,将上述摄像头装置拍摄的画面传输至上述播放装置;上述播放装置还可以被配置成对上述摄像头装置传输的画面进行播放。其中,上述画面传输指令可以为将上述摄像头装置拍摄的画面传输至上述播放装置的指令。由此,可以通过缩放操作,远程利用上述头戴式显示设备包括的摄像头进一步查看舞台表演的细节,突破剧场场景的物理限制,提升用户的体验感。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于实体剧场场景的增强现实系统,增强了用户体验感,使得用户可以通过头戴式显示设备沉浸式体验与观看剧场演出。具体来说,造成无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差的原因在于:头戴式显示设备(例如VR头显)是采用全虚拟的剧场模式,头戴式显示设备和实体的剧场无交互互动,造成头戴式显示设备与剧场剧目的融合性较差,导致头戴式显示设备所显示的画面与正在表演的剧目的割裂感强,无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差。基于此,本公开的一些实施例的基于实体剧场场景的增强现实系统,包括头戴式显示设备,上述头戴式显示设备包括定位定向装置和播放装置,其中,上述定位定向装置与上述播放装置通信连接,上述定位定向装置被配置成响应于检测到上述头戴式显示设备开启,对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息,其中,上述设备位姿信息包括设备位置信息和设备方向姿态信息。由此,可以对上述头戴式显示设备的位置和方向姿态进行定位定向,从而确定佩戴上述头戴式显示设备的佩戴者的位置与方向姿态。上述播放装置与上述头戴式显示设备通信连接,上述播放装置被配置成根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放。由此,可以有限制的播放增强现实内容,从而增加剧场舞台与佩戴上述头戴式显示设备的佩戴者的交互性。上述播放装置还被配置成根据更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。由此,可以在接收到更改播放命令信息时,更改当前的剧场演艺流程节点信息,以更新播放上述头戴式显示设备所显示的画面,从而进一步提高上述头戴式显示设备与剧场场景以及佩戴者的交互性,使得播放的增强现实内容与当前的剧场场景相适应,提高了头戴式显示设备与剧场剧目的融合性。也因为通过预设剧场演艺流程节点信息和更改播放命令信息,减少了头戴式显示设备与剧场剧目的割裂感,使得用户可以通过头戴式显示设备沉浸式体验与观看剧场演出。提高了用户的体验感。
继续参考图2,示出了根据本公开的基于剧场场景的增强现实播放方法的一些实施例的流程200。该增强现实播放方法,包括以下步骤:
步骤201,对头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息。
在一些实施例中,增强现实播放方法的执行主体(例如头戴式显示设备)可以对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息。
步骤202,根据当前的剧场演艺流程节点信息匹配增强现实内容,根据设备位姿信息对增强现实内容进行定位,并对增强现实内容进行播放。
在一些实施例中,上述执行主体可以根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放。
步骤203,响应于检测到更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。
在一些实施例中,上述执行主体可以响应于检测到更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于实体剧场场景的增强现实播放方法,增强了用户体验感,使得用户可以通过头戴式显示设备沉浸式体验与观看剧场演出。具体来说,造成无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差的原因在于:头戴式显示设备与剧场剧目的融合性较差,导致头戴式显示设备所显示的画面与正在表演的剧目的割裂感强,无法让观众通过头戴式显示设备沉浸式体验与观看剧场演出,用户体验感较差。基于此,本公开的一些实施例的基于实体剧场场景的增强现实系统,首先,对上述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息。由此,可以对上述头戴式显示设备的位置和方向姿态进行定位定向,从而确定佩戴上述头戴式显示设备的佩戴者的位置与方向姿态。然后,根据当前的剧场演艺流程节点信息匹配增强现实内容,根据上述设备位姿信息对上述增强现实内容进行定位,并对上述增强现实内容进行播放。由此,可以有限制的播放增强现实内容,从而增加剧场舞台与佩戴上述头戴式显示设备的佩戴者的交互性。最后,响应于检测到更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。由此,可以在接收到更改播放命令信息时,更新播放上述头戴式显示设备所显示的画面,从而进一步提高上述头戴式显示设备与剧场场景以及佩戴者的交互性,使得播放的增强现实内容与当前的剧场场景相适应,提高了头戴式显示设备与剧场剧目的融合性。也因为通过预设剧场演艺流程节点信息和更改播放命令信息,减少了头戴式显示设备与剧场剧目的割裂感,使得用户可以通过头戴式显示设备沉浸式体验与观看剧场演出。提高了用户的体验感。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种基于实体剧场场景的增强现实系统,包括头戴式显示设备,所述头戴式显示设备包括定位定向装置和播放装置,其中,
所述定位定向装置与所述播放装置通信连接,所述定位定向装置被配置成响应于检测到所述头戴式显示设备开启,对所述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息,其中,所述设备位姿信息包括设备位置信息和设备方向姿态信息;
所述播放装置与所述头戴式显示设备通信连接,所述播放装置被配置成根据当前的剧场演艺流程节点信息匹配增强现实内容,根据所述设备位姿信息对所述增强现实内容进行定位,并对所述增强现实内容进行播放;
所述播放装置还被配置成根据更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。
2.根据权利要求1所述的增强现实系统,其中,所述定位定向装置还被配置成通过视觉定位定向技术和/或信标通信定位定向技术对所述头戴式显示设备的位置和方向姿态进行定位定向处理,其中,所述信标通信定位定向技术为以下中的任意一项:蓝牙信标技术、超宽带技术;
所述播放装置还被配置成响应于未通过视觉定位定向技术和/或信标通信定位定向技术定位定向到所述头戴式显示设备的位置和方向姿态,显示需主动定位定向信息;
所述定位定向装置还被配置成响应于检测到用户输入的主动定位定向信息,将所述主动定位定向信息确定为设备位姿信息。
3.根据权利要求1所述的增强现实系统,其中,所述播放装置还被配置成响应于接收到中央控制终端发送的增强现实内容播放指令,播放所述增强现实内容播放指令对应的增强现实内容。
4.根据权利要求1所述的增强现实系统,其中,所述增强现实系统还包括姿势识别装置,所述姿势识别装置与所述头戴式显示设备通信连接;以及
所述姿势识别装置被配置成对人体进行姿势识别,得到人体姿势信息作为更改播放命令信息,以及将所述更改播放命令信息发送至所述播放装置。
5.根据权利要求4所述的增强现实系统,其中,所述姿势识别装置位于预设剧场舞台范围内;以及
所述姿势识别装置还被配置成对预设剧场舞台范围内的人体进行姿势识别,得到人体姿势信息作为更改播放命令信息,以及将所述更改播放命令信息发送至所述播放装置。
6.根据权利要求1所述的增强现实系统,其中,所述增强现实系统还包括语音识别装置,所述语音识别装置与所述头戴式显示设备通信连接;以及
所述语音识别装置被配置成对实时音频进行采集处理,以及对采集到的实时音频进行识别处理,得到音频识别信息作为更改播放命令信息,以及将所述更改播放命令信息发送至所述播放装置。
7.根据权利要求6所述的增强现实系统,其中,所述语音识别装置还被配置成响应于所述实时音频满足预设音频条件,将采集到所述实时音频的时间确定为演艺开始时间,以及将所述演艺开始时间发送至所述播放装置。
8.根据权利要求7所述的增强现实系统,其中,所述播放装置还被配置成接收所述演艺开始时间,以及根据所述演艺开始时间和预设播放间隔时长,对所述增强现实内容进行播放。
9.根据权利要求8所述的增强现实系统,其中,所述播放装置还被配置成响应于检测到所述更改播放命令信息,对更改播放内容窗口进行显示,以及响应于检测到对于所述更改播放内容窗口中任一更改播放内容的选择操作,将播放所选择的更改播放内容确定为更改播放命令信息。
10.根据权利要求1所述的增强现实系统,其中,所述增强现实系统还包括摄像头装置,所述摄像头装置与所述头戴式显示设备连接;以及
所述播放装置还被配置成响应于检测到作用于所述头戴式显示设备所显示的画面的缩放操作,向所述摄像头装置发送焦距调节指令;
所述摄像头装置被配置成响应于接收到所述焦距调节指令,调节所述摄像头装置的焦距,以及将调节焦距后的摄像头装置所拍摄的画面传输至所述播放装置;
所述播放装置还被配置成对所述摄像头装置传输的画面进行播放。
11.根据权利要求10所述的增强现实系统,其中,所述摄像头装置与所述头戴式显示设备通信连接;以及
所述播放装置还被配置成响应于检测到作用于所述头戴式显示设备所显示的画面的缩放操作,向所述摄像头装置发送画面传输指令;
所述摄像头装置还被配置成响应于接收到所述画面传输指令,将所述摄像头装置拍摄的画面传输至所述播放装置;
所述播放装置还被配置成对所述摄像头装置传输的画面进行播放。
12.一种基于剧场场景的增强现实播放方法,用于如权利要求1-11之一所述的增强现实系统包括的头戴式显示设备,包括:
对所述头戴式显示设备的位置和方向姿态进行定位定向处理,得到设备位姿信息;
根据当前的剧场演艺流程节点信息匹配增强现实内容,根据所述设备位姿信息对所述增强现实内容进行定位,并对所述增强现实内容进行播放;
响应于检测到更改播放命令信息,更改当前的剧场演艺流程节点信息,以对所播放的增强现实内容更新播放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211539090.2A CN116248851A (zh) | 2022-12-01 | 2022-12-01 | 基于实体剧场场景的增强现实系统和增强现实播放方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211539090.2A CN116248851A (zh) | 2022-12-01 | 2022-12-01 | 基于实体剧场场景的增强现实系统和增强现实播放方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116248851A true CN116248851A (zh) | 2023-06-09 |
Family
ID=86626590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211539090.2A Pending CN116248851A (zh) | 2022-12-01 | 2022-12-01 | 基于实体剧场场景的增强现实系统和增强现实播放方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116248851A (zh) |
-
2022
- 2022-12-01 CN CN202211539090.2A patent/CN116248851A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10455184B2 (en) | Display device and information processing terminal device | |
US9304585B2 (en) | Substitutional reality system control device, substitutional reality system, substitutional reality system control method, and computer-readable non-transitory recording medium | |
US9597590B2 (en) | Methods and apparatus for accessing peripheral content | |
TW200527920A (en) | Projector and method of projecting an image having multiple image sizes | |
US11006072B2 (en) | Window system based on video communication | |
US10623698B2 (en) | Video communication device and method for video communication | |
US10156898B2 (en) | Multi vantage point player with wearable display | |
KR20190080779A (ko) | 전자기기 및 그 제어 방법 | |
US20190287313A1 (en) | Head-mountable apparatus and methods | |
CN108076304A (zh) | 一种内置投影和摄像头阵列的视频处理方法和会议系统 | |
WO2021095573A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
WO2019124111A1 (ja) | 制御装置および制御方法 | |
JP5007681B2 (ja) | 放送システム | |
CN114449252A (zh) | 基于解说音频的现场视频动态调整方法、装置、设备、系统和介质 | |
JP2005033570A (ja) | 移動体画像提供方法、移動体画像提供システム | |
JPWO2017104089A1 (ja) | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 | |
CN108052206B (zh) | 一种视频播放方法、装置及电子设备 | |
CN116248851A (zh) | 基于实体剧场场景的增强现实系统和增强现实播放方法 | |
CN109741464B (zh) | 用于显示实景的方法和装置 | |
US10701313B2 (en) | Video communication device and method for video communication | |
JP4934871B2 (ja) | 撮影支援システム | |
WO2022220306A1 (ja) | 映像表示システム、情報処理装置、情報処理方法、及び、プログラム | |
JP2014107608A (ja) | 画像表示装置、画像投影装置、画像表示システム及び画像表示方法 | |
CN117156258B (zh) | 一种基于全景直播的多视角自切换系统 | |
WO2023120691A1 (ja) | 動画作成システム、動画作成装置、及び動画作成用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |