CN113411561A - 一种现场演出的立体显示方法、装置、介质及系统 - Google Patents

一种现场演出的立体显示方法、装置、介质及系统 Download PDF

Info

Publication number
CN113411561A
CN113411561A CN202110670702.0A CN202110670702A CN113411561A CN 113411561 A CN113411561 A CN 113411561A CN 202110670702 A CN202110670702 A CN 202110670702A CN 113411561 A CN113411561 A CN 113411561A
Authority
CN
China
Prior art keywords
shooting
binocular video
shooting interval
video stream
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110670702.0A
Other languages
English (en)
Inventor
张建伟
杨民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Vision Technology Nanjing Co ltd
Original Assignee
Deep Vision Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Vision Technology Nanjing Co ltd filed Critical Deep Vision Technology Nanjing Co ltd
Priority to CN202110670702.0A priority Critical patent/CN113411561A/zh
Publication of CN113411561A publication Critical patent/CN113411561A/zh
Priority to PCT/CN2022/099369 priority patent/WO2022262839A1/zh
Priority to CN202280003321.XA priority patent/CN115668913A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Abstract

本申请实施例公开了一种现场演出的立体显示方法、装置、介质及系统。该方法包括:通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;存储至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;确定观看位置对应的目标拍摄区间,并将目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;若检测到观看位置的拍摄区间切换事件,则控制裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。本技术方案可以使用户观看到逼真的现场表演视频,并且用户可以根据从不同的角度来观看现场表演,解决了现有技术中用户必须佩戴头戴式显示器才能看到立体视频的问题,提高了用户观看立体视频的舒适度。

Description

一种现场演出的立体显示方法、装置、介质及系统
技术领域
本申请实施例涉及机器视觉技术领域,尤其涉及一种现场演出的立体显示方法、装置、介质及系统。
背景技术
现场立体显示意在提供沉浸式体验的显示,随着用户的头部位置的改变,显示的场景也发生改变。
现有技术中的头戴式显示器支持这种沉浸式体验观看,利用此类设备,当用户向前看时,显示器向用户呈现在相机位置的前面捕获的场景;当用户完全转身时,显示器向用户呈现在相机位置后面捕获的场景。但是这种方式的缺陷是用户必须佩戴头戴式显示器,这样就为本身就因近视而配搭眼镜的用户带来不便。
发明内容
本申请实施例提供一种现场演出的立体显示方法、装置、介质及系统,可以实现使用户无需佩戴头戴式显示器即可从任意角度观看立体视频,提高了用户的观看舒适度。
第一方面,本申请实施例提供了一种现场演出的立体显示方法,其中所述方法由现场演出的立体显示系统执行,所述方法包括:
通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;
存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;
确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;
若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
进一步的,在确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示之后,所述方法还包括:
确定所述观看位置对应的目标拍摄区间的邻近拍摄区间;
在所述目标拍摄区间得到的双目视频流显示过程中,同步预加载所述邻近拍摄区间得到的双目视频流;
相应的,若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流,包括:
若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间;
通过所述裸眼3D显示设备,将预加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。
进一步的,通过所述裸眼3D显示设备,将已加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换,包括:
获取所述裸眼3D显示设备的帧消隐时段;
若检测到观看位置的拍摄区间切换事件,则在所述帧消隐时段由当前双目视频流切换至目标邻近拍摄区间得到的双目视频流。
进一步的,在通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄之前,所述方法还包括:
获取所述至少两个拍摄设备的标定参数;
相应的,在得到至少两个拍摄区间的双目视频流之后,所述方法还包括:
基于所述标定参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行标定参数补偿处理。
进一步的,若所述标定参数包括所述拍摄设备中存在垂直视差,则基于所述标定参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行标定参数补偿处理,包括:
基于所述垂直视差的大小,对所述至少两个拍摄设备拍摄得到的双目视频流中左图像和右图像进行垂向校准;其中,所述垂向校准是基于所述垂直视差对左图像和右图像垂向移动,以使所述左图像和右图像的垂直视差被消除。
进一步的,在得到至少两个拍摄区间的双目视频流之前,所述方法还包括:
获取所述至少两个拍摄设备的拍摄参数;
相应的,在得到至少两个拍摄区间的双目视频流之后,所述方法还包括:
基于所述拍摄参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行拍摄参数一致性处理。
第二方面,本申请实施例提供了一种现场演出的立体显示装置,该装置包括:
视频流获得模块,用于通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;
位置确定模块,用于存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;
视频显示模块,用于确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;
视频切换模块,用于若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的现场演出的立体显示方法。
第四方面,本实施例提供了一种现场演出的立体显示系统,包括至少两个拍摄设备,处理设备,存储设备以及裸眼3D显示设备;所述至少两个拍摄设备,所述存储设备以及所述裸眼3D显示设备均与所述处理设备连接,其中:
所述至少两个拍摄设备,用于从至少两个拍摄区间进行现场演出的双目视频拍摄;
所述存储设备,用于存储所述至少两个拍摄区间的双目视频流;
所述裸眼3D显示设备,用于根据人眼追踪结果,确定观看位置;
所述处理设备,用于确定所述观看位置对应的目标拍摄区间,并控制所述通过裸眼3D显示显示所述目标拍摄区间得到的双目视频流;
所述处理设备,还用于若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
本申请实施例所提供的技术方案,通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。该方案通过以上手段达到了简化观看立体视频的装置,提高用户观看舒适度的有益效果。
附图说明
图1是本申请实施例一提供的现场演出的立体显示方法的流程图;
图2是本申请实施例一提供的一种拍摄场景示意图;
图3是本申请实施例一提供的另一种拍摄场景示意图;
图4是本申请实施例一提供的视频获取及播放的示意图;
图5是本申请实施例二提供的现场演出的立体显示方法的流程图;
图6是本申请实施例三提供的一种现场演出的立体显示装置结构示意图;
图7为本申请实施例五提供的一种现场演出的立体显示系统的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的现场演出的立体显示方法的流程图,本实施例可适用于满足用户在屏幕前就可以从水平方向的各个角度观看立体舞台的场景中,该方法可以由本申请实施例所提供的现场演出的立体显示装置执行,该装置可以由软件和/或硬件的方式来实现,并可集成于系统中。
如图1所示,所述现场演出的立体显示方法包括:
S110,通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流。
其中,所述拍摄区间可以是连接舞台中心和其中一个拍摄设备,则角度范围(-α,β)所扫射到的区域为一个拍摄区间,其中α为所述舞台中心和其中一个拍摄设备的连线向左偏移的角度,β为连线向右偏移的角度。示例性的,图2是一种拍摄现场示意图,如图2所示,连接舞台中心与拍摄设备A,角度范围(-α,β)所涵盖的区域为拍摄设备A的拍摄区间,也就是图中两条实线之间的范围。其中,α与β可以相同,也可以不同,本实施例对此不进行限制。
在本实施例中,可以理解的,双目视频是模拟人的左右眼获取物体图像的视频。双目视频可以是由双目相机拍摄得到的,也可以由单目相机拍摄得到。若采用单目相机,则需要将任意相邻两台单目相机看成一组,其架设方式与双目相机相近,本实施例对于相机种类的选择不进行限制。
对于采用单目相机的实现方式,需要确保相邻的需要作为双目的两个相机的连线,与舞台中心到连线中点的方向垂直。在满足这一条件下,就可以组件成双目摄像头。另外,相邻两个单目相机的距离如果能够接近人眼距离,或者两个单目相机与舞台中心形成的角度与人眼观看屏幕形成的角度相近,则可以得到较好的显示效果。本方案中,如果单目相机设置的足够近,可以不仅限于将相邻的两个单目相机绑定得到双目视频流,还可以跳跃式的形成双目视频流的采集设备,例如第一个单目相机与第三个单目相机构成一组双目相机,从而进行相应的视频流的生成,并在后续使用时进行显示。其中,如何选择相邻的或者跳跃式的单目相机,可以基于工作人员人工选择,还可以是通过获取几个单目相机之间的距离或者与舞台中心形成的角度来进行自主分配。
其中,双目视频流可以是双目相机或一组单目相机拍摄的并在网络上按时间先后次序进行传输和播放的连续视频数据。
示例性的,图3是另一种拍摄现场示意图。如图2和图3所示,将一系列的双目相机在舞台前方适当距离一字排列,或呈略带圆弧状的排列,双目相机的双镜头平面与舞台中心点垂直,并确保最外侧的摄像机的视场角(FOV)可以在所在一侧超出舞台的边缘,模拟观众在影院中从同一排的不同角度观看演出的场景。单目相机也可用于同样的拍摄,但每台相机的架设高度需保持一致。可以理解的,无论是双目相机还是单目相机均优选地可以采用型号一致,以方便后续的标定和校正。
S120,存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置。
其中,人眼追踪结果可以是人眼追踪设备获取观看者眼睛的坐标信息,并进行坐标系的转换。例如可以是以人眼追踪设备为原点建立一个空间直角坐标,人眼追踪设备检测到人的左右眼的直角坐标分别为(x1,y1,z1)和(x2,y2,z2),则左右眼的中心所在的直角坐标为(x3,y3,z3)。然后将直角坐标(x3,y3,z3)转换为球坐标(α,β)。示例性的,将人的左右眼中心设为A,人眼追踪设备为原点o,将o映射到A所在水平面为o,从o向A所在垂直面做垂线,那么α为连线Ao与垂线的夹角,β为连线Ao与连线Ao之间的夹角。可以理解的,(α,β)为根据人眼追踪结果确定的人的观看位置。其中,人眼追踪设备可以是与视频播放设备外连的,也可以是安装在视频播放设备中的,本实施例对此不进行限制。
在本实施例中相机拍摄的视频经过处理后存储到存储设备中或者通过计算机技术或通信技术传输到后端设备中,例如可以是观看用户所用的电脑或者手机。后端设备接收到传输过来的信号后解包还原出各路视频流,并将这些视频流存储到本地的存储设备中,供后端主机播放时选择,或用于后期回放。
S130,确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示。
其中,观看位置对应的目标拍摄区间,可以是确定观看位置与裸眼3D显示设备形成的角度之后,确定该角度坐落在哪个拍摄区间,则该拍摄区间就是目标拍摄区间。可以理解的,目标拍摄区间对应的双目视频流即为用户在当前的观看位置需要看到的视频流,因此可以将目标拍摄区间对应的双目视频流显示出来,供用户观看。
示例性的,图4为视频获取及播放的示意图。如图4所示,人眼追踪设备根据检测到的人眼的坐标信息,将坐标进行转换后确定观看位置并将观看位置信息发送给后端主机系统。后端主机系统将观看位置信息与各拍摄区间进行匹配,判断观众的换看位置处于哪个拍摄区间并将匹配好的拍摄区间作为目标拍摄区间,然后将该目标拍摄区间对应的双目视频从后端主机系统中的存储设备中取出并控制裸眼3D显示设备播放所述双目视频供观众观看。其中,裸眼3D显示设备可以是利用人两眼具有视差的特性,在不需要任何辅助设备(如3D眼镜,头盔等)的情况下,即可获得具有空间、深度的逼真立体图像的显示设备。
S140,若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
其中,观看位置的拍摄区间切换事件可以是观众的观看位置从一个拍摄区间移动到另一个拍摄区间。示例性的,当观众的观看位置发生了变化时,人眼追踪设备检测到了该变化并将人眼新的坐标信息发送给后端主机系统,后端主机系统经过分析判断出观众的观看位置从一个拍摄区域移动到了另一个拍摄区域,则从存储设备中获取新的拍摄区域对应的双目视频流并控制裸眼3D显示设备显示该双目视频。
本申请实施例所提供的技术方案,通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。本实施例通过以上手段完成了从各个角度对舞台的立体播放,达到了可以使观众通过裸眼3D显示器就可以实时看到逼真的现场表演视频,并且用户可以根据自己的喜好,选择在不同的角度来观看现场表演的有益效果。
实施例二
图5为本申请实施例二中的现场演出的立体显示方法的流程图,本实施例以上述实施例为基础进行优化。具体优化为:在确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示之后,所述方法还包括:确定所述观看位置对应的目标拍摄区间的邻近拍摄区间;在所述目标拍摄区间得到的双目视频流显示过程中,同步预加载所述邻近拍摄区间得到的双目视频流;相应的,若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流,包括:若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间;通过所述裸眼3D显示设备,将预加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。通过这样的处理,可以达到观看者移动位置时平滑切换双目视频流的目的。
如图5所示,本实施例的方法具体包括如下步骤:
S510,通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流。
在本实施例中,可选的,在通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄之前还包括获取所述至少两个拍摄设备的标定参数,相应的,在得到至少两个拍摄区间的双目视频流之后还包括基于所述标定参数对所述至少两个拍摄设备拍摄得到的双目视频流进行标定参数补偿处理。
其中,标定参数可以是相机中需要进行校准的参数。可选的,标定参数可以是拍摄设备中存在的垂直视差,其中,垂直视差可以是由于当前拍摄区间的拍摄设备的两个摄像头摆放高度略有偏差导致的,所以拍摄设备的双目会在垂直方向上产生视差。标定参数补偿处理可以是对标定参数进行校准,消除误差。
示例性的,基于所述垂直视差的大小对所述至少两个拍摄设备拍摄得到的双目视频流中左图像和右图像进行垂向校准;其中,所述垂向校准是基于所述垂直视差对左图像和右图像垂向移动,以使所述左图像和右图像的垂直视差被消除。本实施例通过获取拍摄设备的标定参数并对标定参数进行补偿处理可以对拍摄设备拍摄的图像产生的畸变进行处理,从而得到更优质的图像。
在本实施例中,可选的,在得到至少两个拍摄区间的双目视频流之前还包括获取所述至少两个拍摄设备的拍摄参数相应的,在得到至少两个拍摄区间的双目视频流之后,所述方法还包括基于所述拍摄参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行拍摄参数一致性处理。
其中,拍摄设备的拍摄参数,例如,可以是焦距、景深以及曝光。
本实施例通过将不同拍摄区域得到的双目视频的拍摄参数调整为一致,提高了观众对于视频的观看体验。
S520,存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置。
S530,确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示。
S540,确定所述观看位置对应的目标拍摄区间的邻近拍摄区间。
其中,目标拍摄区间的邻近拍摄区间可以是目标拍摄区间左右各1个、2个…N个拍摄区间,本实施例对邻近拍摄区间的个数不进行限制。在本实施例中,可选的,确定所述观看位置对应的目标拍摄区间的邻近拍摄区间的方法可以是通过比较其他拍摄区间与目标拍摄区间的直线距离来确定该拍摄区间是否是目标拍摄区间的邻近拍摄区间,邻近拍摄区间的个数可以是固定的,也可以是根据不同场景进行动态调整的。
S550,在所述目标拍摄区间得到的双目视频流显示过程中,同步预加载所述邻近拍摄区间得到的双目视频流。
其中,同步加载可以是在显示目标拍摄区间对应的双目视频流的同一时间下载所述邻近拍摄区间对应的双目视频流。
S560,若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间。
其中,目标邻近拍摄区间可以是切换后新的观看位置对应的目标拍摄区间的至少一个邻近拍摄区间。
可以理解的,当观众的观看位置发生变化时,后端主机系统需要根据新的观看位置确定新的目标拍摄区间,再确定新的目标拍摄区间的目标邻近拍摄区间。
S570,通过所述裸眼3D显示设备,将预加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。
示例性的,当显示设备播放的是拍摄区间A对应的双目视频的同时,后端主机系统下载A的邻近拍摄区间B和C对应的双目视频流,当观众的观看位置移动到B时,后端主机系统控制显示设备将视频切换到拍摄区间B对应的同一时间的双目视频,同时加载拍摄区间B的目标邻近拍摄区间E、F对应的双目视频流。
本实施例中,可选的,通过所述裸眼3D显示设备,将已加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换,包括:获取所述裸眼3D显示设备的帧消隐时段;若检测到观看位置的拍摄区间切换事件,则在所述帧消隐时段由当前双目视频流切换至目标邻近拍摄区间得到的双目视频流。其中,一个帧在播放时显示器有一段时间是亮的,对应正程显示期;另一段短暂的时间是全黑的对应消隐期,由于持续时间特别短,所以人眼观察不到。如果在帧正程是亮的状态下就切换视频,画面会产生闪烁的现象。本实施例中后端主机系统选择在帧消隐期暗的状态下切换视频,使观众察觉不到视频的切换,提高了观众对于视频的观看体验。
本申请实施例所提供的技术方案,通过确定所述观看位置对应的目标拍摄区间的邻近拍摄区间;在所述目标拍摄区间得到的双目视频流显示过程中,同步加载所述邻近拍摄区间得到的双目视频流;相应的,若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流,包括:若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间;通过所述裸眼3D显示设备,将已加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。本实施例通过以上手段完成了视频的同步切换,避免了视频流切换过程中出现的卡顿及延迟问题,使观众可以流畅的从不同角度观看立体的待拍摄区域。优选的,由于屏幕观看角度有限,即便用户左右移动到最大角度,内容切换的角度可能无法覆盖摄像机阵列拍摄到的全部角度,例如摄像机阵列拍摄360度,但是通过人眼跟踪和屏幕的配合,可能至多在120度范围内拍摄的视频进行切换。本实施例技术方案可以通过人为控制,切换正对屏幕方向对应的参考视频角度,例如,正常情况下用户正对屏幕观看的画面是拍摄现场中正对舞台中心的拍摄设备所拍摄的,如果用户想看到更大范围内的画面,则可以将偏移舞台中心一定角度的拍摄设备所拍摄的画面作为用户正对屏幕可以看到的画面,然后用户可以再进行左右移动观看附近角度的画面。
实施例三
图6为本申请实施例三提供的一种现场演出的立体显示装置的结构框图,该装置可执行本申请任意实施例所提供的现场演出的立体显示方法,具备执行方法相应的功能模块和有益效果。如图6所示,该装置可以包括:
视频流获得模块610,用于通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;
位置确定模块620,用于存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;
视频显示模块630,用于确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;
视频切换模块640,用于若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
进一步的,所述装置还包括:
邻近区间确定模块,用于确定所述观看位置对应的目标拍摄区间的邻近拍摄区间;
视频加载模块,用于在所述目标拍摄区间得到的双目视频流显示过程中,同步预加载所述邻近拍摄区间得到的双目视频流;
相应的,视频切换模块640,包括:
目标邻近区间确定单元,用于若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间;
视频切换单元,用于通过所述裸眼3D显示设备,将预加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。
进一步的,视频切换单元,具体用于:获取所述裸眼3D显示设备的帧消隐时段;若检测到观看位置的拍摄区间切换事件,则在所述帧消隐时段由当前双目视频流切换至目标邻近拍摄区间得到的双目视频流。
进一步的,所述装置还包括:
参数获取模块,用于获取所述至少两个拍摄设备的标定参数;
相应的,在得到至少两个拍摄区间的双目视频流之后,所述装置还包括:
参数补偿模块,用于基于所述标定参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行标定参数补偿处理。
进一步的,所述装置还包括:
拍摄参数获取模块,用于获取所述至少两个拍摄设备的拍摄参数;
参数处理模块,用于基于所述拍摄参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行拍摄参数一致性处理。
上述产品可执行本申请实施例所提供的现场演出的立体显示方法,具备执行方法相应的功能模块和有益效果。
实施例四
本申请实施例四提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有实施例提供的现场演出的立体显示方法:
通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;
存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;
确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;
若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例五
图7为本申请实施例五提供的一种现场演出的立体显示系统的结构框图,该系统可执行本申请任意实施例所提供的现场演出的立体显示方法,具备执行方法相应的功能模块和有益效果。如图7所示,该系统可以包括:
至少两个拍摄设备710,处理设备720,存储设备730以及裸眼3D显示设备740;所述至少两个拍摄设备710,所述存储设备730以及所述裸眼3D显示设备740均与所述处理设备720连接,其中:
所述至少两个拍摄设备710,用于从至少两个拍摄区间进行现场演出的双目视频拍摄;
所述存储设备730,用于存储所述至少两个拍摄区间的双目视频流;
所述裸眼3D显示设备740,用于根据人眼追踪结果,确定观看位置;
所述处理设备720,用于确定所述观看位置对应的目标拍摄区间,并控制所述通过裸眼3D显示显示所述目标拍摄区间得到的双目视频流;
所述处理设备720,还用于若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
上述系统可执行本申请实施例所提供的现场演出的立体显示方法,具备执行方法相应的功能模块和有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种现场演出的立体显示方法,其特征在于,包括:
通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;
存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;
确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;
若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
2.根据权利要求1所述的方法,其特征在于,在确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示之后,所述方法还包括:
确定所述观看位置对应的目标拍摄区间的邻近拍摄区间;
在所述目标拍摄区间得到的双目视频流显示过程中,同步预加载所述邻近拍摄区间得到的双目视频流;
相应的,若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流,包括:
若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间;
通过所述裸眼3D显示设备,将已加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。
3.根据权利要求2所述的方法,其特征在于,通过所述裸眼3D显示设备,将预加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换,包括:
获取所述裸眼3D显示设备的帧消隐时段;
若检测到观看位置的拍摄区间切换事件,则在所述帧消隐时段由当前双目视频流切换至目标邻近拍摄区间得到的双目视频流。
4.根据权利要求1所述的方法,其特征在于,在通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄之前,所述方法还包括:
获取所述至少两个拍摄设备的标定参数;
相应的,在得到至少两个拍摄区间的双目视频流之后,所述方法还包括:
基于所述标定参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行标定参数补偿处理。
5.根据权利要求4所述的方法,其特征在于,若所述标定参数包括所述拍摄设备中存在垂直视差,则基于所述标定参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行标定参数补偿处理,包括:
基于所述垂直视差的大小,对所述至少两个拍摄设备拍摄得到的双目视频流中左图像和右图像进行垂向校准;其中,所述垂向校准是基于所述垂直视差对左图像和右图像垂向移动,以使所述左图像和右图像的垂直视差被消除。
6.根据权利要求1所述的方法,其特征在于,在得到至少两个拍摄区间的双目视频流之前,所述方法还包括:
获取所述至少两个拍摄设备的拍摄参数;
相应的,在得到至少两个拍摄区间的双目视频流之后,所述方法还包括:
基于所述拍摄参数,对所述至少两个拍摄设备拍摄得到的双目视频流进行拍摄参数一致性处理。
7.一种现场演出的立体显示装置,其特征在于,包括:
视频流获得模块,用于通过对待拍摄区域的至少两个拍摄区间进行双目视频拍摄,得到至少两个拍摄区间的双目视频流;
位置确定模块,用于存储所述至少两个拍摄区间的双目视频流,并根据人眼追踪结果,确定观看位置;
视频显示模块,用于确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示;
视频切换模块,用于若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
8.根据权利要求7所述的装置,其特征在于,在确定所述观看位置对应的目标拍摄区间,并将所述目标拍摄区间得到的双目视频流在裸眼3D显示设备中显示之后,所述装置还包括:
邻近区间确定模块,用于确定所述观看位置对应的目标拍摄区间的邻近拍摄区间;
视频加载模块,用于在所述目标拍摄区间得到的双目视频流显示过程中,同步预加载所述邻近拍摄区间得到的双目视频流;
相应的,若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流,包括:
目标邻近区间确定单元,用于若检测到观看位置的拍摄区间切换事件,则确定目标邻近拍摄区间;
视频切换单元,用于通过所述裸眼3D显示设备,将预加载的所述目标邻近拍摄区间得到的双目视频流进行同步切换。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的现场演出的立体显示方法。
10.一种现场演出的立体显示系统,其特征在于,包括至少两个拍摄设备,处理设备,存储设备以及裸眼3D显示设备;所述至少两个拍摄设备,所述存储设备以及所述裸眼3D显示设备均与所述处理设备连接,其中:
所述至少两个拍摄设备,用于从至少两个拍摄区间进行现场演出的双目视频拍摄;
所述存储设备,用于存储所述至少两个拍摄区间的双目视频流;
所述裸眼3D显示设备,用于根据人眼追踪结果,确定观看位置;
所述处理设备,用于确定所述观看位置对应的目标拍摄区间,并控制所述通过裸眼3D显示显示所述目标拍摄区间得到的双目视频流;
所述处理设备,还用于若检测到观看位置的拍摄区间切换事件,则控制所述裸眼3D显示设备显示切换后拍摄区间得到的双目视频流。
CN202110670702.0A 2021-06-17 2021-06-17 一种现场演出的立体显示方法、装置、介质及系统 Withdrawn CN113411561A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110670702.0A CN113411561A (zh) 2021-06-17 2021-06-17 一种现场演出的立体显示方法、装置、介质及系统
PCT/CN2022/099369 WO2022262839A1 (zh) 2021-06-17 2022-06-17 现场演出的立体显示方法、装置、介质及系统
CN202280003321.XA CN115668913A (zh) 2021-06-17 2022-06-17 现场演出的立体显示方法、装置、介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110670702.0A CN113411561A (zh) 2021-06-17 2021-06-17 一种现场演出的立体显示方法、装置、介质及系统

Publications (1)

Publication Number Publication Date
CN113411561A true CN113411561A (zh) 2021-09-17

Family

ID=77684718

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110670702.0A Withdrawn CN113411561A (zh) 2021-06-17 2021-06-17 一种现场演出的立体显示方法、装置、介质及系统
CN202280003321.XA Pending CN115668913A (zh) 2021-06-17 2022-06-17 现场演出的立体显示方法、装置、介质及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202280003321.XA Pending CN115668913A (zh) 2021-06-17 2022-06-17 现场演出的立体显示方法、装置、介质及系统

Country Status (2)

Country Link
CN (2) CN113411561A (zh)
WO (1) WO2022262839A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422819A (zh) * 2022-01-25 2022-04-29 纵深视觉科技(南京)有限责任公司 一种视频显示方法、装置、设备、系统及介质
CN114979732A (zh) * 2022-05-12 2022-08-30 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质
WO2022262839A1 (zh) * 2021-06-17 2022-12-22 纵深视觉科技(南京)有限责任公司 现场演出的立体显示方法、装置、介质及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651841B (zh) * 2008-08-13 2011-12-07 华为技术有限公司 一种立体视频通讯的实现方法、系统和设备
CN102497570A (zh) * 2011-12-23 2012-06-13 天马微电子股份有限公司 跟踪式立体显示装置及其显示方法
CN104349155B (zh) * 2014-11-25 2017-02-01 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备
CN107454381A (zh) * 2017-06-22 2017-12-08 上海玮舟微电子科技有限公司 一种裸眼3d显示方法及装置
CN113411561A (zh) * 2021-06-17 2021-09-17 纵深视觉科技(南京)有限责任公司 一种现场演出的立体显示方法、装置、介质及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262839A1 (zh) * 2021-06-17 2022-12-22 纵深视觉科技(南京)有限责任公司 现场演出的立体显示方法、装置、介质及系统
CN114422819A (zh) * 2022-01-25 2022-04-29 纵深视觉科技(南京)有限责任公司 一种视频显示方法、装置、设备、系统及介质
CN114979732A (zh) * 2022-05-12 2022-08-30 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质
CN114979732B (zh) * 2022-05-12 2023-10-20 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质

Also Published As

Publication number Publication date
WO2022262839A1 (zh) 2022-12-22
CN115668913A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US9965026B2 (en) Interactive video display method, device, and system
US10750154B2 (en) Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
EP3189657B1 (en) Method and apparatus for transmitting and/or playing back stereoscopic content
US9774896B2 (en) Network synchronized camera settings
US10438633B2 (en) Method and system for low cost television production
CN113411561A (zh) 一种现场演出的立体显示方法、装置、介质及系统
WO2017086263A1 (ja) 情報処理装置および画像生成方法
KR20150090183A (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
WO2003081921A1 (fr) Procede de traitement d'images tridimensionnelles et dispositif
JP3749227B2 (ja) 立体画像処理方法および装置
JP3857988B2 (ja) 立体画像処理方法および装置
JP2004221700A (ja) 立体画像処理方法および装置
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
US9082225B2 (en) Method, apparatus and system for adjusting stereoscopic image, television set and stereoscopic glasses
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
CN108989784A (zh) 虚拟现实设备的图像显示方法、装置、设备及存储介质
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2004221699A (ja) 立体画像処理方法および装置
US20190335153A1 (en) Method for multi-camera device
US9667951B2 (en) Three-dimensional television calibration
JP4118146B2 (ja) 立体画像処理装置
US9258547B2 (en) Intelligent device with both recording and playing back 3D movies and the relevant apparatus and methods
CN108513122B (zh) 基于3d成像技术的模型调整方法及模型生成装置
CN105898285A (zh) 虚拟显示设备的影像播放方法和装置
CN117156258A (zh) 一种基于全景直播的多视角自切换系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210917