CN117319694A - 一种xr立体互动直播构建方法、系统、主播端、观众端及介质 - Google Patents
一种xr立体互动直播构建方法、系统、主播端、观众端及介质 Download PDFInfo
- Publication number
- CN117319694A CN117319694A CN202311028371.6A CN202311028371A CN117319694A CN 117319694 A CN117319694 A CN 117319694A CN 202311028371 A CN202311028371 A CN 202311028371A CN 117319694 A CN117319694 A CN 117319694A
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- audience
- stereoscopic
- scene
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 77
- 238000010276 construction Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 32
- 210000001747 pupil Anatomy 0.000 claims abstract description 27
- 238000010859 live-cell imaging Methods 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 17
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 32
- 230000003993 interaction Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种XR立体互动直播构建方法、系统、主播端、观众端及介质，该方法包括：步骤S10：根据直播场景的直播成像区间以及基准观众在直播场景的瞳距与位姿，实时渲染生成立体视觉直播画面，并把立体视觉直播画面发送给各观众端；步骤S20:任意观众端接收立体视觉直播画面，所述立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看直播边进行其它内容体验的立体视觉画面。本发明的直播观众端不需要实时从主播端接收立体视觉直播画面对应的深度图像，通过算法处理由直播场景在观众视场显示区间的深度信息表征立体视觉直播画面的深度，以更低的网络带宽消耗生成观众边看立体视觉直播边与其它内容互动的体验。
Description
技术领域
本发明涉及XR技术领域，尤其涉及XR立体互动直播构建方法、系统、主播端、观众端及介质。
背景技术
虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术可以创设纯虚拟、数字孪生或虚实结合的沉浸式立体空间，它们在技术上相通相融，统称为扩展现实(XR)。XR技术以及其衍生出的元宇宙将深刻影响我们的学习、社交、工作，尤其能解决职业教育实训中的看不见、摸不着、进不去等难题，将颠覆职业教育的形态。直播是当前最常见的实时信息传播与互动的方式，XR技术能使用户对场景或物体生成沉浸式立体感知，能提供虚拟实操的互动方式，用XR技术的所述能力，创新直播方式，能极大提升直播的信息传输与互动的能力，颠覆直播形式。
本系统可以应用到常规的直播活动，也可以应用到教学中，例如：在课堂里，教师在XR技术构建的虚拟实训场景里进行虚拟实操示范，本系统可以把教师的虚拟实操直播分享给课堂里所有学生，学生可以在自己体验空间里，观看教师实操立体画面，可以与教师的虚拟实操进行互动，还可以并行在自己的虚拟实操环境里进行操作，从而“学中做”、“做中学”；在课堂里，老师也可以指定某个学生的虚拟实操过程直播分享出来，供大家评价参考；还可以应用到实操竞赛中，每个参与竞赛的人或小组有一个独立的虚拟实操场景，他们可以通过直播实时立体地看到其它人或小组的虚拟实操进度，从而直观的形成竞赛对比。因此，本发明基于XR技术的沉浸式互动直播构建方法及系统具有很高的应用价值。
本发明人前期的发明专利申请《基于XR技术的沉浸式互动直播构建方法、系统及介质》(申请号：202210906282.6)提出了一种直播构建方法，此方法可以应用到常规的直播活动，也可以应用到教学中，例如：在课堂里，教师在XR技术构建的虚拟实训场景里进行虚拟实操示范，此方法可以把教师的虚拟实操直播分享给课堂里所有学生，学生可以在自己体验空间里，观看教师实操立体画面，可以与教师的虚拟实操进行互动，还可以并行在自己的虚拟实操环境里进行操作，从而“学中做”、“做中学”，具有很高的应用价值。但是，此方法步骤S30生成立体视觉直播画面时，需要同时生成对应的深度图像，把立体视觉直播画面实时传输给观众时需要同时传输深度图像，在步骤S40进行立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成时，需要使用实时接收到所述的深度图像，深度图像的实时生成与传输占用较大计算资源与网络带宽。
发明内容
本发明的主要目的在于提供一种XR立体互动直播构建方法、系统、主播端、观众端及介质,在直播场景不生成不传输深度图像的情况下，正确进行直播场景立体视觉画面与观众其它内容沉浸式体验画面的遮挡合成，为观众生成边看直播边进行其它内容的沉浸式互动的体验，观众还可以与直播场景进行互动。
为实现上述目的，本发明提出一种XR立体互动直播构建方法，所述方法包括以下步骤：
步骤S10：根据直播场景的直播成像区间以及基准观众在直播场景的瞳距与位姿，实时渲染生成立体视觉直播画面，并把立体视觉直播画面发送给各观众端；
步骤S20:任意观众端接收立体视觉直播画面，所述立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看直播边进行其它内容体验的立体视觉画面；
其中，所述步骤S20进行画面合成时，立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面遮挡计算方式为：直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度，进而与观众体验空间其它体验内容的立体视觉画面共观众视线的像素进行深度值比较，得到像素间的遮挡关系。
作为本发明的进一步改进，在所述步骤S20中，对于观众p，直播场景s在观众p视场的显示三维区间为Ω，Ω以外的区间为任意点b0与Ω的遮挡具备一致性。
作为本发明的进一步改进，在所述步骤S10前面还有步骤S00：设定直播参数，包括直播场景的直播成像区间、基准观众视场坐标系与直播场景坐标系的旋转平移缩放关系、基准观众瞳距、基准观众在直播场景的瞳距与位姿、直播场景在基准观众视场的显示区间。
作为本发明的进一步改进，在所述步骤S20后面还有步骤S30:把观众在其体验空间内对直播场景的互动操作转换成直播场景内的互动操作，直播场景对所述转换后的互动操作进行响应。
作为本发明的进一步改进，所述步骤S00还可以设置基准观众在直播场景的多组瞳距、位姿与直播成像区间，步骤S10为每组瞳距、位姿、成像区间分别实时渲染生成立体视觉直播画面，从而实时生成多组立体视觉直播画面，所述步骤S20还包括任意观众选择接收一组或多组立体视觉直播画面。
作为本发明的进一步改进，在所述步骤S20中，观众体验空间内除了手和互动工具之外的其它内容不在所述直播场景在观众视场的显示区间显示，在所述步骤S20中，直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度具体方式为：计算直播场景在观众视场显示区间边界面向观众的阴面的深度图像，直播画面任意像素τ如果有对物点成像，把所述显示区间边界阴面深度图像与τ共观众视线的像素点深度值表征为τ的深度值。
为实现上述目的，本发明还提出一种扩展现实技术(XR)立体互动直播系统，所述系统包括存储器、处理器以及存储在所述处理器上的基于扩展现实技术(XR)的立体互动直播的构建方法程序，所述基于扩展现实技术(XR)的立体互动直播的构建方法程序被所述处理器运行时执行如上所述方法的步骤。
为实现上述目的，本发明还提出一种扩展现实技术(XR)立体互动直播主播端，所述主播端执行如上所述的XR立体互动直播构建方法的步骤S10。
为实现上述目的，本发明还提出一种扩展现实技术(XR)立体互动直播观众端，所述观众端执行如上所述的XR立体互动直播构建方法的步骤S20。
为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的XR立体互动直播构建方法的步骤。
本发明XR立体互动直播构建方法、系统、主播端、观众端及介质的有益效果：
本发明在直播场景不生成不传输深度图像的情况下，为观众生成边看直播边与其它内容进行沉浸式互动的体验时，可以由直播场景在观众视场的显示区间，计算得到所需的直播场景立体视觉画面深度信息，且当直播场景在用户视场的显示区间不改变时，无需重复计算此深度信息，从而因无需实时传输深度图像，大幅减小直播所需带宽，具有显著的经济效益。
附图说明
图1为本发明一种XR立体互动直播构建方法的流程示意图。
图2为本发明XR立体互动直播系统示意图。
图3为本发明观众视场及坐标系示意图。
图4为本发明观众体验空间及坐标系示意图。
图5为本发明直播效果的示意图。
图6由直播场景在观众视场显示区间计算直播场景立体视觉画面深度信息的示意图。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，本发明提出一种XR立体互动直播构建方法，所述方法包括以下步骤：
步骤S10：根据直播场景的直播成像区间以及基准观众在直播场景的瞳距与位姿，实时渲染生成立体视觉直播画面，并把立体视觉直播画面发送给各观众端；
步骤S20:任意观众端接收立体视觉直播画面，所述立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看直播边进行其它内容体验的立体视觉画面；
其中，所述步骤S20进行画面合成时，立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面遮挡计算方式为：直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度，进而与观众体验空间其它体验内容的立体视觉画面共观众视线的像素进行深度值比较，得到像素间的遮挡关系。
更进一步，在所述步骤S20中，对于观众p，直播场景s在观众p的视场显示三维区间为Ω，Ω以外的区间为任意点b0与Ω的遮挡具备一致性。
在所述步骤S10前面还有步骤S00：设定直播参数，包括直播场景的直播成像区间、基准观众视场坐标系与直播场景坐标系的旋转平移缩放关系、基准观众瞳距、基准观众在直播场景的瞳距与位姿、直播场景在基准观众视场的显示区间。
在所述步骤S20后面还有步骤S30:把观众在其体验空间内对直播场景的互动操作转换成直播场景内的互动操作，直播场景对所述转换后的互动操作进行响应。
进一步地，所述步骤S00还可以设置基准观众在直播场景的多组瞳距、位姿与直播成像区间，步骤S10为每组瞳距、位姿、成像区间分别实时渲染生成立体视觉直播画面，从而实时生成多组立体视觉直播画面，所述步骤S20还包括任意观众选择接收一组或多组立体视觉直播画面。
另外，在所述步骤S20中，观众体验空间内除了手和互动工具之外的其它内容不在所述直播场景在观众视场的显示区间显示，在所述步骤S20中，直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度具体方式为：计算直播场景在观众视场显示区间边界面向观众的阴面的深度图像，直播画面任意像素τ如果有对物点成像，把所述显示区间边界阴面深度图像与τ共观众视线的像素点深度值表征为τ的深度值。
下面结合图2至图6，以及第1实施例至第3实施例对本发明一种XR立体互动直播构建方法进行详细阐述。
以下对本发明涉及的重要技术术语进行说明。
场景与场景实例
场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是系统调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程或线程，此程序进程或线程实时计算场景内各对象状态，渲染画面，响应用户的互动。单个场景同时有多个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给各用户，这些场景实例之间建立通信连接同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景。
观众视场及坐标系
观众视场是观众可见的空间范围，观众视场跟随观众的头部以及眼球的运动进行变化，本发明以观众的头部为参考定义观众视场坐标系，从而使观众的头部以及眼球的运动不影响观众视场坐标系相对观众头部的位姿关系，由此可以使观众的头部及眼球运动将不会对直播画面的生成与呈现产生影响。以图3为例介绍观众视场坐标系的设定方式。在人眼双目光心连线上，双目光心之间的中点作为坐标系的原点，人眼双目连线从左眼到右眼方向定义为x轴正方向，人脸朝向方向定义为z轴正方向，以与x轴与z轴垂直且满足左手坐标系定义y轴正方向。
观众体验空间及坐标系
观众体验空间是观众沉浸式体验的三维空间。观众体验空间坐标系可以是预先设定的也可以是XR头显自动构建的，以图4的观众体验空间坐标系为例，此坐标系在水平面的垂直向上方向定义y轴的正方向，在水平面上定义x轴与z轴。观众的头部发生运动时，体验空间坐标系相对观众头部的位姿会发生改变。
XR场景的直播成像区间
主播/用户p′在XR场景s0进行互动体验，当把主播/用户p′在场景s0的体验情况进行实时直播时，设定一个三维区间，场景s0只有在此三维区间的内容才在生成直播画面时成像，从而直播画面只显示此三维区间内的场景内容，此三维区间就是XR场景s0的直播成像区间。直播成像区间对生成p′在XR场景s0的体验画面不影响。
XR直播场景在观众视场的显示区间
场景s0进行直播，在观众p的视场设定一个三维区间Ω用来呈现直播场景s0，而且s0也只能呈现在Ω内，当设定观众p视场坐标系与场景s0坐标系之间的旋转平移缩放关系时，根据此旋转平移缩放关系，三维区间Ω映射到场景s0得到的三维区间可以作为场景s0的直播成像区间，反过来，依据此旋转平移缩放关系，场景s0的直播成像区间映射到观众p的视场，得到的三维区间可以作为场景s0在观众p视场的显示区间。
基准瞳距与基准观众。
不同人之间，双目瞳距不相同。在本发明中指定一个瞳距值为瞳距基准值，称/>为基准瞳距。设定或假定一个瞳距为基准瞳距的用户为基准观众。
瞳距与立体视觉
人眼在观看物体时，人的左眼与右眼分别对物体都进行成像，同一物点在人的左眼与右眼成像位置存在差异，此差异为视差，视差让人眼可以正确感知物点的三维信息。相同的左右眼立体图片适配不同的人眼瞳距时，不同瞳距的人感知到的立体视觉信息不相同，发明专利申请《基于XR技术的沉浸式互动直播构建方法、系统及介质》(申请号：202210906282.6)的附图5与说明书第79段对此论断有详细的说明，在此不再赘述。
本发明效果如图5所示，图5的(a)图为进行立体互动直播的XR场景s0，(b)图是观众p正在进行互动体验的XR场景s，在(c)图中，给XR场景s0设置了1个三维直播区间用来限定直播内容，XR场景s0只有在此三维直播区间内的内容才能用于生成立体直播画面，设定此三维直播区间在人员p视场呈现位姿与缩放尺寸，使观众p既能继续场景s1的互动，也能立体观看XR场景s0的直播。
本发明核心技术原理如下：
对于任意观众p，直播场景s0在观众p的视场三维显示区间为Ω，Ω以外的区间为b0为观众p视场内任意在/>的点，b0与Ω内任意点c0发生遮挡的前提条件是所述两个点处在观众p的同一条视线上，如果b0与Ω内所有可能发生遮挡的点的遮挡关系相同，则当点c0的深度值未知时，若c1为Ω内任意与b0、c0共同一条观众视线的点，当已知c1的深度值时，计算得到b0与c1的遮挡关系，此遮挡关系就是b0与c0的遮挡关系。本发明把/>内点b0与Ω内所有可能发生遮挡的点的遮挡关系相同的特征，称之为点b0与Ω的遮挡具备一致性。
以图6为例，场景s0进行直播，在观众p视场的显示区间为Ω，点a、b、c、d、e在观众同一条视线上，其中点a、e在观众p视场里但Ω之外，点b、d在直播场景s0显示区间Ω边界上，点c在显示区间Ω内。图6中的显示区间Ω，满足：对于人眼任意视线，如果其与显示区间Ω有交点，对于其中任意两个交点b、d，对于b和d之间任意点c＝λb+(1-λ)d，其中0≤λ≤1，点c仍然属于显示区间Ω，例如：正方体、球体、圆柱体形状的显示区间就满足上述要求，非凸区间在观众视场的某些位姿下，也可以满足上述特征要求。由于上面的约束，很容易证明点a和点e，与Ω的遮挡具备一致性，所以当点c的深度值未知时，只需要比较点a与点b或点d的深度值，得到的点a与点b或点d的遮挡关系就是点a与点c的遮挡关系，同样比较点e与点b或点d的深度值，就可以得到点e与点c的遮挡关系。
所以在人眼与直播场景显示区间相交的所有视线上分别找一个属于直播三维显示区间的点，组成1个点集，观众p视场在直播场景显示区间外任意点只需要与此点集比较遮挡就可以。例如，以此直播场景显示区间面向人眼的阳面的边界点组成集合。从而立体视觉直播画面，任意像素点如果有对物点成像，则此像素点深度值就可以用对应直播场景显示区间正面边界点的深度值代替。
第一实施例：
如图2所示，本实施例的直播系统由主播端、观众端、直播参数设定模块、直播场景显示区间深度信息计算模块组成。主播端运行直播场景实例，从直播参数设定模块获取直播参数，根据直播参数实时渲染生成直播场景双目立体视觉直播画面图像，并可以从观众端接收互动输入，并对观众的互动输入进行响应。系统、主播、观众都可以通过直播参数设定模块设定直播参数，改变后的直播参数将发送给主播端、观众端、直播场景显示区间深度信息计算模块。直播场景显示区间深度信息计算模块根据直播场景在观众视场的显示区间计算显示区间深度信息。当观众端初始从主播端接收直播画面时或直播参数发生改变时，观众端从直播场景显示区间深度信息计算模块获取直播场景显示区间深度信息。观众端从主播端接收直播场景立体视觉直播画面，并把此直播画面与观众体验空间内其它内容的立体视觉画面进行遮挡计算合成，合成边看直播边进行其它内容互动的体验画面并显示给用户看。
有主播hm对虚拟场景sm进行沉浸式体验，hm把对sm的沉浸式体验过程进行实时直播分享，有观众集合为P＝{p0 p1 … pn-1}，任意用户pk的瞳距用dk表示，每个用户的瞳距不相同，P中任意其它用户在观看hm对sm体验的立体直播画面，可以对直播场景sm进行互动，还可以并行对其它虚拟场景进行沉浸式体验。如图1所示，本实施例的构建方法包含如下步骤：
步骤S00:设定直播参数，包括直播场景的直播成像区间、基准观众视场坐标系与直播场景坐标系的旋转平移缩放关系、基准观众瞳距、基准观众在直播场景的瞳距与位姿、直播场景在基准观众视场的显示区间；
步骤S10：根据直播场景的直播成像区间以及基准观众在直播场景的瞳距与位姿，实时渲染生成立体视觉直播画面，并把立体视觉直播画面发送给各观众端；
步骤S20:任意观众端接收立体视觉直播画面，所述立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看直播边进行其它内容体验的立体视觉画面；
步骤S30:把观众在其体验空间内对直播场景的互动操作转换成直播场景内的互动操作，直播场景对所述转换后的互动操作进行响应。
其中，所述步骤S20进行画面合成时，立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面遮挡计算方式为：直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度，进而与观众体验空间其它体验内容的立体视觉画面共观众视线的像素进行深度值比较，得到像素间的遮挡关系。
下文对各步骤的具体实现进行详细介绍。
步骤S00具体实现如下：
在直播参数设定模块，设定基准观众的瞳距为/>在sm中限定的直播成像区域为Ωm，直播场景坐标系与基准观众视场坐标系的旋转平移缩放关系为按Z、X、Y的顺序绕Z、X、Y三个轴旋转角度分别为θ、β、α，沿X、Y、Z轴分别平移tx、ty、tz，Z、X、Y三个轴同比例缩放系数为λm，基准观众在直播场景的瞳距为/>基准观众在其视场坐标下位姿为/>一般默认/>在直播场景的位姿为/>直播场景在基准观众视场的显示区间为Ωuser。这些参数之间并不是完全独立，需要满足如下约束：对于Ωm中任意点b0，根据直播场景坐标系到基准观众视场坐标系的旋转平移缩放关系进行坐标变换后，得到的点/>必然属于Ωuser，/>与/>之间同样须满足直播场景坐标系到基准观众视场坐标系的旋转平移缩放关系。可以根据需要在直播过程中，重新设定位姿、缩放等直播参数。
步骤S10具体实现如下：
主播端从直播参数设定模块获取直播场景sm的直播成像区间Ωm，以及基准观众在直播场景sm的位姿值/>以及瞳距值/>在此位姿与瞳距值下，实时渲染场景sm成像区间Ωm的双目立体视觉画面。其中，/>为立体视觉画面的左眼图像，/>为立体视觉图片的右眼图像,对于/>与/>中任意像素，当此像素没有对场景sm中任意物点成像时，此像素值用特殊颜色值C0赋值(例如用蓝色赋值)，或者可以用特定的数组进行标识，此数组中每个元素对应图像中的一个像素，元素通过只能取值为0或1来标识对应像素是否成对五点成像，本发明实施例选择对于/>与/>中任意像素，当此像素没有对场景sm中任意物点成像时，此像素值用特殊颜色值C0赋值。发送立体视觉画面给各观众。
本步骤的实现和本发明人前期的发明专利申请《基于XR技术的沉浸式互动直播构建方法、系统及介质》(申请号：202210906282.6)相比较，生成的立体视觉图像不再需要包含深度信息。显著减少传输立体视觉图像的带宽需求。
步骤S20实现方式如下：
任意观众hk对应的直播端实时接收到sm的立体视觉直播画面，当直播画面的左右眼图片分别显示给人的左右眼看时，观众hk就会直接获得对场景sm的三维成像区间Ωm里面内容的立体视觉感知。但当观众观看直播的同时还在进行其它内容的沉浸式体验(沉浸式体验可以是AR、VR、MR等XR体验)，这时直播立体视觉画面需要与其它内容的立体视觉体验画面合成，生成观众hk的完整立体视觉体验画面，使直播场景融入到观众沉浸式体验空间。直播立体画面与其它内容的立体视觉体验画面合成时，需要进行图像之间遮挡计算，只有在用户相同视线上的像素才会遮挡，在本发明实施例中假定渲染生成所有立体视觉图像和深度图像时采用相同大小的视场角与分辨率，当视场角与分辨率不相同时可以通过插值使图像视场角与分辨率相同，所以多幅左眼之间或右眼图片之间具有相同图像坐标的像素点在用户相同视线上。立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面，合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，具体实现如下。
生成观众沉浸式体验空间其它体验内容的立体视觉画面时，计算出直播虚拟场景在观众体验空间的三维显示区间，观众体验空间其它体验内容在此三维区间的内容不成像(也可以保持观众体验空间其它体验内容在此三维区间的内容成像，但观众体验空间其它体验内容在此三维区间的内容与直播场景的遮挡会不能确保正确)。从直播参数设定模块获得直播虚拟场景在基准观众视场下的显示区间Ωuser，对于任意观众用户hk，其瞳距为dk，由于瞳距的差异，直播虚拟场景sm在用户hk的视场中显示区间为详细推导过程请查看发明专利申请《基于XR技术的沉浸式互动直播构建方法、系统及介质》(申请号：202210906282.6)说明书125段。
对于任意用户hk，在观看场景sm直播，同时也在其它内容进行体验，例如对场景sk进行沉浸式体验。前面已经计算得到直播虚拟场景在hk视场中的三维显示区间为观众体验空间其它体验内容在三维区间/>里的内容不成像。
直播场景显示区间深度信息计算模块计算基准观众视场里Ωuser的深度信息。可以用Ωuser阳面部分的表面深度值表征Ωuser的深度信息，也可以是Ωuser阴面部分的表面深度值表征Ωuser的深度信息，或者用阳面部分的表面深度值与阴面部分的表面深度值之间任意值表征Ωuser的深度信息。基准观众视场里Ωuser的深度信息同样可以用深度图像表示，Ωuser的深度信息对于基准观众的左眼深度图像用/>表示，右眼深度图像用/>深度图像与直播场景立体视觉图像采用相同大小的视场角与分辨率。当用Ωuser阳面(面向人眼)部分的表面深度值表征Ωuser的深度信息时，生成/>与/>方式为：清空基准观众/>的视场，只保留Ωuser的表面，表面法线向外，生成/>的左右眼图像，此图像只对Ωuser阳面部分的表面成像，对应的深度图像就是/>与/>其中未对表面成像的像素的深度值用某个特定值δ表示(此特定值可以为无穷大)；当用Ωuser阴面(背对人眼)部分的表面深度值表征Ωuser的深度信息时，生成/>与/>方式为：清空基准观众/>的视场，只保留Ωuser的表面，表面法线向内，生成/>的左右眼图像，此图像只对Ωuser阴面部分的表面成像，对应的深度图像就是与/>其中未对表面成像的像素的深度值用某个特定值δ表示；深度图像中各像素的值也可以任意介于对应阳面部分表面深度值与阴面部分表面深度值。
对于任意用户hk，由于其瞳距dk与基准瞳距的差异，直播虚拟场景sm在hk视场中的显示区间为/>对应/>的深度信息可用/>表示。在/>不改变的情况下，/>不变，可以重复使用。
直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度，进而与观众体验空间其它体验内容的立体视觉画面共观众视线的像素进行深度值比较，得到像素间的遮挡关系，具体如下。
令除sm直播外，用户hk体验空间其他内容生成的体验画面左眼图像为右眼图像为/>在hk视场对应深度值为/>与/>其中未对物点成像的像素的深度值用特定值δ表示。接收到的场景sm的直播立体视觉图片/>与/>需要与/>合成为用户hk的边看直播边对体验空间内其它内容进行体验的完整立体视觉画面。图片合成时需要进进行遮挡计算。令合成后的体验画面左眼图片为/>右眼图片为/>对应深度图像为/>初始化 遍历图片中任意像素，如果有/>且则/>否则不做处理，也就是当对于/>中任意像素/>如果此像素的值不是特殊颜/>色值C0，也就是有对物点进行成像，且/>中对应像素/>会被三维显示区间表面遮挡，则合成后图像的像素值取直播画面的像素值；同样，如果有/>且/>则/>否则不做处理。按如上计算遍历完图像中所有像素，就完成了画面合成。合成画面显示给观众hk看。
本步骤的实现和本发明人前期的发明专利申请《基于XR技术的沉浸式互动直播构建方法、系统及介质》(申请号：202210906282.6)相比较，进行遮挡计算时，不需要使用传输过来的直播立体视觉画面的深度信息，而是用表征直播场景三维显示区间深度信息的深度图进行遮挡计算，此深度图在直播场景三维显示区间不变的情况下，是不变的可以重复使用。
步骤s30的具体实现请参考专利申请《基于XR技术的沉浸式互动直播构建方法、系统及介质》(申请号：202210906282.6)的步骤S50(说明书127-140段),在此不再赘述。
第二实施例：
对优选实施例1进行改进得到优选实施例2，相较于优选实施例1，步骤S20，与优选实施例1相比较，有如下区别：观众hk体验空间内除直播场景sm外，其它体验内容在三维区间里的内容不成像，但可以保留互动工具或手在此区间成像。而且，基准观众视场里Ωuser的深度信息限定用Ωuser阴面部分的表面深度值表征。计算直播场景在观众视场显示区间边界面向观众的阴面的深度图像，直播画面任意像素τ如果有对物点成像，把所述显示区间边界阴面深度图像与τ共观众视线的像素点深度值表征为τ的深度值。从而当互动工具或手在/>成像时，不会被直播场景内容遮挡掉。
有益效果：除互动工具或手外，观众体验空间其它内容与直播场景将正确进行遮挡，而互动工具或手进入到直播场景显示区间时，会呈现出来，观众能通过互动工具或手与直播场景进行互动。
第三实施例：
步骤S00还可以设置多组直播参数，步骤S10还可以在多组直播参数下的直播场景的直播成像区间以及基准观众在直播场景的瞳距与位姿，分别实时渲染立体视觉画面，传输给观众。步骤S20还可以同时选择接收一组或多组直播参数下的直播场景立体视觉画面，并与其它内容合成。遮挡方式为依次合成，容易由第一实施例得到第三实施例的方法实现，在此不再赘述。还可以根据需要，由观众或系统改变选择接收到的立体视觉直播画面。
有益效果：主播端可以把直播场景多个成像区间的内容同时分别直播出去，也可以把直播场景同一个成像区间的内容不同视角不同位置的画面同时直播出去，提供多样化的直播内容，而观众端可以通过直播画面的切换，可以改变直播场景在观众视场的显示区间以及直播场景呈现的角度与内容，从而满足观众多样化的直播体验需求。
本发明一种XR立体互动直播构建方法的有益效果：本方法渲染生成立体视觉直播画面时不生成对应的深度图像，也不传输深度图像给观众，通过新的方法也能正确进行图像之间的遮挡计算，从而显著减少了直播的网络带宽需求，带来明显的经济效益
为实现上述目的，本发明还提出一种扩展现实技术(XR)立体互动直播系统，所述系统包括存储器、处理器以及存储在所述处理器上的基于扩展现实技术(XR)的立体互动直播的构建方法程序，所述基于扩展现实技术(XR)的立体互动直播的构建方法程序被所述处理器运行时执行如上所述方法的步骤。
为实现上述目的，本发明还提出一种扩展现实技术(XR)立体互动直播主播端，所述主播端执行如上所述的XR立体互动直播构建方法的步骤S10。
为实现上述目的，本发明还提出一种扩展现实技术(XR)立体互动直播观众端，所述观众端执行如上所述的XR立体互动直播构建方法的步骤S20。
为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的XR立体互动直播构建方法的步骤。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，方案利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种扩展现实技术(XR)立体互动直播构建方法，其特征在于，所述方法包括以下步骤：
步骤S10：根据直播场景的直播成像区间以及基准观众在直播场景的瞳距与位姿，实时渲染生成立体视觉直播画面，并把立体视觉直播画面发送给各观众端；
步骤S20:任意观众端接收立体视觉直播画面，所述立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看直播边进行其它内容体验的立体视觉画面；
其中，所述步骤S20进行画面合成时，立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面遮挡计算方式为：直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度，进而与观众体验空间其它体验内容的立体视觉画面共观众视线的像素进行深度值比较，得到像素间的遮挡关系。
2.根据权利要求1所述的立体互动直播构建方法，其特征在于，在所述步骤S20中，对于观众p，直播场景s在观众p视场的显示三维区间为Ω，Ω以外的区间为任意点b0与Ω的遮挡具备一致性。
3.根据权利要求2所述立体互动直播构建方法，其特征在于，在所述步骤S10前面还有步骤S00：设定直播参数，包括直播场景的直播成像区间、基准观众视场坐标系与直播场景坐标系的旋转平移缩放关系、基准观众瞳距、基准观众在直播场景的瞳距与位姿、直播场景在基准观众视场的显示区间。
4.根据权利要求3所述立体互动直播构建方法，其特征在于，在所述步骤S20后面还有步骤S30:把观众在其体验空间内对直播场景的互动操作转换成直播场景内的互动操作，直播场景对所述转换后的互动操作进行响应。
5.根据权利要求4所述的立体互动直播构建方法，其特征在于，所述步骤S00还可以设置基准观众在直播场景的多组瞳距、位姿与直播成像区间，步骤S10为每组瞳距、位姿、成像区间分别实时渲染生成立体视觉直播画面，从而实时生成多组立体视觉直播画面，所述步骤S20还包括任意观众选择接收一组或多组立体视觉直播画面。
6.根据权利要求5所述的立体互动直播构建方法，其特征在于，在所述步骤S20中，观众体验空间内除了手和互动工具之外的其它内容不在所述直播场景在观众视场的显示区间显示，在所述步骤S20中，直播画面任意像素τ如果有对物点成像，由所述直播场景在观众视场显示区间的深度信息表征τ的深度具体方式为：计算直播场景在观众视场显示区间边界面向观众的阴面的深度图像，直播画面任意像素τ如果有对物点成像，把所述显示区间边界阴面深度图像与τ共观众视线的像素点深度值表征为τ的深度值。
7.一种扩展现实技术(XR)立体互动直播系统，其特征在于，所述系统包括存储器、处理器以及存储在所述处理器上的基于扩展现实技术(XR)的立体互动直播的构建方法程序，所述基于扩展现实技术(XR)的立体互动直播的构建方法程序被所述处理器运行时执行如权利要求1至6任意一项所述的方法的步骤。
8.一种扩展现实技术(XR)立体互动直播主播端，其特征在于，所述主播端执行如权利要求1至6任意一项所述的方法的步骤S10。
9.一种扩展现实技术(XR)立体互动直播观众端，其特征在于，所述观众端执行如权利要求1至6任意一项所述的方法的步骤S20。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求1-7中任一项所述的XR立体互动直播构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311028371.6A CN117319694A (zh) | 2023-08-16 | 2023-08-16 | 一种xr立体互动直播构建方法、系统、主播端、观众端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311028371.6A CN117319694A (zh) | 2023-08-16 | 2023-08-16 | 一种xr立体互动直播构建方法、系统、主播端、观众端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117319694A true CN117319694A (zh) | 2023-12-29 |
Family
ID=89296114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311028371.6A Pending CN117319694A (zh) | 2023-08-16 | 2023-08-16 | 一种xr立体互动直播构建方法、系统、主播端、观众端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117319694A (zh) |
-
2023
- 2023-08-16 CN CN202311028371.6A patent/CN117319694A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| US10506223B2 (en) | Method, apparatus, and device for realizing virtual stereoscopic scene | |
| US9460555B2 (en) | System and method for three-dimensional visualization of geographical data | |
| CN110971678B (zh) | 一种基于5g网络的沉浸式可视化校园系统 | |
| CA2984785A1 (en) | Virtual reality editor | |
| US20060164411A1 (en) | Systems and methods for displaying multiple views of a single 3D rendering ("multiple views") | |
| CN101631257A (zh) | 一种实现二维视频码流立体播放的方法及装置 | |
| CN107105216B (zh) | 一种基于针孔阵列的连续视差、广视角的三维光场显示装置 | |
| CN110427107A (zh) | 虚拟与现实互动教学方法及系统、服务器、存储介质 | |
| CN102005062A (zh) | 用于三维立体显示的三维图像的产生方法及装置 | |
| CN115830199B (zh) | 基于xr技术的泛在实训校园构建方法、系统及存储介质 | |
| Li et al. | Enhancing 3d applications using stereoscopic 3d and motion parallax | |
| CN117555426B (zh) | 基于数字孪生技术的虚拟现实交互系统 | |
| CN116860112B (zh) | 一种基于xr技术的组合场景体验生成方法、系统及介质 | |
| Moreau | Visual immersion issues in Virtual Reality: a survey | |
| CN102063735B (zh) | 通过改变视点角度制作三维图像源的方法和装置 | |
| Ribeiro et al. | Quality of experience in a stereoscopic multiview environment | |
| CN115423916A (zh) | 基于xr技术的沉浸式互动直播构建方法、系统及介质 | |
| WO2023056803A1 (zh) | 一种全息展示方法及装置 | |
| CN103871094A (zh) | 一种基于体扫描三维显示系统数据源生成方法 | |
| CN114339191B (zh) | 一种基于多视点重建的裸眼三维显示方法 | |
| CN109816765A (zh) | 面向动态场景的纹理实时确定方法、装置、设备和介质 | |
| Miyashita et al. | Display-size dependent effects of 3D viewing on subjective impressions | |
| CN117319694A (zh) | 一种xr立体互动直播构建方法、系统、主播端、观众端及介质 | |
| Miyashita et al. | Perceptual Assessment of Image and Depth Quality of Dynamically Depth-compressed Scene for Automultiscopic 3D Display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 7098, Liuxian Avenue, Nanshan District, Shenzhen, Guangdong 518055 Applicant after: Shenzhen Vocational and Technical University Address before: No. 7098, Liuxian Avenue, Nanshan District, Shenzhen, Guangdong 518055 Applicant before: SHENZHEN POLYTECHNIC Country or region before: China |
|
| CB02 | Change of applicant information | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20231229 |