CN115423916A - 基于xr技术的沉浸式互动直播构建方法、系统及介质 - Google Patents

基于xr技术的沉浸式互动直播构建方法、系统及介质 Download PDF

Info

Publication number
CN115423916A
CN115423916A CN202210906282.6A CN202210906282A CN115423916A CN 115423916 A CN115423916 A CN 115423916A CN 202210906282 A CN202210906282 A CN 202210906282A CN 115423916 A CN115423916 A CN 115423916A
Authority
CN
China
Prior art keywords
live broadcast
live
virtual scene
scene
audience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210906282.6A
Other languages
English (en)
Inventor
蔡铁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202210906282.6A priority Critical patent/CN115423916A/zh
Publication of CN115423916A publication Critical patent/CN115423916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于XR技术的沉浸式互动直播构建方法、系统及介质，该方法包括：设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；计算基准观众在直播虚拟场景中的瞳距与观看位姿；渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，画面显示给观众看；观众与直播虚拟场景进行互动。本发明能适配不同用户的瞳距，使直播场景正确融入到用户的体验空间，能适配所有不同瞳距的用户。

Description

基于XR技术的沉浸式互动直播构建方法、系统及介质
技术领域
本发明涉及XR技术领域，尤其涉及一种基于XR技术的沉浸式互动直播构建方法、系统及介质。
背景技术
虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术在解决职业教育实训中的看不见、摸不着、进不去等难题有重大价值。VR、AR、MR等(简称XR，扩展现实)技术相通相融。在5G网络、wifi6等高性能无线网络技术赋能下，XR移动终端(5G手机、头显等)所需的存储、计算、渲染等服务都可以放到云端。由此，基于云存储、云计算、云渲染等云服务，单个XR终端所能拥有的计算、存储、渲染能力可以无上限。
目前，在实现职业教育实训的直播教学活动功能时，由于不同用户的瞳距不同，要适配所有不同瞳距的用户，并生成正确的直播画面与互动功能，需要使用巨大的计算资源，增加了实现难度。
发明内容
本发明的主要目的在于提供一种基于XR技术的沉浸式互动直播构建方法、系统及存储介质，可以使用较少的计算资源，就能适配所有不同瞳距的用户，实现正确的直播画面与互动功能。
为实现上述目的，本发明提出一种基于XR技术的沉浸式互动直播构建方法，所述方法包括以下步骤：
步骤S10：设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；
步骤S20:根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；
步骤S30：基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；
步骤S40:任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看。
其中，步骤S30生成的立体视觉直播画面带有深度信息，在所述步骤S40中，对于任意观众hk，hk接收的立体视觉直播画面与其体验空间其它体验内容的立体视觉画面合成为hk边看虚拟场景直播边进行其它内容体验的立体视觉画面，在立体视觉直播画面与hk对其它内容体验生成的立体视觉画面合成时，需要根据各画面在hk视场的深度信息进行遮挡计算。
其中，在所述步骤S10设定的直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系中，直播虚拟场景sm的坐标系到基准观众视场坐标系的缩放系数为λm，所述步骤S20计算出基准观众在直播虚拟场景sm中的瞳距为
Figure BDA0003772545700000021
其中
Figure BDA0003772545700000022
为基准观众的实际瞳距，根据直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的位姿，所述步骤S30根据基准观众在直播虚拟场景sm的位姿与瞳距，生成立体视觉直播画面，其中
Figure BDA0003772545700000023
为立体视觉画面的左眼图像，
Figure BDA0003772545700000024
为立体视觉画面的右眼图像，
Figure BDA0003772545700000025
为对应的深度图像，根据缩放系数λm，计算得到
Figure BDA0003772545700000026
与
Figure BDA0003772545700000027
在基准观众视场下的深度信息为深度图像
Figure BDA0003772545700000028
和
Figure BDA0003772545700000029
所述步骤S40立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成具体实现为：任意观看场景sm直播的观众hk，接收到场景sm的立体视觉直播画面，hk沉浸式体验空间内其它体验内容生成立体视觉体验画面左眼图像为
Figure BDA00037725457000000210
右眼图像为
Figure BDA00037725457000000211
与
Figure BDA00037725457000000212
在hk视场的深度信息为深度图
Figure BDA00037725457000000213
与
Figure BDA00037725457000000214
hk与基准观众瞳距比值为
Figure BDA00037725457000000215
场景sm的立体视觉直播画面
Figure BDA00037725457000000216
与
Figure BDA00037725457000000217
在基准观众视场下的深度图像
Figure BDA00037725457000000218
与
Figure BDA00037725457000000219
转换成hk视场的深度图像
Figure BDA00037725457000000220
立体视觉直播画面与其它体验内容生成的立体视觉体验画面根据深度图像
Figure BDA00037725457000000221
进行遮挡计算，生成合成画面。
其中，所述步骤S10，设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系具体包括：给直播虚拟场景sm选定三维包围盒Ω′m，设定包围盒Ω′m在场景sm中的位姿，包围盒Ω′m在场景sm框选出一个三维区间Ωm，Ωm就是场景sm的直播三维成像区间，设定包围盒Ω′m在基准观众视场的位姿与缩放关系，计算出所述虚拟场景sm的直播三维成像区间Ωm在基准观众视场中对应的三维显示区间
Figure BDA00037725457000000222
设定了包围盒Ω′m在直播虚拟场景sm中的位姿以及Ω′m在基准观众视场的位姿与缩放关系，也就是设定了直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系。
其中，在所述步骤S40中，对于任意观众hk，直播虚拟场景sm在hk体验空间的三维显示区间为
Figure BDA0003772545700000031
生成hk体验空间其它体验内容的立体视觉画面时，hk体验空间其它体验内容在三维显示区间
Figure BDA0003772545700000032
的内容不成像。
其中，所述步骤S40计算出直播虚拟场景三维成像区间在任意观众体验空间的三维显示区间的具体实现为：直播虚拟场景sm在基准观众视场中的三维显示区间为Ωuser，由任意观众hk瞳距与基准观众瞳距的比值
Figure BDA0003772545700000033
计算出sm三维成像区间Ωm在hk视场中的三维显示区间为
Figure BDA0003772545700000034
其中，所述步骤S40后还有步骤S50：任意观众hk在其体验空间里与直播的虚拟场景sm进行互动，生成其体验空间里的互动操作命令Ak，Ak转换成直播虚拟场景sm里的互动操作命令A′k，把A′k发送给场景sm，场景sm对A′k进行响应。
其中，所述步骤S50具体包括：
步骤S501：任意观众hk在自己体验空间进行互动操作，生成观众hk体验空间下的互动操作命令Ak，命令Ak包含的位姿参数是观众hk体验空间坐标系下位姿，判断Ak是否为对直播虚拟场景sm的互动，如果是对直播虚拟场景sm的互动，就进入步骤S502，否则hk体验空间里其它内容响应互动操作命令Ak，不进入步骤S502；
步骤S502：根据观众hk体验空间坐标系与hk视场坐标系的旋转平移关系，互动操作命令Ak的位姿参数转换成hk视场坐标系下位姿参数；
步骤S503:根据观众hk瞳距dk与基准观众瞳距
Figure BDA0003772545700000035
的比值，互动操作命令Ak的位姿参数从hk视场坐标系下位姿参数转换成基准观众视场坐标系下位姿参数；
步骤S504：根据基准观众视场坐标系与直播虚拟场景sm坐标系旋转缩放平移关系，互动操作命令Ak的位姿参数从基准观众视场坐标系转换到直播虚拟场景sm坐标系下位姿参数，生成互动操作命令A′k；
步骤S505：互动操作命令A′k，发送给虚拟直播场景sm，sm对A′k响应。
本发明还提出一种基于XR技术的沉浸式互动直播构建系统，所述系统包括：沉浸式互动直播管理服务器、多台XR应用服务器、存储服务器，其中，用户的XR终端通过无线网络访问所述管理服务器与所有XR应用服务器，所述管理服务器部署有沉浸式互动直播管理控制中心，所述存储服务器部署有XR资源库：
所述XR资源库，用于存储XR应用资源；
所述沉浸式互动直播管理控制中心，用于接收XR终端的虚拟场景体验申请，指令XR应用服务器分配虚拟场景实例，协助XR终端与虚拟场景实例建立通信连接；接收用户直播分享的申请，指令XR应用服务器分配用于直播的虚拟场景实例；设定直播虚拟场景的直播三维成像区间；设定直播虚拟场景坐标系到基准观众视场坐标系的旋转缩放平移关系；计算基准观众在直播虚拟场景中的位姿与瞳距并发送给直播虚拟场景；
所述XR应用服务器，用于接收所述沉浸式互动直播管理控制中心发送的分配虚拟场景实例指令，根据所述场景实例分配指令里虚拟场景的场景ID，分配相应的虚拟场景实例，当现有场景实例没有足够的计算资源时，调用对应的XR应用程序及相关的资源包，生成虚拟场景实例，并令新生成的场景实例与原有场景实例建立通信连接，同步场景状态。
所述XR应用服务器，还用于接收所述沉浸式互动直播管理控制中心发送的销毁场景实例指令，根据该指令销毁虚拟场景实例；
所述XR终端，用于向所述沉浸式互动直播管理控制中心发送虚拟场景体验申请，与分配给此XR终端用户的虚拟场景实例建立通信连接；采集XR终端的位姿参数以及互动操作信息发送给分配给此XR终端用户的虚拟场景实例；接收虚拟场景实例发送的沉浸式体验画面；向沉浸式互动直播管理控制中心申请观看直播，与直播场景建立通信连接，接收直播场景发送过来的直播画面；判断用户互动操作是否为对直播场景互动，当对直播场景互动时，把互动操作命令的位姿参数转换到直播场景坐标系，并把转换后的互动操作命令发送到直播场景；接收直播虚拟场景发送的直播立体视觉画面；合成直播立体视觉画面与体验空间其他内容的立体视觉体验画面，生成完整的边看虚拟场景直播边进行其它内容体验的互动体验画面，显示给用户看。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的基于XR技术的沉浸式互动直播构建方法的步骤。
本发明提出的一种基于XR技术的沉浸式互动直播构建方法、系统及存储介质，通过设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看。
基于此沉浸式互动直播系统，基于XR技术构建的单个或多个虚拟场景的沉浸式体验活动可以直播分享出来，观看沉浸式互动直播的观众边看边参与到直播虚拟场景的互动，也还可以并行进行其它内容的沉浸式体验。由于本发明指定一个基准用户瞳距，以此基准瞳距定义了一个基准视场，本发明只需渲染生成此基准视场的立体视觉画面，通过算法处理，就能使其适配不同用户的瞳距，使直播场景正确融入到用户的体验空间，提供正确地与直播虚拟场景互动的功能，从而使用较少的计算资源，就能适配所有不同瞳距的用户。
本系统可以应用到常规的直播活动，也可以应用到教学中，例如：在课堂里，教师在XR技术构建的虚拟实训场景里进行虚拟实操示范，本系统可以把教师的虚拟实操直播分享给课堂里所有学生，学生可以在自己体验空间里，观看教师实操立体画面，可以与教师的虚拟实操进行互动，还可以并行在自己的虚拟实操环境里进行操作，从而“学中做”、“做中学”；在课堂里，老师也可以指定某个学生的虚拟实操过程直播分享出来，供大家评价参考；还可以应用到实操竞赛中，每个参与竞赛的人或小组有一个独立的虚拟实操场景，他们可以通过直播实时立体地看到其它人或小组的虚拟实操进度，从而直观的形成竞赛对比。因此，本发明基于XR技术的沉浸式互动直播构建方法及系统具有很高的应用价值。
附图说明
图1为本发明基于XR技术的沉浸式互动直播构建方法的流程示意图。
图2为本发明场景与场景实例示意图。
图3为本发明用户体验空间坐标系示意图。
图4为本发明用户视场坐标系示意图。
图5为本发明瞳距与立体视觉的示意图。
图6为本发明设定直播三维成像区间的示意图。
图7为本发明设定直播虚拟场景坐标系与基准观众视场坐标系旋转缩放平移关系示意图。
图8为本发明沉浸式互动直播系统硬件构成示意图。
图9为本发明沉浸式互动直播系统软件构成示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明提出一种基于XR技术的沉浸式互动直播构建方法，所述方法包括以下步骤：
步骤S10，设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；
步骤S20，根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；
步骤S30，基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；
步骤S40，任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，画面显示给观众看；
步骤S50，观众与直播的虚拟场景进行互动。
其中，步骤S30生成的立体视觉直播画面带有深度信息，在所述步骤S40中，对于任意观众hk，hk接收的立体视觉直播画面与其体验空间其它体验内容的立体视觉画面合成为hk边看虚拟场景直播边进行其它内容体验的立体视觉画面，在立体视觉直播画面与hk对其它内容体验生成的立体视觉画面合成时，需要根据各画面在hk视场的深度信息进行遮挡计算。
其中，在所述步骤S10设定的直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系中，直播虚拟场景sm的坐标系到基准观众视场坐标系的缩放系数为λm，所述步骤S20计算出基准观众在直播虚拟场景sm中的瞳距为
Figure BDA0003772545700000071
其中
Figure BDA0003772545700000072
为基准观众的实际瞳距，根据直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的位姿，所述步骤S30根据基准观众在直播虚拟场景sm的位姿与瞳距，生成立体视觉直播画面，其中
Figure BDA0003772545700000073
为立体视觉画面的左眼图像，
Figure BDA0003772545700000074
为立体视觉画面的右眼图像，
Figure BDA0003772545700000075
为对应的深度图像，根据缩放系数λm，计算得到
Figure BDA0003772545700000076
与
Figure BDA0003772545700000077
在基准观众视场下的深度信息为深度图像
Figure BDA0003772545700000078
和
Figure BDA0003772545700000079
所述步骤S40立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成具体实现为：任意观看场景sm直播的观众hk，接收到场景sm的立体视觉直播画面，hk沉浸式体验空间内其它体验内容生成立体视觉体验画面左眼图像为
Figure BDA00037725457000000710
右眼图像为
Figure BDA00037725457000000711
与
Figure BDA00037725457000000712
在hk视场的深度信息为深度图
Figure BDA00037725457000000713
与
Figure BDA00037725457000000714
hk与基准观众瞳距比值为
Figure BDA00037725457000000715
场景sm的立体视觉直播画面
Figure BDA00037725457000000716
与
Figure BDA00037725457000000717
在基准观众视场下的深度图像
Figure BDA00037725457000000718
与
Figure BDA00037725457000000719
转换成hk视场的深度图像
Figure BDA00037725457000000720
立体视觉直播画面与其它体验内容生成的立体视觉体验画面根据深度图像
Figure BDA00037725457000000721
进行遮挡计算，生成合成画面。
其中，所述步骤S10，设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系具体包括：给直播虚拟场景sm选定三维包围盒Ω′m，设定包围盒Ω′m在场景sm中的位姿，包围盒Ω′m在场景sm框选出一个三维区间Ωm，Ωm就是场景sm的直播三维成像区间，设定包围盒Ω′m在基准观众视场的位姿与缩放关系，计算出所述虚拟场景sm的直播三维成像区间Ωm在基准观众视场中对应的三维显示区间
Figure BDA00037725457000000722
设定了包围盒Ω′m在直播虚拟场景sm中的位姿以及Ω′m在基准观众视场的位姿与缩放关系，也就是设定了直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系。
其中，在所述步骤S40中，对于任意观众hk，直播虚拟场景sm在hk体验空间的三维显示区间为
Figure BDA00037725457000000723
生成hk体验空间其它体验内容的立体视觉画面时，hk体验空间其它体验内容在三维显示区间
Figure BDA00037725457000000724
的内容不成像。
其中，所述步骤S40计算出直播虚拟场景三维成像区间在任意观众体验空间的三维显示区间的具体实现为：直播虚拟场景sm在基准观众视场中的三维显示区间为Ωuser，由任意观众hk瞳距与基准观众瞳距的比值
Figure BDA00037725457000000725
计算出sm三维成像区间Ωm在hk视场中的三维显示区间为
Figure BDA00037725457000000726
所述步骤S40后还有步骤S50：任意观众hk在其体验空间里与直播的虚拟场景sm进行互动，生成其体验空间里的互动操作命令Ak，Ak转换成直播虚拟场景sm里的互动操作命令A′k，把A′k发送给场景sm，场景sm对A′k进行响应。
其中，所述步骤S50具体包括：
步骤S501：任意观众hk在自己体验空间进行互动操作，生成观众hk体验空间下的互动操作命令Ak，命令Ak包含的位姿参数是观众hk体验空间坐标系下位姿，判断Ak是否为对直播虚拟场景sm的互动，如果是对直播虚拟场景sm的互动，就进入步骤S502，否则hk体验空间里其它内容响应互动操作命令Ak，不进入步骤S502；
步骤S502：根据观众hk体验空间坐标系与hk视场坐标系的旋转平移关系，互动操作命令Ak的位姿参数转换成hk视场坐标系下位姿参数；
步骤S503:根据观众hk瞳距dk与基准观众瞳距
Figure BDA0003772545700000081
的比值，互动操作命令Ak的位姿参数从hk视场坐标系下位姿参数转换成基准观众视场坐标系下位姿参数；
步骤S504：根据基准观众视场坐标系与直播虚拟场景sm坐标系旋转缩放平移关系，互动操作命令Ak的位姿参数从基准观众视场坐标系转换到直播虚拟场景sm坐标系下位姿参数，生成互动操作命令A′k；
步骤S505：互动操作命令A′k，发送给虚拟直播场景sm，sm对A′k响应。
由此，通过设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成虚拟场景直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看；任意观众与直播的虚拟场景还可以进行互动。
基于此沉浸式互动直播系统，基于XR技术构建的单个或多个虚拟场景的沉浸式体验活动可以直播分享出来，观看沉浸式互动直播的观众边看边参与到直播虚拟场景的互动，也还可以并行进行其它内容的沉浸式体验。由于本发明指定一个基准用户瞳距，以此基准瞳距定义了一个基准视场，本发明只需渲染生成此基准视场的立体视觉画面，通过算法处理，就能使其适配不同用户的瞳距，使直播场景正确融入到用户的体验空间，提供正确地与直播虚拟场景互动的功能，从而使用较少的计算资源，就能适配所有不同瞳距的用户。
此外，本发明还提出一种基于XR技术的沉浸式互动直播构建系统，所述系统包括：沉浸式互动直播管理服务器、多台XR应用服务器、存储服务器，其中，用户的XR终端通过无线网络访问所述管理服务器与所有XR应用服务器，所述管理服务器部署有沉浸式互动直播管理控制中心，所述存储服务器部署有XR资源库：
所述XR资源库，用于存储XR应用资源；
所述沉浸式互动直播管理控制中心，用于接收XR终端的虚拟场景体验申请，指令XR应用服务器分配虚拟场景实例，协助XR终端与虚拟场景实例建立通信连接；接收用户直播分享的申请，指令XR应用服务器分配用于直播的虚拟场景实例；设定直播虚拟场景的直播三维成像区间；设定直播虚拟场景坐标系到基准观众视场坐标系的旋转缩放平移关系；计算基准观众在直播虚拟场景中的位姿与瞳距并发送给直播虚拟场景；
所述XR应用服务器，用于接收所述沉浸式互动直播管理控制中心发送的分配虚拟场景实例指令，根据所述场景实例分配指令里虚拟场景的场景ID，分配相应的虚拟场景实例，当现有场景实例没有足够的计算资源时，调用对应的XR应用程序及相关的资源包，生成虚拟场景实例，并令新生成的场景实例与原有场景实例建立通信连接，同步场景状态。
所述XR应用服务器，还用于接收所述沉浸式互动直播管理控制中心发送的销毁场景实例指令，根据该指令销毁虚拟场景实例；
所述XR终端，用于向所述沉浸式互动直播管理控制中心发送虚拟场景体验申请，与分配给此XR终端用户的虚拟场景实例建立通信连接；采集XR终端的位姿参数以及互动操作信息发送给分配给此XR终端用户的虚拟场景实例；接收虚拟场景实例发送的沉浸式体验画面；向沉浸式互动直播管理控制中心申请观看直播，与直播场景建立通信连接，接收直播场景发送过来的直播画面；判断用户互动操作是否为对直播场景互动，当对直播场景互动时，把互动操作命令的位姿参数转换到直播场景坐标系，并把转换后的互动操作命令发送到直播场景；接收直播虚拟场景发送的直播立体视觉画面；合成直播立体视觉画面与体验空间其他内容的立体视觉体验画面，生成完整的边看虚拟场景直播边进行其它内容体验的互动体验画面，显示给用户看。
相比现有技术，本系统基于XR技术构建的单个或多个虚拟场景的沉浸式体验活动可以直播分享出来，观看沉浸式互动直播的观众边看边参与到直播虚拟场景的互动，也还可以并行进行其它内容的沉浸式体验。由于本发明指定一个基准用户瞳距，以此基准瞳距定义了一个基准视场，本发明只需渲染生成此基准视场的立体视觉画面，通过算法处理，就能使其适配不同用户的瞳距，生成正确的直播画面与互动功能，从而使用较少的计算资源，就能适配所有不同瞳距的用户。
本系统可以应用到常规的直播活动，也可以应用到教学中，例如：在课堂里，教师在XR技术构建的虚拟实训场景里进行虚拟实操示范，本系统可以把教师的虚拟实操直播分享给课堂里所有学生，学生可以在自己沉浸式体验空间里，观看教师实操立体画面，可以与教师的虚拟实操进行互动，还可以并行在自己的虚拟实操环境里进行操作，从而“学中做”、“做中学”；在课堂里，老师也可以指定某个学生的虚拟实操过程直播分享出来，供大家评价参考；还可以应用到实操竞赛中，每个参与竞赛的人或小组有一个独立的虚拟实操场景，他们可以通过直播实时立体地看到其它人或小组的虚拟实操进度，从而直观的形成竞赛对比。因此，本发明基于XR技术的沉浸式互动直播构建方法及系统具有很高的应用价值。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的基于XR技术的沉浸式互动直播构建方法的步骤。
以下对本发明基于XR技术的沉浸式互动直播构建方法的实现原理进行详细阐述：
本发明涉及的技术术语包括：
“场景”与“场景实例”是两个紧密相关的名词。场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是系统调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程，此程序进程实时计算场景内各对象状态，并渲染画面。单个场景同时有多个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给用户，这些场景实例之间同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景；同样地，当场景拥有的场景实例如果在为用户直接生成沉浸式体验外，没有足够的计算资源再生成直播画面，则需要此场景增加场景实例，增加的场景实例须与此场景的其它实例同步场景状态。
以图2为例，有虚拟场景1，用户A与用户B对此虚拟场景进行协同体验，当单个场景实例无法同时为2个用户生成沉浸式体验时，系统生成了2个场景实例分别为虚拟场景1实例1与虚拟场景1实例2，两个实例通过通信连接，交换场景状态信息同步场景状态，实例1为用户A生成沉浸式体验画面，实例2为用户B生成沉浸式体验画面。从而实现了用户A与用户B对虚拟场景1的协同体验。进一步把虚拟场景1直播分享给其它用户，当已有的2个场景实例没有足够计算资源再生成实时直播画面时，系统就需再生成虚拟场景1的实例3，新的实例与实例2交换场景状态参数，从而与实例1、2同步场景状态，实例3生成的直播画面发送给用户C、D、E。
用户体验空间坐标系。市面上主流的XR头显都自带定位功能，能自动在用户所处的环境建立坐标系，如图3所示，图3为本发明用户体验空间坐标系示意图，此坐标系在水平面的垂直向上方向定义y轴的正方向，在水平面上定义x轴与z轴。用户体验空间坐标系就是XR头显自动建立的这个坐标系。
用户视场坐标系是在人眼视场定义的坐标系。以图4为例，人眼双目光心连线上，双目光心之间的中点作为坐标系的原点，人眼双目连线从左眼到右眼方向定义为x轴正方向，注意力方向定义为z轴正方向，以与x轴与z轴垂直且满足左手坐标系定义y轴正方向。
基准瞳距与基准观众。不同人之间，双目瞳距不相同。在本发明中指定一个瞳距值
Figure BDA0003772545700000111
为瞳距基准值，称
Figure BDA0003772545700000112
为基准瞳距。设定或假定一个瞳距为基准瞳距的用户为基准观众。
瞳距与立体视觉
人眼在观看物体时，人的左眼与右眼分别对物体都进行成像，同一物点在人的左眼与右眼成像位置存在差异，此差异为视差，视差让人眼可以正确感知物点的三维信息。如图5中的(a)图所示，瞳距为d，OL为为人的左眼光心，OR为人的右眼光心，物点C在左眼成像位置为A点，在右眼成像位置为B点。如图5中的(b)图所示，瞳距为dk，当物点在人眼成像位置不变时，仍然在左眼成像位置为A点，在右眼成像位置为B点，此时感知到的物点三维位置为
Figure BDA0003772545700000121
三角形OLORC与三角形
Figure BDA0003772545700000122
相似但不相等，大小比例为
Figure BDA0003772545700000123
所以，相同的左右眼立体图片适配不同的人眼瞳距时，不同瞳距的人感知到的立体视觉信息不相同。
旋转缩放平移矩阵以及旋转矩阵与欧拉角的转换
在本实施例采用左手手坐标系，任意两个坐标系Ψ到
Figure BDA0003772545700000124
旋转缩放平移关系为：按z、x、y的顺序绕轴旋转角度分别为θ、β、α，沿x、y、z轴分别平移tx、ty、tz，z、x、y三个轴同比例缩放系数为λ，令任意点p在中Ψ坐标值为(cx cy cz)，在
Figure BDA0003772545700000125
坐标值为(wx wy wz)，从Ψ到
Figure BDA0003772545700000126
坐标值转换关系为：
Figure BDA0003772545700000127
其中，R为旋转矩阵，T为平移矩阵，旋转角度与旋转矩阵R的转换关系如下：
Figure BDA0003772545700000128
平移量与平移矩阵T的转换关系如下：
T＝[tx ty tz]T (3)
旋转缩放平移矩阵为：
Figure BDA0003772545700000129
有：
[wx wy wz 1]T＝H[cx cy cz 1]T (5)
旋转矩阵R转换成旋转角度如下：
令已知旋转缩放平移矩阵
Figure BDA00037725457000001210
则：
当h13、h33、h21、h22不同时为0时，
Figure BDA00037725457000001211
当h13、h33、h21、h22同时为0时，则
Figure BDA00037725457000001212
则若β取值为
Figure BDA00037725457000001213
则：
α-θ＝atan2(h12,h11) (7)
其中α可以取任意角度值，θ满足上面等式就可以。
若β取值为
Figure BDA0003772545700000131
则：
α+θ＝atan2(-h12,h11) (8)
其中α可以取任意角度值，θ满足上面等式就可以。
本发明基于XR技术的沉浸式互动直播构建方法的实现场景如下：
有多位用户参与基于XR技术的沉浸式体验活动，用户集合为P＝{h0 h1 … hn-1}，任意用户hk的瞳距用dk表示，每个用户的瞳距不相同。其中，有用户hm对虚拟场景sm进行沉浸式体验，hm把对sm的沉浸式体验过程进行实时直播分享，P中任意其它用户在观看hm对sm体验的立体直播画面，可以对直播场景sm进行互动，还可以并行对其它虚拟场景进行沉浸式体验。如图1所示，此沉浸式互动直播构建方法具体包括如下步骤：
(1)设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系
直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系旋转缩放平移关系的设定可以正向设定或逆向设定。正向设定是人为或系统选择一个三维包围盒，设定此包围盒在直播虚拟场景的位姿，包围盒框选出来的直播虚拟场景的三维区间是直播虚拟场景的直播三维成像区间，此成像区间的场景内容将呈现给观众看，然后设定三维包围盒在基准观众视场中的位姿与缩放系数，此三维包围盒在基准观众视场中框选出来的三维区间是直播虚拟场景在基准观众视场中的三维显示区间，由设定的三维包围盒坐标系与直播虚拟场景的旋转平移关系以及三维包围盒坐标系与基准观众视场坐标系的旋转缩放平移关系，就确定了直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；逆向设定是人为或系统选择一个三维包围盒，设定此包围盒在基准观众视场中的位姿与缩放系数，就确定了直播虚拟场景在基准观众视场中的三维显示区间，设定直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，由设定的三维显示区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，可计算得到直播虚拟场景里的直播三维成像区间。逆向设定方法很容易依照正向设定方法得到，下面只详细介绍正向设定方法：
①设定直播虚拟场景的直播三维成像区间
选定一个三维包围盒Ω′m，三维包围盒形状可以任意，设定此包围盒在虚拟场景sm中的位姿。此包围盒在sm中框选的三维区间，作为给虚拟场景设定的直播三维成像区间。在进行直播过程中，此虚拟场景只有在直播三维成像区间内的内容才会直播分享给其他用户。包围盒在虚拟场景sm中的位姿可以在直播过程中根据需要进行调整。此三维成像区间只约束了直播分享，对本身就在sm中进行沉浸式体验的用户hm没有任何约束。具体如下。
给虚拟实训场景sm选定三维包围盒Ω′m。为Ω′m定义坐标系Ψ′m，Ψm为虚拟场景sm的坐标系。设定Ω′m在sm中的位姿，也就是设定坐标系Ψ′m到Ψm的旋转平移关系。在Ψ′m与Ψm的旋转关系中，本发明实时例限定Ψ′m只能绕Ψm的y轴旋转，令Ψ′m到Ψm旋转平移关系中的旋转量可以表示为绕y轴旋转角度为
Figure BDA0003772545700000141
缩放系数为1，平移量为
Figure BDA0003772545700000142
令坐标系Ψ′m中任意点
Figure BDA0003772545700000143
在坐标系Ψm中坐标值用(cx cy cz)表示，依照式(4)则得Ψ′m到Ψm的旋转缩放平移矩阵Hm，其中：
Figure BDA0003772545700000144
则：
Figure BDA0003772545700000145
对于三维包围盒Ω′m中任意点,把其在坐标系Ψ′m下的坐标值代入式(10)计算得到其在Ψm中的坐标值，由此确定了Ω′m在sm中限定的三维成像区间Ωm。以图6为例，选定一个圆柱体为包围盒，设定此圆柱体到虚拟场景里的位姿，从而框选出虚拟场景里需要直播分享的区间。
三维包围盒也可以无限大，这样虚拟场景里所有内容都将在直播分享区间内。
②设定虚拟场景直播三维成像区间在基准观众视场里的三维显示区间
设定虚拟场景直播三维成像区间Ωm在用户视场里的三维显示区间方式为：设定三维包围盒Ω′m在基准观众视场的位姿与缩放关系，可计算出虚拟场景直播三维成像区间Ωm在基准观众视场中对应的显示区间。具体如下。令基准观众视场坐标系用Ψuser表示，设定三维包围盒Ω′m在基准观众视场的位姿与缩放关系，也就是设定三维包围盒Ω′m直角坐标系Ψ′m到基准观众视场坐标系Ψuser的旋转缩放平移关系，Ψ′m到Ψuser的缩放是各轴同比例缩放。设定Ψ′m到Ψuser旋转缩放平移关系中的旋转量表示为[αm βm θm]、平移量为
Figure BDA0003772545700000146
缩放系数表示为λm。依照式(4)，可以得到坐标系Ψ′m到Ψuser的旋转缩放平移矩阵
Figure BDA0003772545700000147
令Ω′m中任意点在坐标系Ψ′m下坐标值为
Figure BDA0003772545700000148
在基准观众视场坐标系Ψuser中坐标值用(wx wy wz)表示，则：
Figure BDA0003772545700000149
把Ω′m中任意点代入式(11)，可以计算出Ω′m在基准观众视场中的三维显示区间
Figure BDA00037725457000001410
同时也是直播三维成像区间Ωm在基准观众视场中对应的三维显示区间
Figure BDA00037725457000001411
设定了三维包围盒Ω′m坐标系到直播虚拟场景sm坐标系的旋转平移变换关系，以及三维包围盒Ω′m坐标系到基准观众视场坐标系Ψuser的旋转缩放平移关系，也就同步设定了直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，直播虚拟场景坐标系到基准观众视场坐标系的旋转缩放平移关系可用旋转缩放平移矩阵
Figure BDA0003772545700000151
表征。反过来，基准观众视场坐标系到直播虚拟场景坐标系的旋转缩放平移矩阵为
Figure BDA0003772545700000152
如图7所示，图7为本发明在基准用户视场设定直播虚拟场景坐标系与基准观众视场坐标系旋转缩放平移关系示意图。
(2)计算基准观众在直播虚拟场景中观看位姿与瞳距
在本发明实施例中，基准观众在基准观众视场坐标系Ψuser中位置坐标为(0 00)，姿态角为(0 0 0)。根据基准观众视场坐标系Ψuser到直播虚拟场景sm坐标系Ψm的旋转缩放平移矩阵
Figure BDA0003772545700000153
任意点在Ψuser中坐标值为(wx wy wz)，在Ψm坐标值为(cx cycz)，则：
Figure BDA0003772545700000154
把基准观众在基准观众视场坐标系Ψuser中位置坐标(0 0 0)代入式(12)可以计算得到基准观众在场景sm坐标系Ψm下的位置坐标Wm。由于基准观众在基准观众视场坐标系Ψuser中姿态角为(0 0 0)，则根据式(6)、(7)、(8)从旋转缩放平移矩阵
Figure BDA0003772545700000155
转换出来的绕轴z、x、y的三维旋转角度向量Qm，就是基准观众视场在场景sm坐标系Ψm下的姿态角。从而得到基准观众在Ψm下位姿值
Figure BDA0003772545700000156
由于，直播虚拟场景sm的直播三维成像区间在基准观众视场进行了缩放显示，由此直播虚拟场景为基准观众生成直播立体视觉画面所用的瞳距也发生了缩放，在sm生成直播立体视觉画面所用的瞳距为
Figure BDA0003772545700000157
(3)渲染生成直播虚拟场景三维成像区间的立体视觉图片
在视场位姿值
Figure BDA0003772545700000158
以及瞳距
Figure BDA0003772545700000159
下，为观众实时渲染场景sm成像区间Ωm双目立体视觉画面以及对应的深度图片。其中，
Figure BDA00037725457000001510
为立体视觉画面的左眼图像，
Figure BDA00037725457000001511
为立体视觉画面的右眼图像，
Figure BDA00037725457000001512
为对应的深度图像，然后深度图像还需根据缩放因素λm转换成基准观众视场下的深度图像，由此
Figure BDA00037725457000001513
对于左眼图像任意像素
Figure BDA00037725457000001514
其深度值为
Figure BDA00037725457000001515
对于右眼像任意像素
Figure BDA00037725457000001516
其深度值为
Figure BDA00037725457000001517
发送立体视觉画面以及深度图像给各观众。
(4)观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看
任意观众hk实时接收到sm的直播画面，当直播画面的左右眼图片分别显示给人的左右眼看时，观众hk就会直接获得对场景sm的三维成像区间Ωm里面内容的立体视觉感知。但当观众观看直播的同时还在进行其它内容的沉浸式体验，这时直播立体视觉画面需要与其它内容的立体视觉体验画面合成，生成观众hk的完整立体视觉体验画面，使直播虚拟场景融入到观众沉浸式体验空间。直播立体画面与其它内容的立体视觉体验画面合成时，需要进行图像之间遮挡计算，只有在用户相同视线上的像素才会遮挡，在本发明实施例中要求渲染生成所有立体视觉图像和深度图像时采用相同大小的视场角与分辨率，所以多幅左眼或右眼图片之间具有相同图像坐标的像素点在用户相同视线上。立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面，合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，具体实现如下。
生成观众沉浸式体验空间其它体验内容的立体视觉画面时，计算出直播虚拟场景在观众体验空间的三维显示区间，观众体验空间其它体验内容在此三维区间的内容不成像。通过步骤(1)，已经获得直播虚拟场景在基准观众视场下的显示区间Ωuser，对于任意观众用户hk，其瞳距为dk，由于瞳距的差异，直播虚拟场景sm在用户hk的视场中显示区间不是Ωuser，令Ωuser中任意点(ux uy uz)，其在hk视场坐标系中对应坐标值为
Figure BDA0003772545700000161
则
Figure BDA0003772545700000162
由此映射关系，Ωuser映射到用户hk的视场就可以获得直播场景在此用户视场下的显示区间
Figure BDA0003772545700000163
根据
Figure BDA0003772545700000164
则有直播虚拟场景在任意观众视场中的三维显示区间为
Figure BDA0003772545700000165
对于任意用户hk，在观看场景sm直播，同时也在其它内容进行体验，例如对场景sk进行沉浸式体验。前面已经计算得到直播虚拟场景在hk视场中的三维显示区间为
Figure BDA0003772545700000166
观众体验空间其它体验内容在三维区间
Figure BDA0003772545700000167
u里的内容不成像，但可以保留虚拟互动工具在此区间成像，令除sm直播外，用户hk体验空间其他内容生成的体验画面左眼图像为
Figure BDA0003772545700000168
右眼图像为
Figure BDA0003772545700000169
在hk视场对应深度值为
Figure BDA00037725457000001610
与
Figure BDA00037725457000001611
接收到的场景sm的直播立体视觉图片
Figure BDA00037725457000001612
与
Figure BDA00037725457000001613
需要与
Figure BDA00037725457000001614
合成为用户hk的边看虚拟场景直播边对体验空间内其它内容进行体验的完整立体视觉画面。图片合成时需要进进行遮挡计算。由于用户hk瞳距dk与基准瞳距
Figure BDA0003772545700000171
的差异，用户hk感知到的
Figure BDA0003772545700000172
与
Figure BDA0003772545700000173
深度信息与基准观众视场下的深度图像
Figure BDA0003772545700000174
有差异，用户hk感知到的
Figure BDA0003772545700000175
与
Figure BDA0003772545700000176
的深度图像为
Figure BDA0003772545700000177
令合成后的体验画面左眼图片为
Figure BDA0003772545700000178
右眼图片为
Figure BDA0003772545700000179
对应深度图像为
Figure BDA00037725457000001710
初始化
Figure BDA00037725457000001711
遍历图片中任意像素，如果
Figure BDA00037725457000001712
则
Figure BDA00037725457000001713
否则不做处理；同样，如果
Figure BDA00037725457000001714
则
Figure BDA00037725457000001715
否则不做处理。按如上计算遍历完图像中所有像素，就完成了画面合成。合成画面显示给观众hk看。
(5)观众与直播的虚拟场景进行互动
任意观众在自己的沉浸式体验空间对直播虚拟场景互动，生成用户体验空间坐标系下的互动命令，把互动命令的位姿参数正确转换到直播虚拟场景坐标系，由此把互动命令转换成虚拟直播场景下的互动命令，把转换后的互动命令发送给直播虚拟场景，直播虚拟场景响应此互动命令，完成观众与直播虚拟场景的互动。
任意观众用户hk，hk的沉浸式体验空间坐标系用
Figure BDA00037725457000001716
表示。hk在其体验空间，基于sm直播画面，对sm进行互动操作，产生用户hk体验空间的互动操作命令Ak，互动操作命令Ak包含坐标系
Figure BDA00037725457000001717
下的位姿参数，其中位置参数为
Figure BDA00037725457000001718
姿态角参数为
Figure BDA00037725457000001719
把互动操作命令Ak转换成场景sm里的互动操作命令A′k，需要把位姿Ak的位姿参数转换成场景sm坐标系Ψm下的的位姿参数，实时传输位姿参数转换后的互动操作命令A′k到场景sm中，场景sm对A′k进行响应。从而实现观众与直播虚拟场景的互动。
观众与直播的虚拟场景进行互动具体实现如下：
①判断互动操作是否为对直播虚拟场景的互动
直播虚拟场景在观众hk的视场里的显示区间为
Figure BDA00037725457000001720
由步骤4计算出直播虚拟场景在任意观众视场中的三维显示区间
Figure BDA00037725457000001721
当互动操作命令Ak的位置参数
Figure BDA00037725457000001722
属于区间
Figure BDA00037725457000001723
时，则判断此命令属于对直播虚拟场景sm的互动，进入下面的步骤；否则不进入下面的步骤，用户体验空间内其它内容响应此命令。
②由观众视场坐标系到观众体验空间坐标系的旋转变换关系，把互动操作命令位姿参数从观众体验空间坐标系转换到观众视场坐标系；
令XR终端实时定位出的观众hk在其沉浸式体验空间坐标系
Figure BDA0003772545700000181
下的位姿为[Wk,0 Qk,0]，其中，
Figure BDA0003772545700000182
Qk,0＝(αk βk θk)。从而在
Figure BDA0003772545700000183
到
Figure BDA0003772545700000184
的坐标系变换关系中，旋转角度为Qk,0，平移量为Wk,0，缩放系数为1，依照式(4),可得
Figure BDA0003772545700000185
到
Figure BDA0003772545700000186
的旋转缩放平移矩阵Hk，令hk的用户体验空间坐标系
Figure BDA0003772545700000187
中任意点
Figure BDA0003772545700000188
在hk的视场坐标系
Figure BDA0003772545700000189
下坐标值为
Figure BDA00037725457000001810
则从
Figure BDA00037725457000001811
到
Figure BDA00037725457000001812
坐标值变换关系为：
Figure BDA00037725457000001813
把互动操作命令的位置参数
Figure BDA00037725457000001814
代入式(13),可以计算得到互动操作命令Ak位置参数转换到hk用户视场坐标系
Figure BDA00037725457000001815
下的坐标值Wuser，把互动操作命令Ak的姿态角
Figure BDA00037725457000001816
当旋转角度，把位置参数
Figure BDA00037725457000001817
当平移量，缩放系数为1，依照式(4)可以构建出一个旋转缩放平移矩阵H′k，则HkgH′k依照式(6)、(7)、(8)转换出旋转角度向量Quser,Quser就是互动操作命令Ak转换到hk用户视场坐标系
Figure BDA00037725457000001818
下的姿态角，其中Hk为
Figure BDA00037725457000001819
到
Figure BDA00037725457000001820
的旋转缩放平移矩阵。
③互动命令位姿参数转换到基准观众视场坐标系下
根据观众hk瞳距dk与基准观众瞳距
Figure BDA00037725457000001821
的比值，互动命令位姿参数转换到基准观众视场坐标系下时姿态角不变，但坐标值发生改变，互动操作命令在hk用户视场坐标系
Figure BDA00037725457000001822
下的坐标值Wuser，则互动操作命令在基准观众视场坐标系Ψuser下坐标值为
Figure BDA00037725457000001823
④把互动命令位姿参数从基准用户视场坐标系转换到直播虚拟场景坐标系
把
Figure BDA00037725457000001824
代入式(12)可以计算得到互动操作命令Ak位置参数在直播虚拟场景sm坐标系Ψm对应的坐标值W，把
Figure BDA00037725457000001825
依照式(6)、(7)、(8)可以转换得到互动操作命令Ak姿态角参数在Ψm对应的姿态角值Q，其中
Figure BDA00037725457000001826
为基准观众视场坐标系Ψuser到直播虚拟场景坐标系Ψm的旋转缩放平移矩阵。把[W Q]赋值给互动操作命令Ak的位姿参数，从而把互动操作命令Ak转换成了场景sm里的互动操作命令A′k，场景sm对A′k响应，正确实现了任意观众用户hk基于直播画面与场景sm的互动。
参照图8，本发明基于XR技术的沉浸式互动直播构建系统的硬件构成如图8所示，实现本发明基于XR技术的沉浸式互动直播硬件系统主要包括：云服务器集群、网络设备、以及XR终端。
在云服务器集群中，服务器包括沉浸式互动直播管理服务器、多台XR应用服务器、存储服务器。XR应用服务器须具备高性能的图形渲染能力，服务器之间须互联互通，用户的XR终端通过无线网络访问管理服务器与所有XR应用服务器，XR终端可以为XR头盔或眼镜。
参照图9，本发明基于XR技术的沉浸式互动直播构建系统的软件构成如图9所示，实现本发明基于XR技术的沉浸式系统软件主要包括4个模块：
沉浸式互动直播管理控制中心、XR资源库、用户端、XR应用服务端。其中：
沉浸式互动直播管理控制中心安装在沉浸式互动直播管理服务器，XR资源库部署在存储服务器，用户端安装在用户的XR终端上，XR应用服务端安装在每台XR应用服务器上。下面介绍各模块的主要功能。
1、XR资源库：
XR资源库存储了XR应用程序、XR资源包等XR应用资源。
2、沉浸式互动直播管理控制中心：
安装在沉浸式互动直播管理服务器上，功能包括：
(1)接受用户端虚拟场景体验申请，命令XR应用服务端分配虚拟场景实例，并协助用户端与对应的虚拟场景实例建立通信连接。
(2)接收用户直播分享的申请，命令XR应用服务端分配用于直播的虚拟场景实例。
(3)用户或系统在沉浸式互动直播管理控制中心，设定虚拟场景直播分享的三维成像区间，设定直播虚拟场景坐标系与基准观众视场坐标系旋转缩放平移关系。
(4)任意用户向管理控制中心申请观看直播，管理控制中心协助此用户与直播场景建立通信连接，基于此通信连接，此用户能接收到直播立体画面，能把对此直播场景的互动发送到直播场景。
3、XR应用服务端：
具体功能包括：
接收沉浸式互动直播管理控制中心发送过来的分配虚拟场景实例指令，XR应用服务端将根据指令里虚拟场景的ID，分配对应虚拟场景的实例，当现有场景实例没有足够的计算资源时，调用对应的XR应用程序及相关的资源包，生成虚拟场景实例，并令新生成的场景实例与原有场景实例建立通信连接，同步场景状态。
接收沉浸式互动直播管理控制中心发送过来的销毁场景实例指令，销毁虚拟场景实例。
4、用户端：
具体功能包括：
(1)向沉浸式互动直播管理控制中心发送虚拟场景体验申请，与分配给此用户的虚拟场景实例建立通信连接；
(2)采集用户终端的位姿参数、互动操作信息等，发送给场景实例；
(3)接收场景实例发送过来的沉浸式体验画面；
(4)向沉浸式互动直播管理控制中心申请观看直播，与直播场景建立通信连接，接收直播场景发送过来的直播画面；
(5)判断用户互动操作是否为对直播场景互动，当对直播场景互动时，把互动操作命令的位姿参数转换到直播场景坐标系，并把转换后的互动操作命令发送到直播场景；
(6)合成直播画面与体验空间其他内容的画面，生成完整的边看虚拟场景直播边进行体验空间里其他内容的体验的立体视觉体验画面，显示给用户看。
基于此沉浸式互动直播系统，XR技术构建的单个或多个虚拟场景的沉浸式体验活动可以直播分享出来，观看沉浸式互动直播的观众边看边参与到直播虚拟场景的互动，也还可以并行进行其它内容的沉浸式体验。由于本发明指定一个基准用户瞳距，以此基准瞳距定义了一个基准观众视场，本发明只需渲染生成此基准观众视场的立体视觉直播画面，通过算法处理，就能使其适配不同用户的瞳距，使直播场景正确融入到用户的体验空间，提供正确地与直播虚拟场景互动的功能，从而使用较少的计算资源，就能适配所有不同瞳距的用户。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的基于XR技术的沉浸式互动直播构建方法的步骤。
本发明提出的一种基于XR技术的沉浸式互动直播构建方法、系统及存储介质，通过设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成虚拟场景直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看。基于此沉浸式互动直播系统，XR技术构建的单个或多个虚拟场景的沉浸式体验活动可以直播分享出来，观看沉浸式互动直播的观众边看边参与到直播虚拟场景的互动，也还可以并行进行其它内容的沉浸式体验。由于本发明指定一个基准观众瞳距，以此基准瞳距定义了一个基准观众视场，本发明只需渲染生成此基准观众在直播虚拟场景里瞳距与位姿下的直播虚拟场景立体视觉直播画面，通过算法处理，就能使其适配不同用户的瞳距，使直播场景正确融入到用户的体验空间，提供正确地与直播虚拟场景互动的功能，从而使用较少的计算资源，就能适配所有不同瞳距的用户。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，方案利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于XR技术的沉浸式互动直播构建方法，其特征在于，所述方法包括以下步骤：
步骤S10：设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；
步骤S20:根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；
步骤S30：基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；
步骤S40:任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看。
2.根据权利要求1所述的方法，其特征在于，所述步骤S30生成的立体视觉直播画面带有深度信息，在所述步骤S40中，对于任意观众hk，hk接收的立体视觉直播画面与其体验空间其它体验内容的立体视觉画面合成为hk边看虚拟场景直播边进行其它内容体验的立体视觉画面，在立体视觉直播画面与hk对其它内容体验生成的立体视觉画面合成时，需要根据各画面在hk视场的深度信息进行遮挡计算。
3.根据权利要求2所述的方法，其特征在于，在所述步骤S10设定的直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系中，直播虚拟场景sm的坐标系到基准观众视场坐标系的缩放系数为λm，所述步骤S20计算出基准观众在直播虚拟场景sm中的瞳距为
Figure FDA0003772545690000011
其中
Figure FDA0003772545690000012
为基准观众的实际瞳距，根据直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的位姿，所述步骤S30根据基准观众在直播虚拟场景sm的位姿与瞳距，生成立体视觉直播画面，其中
Figure FDA0003772545690000013
为立体视觉画面的左眼图像，
Figure FDA0003772545690000014
为立体视觉画面的右眼图像，
Figure FDA0003772545690000015
为对应的深度图像，根据缩放系数λm，计算得到
Figure FDA0003772545690000016
与
Figure FDA0003772545690000017
在基准观众视场下的深度信息为深度图像
Figure FDA0003772545690000018
和
Figure FDA0003772545690000019
所述步骤S40立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成具体实现为：任意观看场景sm直播的观众hk，接收到场景sm的立体视觉直播画面，hk沉浸式体验空间内其它体验内容生成立体视觉体验画面左眼图像为
Figure FDA00037725456900000110
右眼图像为
Figure FDA00037725456900000111
与
Figure FDA00037725456900000112
在hk视场的深度信息为深度图
Figure FDA0003772545690000021
与
Figure FDA0003772545690000022
hk与基准观众瞳距比值为
Figure FDA0003772545690000023
场景sm的立体视觉直播画面
Figure FDA0003772545690000024
与
Figure FDA0003772545690000025
在基准观众视场下的深度图像
Figure FDA0003772545690000026
与
Figure FDA0003772545690000027
转换成hk视场的深度图像
Figure FDA0003772545690000028
立体视觉直播画面与其它体验内容生成的立体视觉体验画面根据深度图像
Figure FDA0003772545690000029
进行遮挡计算，生成合成画面。
4.根据权利要求3所述的方法，其特征在于，所述步骤S10，设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系具体包括：给直播虚拟场景sm选定三维包围盒Ω′m，设定包围盒Ω′m在场景sm中的位姿，包围盒Ω′m在场景sm框选出一个三维区间Ωm，Ωm就是场景sm的直播三维成像区间，设定包围盒Ω′m在基准观众视场的位姿与缩放关系，计算出所述虚拟场景sm的直播三维成像区间Ωm在基准观众视场中对应的三维显示区间
Figure FDA00037725456900000210
设定了包围盒Ω′m在直播虚拟场景sm中的位姿以及Ω′m在基准观众视场的位姿与缩放关系，也就是设定了直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系。
5.根据权利要求4所述的方法，其特征在于，在所述步骤S40中，对于任意观众hk，直播虚拟场景sm在hk体验空间的三维显示区间为
Figure FDA00037725456900000211
生成hk体验空间其它体验内容的立体视觉画面时，hk体验空间其它体验内容在三维显示区间
Figure FDA00037725456900000212
的内容不成像。
6.根据权利要求5所述方法，其特征在于，所述步骤S40计算出直播虚拟场景三维成像区间在任意观众体验空间的三维显示区间的具体实现为：直播虚拟场景sm在基准观众视场中的三维显示区间为Ωuser，由任意观众hk瞳距与基准观众瞳距的比值
Figure FDA00037725456900000213
计算出sm三维成像区间Ωm在hk视场中的三维显示区间为
Figure FDA00037725456900000214
7.根据权利要求1-6任意项所述的方法，其特征在于，所述步骤S40后还有步骤S50：任意观众hk在其体验空间里与直播的虚拟场景sm进行互动，生成其体验空间里的互动操作命令Ak，Ak转换成直播虚拟场景sm里的互动操作命令Ak′，把Ak′发送给场景sm，场景sm对Ak′进行响应。
8.根据权利要求7所述方法，其特征在于，所述步骤S50具体包括：
步骤S501：任意观众hk在自己体验空间进行互动操作，生成观众hk体验空间下的互动操作命令Ak，命令Ak包含的位姿参数是观众hk体验空间坐标系下位姿，判断Ak是否为对直播虚拟场景sm的互动，如果是对直播虚拟场景sm的互动，就进入步骤S502，否则hk体验空间里其它内容响应互动操作命令Ak，不进入步骤S502；
步骤S502：根据观众hk体验空间坐标系与hk视场坐标系的旋转平移关系，互动操作命令Ak的位姿参数转换成hk视场坐标系下位姿参数；
步骤S503:根据观众hk瞳距dk与基准观众瞳距
Figure FDA0003772545690000031
的比值，互动操作命令Ak的位姿参数从hk视场坐标系下位姿参数转换成基准观众视场坐标系下位姿参数；
步骤S504：根据基准观众视场坐标系与直播虚拟场景sm坐标系旋转缩放平移关系，互动操作命令Ak的位姿参数从基准观众视场坐标系转换到直播虚拟场景sm坐标系下位姿参数，生成互动操作命令Ak′；
步骤S505：互动操作命令Ak′，发送给虚拟直播场景sm，sm对Ak′响应。
9.一种基于XR技术的沉浸式互动直播构建系统，其特征在于，所述系统包括：沉浸式互动直播管理服务器、多台XR应用服务器、存储服务器，其中，用户的XR终端通过无线网络访问所述管理服务器与所有XR应用服务器，所述管理服务器部署有沉浸式互动直播管理控制中心，所述存储服务器部署有XR资源库：
所述XR资源库，用于存储XR应用资源；
所述沉浸式互动直播管理控制中心，用于接收XR终端的虚拟场景体验申请，指令XR应用服务器分配虚拟场景实例，协助XR终端与虚拟场景实例建立通信连接；接收用户直播分享的申请，指令XR应用服务器分配用于直播的虚拟场景实例；设定直播虚拟场景的直播三维成像区间；设定直播虚拟场景坐标系到基准观众视场坐标系的旋转缩放平移关系；计算基准观众在直播虚拟场景中的位姿与瞳距并发送给直播虚拟场景；
所述XR应用服务器，用于接收所述沉浸式互动直播管理控制中心发送的分配虚拟场景实例指令，根据所述场景实例分配指令里虚拟场景的场景ID，分配相应的虚拟场景实例，当现有场景实例没有足够的计算资源时，调用对应的XR应用程序及相关的资源包，生成虚拟场景实例，并令新生成的场景实例与原有场景实例建立通信连接，同步场景状态。
所述XR应用服务器，还用于接收所述沉浸式互动直播管理控制中心发送的销毁场景实例指令，根据该指令销毁虚拟场景实例；
所述XR终端，用于向所述沉浸式互动直播管理控制中心发送虚拟场景体验申请，与分配给此XR终端用户的虚拟场景实例建立通信连接；采集XR终端的位姿参数以及互动操作信息发送给分配给此XR终端用户的虚拟场景实例；接收虚拟场景实例发送的沉浸式体验画面；向沉浸式互动直播管理控制中心申请观看直播，与直播场景建立通信连接，接收直播场景发送过来的直播画面；判断用户互动操作是否为对直播场景互动，当对直播场景互动时，把互动操作命令的位姿参数转换到直播场景坐标系，并把转换后的互动操作命令发送到直播场景；接收直播虚拟场景发送的直播立体视觉画面；合成直播立体视觉画面与体验空间其他内容的立体视觉体验画面，生成完整的边看虚拟场景直播边进行其它内容体验的互动体验画面，显示给用户看。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求1-8中任一项所述的基于XR技术的沉浸式互动直播构建方法的步骤。
CN202210906282.6A 2022-07-29 2022-07-29 基于xr技术的沉浸式互动直播构建方法、系统及介质 Pending CN115423916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210906282.6A CN115423916A (zh) 2022-07-29 2022-07-29 基于xr技术的沉浸式互动直播构建方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210906282.6A CN115423916A (zh) 2022-07-29 2022-07-29 基于xr技术的沉浸式互动直播构建方法、系统及介质

Publications (1)

Publication Number Publication Date
CN115423916A true CN115423916A (zh) 2022-12-02

Family

ID=84197269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210906282.6A Pending CN115423916A (zh) 2022-07-29 2022-07-29 基于xr技术的沉浸式互动直播构建方法、系统及介质

Country Status (1)

Country Link
CN (1) CN115423916A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116643648A (zh) * 2023-04-13 2023-08-25 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质
CN117315203A (zh) * 2023-09-19 2023-12-29 深圳职业技术大学 一种xr组合场景体验画面生成方法、系统、终端及介质
CN117666781A (zh) * 2023-11-20 2024-03-08 深圳职业技术大学 一种面向xr组合场景的跨场景互动方法、系统及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116643648A (zh) * 2023-04-13 2023-08-25 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质
CN116643648B (zh) * 2023-04-13 2023-12-19 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质
CN117315203A (zh) * 2023-09-19 2023-12-29 深圳职业技术大学 一种xr组合场景体验画面生成方法、系统、终端及介质
CN117666781A (zh) * 2023-11-20 2024-03-08 深圳职业技术大学 一种面向xr组合场景的跨场景互动方法、系统及介质

Similar Documents

Publication Publication Date Title
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US6583808B2 (en) Method and system for stereo videoconferencing
CN106251403B (zh) 一种虚拟立体场景实现的方法、装置和系统
US7532230B2 (en) Method and system for communicating gaze in an immersive virtual environment
CN115423916A (zh) 基于xr技术的沉浸式互动直播构建方法、系统及介质
CN110971678B (zh) 一种基于5g网络的沉浸式可视化校园系统
US9460555B2 (en) System and method for three-dimensional visualization of geographical data
CN115830199B (zh) 基于xr技术的泛在实训校园构建方法、系统及存储介质
US20060164411A1 (en) Systems and methods for displaying multiple views of a single 3D rendering ("multiple views")
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
CN107103645B (zh) 虚拟现实媒体文件生成方法及装置
CN110427107A (zh) 虚拟与现实互动教学方法及系统、服务器、存储介质
CN114998063B (zh) 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质
CN116860112B (zh) 一种基于xr技术的组合场景体验生成方法、系统及介质
Ryskeldiev et al. Streamspace: Pervasive mixed reality telepresence for remote collaboration on mobile devices
US11727645B2 (en) Device and method for sharing an immersion in a virtual environment
CN113941138A (zh) 一种ar交互控制系统、装置及应用
CN115808974B (zh) 沉浸式指挥中心构建方法、系统及存储介质
WO2023056803A1 (zh) 一种全息展示方法及装置
Lalioti et al. Virtual meeting in cyberstage
CN118678114A (zh) 一种xr立体互动直播构建方法、主播端及观众端
CN109474819B (zh) 图像的呈现方法及装置
Uyen et al. Subjective evaluation of the 360-degree projection formats using absolute category rating
CN117315203A (zh) 一种xr组合场景体验画面生成方法、系统、终端及介质
Lalioti et al. Meet. Me@ Cyberstage: towards immersive telepresence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination