CN114503548A - 用于远程终端的沉浸式远程会议和远程呈现的交互式叠加处理 - Google Patents

用于远程终端的沉浸式远程会议和远程呈现的交互式叠加处理 Download PDF

Info

Publication number
CN114503548A
CN114503548A CN202180005495.5A CN202180005495A CN114503548A CN 114503548 A CN114503548 A CN 114503548A CN 202180005495 A CN202180005495 A CN 202180005495A CN 114503548 A CN114503548 A CN 114503548A
Authority
CN
China
Prior art keywords
overlay
video stream
objects
user terminal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180005495.5A
Other languages
English (en)
Inventor
罗伊特.阿比什克
伊拉吉.索达加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN114503548A publication Critical patent/CN114503548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供了用于处理视频流的方法、非暂态计算机可读介质和计算机系统。该方法可以包括：接收360°视频流，该360°视频流包括多重叠加参数；当多重叠加参数是第一值时，确定用户终端允许将360°视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有两个或更多个叠加对象的360°视频流；并且当多重叠加参数是第二值时，确定用户终端不允许将360°视频流与两个或更多个叠加对象进行叠加，并且显示具有零叠加对象或一个叠加对象的360°视频流。

Description

用于远程终端的沉浸式远程会议和远程呈现的交互式叠加 处理
优先权信息
本申请要求2020年8月11日提交的美国临时专利申请第63/064,252号以及2020年11月15日提交的美国专利申请第17/098,388号的优先权，上述两件专利申请的全部内容并入本文中。
技术领域
本公开内容一般涉及数据处理领域，更具体地涉及叠加处理，诸如用于远程终端的沉浸式远程会议和远程呈现(Immersive Teleconferencing and Telepresence forRemote Terminal，ITT4RT)的交互式多重叠加处理。例如，全向视频和图像的多重交互式叠加的信令例如在演示/屏幕共享流或二维(2D)视频时作为叠加对象显示在被显示的360°视频流之上。
背景技术
叠加对象是在全向视频、图像项或视口上渲染的一段视觉媒体。
当使用全向媒体流时，仅渲染与用户的视口对应的内容部分，同时使用例如带给用户媒体流的真实视图的头戴式显示器(HMD)装置。
发明内容
实施方式涉及用于流式传输(stream)视频数据的方法、系统和非暂态计算机可读介质。根据一个方面，可以提供用于流式传输视频数据的方法。该方法可以包括：由用户终端从电子装置或服务器接收360°视频流，其中，360°视频流包括多重叠加参数，多重叠加参数指示用户终端是否允许将360°视频流与两个或更多个叠加对象进行叠加；由用户终端显示360°视频流；当多重叠加参数是第一值时，由用户终端确定用户终端允许将360°视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有两个或更多个叠加对象的360°视频流；以及当多重叠加参数是第二值时，由用户终端确定用户终端不允许将360°视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有零叠加对象或一个叠加对象的360°视频流。
第一值可以不同于第二值，并且一个或多个叠加对象可以包括以下项中的一项或更多项：另一视频流或图像。
360°视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠。
该方法还可以包括：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠时，由用户终端显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
360°视频流可以包括允许使用两个或更多个叠加对象的基于内容的属性。
360°视频流可以包括当用户被允许与其他发送者共享发送者的流信息时进行发信号通知的标志。
该方法还可以包括：由用户终端从电子装置或服务器接收请求，其中，该请求是对远程会议中的一个或更多个用户共享媒体流属性的请求；以及由用户终端向电子装置或服务器发送关于用户终端授权共享的媒体流属性的信息。
关于用户愿意共享的媒体流属性的信息包括与发送者ID对应的标识符(ID)。
该方法还可以包括：由电子装置或服务器通过将至少一个发送者ID与至少一个叠加ID进行组合来分配唯一的叠加ID。
该方法还可以包括：在初始提议-应答协商期间或在会话期间协商多重叠加参数。
可以在360°视频流的会话描述协议(SDP)中提议多重叠加参数。
该方法还可以包括：在初始提议-应答协商期间或在会话期间协商交叠叠加参数。
可以在360°视频流的会话描述协议(SDP)中提议交叠叠加参数。
该方法还可以包括：在初始提议-应答协商期间或在会话期间协商基于内容的属性。
在360°视频流的会话描述协议(SDP)中提议基于内容的属性。
该方法还可以包括：由用户终端向电子装置或服务器传送另一用户是否被授权与其他电子装置共享由该用户终端共享的流信息。
该方法还可以包括：由用户终端向电子装置或服务器传送另一用户是否被授权与其他电子装置共享由该用户终端共享的流信息。
该方法还可以包括：由电子装置或服务器与其他电子装置共享除了由电子装置或服务器产生的任何一个或多个叠加对象之外的至少一个另外的叠加对象，其中，至少一个另外的叠加对象仅包括其中相应的叠加视频的发送者授权共享所述叠加对象的叠加对象。
根据实施方式，可以提供用于视频会议的计算机系统，该计算机系统可以包括：通信接口；显示器；被配置成存储计算机程序代码的一个或更多个计算机可读非暂态存储介质；以及一个或更多个计算机处理器，所述一个或更多个计算机处理器被配置成访问计算机程序代码并按照计算机程序代码所指示的进行操作。
计算机程序代码可以包括：接收代码，接收代码被配置成使一个或更多个计算机处理器经由通信接口接收360°视频流，其中，360°视频流包括多重叠加参数，该多重叠加参数指示是否允许终端将360°视频流与两个或更多个叠加对象进行叠加；显示代码，显示代码被配置成使一个或更多个计算机处理器控制显示器以显示接收到的360°视频流；多重叠加授权代码，多重叠加授权代码被配置成使一个或更多个计算机处理器执行以下操作：当多重叠加参数是第一值时，确定用户终端允许将360°视频流与两个或更多个叠加对象进行叠加，并且控制显示器以显示具有两个或更多个叠加对象的360°视频流；以及多重叠加未授权代码，多重叠加未授权代码被配置成使一个或更多个计算机处理器执行以下操作：当多重叠加参数是第二值时，确定用户终端不允许将360°视频流与两个或更多个叠加对象进行叠加，并且控制显示器以显示具有零叠加对象或一个叠加对象的360°视频流。
第一值可以不同于第二值，并且一个或多个叠加对象可以包括以下项中的一项或更多项：另一视频流或图像。
360°视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且计算机程序代码还可以包括：交叠叠加授权代码，该交叠叠加授权代码被配置成使一个或更多个处理器执行以下操作：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠对象加进行交叠时，对显示器进行控制以显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
根据实施方式，一种存储有计算机程序的非暂态计算机可读介质，该计算机程序被配置成使一个或更多个计算机处理器执行以下操作：接收360°视频流，其中，360°视频流包括多重叠加参数，该多重叠加参数指示是否允许将360°视频流与两个或更多个叠加对象进行叠加；对显示器进行控制以显示接收到的360°视频流；当多重叠加参数是第一值时，确定允许将360°视频流与两个或更多个叠加对象进行叠加，并且对显示器进行控制以显示具有两个或更多个叠加对象的360°视频流；以及当多重叠加参数是第二值时，确定不允许将360°视频流与两个或更多个叠加对象进行叠加，并且对显示器进行控制以显示具有零叠加对象或一个叠加对象的360°视频流，其中，第一值不同于第二值，并且其中，一个或多个叠加对象包括以下项中的一项或更多项：另一视频流或图像。
360°视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且计算机程序还可以被配置成使一个或更多个计算机处理器执行以下操作：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠时，对显示器进行控制以显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
附图说明
根据要结合附图阅读的说明性实施方式的以下详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例绘制的，因为这些图示是为了清楚地便于本领域技术人员结合详细描述进行理解。在附图中：
图1是用于沉浸式远程会议的生态系统的示意性说明；
图2A是不使用MRF/MCU进行远程会议的多方多会议室的示意性说明；
图2B是使用MRF/MCU来进行远程会议的多方多会议室的示意性说明；
图3A示出了针对在不使用MRF/MCU的情况下使用来自单个发送者的多个叠加对象来进行远程会议的多方多会议室的参数“use_multiple_flag”的使用；
图3B示出了针对在使用MRF/MCU的情况下使用来自单个发送者的多个叠加对象来进行远程会的多方多会议室的参数“use_multiple_flag”的使用；
图4A展示了针对在不使用MRF/MCU的情况下使用来自多个发送者的多个叠加对象来进行远程会议的多方多会议室的其他叠加对象的基于内容的使用；
图4B示出了根据实施方式的针对在使用MRF/MCU的情况下使用来自多个发送者的多个叠加对象来进行远程会议的多方多会议室的其他叠加对象的基于内容的使用；
图5是根据实施方式的计算机系统的示意性说明；以及
图6示出了说明用于处理视频会议的方法的步骤的操作性流程图。
具体实施方式
本文公开了要求保护的结构和方法的详细实施方式；然而，可以理解，所公开的实施方式仅是可以以各种形式实施的所要求保护的结构和方法的说明。然而，这些结构和方法可以以许多不同的形式来实施，并且不应当被解释为限于本文中阐述的示例性实施方式。而是，提供这些示例性实施方式使得本公开内容将是透彻和完整的并且将向本领域技术人员完整地传达范围。在说明书中，可以省去公知特征和技术的细节，以避免不必要地模糊所呈现的实施方式。
实施方式一般涉及数据处理领域，更具体地涉及使用全向视频的视频会议/远程会议。此外，以下描述的示例性实施方式提供了使用全向视频处理视频会议/远程会议的系统、方法和计算机程序。
本文将参照根据各种实施方式的方法、装置(系统)和计算机可读介质的流程图图示和/或框图来描述各方面。应当理解，可以通过计算机可读程序指令来实现流程图图示和/或框图中的每个块以及流程图图示和/或框图中的块的组合。
图1示出了根据实施方式的沉浸式远程会议呼叫的场景，其中在房间A(101)、用户B(102)和用户C(103)之间组织呼叫。根据实施方式，房间A代表具有全向(360°)摄像装置(104)的会议室，并且用户B和用户C是分别使用HMD装置和移动装置的远程参与者。在这种情况下，远程会议呼叫参与者用户B和用户C可以向房间A发送关于他们各自的视口方向的信息，房间A又可以向他们发回依赖于视口的流。
图2A示出了根据实施方式的包括多个会议室参与者(房间A(2a01)、房间X(2a02)、房间Y(2a03)、房间Z(2a04))的沉浸式远程会议呼叫的另一场景。根据实施方式，用户B(2a06)可以使用HMD显示器来观看视频流(例如，360°视频流)，以及用户C(2a07)可以使用移动装置来观看视频流。用户B和用户C可以将他们的视口方向发送至主房间(例如，房间A)，主房间又向他们发送依赖于视口的流。
根据实施方式，图2B中示出了其中使用媒体资源功能(MRF)/媒体控制单元(MCU)(2b05)建立视频呼叫的另一场景，其中MRF/MCU被示出为提供用于在多方会议呼叫中桥接远程终端的媒体相关的功能的多媒体服务器。然而，MRF/MCU可以是除服务器之外的另一电子装置。根据实施方式，与各个会议室对应的电子装置可以将它们各自的视频发送至MRF/MCU。这些视频是独立于视口的视频(即，将整个360°视频发送至MRF/MCU(例如，媒体服务器)，而与用户的流式传输特定视频的视口无关)。媒体服务器可以接收用户B(2b06)和用户C(2b07)的视口方向，并且相应地向用户A和用户B发送相应的依赖于视口的流。
此外，在扩展场景中，远程用户可以从会议室(2a01至2a04/2b01至2b04)选择可用的360°视频中的一个进行观看。在这种情况下，用户向会议室或MRF/MCU发送关于其想要流式传输的视频及其视口方向的信息(例如，请求)。根据实施方式，用户可以基于有源扬声器触发从一个房间到另一房间的切换。也就是说，根据实施方式，提供当前语音输出的用户终端可以用于确定视口方向，使得视口方向对应于有源扬声器。此外，媒体服务器可以暂停从不具有任何活跃用户的任何会议室接收视频流。
叠加对象是在全向视频、图像项或视口上渲染的一段视觉媒体。
返回参照图2A和图2B，当演示被会议室A中的任何参与者共享时，该演示除了在会议室A中显示之外还可以作为流而被广播给其他用户(例如，与用户相关联的远程终端，诸如智能电话或HMD装置)。
根据实施方式，可以将该流叠加在360°视频之上。根据实施方式，叠加对象也可以用于2D流。
根据实施方式，可以存在被定义用于ITT4RT的至少两种类型的叠加渲染。第一类型可以是视口相关的叠加，以及第二类型可以是球体相关的2D叠加。
根据实施方式，对于“视口相关的叠加”，以下参数中的一个或更多个可以被定义用于ITT4RT：overlay_ID、overlay_rect_left_percent、overlay_rect_top_percent、overlay_rect_width_percent、overlay_rect_height_percent、relative_disparity_flag、disparity_in_percent以及disparity_in_pixels、name。
根据实施方式，可以定义一个或更多个参数用于与开放移动接入抽象框架(OpenMobile Access Abstract Framework，OMAF)规范一致的“球体相关的二维叠加”，诸如：overlay_ID、overlay_azimuth、overlay_elevation、overlay_tilt、overlay_azimuth_range、overlay_elevation_range、overlay_rot_yaw、overlay_rot_pitch和overlay_rot_roll、region_depth_minus1以及timeline_change_flag、name。
关于用户与叠加对象的交互，叠加对象特别地可以另外包括以下参数中的一个或更多个：change_position_flag、change_depth_flag、switch_on_off_flag、change_opacity_flag、resize_flag、rotation_flag、change_position_flag、change_depth_flag、switch_on_off_flag、change_opacity_flag、resize_flag或rotation_flag、use_other_overlay_flag。
根据实施方式，可以使用叠加参数，叠加参数指定是否允许用户在360°视频之上使用多于一个的叠加对象。
根据实施方式，叠加参数可以用于定义是否允许用户交叠两个或更多个叠加对象。
根据实施方式，叠加参数可以用于定义基于内容的属性，可以基于该基于内容的属性来使用“user_other_overlay_flag”。
根据实施方式，通过使用发送者标识符(ID)与(一个或更多个)叠加ID的组合或者基于发送者ID和(一个或更多个)叠加ID构建唯一的ID，发送者可以在远程会议中获得其他叠加对象的信息以获知可能的组合，并且发信号通知其他发送者的哪些叠加对象可以与它自己的视频组合。
关于沉浸式远程会议，当多个叠加视频或图像被重叠在360°视频上时，可以包括以下信息，诸如：
a.指定用作叠加对象的图像或视频的叠加源；
b.描述叠加对象是否相对于视口或球体而被锚定的叠加渲染类型；
c.渲染属性，诸如不透明度；
d.用户交互属性。
返回参照图2A和图2B，其中具有全向摄像装置的多个会议室处于远程会议中，并且用户选择来自会议室之一的视频流作为沉浸式视频来显示。现在，当任何另外的演示材料/共享屏幕与用户正在流式传输的360°视频一起使用时，该演示材料/共享屏幕作为单独的流按360°视频上的叠加对象进行发送。
根据实施方式，如图3A中所示，其中用户(3a01)正在他的电子装置(例如，HMD)上从远程会议房间A(3a02)流式传输沉浸式视频。房间A可以使用屏幕共享来显示来自房间X(3a03)和房间Y(3a04)的视频流，其中房间X正在流式传输2D视频流，而房间Y流式传输演示流(例如，幻灯片演示或图表)。根据实施方式，来自房间X和房间Y的流也可以广播给所有其他远程用户。
根据实施方式，可以为用户定义多重叠加标志，以允许显示多于一个的叠加对象。根据实施方式，多于一个的叠加对象可以包括来自360°视频的发送者以及来自其他用户的另外的叠加对象。
当多重叠加标志被设置为1时，可以允许流式传输360°视频的用户在360°视频之上使用多个叠加对象。
根据实施方式，当多重叠加标志被设置为0时，接收机处的用户仅使用一个叠加对象。当然，可以使用除0和1之外的其他值，但是应当注意，可以将一位用于使用0和1的多重叠加标志。
根据实施方式，多重叠加标志值可以由360°视频的发送者设置。
根据实施方式，可以在初始提议-应答协商期间在会话描述协议(SDP)中被提议多重叠加标志，并且也可以在会话期间重新协商多重叠加标志。
根据另一实施方式，如图3B中所示，当MRF/MCU(3b06)被用于建立呼叫时，可以使用多重叠加标志的相同或相似的用法。
在相同或另一实施方式中，可以定义另外的标志，诸如叠加交叠标志。
根据实施方式，叠加交叠标志可以指示是否允许用户将来自另一发送者的叠加对象交叠到由360°视频的发送者共享的叠加对象上。
根据实施方式，默认情况下，叠加交叠标志可以等于0。
根据实施方式，当叠加交叠被设置为1时，用户可以将来自另一发送者的叠加对象交叠到来自360°视频的发送者的叠加对象上。
根据实施方式，可以由360°视频的发送者设置参数，并且在初始提议-应答协商期间提议参数，并且也可以在会话期间重新协商参数。
根据相同或另一实施方式，参照图4A，考虑如下场景：在该场景中，客户端(例如，用户4a01)希望使用来自房间A的360°视频流(房间A使用屏幕共享来显示来自房间X的流)，而且也希望使用来自房间Z(4a05)的叠加对象，该房间Z的流不被房间A共享(除了同时精简由房间A共享的流)。
根据实施方式，可以使用标志“use_other_overlay_flag”，该标志指定是否允许用户使用来自其他发送者的未被360°视频的发送者共享的叠加对象。
根据实施方式，标志“use_other_overlay_flag”的值可以由正在流式传输其360°视频的发送者来设置。
根据实施方式，“use_other_overlay_flag”可以基于360°视频的发送者正在共享的叠加对象的内容类型。
根据实施方式，可以在初始提议应答协商期间在SDP信令中通过针对发送者共享的每个叠加对象的m＝行下包括属性“a＝permissible_content”来定义内容类型。
根据实施方式，定义和使用叠加标志的类似或相同的内容类型可以用于图4B的用于建立视频呼叫的(一个或更多个)实施方式。
在相同或另一实施方式中，当发起远程会议呼叫时，360°视频的发送者可以向会议中的所有其他用户发送询问他们对媒体流属性的接收的请求。这是为了了解每个用户在远程会议中可以接收的所有叠加对象的内容类型。用户可能希望与发送者共享或不共享其信息。这可以基于用户的安全方面。
根据实施方式，发送者可以发信号通知用户是否也被允许与其他发送者/用户共享该信息。当不被允许时，用户可以不与其他发送者共享该发送者的流。
根据实施方式，当发送者从用户接收到包括来自其他发送者的流的信息的回复时，该发送者可以使用每个发送者ID连同每个叠加ID一起来向远程会议会话中的所有叠加对象分派(一个或更多个)全局唯一叠加ID。
根据实施方式，可以与所有发送者和用户共享全局唯一ID的构建，使得全局唯一ID可以被所有实体解析和处理。
根据相同或相似的实施方式，当发送者允许用户将其视频流传送给其他发送者时，该发送者可以在发送者与用户通信(例如，传送给用户)时设置“share_streams_info_allowed”标志。
在相同实施方式中，如果用户接受发送者的共享其属性的请求，则还可以包括标志“multiple_overlay_flag”、“overlay_overlap_flag”以传送其他叠加对象是否可能与其媒体流一起使用。
在相同或相似的实施方式中，当(一个或更多个)用户接受发送者的共享用户属性(或发送者属性)的请求时，可以包括如下属性，该属性指定可以包括与媒体流一起使用的可容许的内容类型。
根据实施方式，发送者在从用户接收到关于他们的媒体流的回复之后可以仅向用户发送可以基于其他叠加对象的属性的选定的叠加对象。
虽然在上面的描述中解释了用户的交互，但是应当注意，用户交互通过诸如智能电话或HMD装置的电子装置来促进。因此，当说明书描述允许用户执行动作时，本公开内容针对与用户相关联的、用户正在使用的远程终端(例如，拨入视频呼叫的远程终端)，该远程终端被允许(或不被允许)执行动作。
上述用于沉浸式远程会议和远程呈现的叠加处理的技术可以实现为使用计算机可读指令并物理地存储在一个或更多个计算机可读介质中的计算机软件。例如，图5示出了适于实现所公开的主题的某些实施方式的计算机系统500。
计算机软件可以使用任何合适的机器代码或计算机语言来编码，机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，所述指令可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或者通过解译、微代码执行等来执行。
指令可以在各种类型的计算机或其部件上执行，所述计算机或其部件包括例如个人计算机、平板电脑、服务器、智能电话、游戏装置、物联网装置等。
图5中示出的用于计算机系统500的部件性质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应该被解释为具有与计算机系统500的示例性实施方式中所示的部件中的任何一个或组合有关的任何依赖性或要求。
计算机系统500可以包括某些人机接口输入装置。诸如人机接口输入装置可以对由一个或更多个人类用户通过例如触觉输入(诸如击键、划动、数据手套移动)、音频输入(诸如语音、拍打)、视觉输入(诸如姿势)、嗅觉输入进行的输入作出响应。人机接口装置还可以用于捕获不一定与人的如下有意识的输入直接有关的某些媒体：诸如音频(诸如语音、音乐、环境声音)、图像(诸如扫描图像、从静态图像摄像装置获得的摄影图像)、视频(诸如二维视频、包括立体视频的三维视频)。
根据实施方式，输入人机接口装置可以包括以下项中的一项或更多项：键盘501、鼠标502、触控板503、触摸屏510、数据手套、操纵杆505、麦克风506、扫描仪507或摄像装置508。
根据实施方式，计算机系统500还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感官。这样的人机接口输出装置可以包括：一个或更多个触觉输出装置(例如，通过触摸屏510、数据手套或操纵杆505进行的触觉反馈，但是还可以存在不用作输入装置的触觉反馈装置)、音频输出装置(诸如扬声器509、头戴式耳机)、视觉输出装置(诸如屏幕510，屏幕510包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、发光二极管(LED)(诸如有机LED(OLED))屏幕，每个屏幕具有或不具有触摸屏输入能力，每个屏幕具有或不具有触觉反馈能力——其中的一些屏幕能够通过诸如立体图形输出的方式输出二维视觉输出或多于三维输出；虚拟现实眼镜；全息显示器以及烟罐)以及打印机。
根据实施方式，计算机系统500还可以包括人类可访问的存储装置及其相关联的介质诸如光学介质，所述光学介质包括光盘(CD)只读存储器(ROM)/读/写存储器(RW)或数字多功能盘(DVD)ROM/RW或者CD/DVD ROM/RW 520与CD/DVD的组合等，可以使用介质521。另外地或可替选地，以下项中的一项或更多项可以用于存储：拇指驱动器(522)、可移动硬盘驱动器或固态驱动器(SSD)523、诸如磁带和软盘的传统磁介质、基于专用ROM/专用集成电路(ASIC)/可编程逻辑器件(PLD)的设备诸如安全加密狗等。
本领域技术人员还应当理解，结合目前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。也就是说，计算机可读介质针对非暂态计算机可读介质。
根据实施方式，计算机系统500还可以包括到一个或更多个通信网络的接口。网络例如可以是无线网络、有线网络、光网络。网络还可以为局域的、广域的、城域的、车载和工业的、实时的、延迟容忍的等。网络的示例包括：局域网，诸如以太网、无线局域网(LAN)；蜂窝网络，包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)或任何其他通信标准；电视(TV)有线或无线广域数字网络，包括有线TV、卫星TV和地面广播TV；车载和工业网络，包括控制器区域网络总线(CANBus)等。某些网络通常需要附接至某些通用数据端口或外围总线(549)(诸如，例如计算机系统500的通用串行总线(USB)端口)的外部网络接口适配器；其他网络通常通过如下所述(例如，到个人计算机(PC)计算机系统的以太网接口或到智能电话计算机系统的蜂窝网络接口)附接至系统总线而集成至计算机系统500的核中。使用这些网络中的任何一个，计算机系统500可以与其他实体通信。这样的通信可以是单向仅接收的(例如，广播TV)、单向仅发送的(例如，至某些CAN总线装置的CAN总线)、或双向的(例如，使用局域数字网络或广域数字网络至其他计算机系统)。可以在如上面所描述的这些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口装置、人类可访问的存储装置和网络接口可以附接至计算机系统500的核540。
核540可以包括一个或更多个中央处理单元(CPU)541、图形处理单元(GPU)542、现场可编程门区(FPGA)543形式的专用可编程处理单元、用于某些任务的硬件加速器544等。这些装置连同只读存储器(ROM)545、随机存取存储器546、内部大容量存储装置(诸如内部非用户可访问的硬盘驱动器、SSD等)547一起可以通过系统总线548连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线548，以使得能够通过附加的中央处理单元(CPU)、图形处理单元(GPU)等进行扩展。外围装置可以直接地或者通过外围总线549附接至核的系统总线548。外围总线的架构可以包括外围组件互连(PCI)、USB等。
CPU 541、GPU 542、FPGA 543和加速器544可以执行某些指令，这些指令可以组合地构成前述计算机代码。该计算机代码可以存储在ROM 545或随机存取存储器(RAM)546中。瞬态数据也可以存储在RAM 546中，而永久数据可以存储在例如内部大容量存储装置547中。可以通过使用缓存存储器来实现对存储器装置中的任何存储器装置的快速存储和检索，该缓存存储器可以与一个或更多个CPU 541、GPU 542、大容量存储装置547、ROM 545、RAM 546等紧密相关联。
计算机可读介质上可以具有计算机代码，该计算机代码用于执行各种计算机实现的操作。介质和计算机代码可以出于本公开内容的目的而专门设计和构造，或者介质和计算机代码可以具有对于计算机软件领域的技术人员公知且可用的类型。
作为示例而非限制，具有架构的计算机系统500——特别是核540——可以由于(一个或更多个)处理器(包括CPU、GPU、FPGA、加速器等)执行体现在一个或更多个有形计算机可读介质中的软件而提供功能。这样的计算机可读介质可以是与如上所介绍的用户可访问的大容量存储装置相关联的介质以及核540的具有非暂态性质的某些存储装置诸如核内部大容量存储装置547或ROM 545。实现本公开内容的各种实施方式的软件可以存储在这样的装置中并由核540执行。根据特定需求，计算机可读介质可以包括一个或更多个存储器装置或芯片。软件可以使核540并且特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文中描述的特定处理或特定处理的特定部分，包括限定存储在RAM 546中的数据结构以及根据由软件限定的处理修改这样的数据结构。另外地或作为替选，计算机系统可以由于硬连线或以其他方式体现在电路(例如加速器544)中的逻辑而提供功能，该逻辑可以代替软件操作或者与软件一起操作，以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，对软件的提及可以包含逻辑，反之对逻辑的提及也可以包含软件。在适当的情况下，提及计算机可读介质可以涵盖存储用于执行的软件的电路(诸如集成电路(IC))、包含用于执行的逻辑的电路或上述两者。本公开内容涵盖硬件和软件的任何合适的组合。
虽然本公开内容已经描述了一些示例性实施方式，但是存在落入本公开内容的范围内的改变、置换和各种替换等同物。因此将认识到，虽然本文中未明确示出或描述，但是本领域技术人员将能够设想体现本公开内容的原理并且因此在本公开内容的精神和范围内的许多系统和方法。
现在参照图6，描绘了用于视频会议的方法600的步骤的操作性流程图。在一些实现方式中，一个或更多个过程块可以由计算机和服务器执行。在一些实现方式中，一个或更多个过程块可以由与计算机和服务器分开或包括计算机和服务器的另一设备或一组设备执行。
实施方式涉及用于视频会议的方法、系统和非暂态计算机可读介质。
如图6中所示，可以提供用于流式传输视频数据的方法。
如图6中所示，该方法可以包括：
操作601：由用户终端从电子装置或服务器接收360°视频流，其中，360°视频流包括多重叠加参数，该多重叠加参数指示用户终端是否允许将360°视频流与两个或更多个叠加对象进行叠加；
操作602：由用户终端显示360°视频流；
操作603：确定多重叠加参数是否实际指示用户终端实际上允许将360°视频流与两个或更多个叠加对象进行叠加。
操作604：当多重叠加参数是第一值时，由用户终端确定用户终端允许将360°视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有两个或更多个叠加对象的360°视频流；以及
操作605：当多重叠加参数是第二值时，由用户终端确定用户终端不允许将360°视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有零叠加对象或一个叠加对象的360°视频流。
第一值可以不同于第二值，并且一个或更多个叠加对象可以包括以下项中的一项或更多项：另一视频流或图像。
360°视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠。
该方法还可以包括：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠时，由用户终端显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
360°视频流可以包括允许使用两个或更多个叠加对象的基于内容的属性。
360°视频流可以包括当用户被允许与其他发送者共享发送者的流信息时进行发信号通知的标志。
该方法还可以包括：由用户终端接收来自电子装置或服务器的请求，其中，该请求是对远程会议中的一个或更多个用户共享媒体流属性的请求；以及由用户终端向电子装置或服务器发送关于用户终端授权共享的媒体流属性的信息。
关于用户愿意共享的媒体流属性的信息包括与发送者ID对应的标识符(ID)。
该方法还可以包括：由电子装置或服务器通过将至少一个发送者ID与至少一个叠加ID进行组合来分配唯一的叠加ID。
该方法还可以包括：在初始提议-应答协商期间或在会话期间协商多重叠加参数。
可以在360°视频流的会话描述协议(SDP)中提议多重叠加参数。
该方法还可以包括：在初始提议-应答协商期间或者在会话期间协商交叠叠加参数。
可以在360°视频流的会话描述协议(SDP)中提议交叠叠加参数。
该方法还可以包括：在初始提议-应答协商期间或在会话期间协商基于内容的属性。
可以在360°视频流的会话描述协议(SDP)中提议基于内容的属性。
该方法还可以包括：由用户终端向电子装置或服务器传送另一用户是否被授权与其他电子装置共享由用户终端共享的流信息。
该方法还可以包括：由用户终端向电子装置或服务器传送另一用户是否被授权与其他电子装置共享由用户终端共享的流信息。
该方法还可以包括：由电子装置或服务器与其他电子装置共享除了由电子装置或服务器产生的任何一个或更多个叠加对象之外的至少一个另外的叠加对象，其中，该至少一个另外的叠加对象仅包括其中相应的叠加视频的发送者授权共享该叠加对象的叠加对象。
根据实施方式，可以提供用于视频会议的计算机系统，该计算机系统可以包括：通信接口；显示器；被配置成存储计算机程序代码的一个或更多个计算机可读非暂态存储介质；以及被配置成访问所述计算机程序代码并按照所述计算机程序代码所指示的进行操作的一个或更多个计算机处理器。
计算机程序代码可以包括：接收代码，该接收代码被配置成使一个或更多个计算机处理器经由通信接口接收360°视频流，其中，该360°视频流包括多重叠加参数，该多重叠加参数指示用户终端是否允许将360°视频流与两个或更多个叠加对象进行叠加；显示代码，该显示代码被配置成使一个或更多个计算机处理器控制显示器以显示所接收的360°视频流；多重叠加授权代码，该多重叠加授权代码被配置成使一个或更多个计算机处理器执行以下操作：当多重叠加参数是第一值时，确定用户终端允许将360°视频流与两个或更多个叠加对象进行叠加，并且控制显示器以显示具有两个或更多个叠加对象的360°视频流；以及多重叠加未授权代码，该多重叠加未授权代码被配置成使一个或更多个计算机处理器执行以下操作：当多重叠加参数是第二值时，确定用户终端不允许将360°视频流与两个或更多个叠加对象进行叠加，并且控制显示器以显示具有零叠加对象或一个叠加对象的360°视频流。
第一值可以不同于第二值，并且一个或更多个叠加对象可以包括以下项中的一项或更多项：另一视频流或图像。
360°视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且计算机程序代码还可以包括：交叠叠加授权代码，该交叠叠加授权代码被配置成使一个或更多个处理器执行以下操作：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠时，对显示器进行控制以显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
根据实施方式，一种存储有计算机程序的非暂态计算机可读介质，该计算机程序被配置成使一个或更多个计算机处理器执行以下操作：接收360°视频流，其中，360°视频流包括多重叠加参数，该多重叠加参数指示是否允许将360°视频流与两个或更多个叠加对象进行叠加；对显示器进行控制以显示接收到的360°视频流；当多重叠加参数是第一值时，确定允许将360°视频流与两个或更多个叠加对象进行叠加，并且对显示器进行控制以显示具有两个或更多个叠加对象的360°视频流；并且当多重叠加参数是第二值时，确定不允许将360°视频流与两个或更多个叠加对象进行叠加，并且对显示器进行控制以显示具有零叠加对象或一个叠加对象的360°视频流，其中，第一值不同于第二值，并且其中，一个或更多个叠加对象包括以下项中的一项或更多项：另一视频流或图像。
360°视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且计算机程序还可以被配置成使一个或更多个计算机处理器执行以下操作：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠时，对显示器进行控制以显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
可以理解的是，流程图(例如，图6)仅提供了一种实现方式的说明，并不意指关于如何实现不同的实施方式的任何限制。可以基于设计和实现需求对所描绘的环境进行许多修改。
上述技术可以由一个或更多个处理器实现，这些处理器可以执行具有计算机可读指令的计算机软件，这些计算机可读指令可以物理地存储在一个或更多个计算机可读介质(例如，硬盘驱动器)中。例如，图5示出了适于实现所公开的主题的某些实施方式的计算机系统。
计算机软件可以使用任何合适的机器代码或计算机语言来编码，机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，所述指令可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或者通过解译、微代码执行等来执行。
指令可以在各种类型的计算机或其部件——包括例如个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网(IoT)装置等——上执行。
虽然本公开内容已经描述了一些示例性实施方式，但是存在落入本公开内容的范围内的改变、置换和各种替换等同物。因此将认识到，虽然本文中未明确示出或描述，但是本领域技术人员将能够设想体现本公开内容的原理并且因此在本公开内容的精神和范围内的许多系统和方法。
一些实施方式可以涉及任何可能的集成的技术细节水平的系统、方法和/或计算机可读介质。计算机可读介质可以包括(一种或多种)计算机可读非暂态存储介质，该计算机可读非暂态存储介质上具有用于使处理器执行操作的计算机可读程序指令。
计算机可读存储介质可以是能够保留和存储由指令执行装置所使用的指令的有形装置。计算机可读存储介质可以是例如但不限于：电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述存储装置的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码装置诸如记录有指令的凹槽中的凸起结构或打孔卡、以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理装置，或者经由网络例如因特网、局域网、广域网和/或无线网络下载到外部计算机或外部存储装置。网络可以包括铜传输线缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路系统的配置数据、或者是以一种或更多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如Smalltalk、C++等)以及过程式编程语言(例如“C”编程语言或类似的编程语言)。计算机可读程序指令可以作为独立软件包完全地在用户的计算机上执行、部分地在用户的计算机上执行，可以部分地在用户的计算机上并且部分地在远程计算机上执行，或者可以完全地在远程计算机或服务器上执行。在后一种情形下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接至用户的计算机，或者可以(例如通过使用因特网服务提供商的因特网)与外部计算机进行连接。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用计算机可读程序指令的状态信息以使电子电路个性化来执行计算机可读程序指令，以便执行各方面或操作。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图中的一个或多个块中所指定的功能/动作的手段。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，该计算机可读存储介质可以以特定方式引导计算机、可编程数据处理设备和/或其他装置起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图中的一个或多个块中所指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理设备或其他装置上，以使要在计算机、其他可编程设备或其他装置上执行的一系列操作步骤能够产生计算机实现的过程，从而使得在计算机、其他可编程设备或其他装置上执行的指令实现流程图和/或框图中的一个或多个块中指定的功能/动作。
附图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能的实现方式的架构、功能和操作。在这方面，流程图或框图中的每个块可以表示模块、段或指令的部分，所述模块、段或指令的部分包括用于实现指定的一个或多个逻辑功能的一个或更多个可执行指令。该方法、计算机系统和计算机可读介质可以包括与附图中所描绘的那些块相比附加的块、更少的块、不同的块或不同布置的块。在一些替选实现方式中，在块中指出的功能可以不按照附图中所指出的顺序发生。例如，连续示出的两个块实际上可以同时或基本上同时被执行，或者块有时可以根据所涉及的功能而按照相反的顺序被执行。还应当注意的是，可以通过基于专用硬件的系统来实现框图和/或流程图图示中的每个块以及框图和/或流程图图示中的块的组合，所述基于专用硬件的系统执行指定的功能或动作或者实现专用硬件和计算机指令的组合。
将明显的是，本文中描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制这些实现方式。因此，本文中在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为——应当理解的是，可以设计软件和硬件以实现基于本文中的描述的系统和/或方法。
本文使用的任何元素、动作或指令均不应被解释为关键的或必要的，除非明确地如此描述。另外，如本文所使用的，冠词“一(a)”和“一个(an)”旨在包括一个或更多个项，并且可以与“一个或更多个”互换使用。此外，如本文使用的，术语“集合”旨在包括一个或更多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或更多个”互换使用。在意指仅一项的情况下，使用术语“一(one)”或类似语言。而且，如本文中使用的，术语“具有”、“有”、“含有”等旨在为开放式术语。此外，除非另有明确说明，否则词语“基于”旨在意味着“至少部分地基于”。
已经出于说明的目的呈现了对各个方面和实施方式的描述，但是这些描述不旨在是穷举的或限于所公开的实施方式。尽管在权利要求中记载了以及/或者在说明书中公开了特征的组合，但是这些组合不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以未在权利要求中具体记载和/或未在说明书中公开的方式组合。尽管所列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每一个其他权利要求的组合。在不偏离所描述的实施方式的范围的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。本文中所使用的术语被选择以最好地说明实施方式的原理、实际应用或超越市场上发现的技术的技术改进，或者以使本领域的其他普通技术人员能够理解本文所公开的实施方式。

Claims (20)

1.一种方法，包括：
由用户终端从电子装置或服务器接收360°视频流，其中，所述360°视频流包括多重叠加参数，所述多重叠加参数指示所述用户终端是否允许将所述360°视频流与两个或更多个叠加对象进行叠加；
由所述用户终端显示所述360°视频流；
当所述多重叠加参数是第一值时，由所述用户终端确定所述用户终端允许将所述360°视频流与两个或更多个叠加对象进行叠加，并且由所述用户终端显示具有所述两个或更多个叠加对象的所述360°视频流；以及
当所述多重叠加参数是第二值时，由所述用户终端确定所述用户终端不允许将所述360°视频流与两个或更多个叠加对象进行叠加，并且由所述用户终端显示具有零叠加对象或一个叠加对象的所述360°视频流，
其中，所述第一值不同于所述第二值，并且
其中，所述一个叠加对象或多个叠加对象包括以下项中的一项或更多项：另一视频流或图像。
2.根据权利要求1所述的方法，其中
所述360°视频流包括交叠叠加参数，所述交叠叠加参数指示是否允许将所述两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且
所述方法还包括：
当所述交叠叠加参数指示允许将所述两个或更多个叠加对象中的一个叠加对象与所述第一叠加对象进行交叠时，由所述用户终端显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
3.根据权利要求1所述的方法，其中，所述360°视频流包括基于内容的属性，所述基于内容的属性允许使用所述两个或更多个叠加对象。
4.根据权利要求1所述的方法，其中，所述360°视频流包括当所述用户被允许与其他发送者共享发送者的流信息时进行发信号通知的标志。
5.根据权利要求1所述的方法，还包括：
由所述用户终端从所述电子装置或所述服务器接收请求，其中，所述请求是用于远程会议中的一个或更多个用户共享媒体流属性的请求；以及
由所述用户终端向所述电子装置或所述服务器发送关于所述用户终端授权共享的媒体流属性的信息。
6.根据权利要求5所述的方法，其中，关于所述用户愿意共享的媒体流属性的信息包括与发送者ID对应的标识符(ID)。
7.根据权利要求6所述的方法，还包括：
由所述电子装置或所述服务器通过将至少一个发送者ID与至少一个叠加ID进行组合来分配唯一的叠加ID。
8.根据权利要求1所述的方法，还包括：在初始提议-应答协商期间或在会话期间协商所述多重叠加参数。
9.根据权利要求1所述的方法，其中，在所述360°视频流的会话描述协议(SDP)中提议所述多重叠加参数。
10.根据权利要求2所述的方法，还包括：在初始提议-应答协商期间或在会话期间协商所述交叠叠加参数。
11.根据权利要求2所述的方法，其中，在所述360°视频流的会话描述协议(SDP)中提议所述交叠叠加参数。
12.根据权利要求3所述的方法，还包括：在初始提议-应答协商期间或在会话期间协商所述基于内容的属性。
13.根据权利要求3所述的方法，其中，在所述360°视频流的会话描述协议(SDP)中提议所述基于内容的属性。
14.根据权利要求4所述的方法，还包括：由所述用户终端向所述电子装置或所述服务器传送另一用户是否被授权与其他电子装置共享由所述用户终端共享的流信息。
15.根据权利要求5所述的方法，还包括：由所述用户终端向所述电子装置或所述服务器传送另一用户是否被授权与其他电子装置共享由所述用户终端共享的流信息。
16.根据权利要求14所述的方法，还包括：由所述电子装置或所述服务器与所述其他电子装置共享除了由所述电子装置或所述服务器产生的任何一个或多个叠加对象之外的至少一个另外的叠加对象，其中，所述至少一个另外的叠加对象仅包括其中相应的叠加视频的发送者授权共享所述叠加对象的叠加对象。
17.一种用于视频会议的用户终端，所述计算机系统包括：
通信接口；
显示器；
一个或更多个计算机可读非暂态存储介质，所述一个或更多个计算机可读非暂态存储介质被配置成存储计算机程序代码；以及
一个或更多个计算机处理器，所述一个或更多个计算机处理器被配置成访问所述计算机程序代码并按照所述计算机程序代码所指示的进行操作，所述计算机程序代码包括：
接收代码，所述接收代码被配置成使所述一个或更多个计算机处理器经由所述通信接口接收360°视频流，其中，所述360°视频流包括多重叠加参数，所述多重叠加参数指示所述用户终端是否允许将所述360°视频流与两个或更多个叠加对象进行叠加；
显示代码，所述显示代码被配置成使所述一个或更多个计算机处理器控制所述显示器以显示接收到的360°视频流；
多重叠加授权代码，所述多重叠加授权代码被配置成使所述一个或更多个计算机处理器执行以下操作：当所述多重叠加参数是第一值时，确定所述用户终端允许将所述360°视频流与两个或更多个叠加对象进行叠加，并且控制所述显示器来显示具有所述两个或更多个叠加对象的所述360°视频流；以及
多重叠加未授权代码，所述多重叠加未授权代码被配置成使所述一个或更多个计算机处理器执行以下操作：当所述多重叠加参数是第二值时，确定所述用户终端不允许将所述360°视频流与两个或更多个叠加对象进行叠加，并且控制所述显示器来显示具有零叠加对象或一个叠加对象的所述360°视频流，
其中，所述第一值不同于所述第二值，并且
其中，所述一个叠加对象或多个叠加对象包括以下项中的一项或更多项：另一视频流或图像。
18.根据权利要求17所述的计算机系统，其中
所述360°视频流包括交叠叠加参数，所述交叠叠加参数指示是否允许将所述两个或更多个叠加对象中的一个叠加对象与第一叠对象加进行交叠，并且
所述计算机程序代码还包括：交叠叠加授权代码，所述交叠叠加授权代码被配置成使所述一个或更多个处理器执行以下操作：当所述交叠叠加参数指示允许将所述两个或更多个叠加对象中的一个叠加对象与所述第一叠加对象进行交叠时，控制所述显示器来显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
19.一种非暂态计算机可读介质，其上存储有用于处理视频呼叫的计算机程序，所述计算机程序被配置成使一个或更多个计算机处理器执行以下操作：
接收360°视频流，其中，所述360°视频流包括多重叠加参数，所述多重叠加参数指示是否允许将所述360°视频流与两个或更多个叠加对象进行叠加；
对显示器进行控制以显示所接收到的360°视频流；
当所述多重叠加参数是第一值时，确定允许将所述360°视频流与两个或更多个叠加对象进行叠加，并且对所述显示器进行控制以显示具有所述两个或更多个叠加对象的所述360°视频流；以及
当所述多重叠加参数是第二值时，确定不允许将所述360°视频流与两个或更多个叠加对象进行叠加，并且对所述显示器进行控制以显示具有零叠加对象或一个叠加对象的所述360°视频流，
其中，所述第一值不同于所述第二值，并且
其中，所述一个或多个叠加对象包括以下项中的一项或更多项：另一视频流或图像。
20.根据权利要求19所述的非暂态计算机可读介质，其中
所述360°视频流包括交叠叠加参数，所述交叠叠加参数指示是否允许将所述两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且
其中，所述计算机程序还被配置成使所述一个或更多个计算机处理器执行以下操作：当所述交叠叠加参数指示允许将所述两个或更多个叠加对象中的一个叠加对象与所述第一叠加对象进行交叠时，对所述显示器进行控制以显示具有所述两个或更多个叠加对象的所述360°视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
CN202180005495.5A 2020-08-11 2021-05-10 用于远程终端的沉浸式远程会议和远程呈现的交互式叠加处理 Pending CN114503548A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063064252P 2020-08-11 2020-08-11
US63/064,252 2020-08-11
US17/098,388 2020-11-15
US17/098,388 US11431956B2 (en) 2020-08-11 2020-11-15 Interactive overlay handling for immersive teleconferencing and telepresence for remote terminals
PCT/US2021/031548 WO2022035482A1 (en) 2020-08-11 2021-05-10 Interactive overlay handling for immersive teleconferencing and telepresence for remote terminals

Publications (1)

Publication Number Publication Date
CN114503548A true CN114503548A (zh) 2022-05-13

Family

ID=80223439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180005495.5A Pending CN114503548A (zh) 2020-08-11 2021-05-10 用于远程终端的沉浸式远程会议和远程呈现的交互式叠加处理

Country Status (6)

Country Link
US (1) US11431956B2 (zh)
EP (1) EP4011062A4 (zh)
JP (1) JP7419529B2 (zh)
KR (1) KR102586860B1 (zh)
CN (1) CN114503548A (zh)
WO (1) WO2022035482A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572183B2 (en) * 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US20180316948A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
EP3741108A4 (en) * 2018-01-17 2021-10-13 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
WO2019235849A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US10931930B2 (en) * 2018-07-06 2021-02-23 Mediatek Singapore Pte. Ltd. Methods and apparatus for immersive media content overlays

Also Published As

Publication number Publication date
US20220053176A1 (en) 2022-02-17
KR102586860B1 (ko) 2023-10-11
KR20220058610A (ko) 2022-05-09
JP2023502789A (ja) 2023-01-25
WO2022035482A1 (en) 2022-02-17
EP4011062A1 (en) 2022-06-15
US11431956B2 (en) 2022-08-30
EP4011062A4 (en) 2022-10-12
JP7419529B2 (ja) 2024-01-22

Similar Documents

Publication Publication Date Title
US11662975B2 (en) Method and apparatus for teleconference
US20220303503A1 (en) Parameters for overlay handling for immersive teleconferencing and telepresence for remote terminals
US11943073B2 (en) Multiple grouping for immersive teleconferencing and telepresence
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
US11431956B2 (en) Interactive overlay handling for immersive teleconferencing and telepresence for remote terminals
KR102719180B1 (ko) 몰입형 원격 회의 및 텔레프레즌스를 위한 다중 그룹화
US12113845B2 (en) Techniques for signaling audio mixing gain in teleconferencing and telepresence for remote terminals
CN116636201A (zh) 使用rtcp反馈发信号通知用于远程终端的远程会议和远程呈现的多个音频混合增益的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40067908

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination