CN113015000B - 渲染和显示的方法、服务器、终端、计算机可读介质 - Google Patents

渲染和显示的方法、服务器、终端、计算机可读介质 Download PDF

Info

Publication number
CN113015000B
CN113015000B CN201911320479.6A CN201911320479A CN113015000B CN 113015000 B CN113015000 B CN 113015000B CN 201911320479 A CN201911320479 A CN 201911320479A CN 113015000 B CN113015000 B CN 113015000B
Authority
CN
China
Prior art keywords
video stream
terminal
rendering
information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911320479.6A
Other languages
English (en)
Other versions
CN113015000A (zh
Inventor
周士俊
屠要峰
梅君君
黄震江
陈俊
赵志东
孟天亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201911320479.6A priority Critical patent/CN113015000B/zh
Priority to US17/622,762 priority patent/US20220256235A1/en
Priority to PCT/CN2020/113164 priority patent/WO2021120696A1/zh
Priority to EP20901793.8A priority patent/EP3974996A4/en
Publication of CN113015000A publication Critical patent/CN113015000A/zh
Application granted granted Critical
Publication of CN113015000B publication Critical patent/CN113015000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例提供了一种渲染的方法，用于服务器，方法包括：接收来自至少一个终端的渲染依据信息；其中，所有提供所述渲染依据信息的终端构成源终端集合；根据所述渲染依据信息，渲染得到结果视频流；向至少一个目标终端发送所述结果视频流；其中，对任意一个所述目标终端，所述源终端集合均包括至少一个除该目标终端外的其它终端。本公开实施例还提供了一种显示的方法、服务器、终端、计算机可读介质。

Description

渲染和显示的方法、服务器、终端、计算机可读介质
技术领域
本公开实施例涉及视频渲染技术领域，特别涉及渲染和显示的方法、服务器、终端、计算机可读介质。
背景技术
在虚拟现实(VR,Virtual Reality)显示和增强现实(AR,Augmented Reality)显示中，并非直接显示已有视频(如保存的视频文件)，而是要根据终端的实时情况(如VR头盔的运动状态、AR眼镜采集的视频流等)实时的渲染得到视频流。
为提高VR显示和AR显示的质量，其渲染过程所需的运算量也会提高，从而对终端的性能、能耗等提出了更高的要求。
发明内容
本公开实施例提供一种渲染和显示的方法、服务器、终端、计算机可读介质。
第一方面，本公开实施例提供一种渲染的方法，用于服务器，所述方法包括：
接收来自至少一个终端的渲染依据信息；其中，所有提供所述渲染依据信息的终端构成源终端集合；
根据所述渲染依据信息，渲染得到结果视频流；
向至少一个目标终端发送所述结果视频流；其中，对任意一个所述目标终端，所述源终端集合均包括至少一个除该目标终端外的其它终端。
在一些实施例中，所述渲染依据信息包括以下至少一项：
源视频流信息；
运动状态信息；
控制指令信息。
在一些实施例中，所述源终端集合包括多个终端。
在一些实施例中，所述源终端集合仅包括一个终端；
任意一个目标终端均不属于所述源终端集合。
在一些实施例中，在所述根据所述渲染依据信息，渲染得到结果视频流后，还包括：
向所述源终端集合中的终端发送所述结果视频流。
在一些实施例中，在所述接收来自至少一个终端的渲染依据信息前，还包括：
对终端进行认证，被认证的终端包括所述目标终端和所述源终端集合中的全部终端。
第二方面，本公开实施例提供显示的方法，用于终端，所述方法包括：
向服务器发送渲染依据信息；
接收来自所述服务器的结果视频流；其中，所述结果视频流是由所述服务器根据该终端发送的渲染依据信息和至少一个其它终端发送的渲染依据信息渲染得到的；
显示所述结果视频流。
在一些实施例中，在所述向服务器发送渲染依据信息前，还包括以下至少一项：
获取源视频流信息；所述渲染依据信息包括所述源视频流信息；
获取运动状态信息；所述渲染依据信息包括所述运动状态信息；
获取控制指令信息；所述渲染依据信息包括所述控制指令信息。
在一些实施例中，在所述向服务器发送渲染依据信息前，还包括：
与所述服务器进行认证。
第三方面，本公开实施例提供服务器，包括：
第一接收单元，配置为接收来自至少一个终端的渲染依据信息；其中，所有提供所述渲染依据信息的终端构成源终端集合；
渲染单元，配置为根据所述渲染依据信息，渲染得到结果视频流；
第一发送单元，配置为向至少一个目标终端发送所述结果视频流；其中，对任意一个所述目标终端，所述源终端集合均包括至少一个除该目标终端外的其它终端。
第四方面，本公开实施例提供一种终端，包括：
第二发送单元，配置为向服务器发送渲染依据信息；
第二接收单元，配置为接收来自所述服务器的结果视频流；其中，所述结果视频流是由所述服务器根据该终端发送的渲染依据信息和至少一个其它终端发送的渲染依据信息渲染得到的；
显示单元，配置为显示所述结果视频流。
在一些实施例中，所述终端还包括以下至少一项：
源视频流获取单元，配置为获取源视频流信息；所述渲染依据信息包括所述源视频流信息；
运动状态获取单元，配置为获取运动状态信息；所述渲染依据信息包括所述运动状态信息；
控制指令获取单元，配置为获取控制指令信息；所述渲染依据信息包括所述运动状态信息。
在一些实施例中，所述显示单元为3D显示单元。
第五方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的渲染的方法。
第六方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的显示的方法。
本公开实施例中，得到待终端显示的结果视频流的“渲染”操作，不是在终端自身进行的，而是在服务器中进行的，故其相当于“云渲染”；由于服务器的资源、运算能力通常远大于终端，故通过本公开实施例，可提高渲染的效率和质量，节约终端的资源和能耗，获得更好的显示效果。
同时，随着通信技术的发展(例如随着5G或更高代的通信技术的普及)，终端与服务器间的信息交互(如无线方式的信息交互)速度大大提高，足以及时的完成相关信息的传递，故在服务器中进行渲染也不会对终端显示的实时性造成明显影响。
另外，本公开实施例中，每个终端接收的结果视频流不仅由其自身的渲染依据信息渲染得到，还由其它终端的渲染依据信息得到；即，每个终端显示的内容是与其它终端的状态相关的，相当于与其它终端“信息交互”的结果。由此，本公开实施例实际实现了不同终端(或者说不同用户)之间的视频交互和信息传递，相当于实现了“视频会议”或“音视频会议”等。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例提供的一种渲染的方法的流程图；
图2为本公开实施例提供的另一种渲染的方法的流程图；
图3为本公开实施例提供的一种显示的方法的流程图；
图4为本公开实施例提供的另一种显示的方法的流程图；
图5为本公开实施例提供的一种服务器的组成框图；
图6为本公开实施例提供的一种终端的组成框图；
图7为本公开实施例提供的另一种终端的组成框图；
图8为本公开实施例提供的一种计算机可读介质的组成框图；
图9为本公开实施例提供的一种服务器与终端的连接关系逻辑框图；
图10为本公开实施例提供的一种工业设计场景的信息交互逻辑框图；
图11为本公开实施例提供的一种教学场景的信息交互逻辑框图；
图12为本公开实施例提供的一种旅游场景的信息交互逻辑框图。
具体实施方式
为使本领域的技术人员更好地理解本公开实施例的技术方案，下面结合附图对本公开实施例提供的渲染和显示的方法、服务器、终端、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述本公开实施例，但是所示的实施例可以以不同形式来体现，且不应当被解释为限于本公开阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
本公开实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
本公开所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本公开所使用的术语“和/或”包括一个或多个相关列举条目的任何和所有组合。如本公开所使用的单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。如本公开所使用的术语“包括”、“由……制成”，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本公开所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本公开明确如此限定。
本公开实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不是旨在限制性的。
本公开实施例用于通过服务器渲染得到视频流，而渲染后的视频流则供终端进行显示、播放。
具体的，本公开实施例能通过视频流的形式，实现不同终端间信息的实时交互，故可用于“视频会议”或“音视频会议”等。
其中，“服务器”是指具有数据处理能力的、不同于终端的设备；服务器能与终端通信连接(例如是无线通信连接，更具体如5G通信连接)，从而具有与终端交互信息的能力。
具体的，相对终端，服务器可部署在“云端”，其可为实体设备，也可为由虚拟设备虚拟得到的“虚拟机(VM)”；服务器对应的实体设备可集中分布在一起(如在某个机房中)，也可通过云端的连接分布在不同位置(如在不同城市)。
其中，“渲染”是指对已有的信息(渲染依据信息)进行处理，以根据其得到能被终端播放的视频流的过程，或者说是根据信息确定终端“应显示什么内容”的过程。
其中，“渲染依据信息”可包括其它的视频流，但不能等同于渲染后的视频流，即“渲染”过程必须是“生成新视频流”的过程，而不能仅仅是“转发已有视频流”的过程。
其中，“视频流”是指以一定速度传输的、能被终端显示的视频数据。因此，视频流是有时间性的，每段时间内的视频流对应一段时间(可与视频流的时间段相同或不同)内的应显示的内容；因此，视频流不能是保存在本地的完整的视频文件(如RM文件、AVI文件等)。
其中，“终端”是指能播放视频流的设备。具体的，本公开实施例的终端可用于实现3D(三维立体)显示，更具体可为虚拟现实(VR)显示或增强现实(AR)显示。
示例性的，VR显示是指用户不能看到真实世界中的物体，而仅能看到终端显示的内容，且该显示的内容是根据用户的状态(如运动尊贵太)而改变的，从而使用户感到自身处于一个“虚拟的世界”中，且该虚拟的世界会对用户的行为作出反馈。相应的，VR终端可包括VR头盔等。
示例性的，AR显示是指用户看到的显示内容是与真实世界中的物体相关的(例如是对真实世界中的物体的“说明”)，从而用户可看到更多的与真实世界中的物体相关的内容，相当于实现了“对现实的增强”。当然，在AR显示中，用户可以是同时能看到真实世界中的物体和终端显示的内容，或者，用户也可只能看到终端显示的内容，但该内容包括由终端显示的真实世界的物体和附加内容。相应的，AR终端可包括AR眼镜等。
第一方面，本公开实施例提供一种渲染的方法，用于服务器。
本公开实施例的方法用于在服务器中对在终端上显示的视频流进行渲染。
参照图1，本公开实施例的方法包括：
S101、接收来自至少一个终端的渲染依据信息。
其中，所有提供渲染依据信息的终端构成源终端集合。
服务器接收(如通过无线方式接收)到来自终端的信息(渲染依据信息)，其中，所有发来渲染依据信息的终端构成一个集合，即源终端集合。
在一些实施例中，源终端集合仅包括一个终端，即服务器仅接收来自一个终端的渲染依据信息。
在一些实施例中，源终端集合包括多个终端，即服务器同时接收来自多个终端的渲染依据信息；当然，来自不同终端的渲染依据信息通常是不同的。
其中，以上渲染依据信息是后续渲染过程的依据，即视频流是根据渲染依据信息得到。
在一些实施例中，渲染依据信息包括以下至少一项：源视频流信息、运动状态信息、控制指令信息。
其中，渲染依据信息可包括由终端发出的视频流，即源视频流信息。
具体的，源视频流信息可包括终端采集的自身周边的环境的信息，例如由终端的摄像头采集的视频流。
或者，源视频流信息也可包括终端内部产生的视频流，例如，终端在运行某些软件(如工业设计软件)时，可将软件产生的结果(如设计图)的视频流作为源视频流信息。
示例性的，当渲染依据信息包括源视频流信息时，本公开实施例可用于AR显示。
其中，渲染依据信息可包括终端侧的运动状态的参数，即运动状态信息。
具体的，运动状态信息可包括终端或其部件(如VR眼镜)本身的运动状态，也可包括使用终端的用户或其身体一部分(如用户的头部)的运动状态。
具体的，运动状态则可包括目标(如终端、用户等)当前的位置、姿态(如朝向、角度等)、运动方向(包括转动方向)、运动速度(包括角速度)、运动加速度(包括角加速度)等任何描述其“运动”参量的信息。
具体的，运动状态可以是通过运动传感器(如加速度传感器、陀螺仪等)采集得到的；也可以是通过其它设备采集红外、视频等信息，再对这些信息进行分析得到运动状态。
示例性的，当渲染依据信息包括运动状态信息时，本公开实施例可用于VR显示。
其中，渲染依据信息可包括由终端发出的控制指令，即控制指令信息。
具体的，控制指令信息是指来自终端的命令，用于对视频流的内容进行控制，如在视频流中增加某物体或改变某物体的状态等。
具体的，控制指令信息可以是终端根据某些方法运算得出的，也可以是用户已某些方式向终端输入的(如通过键盘、鼠标、触控屏等输入设备输入)。
示例性的，当渲染依据信息包括控制指令信息时，本公开实施例可用于VR显示。
S102、根据渲染依据信息，渲染得到结果视频流。
服务器根据来自源终端集合中的全部终端的渲染依据信息，进行渲染操作，得到结果视频流。
其中，该结果视频流可以是用于实现3D显示的视频流，更具体可以是用于实现AR显示或VR显示的视频流。
其中，当源终端集合仅包括一个终端时，结果视频流仅根据该终端的渲染依据信息渲染得到。
而当源终端集合包括多个终端时，结果视频流是根据多个终端的渲染依据信息综合渲染得到的，或者说是多个终端的渲染依据信息的“融合”结果。
其中，当渲染依据信息包括源视频流信息时，“渲染”可为根据源视频流得出结果视频流；例如，渲染可包括可对源视频流中的物体进行识别得到识别结果，并产生与识别结果相应的视频流内容，从而可将该视频流内容为结果视频流，或者将视频流内容与源视频流结合后作为结果视频流。
其中，当渲染依据信息包括运动状态信息时，“渲染”可为根据运动状态对结果视频流的内容进行调整，即得到与运动状态对应的内容的视频流；例如，当用户向左转头时，则需要使用户“看到”比当前用户的观看的位置更靠左侧的物体，即渲染应当得到当前位置左侧的物体作为结果视频流。
其中，当渲染依据信息包括控制指令信息时，“渲染”可为根据控制指令对结果视频流进行调整；例如，控制指令为创建某物体，则渲染应为在视频流中增加相应的物体。
S103、向至少一个目标终端发送结果视频流。
其中，对任意一个目标终端，源终端集合均包括至少一个除该目标终端外的其它终端。
服务器将结果视频流发给所需的终端(目标终端)；且对任意目标终端，源终端集合中都包括除其自身之外的其它终端。也就是说，目标终端接收到的结果视频流，不能“仅由其自身的渲染依据信息渲染得到”，而是还与其它终端的渲染依据信息有关。
在一些实施例中，源终端集合包括多个终端。
当源终端集合包括多个终端时，结果视频流必然是由来自多个终端的渲染依据信息渲染得到的，从而对任意终端，结果视频流都不可能仅由其自身的渲染依据信息渲染得到，故该结果视频流可发送给任意的终端，即目标终端可为源终端集合中的终端，也可为不属于源终端集合的终端。
在一些实施例中，源终端集合仅包括一个终端，任意一个目标终端均不属于源终端集合。
源终端集合也可仅有一个终端，结果视频流仅根据该终端的渲染依据信息渲染能得到，从而，该终端不能是目标终端；进而，服务器只能以其它的终端作为目标终端；或者说，此时源终端集合中的一个终端为结果视频流的“信息源”，而其它终端则相当于结果视频流的“接收者”。
本公开实施例中，得到待终端显示的结果视频流的“渲染”操作，不是在终端自身进行的，而是在服务器中进行的，故其相当于“云渲染”；由于服务器的资源、运算能力通常远大于终端，故通过本公开实施例，可提高渲染的效率和质量，节约终端的资源和能耗，获得更好的显示效果。
同时，随着通信技术的发展(例如随着5G或更高代的通信技术的普及)，终端与服务器间的信息交互(如无线方式的信息交互)速度大大提高，足以及时的完成相关信息的传递，故在服务器中进行渲染也不会对终端显示的实时性造成明显影响。
另外，本公开实施例中，每个终端接收的结果视频流不仅由其自身的渲染依据信息渲染得到，还由其它终端的渲染依据信息得到；即，每个终端显示的内容是与其它终端的状态相关的，相当于与其它终端“信息交互”的结果。由此，本公开实施例实际实现了不同终端(或者说不同用户)之间的视频交互和信息传递，相当于实现了“视频会议”或“音视频会议”等。
参照图2，在一些实施例中，在接收来自至少一个终端的渲染依据信息(步骤S102)之前，还包括：
S100、对终端进行认证，被认证的终端包括目标终端和源终端集合中的全部终端。
从服务器的角度考虑，在从终端接收渲染依据信息前，还需要预先对终端进行认证(或者说协商、注册)，以确定参与后续过程(如交互过程)的终端具体有哪些。
其中，认证的具体方式是多样的，其可包括与终端间的多次信息交互。例如，可通过对终端发来的标识、接入密码等进行验证确定哪些终端可通过认证；或者，也可根据某一个终端的指令，选择多个其它的终端进行认证等，在此不再详细描述。
参照图2，在一些实施例中，当源终端集合仅包括一个终端，且任意一个目标终端均不属于源终端集合时；在根据渲染依据信息，渲染得到结果视频流(步骤S102)后，还包括：
S104、向源终端集合中的终端发送结果视频流。
即当源终端集合仅包括一个终端时，还可将根据该终端的渲染依据信息渲染得到的结果视频流发送给其自身，以供该终端自身进行显示。
但应当理解，此时源终端集合中的终端不是“目标终端”，而是作为结果视频流的另一种发送目标。
第二方面，本公开实施例一种显示的方法，用于终端。
本公开实施例的方法用于供终端获取由服务器渲染的结果视频流，以实现显示。
参照图3，本公开实施例的方法包括：
S201、向服务器发送渲染依据信息。
终端将自身的渲染依据信息发送(如通过无线方式发送)至以上服务器，以供服务器进行处理。
S202、接收来自服务器的结果视频流。
其中，结果视频流是由服务器根据该终端发送的渲染依据信息和至少一个其它终端发送的渲染依据信息渲染得到的。
终端接收由服务器渲染得到的结果视频流，如前，用于渲染得到该结果视频流的渲染依据信息，除包括该终端本身发送的渲染依据信息外，还包括至少一个其它终端发送的渲染依据信息。
S203、显示结果视频流。
终端继续将以上接收的结果视频流显示出来，供用户观看。
其中，该显示可为3D显示，更具体可以是AR显示或VR显示。
根据本公开实施例，终端显示的内容是在服务器端进行渲染的(云渲染)，故其对终端的资源占用低和能耗，且显示效果好，易于实现。
同时，终端显示的内容还与其它终端的状态相关，故本公开实施例相当于实现了不同终端(或者说不同用户)的“信息交互”，可用于实现“视频会议”或“音视频会议”等。
在一些实施例中，在向服务器发送渲染依据信息(步骤S101)前，还包括以下至少一项：
获取源视频流信息；渲染依据信息包括源视频流信息；
获取运动状态信息；渲染依据信息包括运动状态信息；
获取控制指令信息；渲染依据信息包括控制指令信息。
在向服务器发送渲染依据信息前，对终端而言，还可通过各种方式获取以上各种的渲染依据信息，如通过摄像头采集源视频流，通过运动传感器获取运动状态，通过输入设备接收来自用户的控制指令等。
在一些实施例中，参照图4，在向服务器发送渲染依据信息前，还包括：
S200、与服务器进行认证。
即终端也可先通过认证接入服务器，从而开始进行本公开实施例的方法的后续步骤。
当然，应当理解，本认证过程可包括与服务器的多次信息交互，在此不再详细描述。
第三方面，参照图5，本公开实施例提供一种服务器，包括：
第一接收单元，配置为接收来自至少一个终端的渲染依据信息；其中，所有提供渲染依据信息的终端构成源终端集合；
渲染单元，配置为根据渲染依据信息，渲染得到结果视频流；
第一发送单元，配置为向至少一个目标终端发送结果视频流；其中，对任意一个目标终端，源终端集合均包括至少一个除该目标终端外的其它终端。
本公开实施例的服务器可实现以上的渲染的方法，故包括用于进行渲染过程的渲染单元，且还包括用于发送和接收信息的单元(如无线单元)，以实现与终端的信息交互。
当然，本公开实施例的服务器可以是部署在云端的，其可以是一个实体设备，也可以是多个实体设备的集合，也可以是由实体设备虚拟得到的虚拟机(VM)。
第四方面，参照图6，本公开实施例提供一种终端，包括：
第二发送单元，配置为向服务器发送渲染依据信息；
第二接收单元，配置为接收来自服务器的结果视频流；其中，结果视频流是由服务器根据该终端发送的渲染依据信息和至少一个其它终端发送的渲染依据信息渲染得到的；
显示单元，配置为显示结果视频流。
本公开实施例的终端可实现以上的显示的方法，故其包括用于进行显示的显示单元(如显示器)，且还包括用于发送和接收信息的单元(如无线单元)，以实现与服务器间的信息交互。
参照图7，在一些实施例中，终端还包括以下至少一项：
源视频流获取单元，配置为获取源视频流信息；渲染依据信息包括源视频流信息；
运动状态获取单元，配置为获取运动状态信息；渲染依据信息包括运动状态信息；
控制指令获取单元，配置为获取控制指令信息；渲染依据信息包括运动状态信息。
终端可具有相应的获取单元(如摄像头、运动传感器、输入设备等)，以获取作为渲染依据信息的相应种类的信息。
在一些实施例中，显示单元为3D显示单元。
显示单元可用于实现3D显示，更具体可用于实现AR显示(例如显示单元可包括AR眼镜)或VR显示(例如显示单元可包括VR头盔)。
当然，应当理解，以上终端可以部署在“用户侧”，虽然其在功能上为一个终端，但其可由多个分体的实体设备构成。
第五方面，参照图8，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任意一种渲染的方法。
第六方面，参照图8，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任意一种显示的方法。
在一些实施例中，参照图9，本公开实施例的服务器可分为不同的模块，这些模块可为不同的实体设备，也可以是通过虚拟方式得到的虚拟模块。
具体的，服务器可包括业务云平台和视频云平台。
其中，业务云平台用于实现对本公开实施例的过程的逻辑控制，主要包括对终端进行认证、对接入(完成认证)的终端进行管理(如新增、改变类型、注销等)、与视频云平台进行内部通信等。
其中，视频云平台可进一步包括音视频交互模块和渲染模块。
其中，音视频交互模块用于实现接入的终端间的信息交互，具体包括对接入的终端发送的请求(渲染依据信息)进行解析，并将请求分配到相应的渲染模块上，再将渲染结果发送至所需的目标终端。
其中，渲染模块用于根据渲染依据信息渲染得到结果视频流，并将结果视频流发送给音视频交互模块。渲染模块具体可包括：
识别子模块，其能加载识别模板，用于在渲染依据信息包括源视频流时，对源视频流进行解码，并通过识别模板对解码结果进行识别，以将识别结果发给渲染子模块。
渲染子模块，其用于渲染得到结果视频流。具体的，当渲染依据信息包括源视频流时，渲染子模块可对用以上识别结果渲染得到结果视频流，也可将识别结果与源视频流融合得到结果视频流。
或者，渲染子模块也可用于根据运动状态、控制指令等，通过预设的运算规则，渲染得到结果视频流。
当然，如果不需要进行“识别”，则渲染模块可直接进行渲染子模块的工作，即其不需要再被划分为识别子模块和渲染子模块。
其中，业务云平台与终端间可通过SIP(Session Initation Protocal，会话初始协议)协议进行通信(即进行认证)。
其中，音视频交互模块与业务云平台间可通过内部接口通信，而与终端之间可通过RTP(Real-time Transport Protocal，实时传输协议)/RTCP(Real-time TransportControl Protocal，实时传输控制协议)协议通信。
其中，渲染模块(识别子模块、渲染子模块)与音视频交互模块之间也可通过RTP/RTCP协议通信。
其中，服务器中的各模块可通过DCF(Distribute Communication Framework，分布式通信框架)完成服务注册、服务发现功能等。
其中，服务器中的各模块同DCF之间可通过REST(Representational StateTransfer，具象状态传输)接口通信。
其中，可通过NVFM(Network Virtual Function Management，虚拟网络功能管理)实现对视频云平台的各虚拟模块(音视频交互模块、渲染模块)的资源管理。具体的，各虚拟模块可定期的将本地资源上报给NVFM，NVFM则对各虚拟模块的资源进行统计分析，以根据统计分析的结果，决定对相应虚拟模块的资源进行扩容或缩容等。
其中，各虚拟模块同NVFM之间可通过REST接口通信。
其中，不同虚拟模块对存储空间、内存、CPU(中央处理器)能力、GPU(图形处理器)能力等有不同的需求，故可根据需求给它们分配相应的资源，并将它们部署在相应的硬件上。
其中，音视频交互模块在分配请求时，可按照根据不同的分配策略进行。
例如，分配策略可为负荷分担策略，即音视频交互模块优先将请求分配给当前资源占用最少的模块(如虚拟机或实体机)，以使各模块的资源占用相对均衡。
例如，分配策略也可为负荷集中策略，即音视频交互模块为各模块模块(虚拟机或实体机)设置资源占用的上限，只要不超过该上限，则优先将请求分配给当前资源占用最高的模块，如可设置CPU占用上限为80％，若服务器(集群)内有两模块的CPU占用分别为70％和50％，则新请求应被分配到CPU占用为70％的模块上处理；而如果两模块的CPU占用分别为50％和85％，则新请求应被分配到CPU占用为50％的模块上处理。
例如，分配策略也可包括属地就近策略，假设A、B两个终端分别位于C、D两个不同的城市，则当A、B两个终端要进行交互时，可将来自A终端的信息分配到对应的实体设备位于C城市的模块进行处理，而将来自B终端的信息分配到对应的实体设备位于D城市的模块进行处理，以降低信号传递的带来的延迟，改善用户体验。
作为一种具体应用，参照图10，本公开实施例可用于工业设计场景。
工业设计场景中，参与者包含设计总工和设计师两种角色，每个参与者均持有各自的终端。该工业设计场景的过程具体可包括：
步骤1、设计师、设计总工用各自的终端与服务器的业务云平台进行认证(或者说协商、注册)，服务器的视频云平台的音视频交互模块创建一个包括确定参与者(终端)的音视频会议。
步骤2、多个设计师用各自的终端将各自的源视频流(如各自的设计图的实时画面)作为渲染依据信息传输到视频云平台，视频云平台进行渲染，将多个源视频流融合在一起得到结果视频流，音视频交互模块将结果视频流发送给所有终端，从而所有设计师、设计总工均可看到包括多个设计图的叠加的虚拟场景。
步骤3、若需要，设计师、设计总工还可通过自身的终端对看到的设计图进行修改，例如增加标注或增加一个零件等，并将修改作为渲染依据信息传输到视频云平台，供视频云平台渲染得到包括标注、新增零件等修改的结果视频流，让个人观看。
步骤4、若设计总工发现某个设计师的设计图有问题，还可通过自身的终端与相设计师进行音频通话，说明问题。
同样，若设计师有问题需要请教设计总工，也可通过自身的终端与设计总工进行音频通话，请教问题。
本场景中，多个设计师可在虚拟场景中进行工业设计的组装、修改等操作，设计总工可实时看到各设计师的设计图，并且实时进行指导、干预。
作为一种具体应用，参照图11，本公开实施例可用于教学场景。
教学场景场景中，参与者包含老师和学生两种角色，每个参与者均持有各自的终端。该教学场景的过程具体可包括：
步骤1、老师、学生用各自的终端与服务器的业务云平台进行认证(或者说协商、注册)，服务器的视频云平台的音视频交互模块创建一个包括确定参与者(终端)的音视频会议。
步骤2、老师开始讲课，通过自身的终端将老师的运动状态作为渲染依据信息发送给视频云平台的音视频交互模块，音视频交互模块再转发控制信息给渲染模块。
步骤3、渲染模块根据渲染依据信息渲染能得到包括虚拟场景的结果视频流，即包括老师讲课内容的视频流。
步骤4、音视频交互模块将结果视频流下发给所有终端，从而学生可看到老师的讲课，而老师也可看到自身的状态是否正常。
本场景中，老师可将讲课的内容视频流实时传递给多个学生，并且自身可对内容视频流进行实时的监控。
作为一种具体应用，参照图12，本公开实施例可用于旅游场景。
旅游场景场景中，参与者包含现场用户和观看用户两种角色，每个参与者均持有各自的终端。该旅游场景的过程具体可包括：
步骤1、现场用户、观看用户用各自的终端与服务器的业务云平台进行认证(或者说协商、注册)，服务器的视频云平台的音视频交互模块创建一个包括确定参与者(终端)的音视频会议。
步骤2、现场用户在旅游过程中，通过终端的源视频流获取单元(如摄像头)采集旅游景点的实际物体的源视频流，并将其作为渲染依据信息发送给视频云平台的音视频交互模块，音视频交互模块再将其转发给渲染模块。
步骤3、渲染模块的识别子模块根据原视频流识别出景点(即识别出源视频流中是哪个地点的哪个景点)，并将结果发送给音视频交互模块。
步骤4、音视频交互模块通过第三方的资源库查找到有关该景点的信息(如景点的介绍)，并将其发送给渲染子模块，供渲染子模块渲染得到结果视频流。
步骤5、音视频交互模块向所有的终端发送该结果视频流，以供所有用户看到该景点的视频流和介绍。
本场景中，一个位于景点现场的观看用户可将景点的视频流发送给多个观看用户，并且可在视频流中附加对该景点的介绍等。
本领域普通技术人员可以理解，上文中所公开的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。
某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器(CPU)、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)或其它磁盘存储器；只读光盘(CD-ROM)、数字多功能盘(DVD)或其它光盘存储器；磁盒、磁带、磁盘存储或其它磁存储器；可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本公开已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种渲染的方法，用于服务器，所述方法包括：
接收来自至少两个终端的渲染依据信息；其中，所有提供所述渲染依据信息的终端构成源终端集合，所述源终端集合包括多个终端，所述渲染依据信息包括源视频流信息和控制指令信息，所述控制指令信息用于对视频流的内容进行控制；
根据所述渲染依据信息，渲染得到结果视频流，包括：
根据所述源视频流信息，渲染得到所述结果视频流；
并根据所述控制指令信息对所述结果视频流进行调整；
向至少一个目标终端发送调整后的所述结果视频流；其中，对任意一个所述目标终端，所述源终端集合均包括至少一个除该目标终端外的其它终端。
2.根据权利要求1所述的方法，其中，在所述根据所述渲染依据信息，渲染得到结果视频流后，还包括：
向所述源终端集合中的终端发送所述结果视频流。
3.根据权利要求1所述的方法，其中，在所述接收来自至少两个终端的渲染依据信息前，还包括：
对终端进行认证，被认证的终端包括所述目标终端和所述源终端集合中的全部终端。
4.一种显示的方法，用于终端，所述方法包括：
向服务器发送渲染依据信息；
其中，在所述向服务器发送渲染依据信息前，还包括：
获取源视频流信息；所述渲染依据信息包括所述源视频流信息；
获取控制指令信息；所述渲染依据信息包括所述控制指令信息，所述控制指令信息用于对视频流的内容进行控制；
接收来自所述服务器的调整后的结果视频流；其中，所述结果视频流是由所述服务器根据该终端发送的源视频流信息和至少一个其它终端发送的源视频流信息渲染得到的，所述调整后的结果视频流是根据该终端发送的控制指令信息和至少一个其它终端发送的控制指令信息对所述结果视频流进行调整后得到的；
显示所述结果视频流。
5.根据权利要求4所述的方法，其中，在所述向服务器发送渲染依据信息前，还包括：
与所述服务器进行认证。
6.一种服务器，包括：
第一接收单元，配置为接收来自至少两个终端的渲染依据信息；其中，所有提供所述渲染依据信息的终端构成源终端集合，所述源终端集合包括多个终端，所述渲染依据信息包括源视频流信息和控制指令信息，所述控制指令信息用于对视频流的内容进行控制；
渲染单元，配置为根据所述渲染依据信息，渲染得到结果视频流，包括：
根据所述源视频流信息，渲染得到所述结果视频流；
并根据所述控制指令信息对所述结果视频流进行调整；
第一发送单元，配置为向至少一个目标终端发送调整后的所述结果视频流；其中，对任意一个所述目标终端，所述源终端集合均包括至少一个除该目标终端外的其它终端。
7.一种终端，包括：
第二发送单元，配置为向服务器发送渲染依据信息；
第二接收单元，配置为接收来自所述服务器的调整后的结果视频流；其中，所述结果视频流是由所述服务器根据该终端发送的源视频流信息和至少一个其它终端发送的源视频流信息渲染得到的，所述调整后的结果视频流是根据该终端发送的控制指令信息和至少一个其它终端发送的控制指令信息对所述结果视频流进行调整后得到的；
显示单元，配置为显示所述结果视频流；
其中，所述终端还包括：
源视频流获取单元，配置为获取源视频流信息；所述渲染依据信息包括所述源视频流信息；
控制指令获取单元，配置为获取控制指令信息；所述渲染依据信息包括所述控制指令信息，所述控制指令信息用于对视频流的内容进行控制。
8.根据权利要求7所述的终端，其中，
所述显示单元为3D显示单元。
9.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至3中任意一项所述的渲染的方法。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求4至5中任意一项所述的显示的方法。
CN201911320479.6A 2019-12-19 2019-12-19 渲染和显示的方法、服务器、终端、计算机可读介质 Active CN113015000B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911320479.6A CN113015000B (zh) 2019-12-19 2019-12-19 渲染和显示的方法、服务器、终端、计算机可读介质
US17/622,762 US20220256235A1 (en) 2019-12-19 2020-09-03 Rendering method, displaying method, server, terminal and computer-readable medium
PCT/CN2020/113164 WO2021120696A1 (zh) 2019-12-19 2020-09-03 渲染和显示的方法、服务器、终端、计算机可读介质
EP20901793.8A EP3974996A4 (en) 2019-12-19 2020-09-03 RENDERING METHOD, DISPLAY METHOD, SERVER, TERMINAL AND COMPUTER READABLE MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911320479.6A CN113015000B (zh) 2019-12-19 2019-12-19 渲染和显示的方法、服务器、终端、计算机可读介质

Publications (2)

Publication Number Publication Date
CN113015000A CN113015000A (zh) 2021-06-22
CN113015000B true CN113015000B (zh) 2024-08-13

Family

ID=76382263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911320479.6A Active CN113015000B (zh) 2019-12-19 2019-12-19 渲染和显示的方法、服务器、终端、计算机可读介质

Country Status (4)

Country Link
US (1) US20220256235A1 (zh)
EP (1) EP3974996A4 (zh)
CN (1) CN113015000B (zh)
WO (1) WO2021120696A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581580A (zh) * 2022-02-28 2022-06-03 维塔科技(北京)有限公司 渲染图像的方法、装置、存储介质及电子设备
CN115396698A (zh) * 2022-10-26 2022-11-25 讯飞幻境(北京)科技有限公司 视频流显示和处理方法以及客户端和云服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984661A (zh) * 2010-11-23 2011-03-09 广东威创视讯科技股份有限公司 视频会议系统的信息传输方法及视频会议系统
CN103259833A (zh) * 2011-12-29 2013-08-21 吉菲斯股份有限公司 混合成为一个流的基于云的内容

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075654A1 (en) * 2002-10-16 2004-04-22 Silicon Integrated Systems Corp. 3-D digital image processor and method for visibility processing for use in the same
EP2408196B1 (en) * 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US8667138B2 (en) * 2010-10-29 2014-03-04 Cisco Technology, Inc. Distributed hierarchical rendering and provisioning of cloud services
US9084001B2 (en) * 2011-07-18 2015-07-14 At&T Intellectual Property I, Lp Method and apparatus for multi-experience metadata translation of media content with metadata
US8943396B2 (en) * 2011-07-18 2015-01-27 At&T Intellectual Property I, Lp Method and apparatus for multi-experience adaptation of media content
US9237362B2 (en) * 2011-08-11 2016-01-12 At&T Intellectual Property I, Lp Method and apparatus for multi-experience translation of media content with sensor sharing
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种图像渲染处理的方法及装置
CA3069596C (en) * 2016-07-13 2023-10-24 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
WO2018153267A1 (zh) * 2017-02-24 2018-08-30 腾讯科技（深圳）有限公司 群组视频会话的方法及网络设备
CN107493503A (zh) * 2017-08-24 2017-12-19 深圳Tcl新技术有限公司 播放终端的虚拟现实视频呈像方法、系统及存储介质
CN107948731B (zh) * 2017-10-31 2020-07-28 深信服科技股份有限公司 视频流合并方法、服务器及计算机可读存储介质
CN108537867B (zh) * 2018-04-12 2020-01-10 北京微播视界科技有限公司 根据用户肢体运动的视频渲染方法和装置
CN209514603U (zh) * 2019-04-26 2019-10-18 歌尔科技有限公司 一种vr设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984661A (zh) * 2010-11-23 2011-03-09 广东威创视讯科技股份有限公司 视频会议系统的信息传输方法及视频会议系统
CN103259833A (zh) * 2011-12-29 2013-08-21 吉菲斯股份有限公司 混合成为一个流的基于云的内容

Also Published As

Publication number Publication date
WO2021120696A1 (zh) 2021-06-24
US20220256235A1 (en) 2022-08-11
EP3974996A1 (en) 2022-03-30
CN113015000A (zh) 2021-06-22
EP3974996A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
Holland et al. The IEEE 1918.1 “tactile internet” standards working group and its standards
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
US6753857B1 (en) Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
EP3185562A1 (en) Method and apparatus for processing panoramic live video resource
WO2018120708A1 (zh) 一种景区虚拟游览方法及装置
CN108479060A (zh) 一种显示控制方法及电子设备
CN113015000B (zh) 渲染和显示的方法、服务器、终端、计算机可读介质
US10493360B2 (en) Image display device and image display system
CN107493228A (zh) 一种基于增强现实的社交互动方法和系统
US9386271B2 (en) System and method for synthesizing and preserving consistent relative neighborhood position in multi-perspective multi-point tele-immersive environments
KR102564729B1 (ko) 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
US20190020699A1 (en) Systems and methods for sharing of audio, video and other media in a collaborative virtual environment
CN104854574A (zh) 在实时通信和共享体验会话期间更新服务
CN106507122A (zh) 一种直播的方法、服务器、无人机和vr设备
US20140115649A1 (en) Apparatus and method for providing realistic broadcasting
CN115428420A (zh) 用于提供增强现实交互的设备和方法
KR20220126660A (ko) Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템
US11943073B2 (en) Multiple grouping for immersive teleconferencing and telepresence
Lyu et al. WebTransceiVR: Asymmetrical communication between multiple VR and non-VR users online
JP6149967B1 (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
JP2023527624A (ja) コンピュータプログラムおよびアバター表現方法
JP2023524930A (ja) アバターを利用したカンファレンス処理方法およびシステム
US20190012470A1 (en) Systems and methods for determining values of conditions experienced by a user, and using the values of the conditions to determine a value of a user permission to apply to the user
Ahn et al. Personalized augmented reality via fog-based imitation learning
CN117830567A (zh) 针对虚拟场景的位置更新方法、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant