CN111447461A - 多视角直播视频的同步切换方法、装置、设备和介质 - Google Patents

多视角直播视频的同步切换方法、装置、设备和介质 Download PDF

Info

Publication number
CN111447461A
CN111447461A CN202010430988.0A CN202010430988A CN111447461A CN 111447461 A CN111447461 A CN 111447461A CN 202010430988 A CN202010430988 A CN 202010430988A CN 111447461 A CN111447461 A CN 111447461A
Authority
CN
China
Prior art keywords
video picture
picture
definition video
definition
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010430988.0A
Other languages
English (en)
Inventor
胡强
虞晶怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202010430988.0A priority Critical patent/CN111447461A/zh
Publication of CN111447461A publication Critical patent/CN111447461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供的一种多视角直播视频的同步切换方法、装置、设备和介质，通过采集端、服务器、客户端的协作，用户通过滑动手机屏幕实时交互方式，围绕直播画面自由选择视角，选择最合适自己的观看角度，随心所欲畅享全场景、沉浸式体验。该方法通过精确的同步控制、相机标定、图像校正、压缩编码等技术实现了多相机间进行流畅自如的实时切换，且切换后的视角画面为高清，实现了用户从“被动接受内容的观众”到“掌握控制权的导演”转变，满足了用户观看场景移动化、文化表达多元化的需求。

Description

多视角直播视频的同步切换方法、装置、设备和介质
技术领域
本发明涉及多视角视频处理技术领域，特别是涉及一种多视角直播视频的同步切换方法、装置、设备和介质。
背景技术
传统视频直播基本都是导播推给你画面进行光看，用户不能随意选择自己想要观看的视角画面，缺乏新鲜感和娱乐性。乘着5G春风，自由视点技术突破了传统被动观看的体验，让不可思议的交互直播成为现实，用户通过滑动手机屏幕实时交互方式，围绕直播画面自由旋转，选择最合适自己的观看角度，随心所欲畅享全场景、沉浸式体验。
自由视点技术需要精确到毫秒级同步捕捉多视角画面，从而可以使用户一边播放一边滑动手机屏幕，而直播画面是连续运动状态，不需要画面停滞。具体来说，通过精确的同步控制，以每秒30FPS实现不间断采集，360°多相机间进行流畅自如的实时切换。例如，当用户滑动手机屏幕切换视角时，其实是快速切换直播现场不同机位的360°高精度相机动态视角。
实时交互直播的发展将给体育赛事、大型影视表演、网综节目、广告创意等领域带来前所未有的全方位立体观感，实现了用户从“被动接受内容的观众”到“掌握控制权的导演”转变，满足了用户观看场景移动化、文化表达多元化的需求。在实时互动和成像速度上具有领先优势的自由视点技术，或将成为国内直播发展形态上的转折点，它重新定义了视频观看体验，正式开启了5G交互式直播时代，加速推动中国文娱行业走向世界。
但是，目前现有的交互式视频是将多视角画面按相同分辨率拼接成超高清画面，这导致观看视角画面的分辨率普遍较低，而且能选择的视角数量有限，导致用户体验不好。因此，提高观看视角画面分辨率及可选视角数量对于推多视角交互直播发展具有重要作用。
发明内容
鉴于以上所述现有直播技术的缺点，本申请的目的在于提供一种多视角直播视频的同步切换方法、装置、设备和介质，以解决传统直播中观众只能被动观看及交互视频观看视角画面分辨率低和视角数量较少的问题。
为实现上述目的及其他相关目的，本申请提供一种多视角直播视频的同步切换方法，应用于采集端，所述方法包括：获取环形相机阵列同步采集的多个不同视角的视频画面；其中，各所述视频画面包含基于采集时间的采集时间戳；对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面；对各所述高分辨率视频画面分别进行编码压缩、及封装，并传输至服务器。
于本申请的一实施例中，所述环形相机阵列中各相机设有硬件触发器，用于触发各相机同步采集视频画面；其中，所述硬件触发器采用同一时钟。
于本申请的一实施例中，对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面，包括：预先对环形相机阵列中各相机进行标定，以获取各相机对应的至少包含内参、外参、及畸变参数的相机参数；依据所述相机参数对各相机采集的所述视频画面进行图像秀修正，以得到高分辨率视频画面。
为实现上述目的及其他相关目的，本申请提供一种多视角直播视频的同步切换方法，应用于服务器，所述方法包括：同步接收多个封装的对应为不同视角的高分辨率视频画面；将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面；对各所述高清视频画面与各所述低清视频画面进行拼接，并形成对应视角数量的组合视频画面；其中，各所述组合视频画面包含一个不同视角的高清视频画面、及全部视角的低清视频画面；对各所述组合视频画面按时间同步进行切片，并将各所述组合视频画面编码以供客户端下载。
于本申请的一实施例中，所述将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面，包括：在解码时，对各所述高清视频画面的每一帧画面添加解码时间戳；同时，由各所述高清视频画面缩放后得到的各所述低清视频画面中的每一帧画面也对应有解码时间戳；其中，所述解码时间戳是基于所述高清视频画面校正前的视频画面中包含的采集时间戳计算得到的。
于本申请的一实施例中，所述对各所述组合视频画面按时间同步进行切片，包括：对各所述组合视频画面按时间同步切分为多个预设时长的切片；其中，所按时间时依据所述解码时间戳中的时间。
为实现上述目的及其他相关目的，本申请提供一种多视角直播视频的同步切换方法，应用于客户端，所述方法包括：从服务器中获取对应一默认视角的组合视频画面的时间同步切片，并进行解码以显示该视角的高清视频画面；其中，所述组合视频画面包含该视角的高清视频画面、及全部视角的低清视频画面；当该视角被切换时，显示该组合视频画面中对应当前视角的低清视频画面；当当前视角未被切换，则根据当前视角获取服务器中对应当前视角的组合视频画面的时间同步切片，以将显示的对应当前视角的低清视频画面替换为高清视频画面。
于本申请的一实施例中，所述方法还包括：各所述高清视频画面和/或各所述低清视频画面在解码和/或显示时，对应每一帧画面添加解码时间戳和/或显示时间戳；其中，所述解码时间戳或显示时间戳是基于所述高清视频画面校正前的视频画面中包含的采集时间戳计算得到的。
于本申请的一实施例中，所述方法还包括：对应默认一视角的组合视频画面的时间同步切片与对应当前视角的组合视频画面的时间同步切片，是依据所述解码时间戳和/或显示时间戳中的时间进行同步获取的。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于获取环形相机阵列同步采集的多个不同视角的视频画面；其中，各所述视频画面包含基于采集时间的采集时间戳；处理模块，用于对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面；对各所述高分辨率视频画面分别进行编码压缩、及封装，并传输至服务器。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于同步接收多个封装的对应为不同视角的高分辨率视频画面；处理模块，用于将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面；对各所述高分辨率视频画面与各所述低清视频画面进行拼接，并形成对应视角数量的组合视频画面；其中，各所述组合视频画面包含一各不同视角的高清视频画面、及全部视角的低清视频画面；对各所述组合视频画面按时间同步进行切片，并将各所述组合视频画面编码以供客户端下载。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于从服务器中获取对应默认一视角的组合视频画面的时间同步切片，并进行解码以显示该视角的高清视频画面；其中，所述组合视频画面包含一视角的高清视频画面、及全部视角的低清视频画面；处理模块，用于当该视角被切换时，显示该组合视频画面中对应当前视角的低清视频画面；当当前视角未被切换，则根据当前视角获取服务器中对应当前视角的组合视频画面的时间同步切片，以将显示的对应当前视角的低清视频画面替换为高清视频画面。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，其特征在于，该计算机设备为采集端，所述采集端包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述应用于采集端的方法；所述通信器通信连接环形相机阵列、及服务器。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，该计算机设备为服务器，所述服务器包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述应用于服务器的方法；所述通信器通信连接服务器、及客户端。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，该计算机设备为客户端，所述客户端包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述应用于客户端的方法；所述通信器通信连接服务器。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述应用于采集端的方法；和/或，所述计算机指令被运行时执行如上所述应用于服务器的方法；和/或，所述计算机指令被运行时执行如上所述应用于客户端的方法。
综上所述，本申请的一种多视角直播视频的同步切换方法、装置、设备和介质。
与现有技术相比，本申请具有以下有益效果：
本发明提供一种基于动态自适应流媒体技术的多视角直播视频的同步切换方法、装置、设备和介质，通过采集端、服务器、客户端的协作，用户通过滑动手机屏幕实时交互方式，围绕直播画面自由选择视角，选择最合适自己的观看角度，随心所欲畅享全场景、沉浸式体验。该方法通过精确的同步控制、相机标定、图像校正、压缩编码等技术实现了多相机间进行流畅自如的实时切换，且切换后的视角画面为高清，实现了用户从“被动接受内容的观众”到“掌握控制权的导演”转变，满足了用户观看场景移动化、文化表达多元化的需求。
附图说明
图1显示为本申请于一实施例中的多视角直播视频的同步切换方法的场景示意图。
图2显示为本申请于一实施例中的应用于采集端的多视角直播视频的同步切换方法的流程示意图。
图3显示为本申请于一实施例中的应用于服务器的多视角直播视频的同步切换方法的流程示意图。
图4显示为本申请于一实施例中的组合视频画面的的场景示意图。
图5显示为本申请于一实施例中的各组合视频画面切片的场景示意图。
图6显示为本申请于一实施例中的应用于客户端的多视角直播视频的同步切换方法的流程示意图。
图7A显示为本申请于一实施例中的客户端上多视角直播视频的同步切换的场景示意图。
图7B显示为本申请于一实施例中的客户端上多视角直播视频的同步切换的场景示意图。
图8显示为本申请于一实施例中的应用于客户端的多视角直播视频的同步切换方法的场景示意图。
图9显示为本申请于一实施例中的电子装置的模块示意图。
图10显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
承前所述，目前传统直播中观众只能被动观看直播内容，无法根据自己的需求选择不同视角内容观看。针对这个问题，本申请提供了一种多视角直播视频的同步切换方法、装置、设备和介质，以满足了用户观看场景移动化、文化表达多元化的需求。同时确保用户一边播放一边滑动手机屏幕时，直播画面是连续运动状态，不需要画面停滞。
如图1所示，展示为本申请一实施例中多视角直播视频的同步切换方法的场景示意图。如图所示，本申请中多视角直播视频的同步切换方法需分别在采集端、服务器、及客户端上应用。
于实际场景中，所述采集端，可以是现场与环形相机阵列连接的服务器或计算机，其可将环形相机阵列实时采集的直播视频进行快速处理，并实时传输至云端的服务器，采集端主要用于采集多视角的视频画面并进行校正、以及压缩封装处理；所述服务器，即可以是设于云端的流媒体服务器，其对采集端采集的针对一直播视频内容的多个角度的视频画面进行处理；所述客户端主要用于使用户进入直播页面，并提供多视角的选择，通过选择的视角与服务器交互进行对应视角视频的缓存。所述客户端可以指电脑端、手机终端等硬件客户端，也可以指任意一硬件客户端上装载的应用程序、系统、APP，或者是通过某程序链接的小程序、网页等。
简单来说，多视角相机采集到的图像经过图像校正编码压缩后传输到流媒体服务器上，流媒体服务器将同步视频拼接成多个组合视频画面的视频流，每个组合视频画面的视频流包含一个视角的高清视频画面，其余内容为其他视角的低清视频画面，同时对每个组合视频画面的视频流进行同步切片，客户端根据当前视角拉取服务器中对应的组合视频画面的切片并进行解码，然后从解码的组合视频画面中显示该视角的高清视频画面，视角切换过程中则从解码的组合视频画面中显示相应切换视角的低清视频画面，视角切换后，客户端则再次根据当前视角拉取服务器中对应的组合视频画面的切片，重复上述步骤以替换高清视频画面。
如图2所示，展示为本申请一实施例中的应用于采集端的多视角直播视频的同步切换方法的流程示意图。该方法应用于采集端(视频采集端或推流端)，如图所示，所述方法包括：
步骤S101：获取环形相机阵列同步采集的多个不同视角的视频画面；其中，各所述视频画面包含基于采集时间的采集时间戳。
于本实施例中，首先需要搭建环形相机阵列，可以拍摄不同角度的视频画面。举例来说，直播场景可以包括个人的直播间，也可以节目现场、演播厅现场，还可以是如演唱会、足球赛等体育场馆的直播现场。所述环形相机阵列，可以是围绕直播场景的多个角度进行拍摄的摄像机阵列或多个角度具有视频采集功能设备的阵列，严格意义上，本申请也可以并非限制为阵列，例如，采集直播场景的俯视角、主视角、及侧视角等可移动的活动摄像机位，也可构成本申请所述的环境相机阵列。
于本申请一实施例中，为了保证用户切换视角时，视频画面的连续性，因此，本申请需要保证环形相机阵列采集画面的同步性，即在采集画面时不同视角的相机需要在同一时刻采集画面，为此，本申请所述环形相机阵列中各相机(或摄像机)引入了硬件触发器来触发拍摄相机阵列同步采集画面，该硬件触发器采用同一时钟。
于本实施例中，环形相机阵列的各拍摄拍摄相机在进行拍摄时，采集的视频画面会依据采集的时间自动加载或添加时间戳，例如，开始拍摄时，通过硬件触发器开始计时，假设当拍摄1分03秒时，对应各拍摄相机所采集的当前视频画面会自动加载或添加1分03秒的时间戳。
步骤S102：对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面；
于本申请一实施例中，拍摄相机在安装后通常会存在一定的误差，若不对误差进行校正，会影响客户端视角切换时的播放效果，如画面上下抖动，成象系统的象差、畸变、带宽有限等造成的图象失真；由于成象器件拍摄姿态和扫描非线性引起的图象几何失真；由于运动模糊、辐射失真、引入噪声等造成的图像失真。
因此，为解决视频画面的误差或失真问题，本申请所述方法还包括：
A、预先对环形相机阵列中各相机进行标定，以获取各相机对应的至少包含内参、外参、及畸变参数的相机参数。本申请在安装完拍摄相机后会对在安装完相机后会对相机进行标定，从而确定准确的相机的内、外参数，以及畸变参数等相机参数进行标定，从而确定准确的相机的内、外参数，以及畸变参数等相机参数。
B、依据所述相机参数对各相机采集的所述视频画面进行图像秀修正，以得到高分辨率视频画面。
举例来说，在获得准确的相机的内、外参数，以及畸变参数等相机参数后，可建立相应的数学模型，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌。实际的复原过程是设计一个滤波器，使其能从失真图象中计算得到真实图象的估值，使其根据预先规定的误差准则，最大程度地接近真实图象，从而得到各路相机所采集到高分辨率视频画面。
步骤S103：对各所述高分辨率视频画面分别进行编码压缩、及封装，并传输至服务器。
于本实施例中，每路相机校正后得到的高分辨率视频画面会进行编码压缩，并封装成一定的流媒体格式，然后将其传输至流媒体服务器。
实际场景中，所述采集端，可以是现场与环形相机阵列连接的服务器或计算机，其可将环形相机阵列实时采集的直播视频进行快速处理，并实时传输至云端的服务器。
如图3所示，展示为本申请一实施例中的应用于服务器的多视角直播视频的同步切换方法的流程示意图。该方法应用于服务器，如图所示，所述方法包括：
步骤S201：同步接收多个封装的对应为不同视角的高分辨率视频画面。
优选地，所述服务器接收的多个封装的对应为不同视角的高分辨率视频画面为对应一直播场景的多路高分辨率视频画面。
步骤S202：将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面。
于本申请一实施例中，为了确保流媒体服务器上多视角视频流拼接画面同步，步骤S202在解码时，对各所述高清视频画面(每路视频码流)的每一帧画面添加解码时间戳；同时，由各所述高清视频画面缩放后得到的各所述低清视频画面中的每一帧画面也对应有解码时间戳；其中，所述解码时间戳是基于所述高清视频画面校正前的视频画面中包含的采集时间戳计算得到的。
于本实施例中，所述高清视频画面的分辨率即为采集端采集的视频画面在校正后生成的高分辨率视频画面中的分辨率，即也是整个多视角直播视频的同步切换过程中的最高分辨率。
举例来说，高清视频画面的分辨率可为1920x1080，而经缩放后的低清视频画面的分辨率为480x270。
步骤S203：对各所述高清视频画面与各所述低清视频画面进行拼接，并形成对应视角数量的组合视频画面；其中，各所述组合视频画面包含一个不同视角的高清视频画面、及全部视角的低清视频画面。
于本实施例中，流媒体服务器收到从采集端(或推流端)推流出来的多个视角的高分辨率视频画面后，会根据各所述高分辨率视频画面中校正前的视频画面中所包含基于采集时间的采集时间戳进行同步，并拼接成多个(对应视角数量)的组合视频画面的视频流，各所述组合视频画面包含一个视角的高清视频画面、及全部视角的低清视频画面，即每个组合视频画面的高清视频画面对应的视角不同。
如图4所示，展示为一个所述组合视频画面的场景示意图。如图所示，以第12个视角画面为主画面为例，且还实施例中共包含48个视角。有48个视角的高分辨率视频画面(分辨率为1920x1080)的视频流推送到流媒体服务器上，流媒体服务器会产生与视角相对应的48个组合视频画面(分辨率为3840x2160)的视频流，每个组合视频画面的视频流是由时间同步的48个视角拼接而成的，每个组合视频画面包含一个视角的高清视频画面(分辨率为1920x1080)，以及48个视角(即全部视角)的低清视频画面(分辨率为480x270)。举例来说，在第一个组合视频画面中，包含了第一个视角的高清视频画面及48个视角的低清视频画面；第二个组合视频画面中，包含了第二个视角的高清视频画面及48个视角的低清视频画面，以此类推。
需要说明的是，本申请采用一个高清视频画面和全部低清视频画面拼接的目的在于：与目前现有的交互式视频是将多视角画面按相同分辨率拼接成超高清画面相比，本申请能够在不影响主视角为高分辨率的情况下，通过其他视角为较低分辨率的设置，大大增加可选择视角的数量，并且大大降低所需内存，从而提高传输与下载速度。并且与步骤S204中对各所述组合视频画面按时间同步进行切片的设计相配合，能够实现用户在选择以视角后，迅速将包含该视角的高清视频画面的组合视频画面的切片进行下载，并即时将该视角由原来的低清视频画面切换为高清视频画面，从而提高用户体验，并且提高观看视角画面分辨率及可选视角数量对推多视角交互直播发展具有重要作用。
步骤S204：对各所述组合视频画面按时间同步进行切片，并将各所述组合视频画面编码以供客户端下载。
于本申请一实施例中，所述对各所述组合视频画面按时间同步进行切片，包括：对各所述组合视频画面按时间同步切分为多个预设时长的切片；其中，所按时间时依据所述解码时间戳中的时间。
由上述实施例，在形成对应视角数量的组合视频画面后，流媒体服务器将每路组合视频画面的视频流切分成一个个时间长度相等的小分片，比如1s，这些分片可供用户的获取请求进行下载。
举例来说，视频切片可以采用分布式编码技术回，先将视频物理切片，再碎片化处理每个文件，每一片视频采用不同的加密算法，且同一个视频片段能同时使用多种加密算法混合型加密。
通常将视频切片具有如下几个优势：
一是，方便分发到节点缓存处理。例如优酷在全国很多地方都有分发节点，可以让用户在离自己更近的地方访问到视频服务器。
二是，加快视频播放前加载的时间，比如一个两小时的视频，头部信息可能达到几百k，播放器播放这个视频时往往需要加载几十秒甚至更长时间才能开始播放，这时候用户很有可能以为不能观看视频就关闭窗口去别的网站访问，给用户带来很差的体验，有了分片列表就不同了，转码软件会把视频分片的大小时长写到xml列表里面，这些xml列表往往才几K大小，播放器在不到1秒的时间就能读取视频信息，立即开始播放。
第三，如果某一群用户打开网站的视频就离开了，这时候不管视频是在暂停还是播放状态，播放器会一直下载视频直到完成，给视频服务器的宽带和硬件资源带来极大的浪费，这是网站运营方最痛心疾首的问题。国内领先的ckplayer播放器有一个针对切片的优化处理，在视频切片处理的情况下，当播放器在播放第N段视频的时候，会预下载N+1这段视频，让播放更流畅，体验更好，但播放器不会下载N+2这段视频，节省宽带给其他用户，减轻视频服务器的压力，给用户带来良好的整体体验。
第四，有些网站的视频是比较有价值的视频，不想被其他人盗用下载，这时候分片也可以解决一些问题，至少让盗链、一个完整的视频被分割成了N个不规则命名的片段，下载视频的人也不会那么方便获取整个视频文件，达到一定的防下载目的。
通常从服务器资源利用和用户体验来看，提供分片处理比不分片处理的播放效果、资源利用情况好十倍以上，所以不管视频时长如何都可以把视频做分片处理。
如图5所示，展示为本申请的各组合视频画面切片的场景示意图。其包含48个组合视频画面的切片时间长度为1s的小分片。
需要说明的是，本申请将组合视频画面进行切片的目的在于，用于在选择不同视角时，因为用户还可能在段时间内继续进行切换视角，因此，如果在每次用户选择一视角后便将大段的组合视频画面的视频流进行下载，将大大增加下载速度，增加用户等待时间，影响用户体验，并且还可能存在某个组合视频画面还未下载完成或下载完成不久后用户又选择了其他视角等情况，所以本申请采用有组合视频画面以切片的形式供用户下载，可以极大提高下载速度，以最快速度显示用户选择的当前视角的高清视频画面，并且在用户切换视角或保持视角观看的情况下，均能实现流畅的切换或播放，大大提高用户观看的体验。
如图6所示，展示为本申请一实施例中的应用于客户端的多视角直播视频的同步切换方法的流程示意图。该方法应用于客户端，如图所示，所述方法包括：
步骤S301：从服务器中获取对应一默认视角的组合视频画面的时间同步切片，并进行解码以显示该视角的高清视频画面；其中，所述组合视频画面包含该视角的高清视频画面、及全部视角的低清视频画面。
于本实施例中，用户在客户端进入一直播页面时，该直播页面会默认一视角为初始视角。需要说明的是，所述客户端可以指电脑端、手机终端等硬件客户端，也可以指任意一硬件客户端上装载的应用程序、系统、APP，或者是通过某程序链接的小程序、网页等。
如图7A，本申请设置默认视角主要用于当用户进入直播页面时便可直接观看某一视角的视频画面，然后通过视角的选择设置再供用户同步切换。如图7B中，当然客户端上也可以不设置默认视角，而是直接呈现视角选择与播放为一体的功能模块，以供用户选择一视角观看视频画面。
而无论何种情况，客户端会根据默认视角或初选视角来向服务器请求提取相应视角的组合视频画面的同步切片，并进行解码，然后从解码的组合视频画面中显示该视角的高清视频画面。这里所述的显示，主要是指客户端中进行播放的视频框内进行。如图7A所示，在该视频框下还会显示对应组合视频画面的滚动轴，在该滚动轴上，中间位置显示为对应该高清视频画面的同步帧截图，或相应播放的缩小版的高清视频画面，滚动轴上一侧或两侧则还分别显示其他视角对应的低清视频画面的同步帧截图，或缩小版的低清视频画面，并且这其中的1个高清视频画面和其他低清视频画面是来自一个组合视频画面中。
步骤S302：当该视角被切换时，显示该组合视频画面中对应当前视角的低清视频画面。
于本实施例中，为了便于流畅无卡段的在客户端被切换视角，当该视角被切换时，视频框内先根据当前组合视频画面中包含的对应当前视角的低清视频画面进行播放。例如，当视角被连续切换时，客户端中的视频框则相应连接切换分别对应当前视角的低清视频画面进行播放。
举例来说，当用户在客户端上左右滑动显示屏幕切换视角过程中，滚动轴上的视频画面会相应左右滑动，即原滚动轴上的位于中间的视频画面向左右滑动，相邻的右边视频画面或左边视频画面会滑动到中间。然后客户端会根据滑动的轨迹显示转场画面(即子弹时间画面)。其中，视频框内会显示转场画面，即由原来对应一视角的高清视频画面转变为其他视角的低清视频画面。
步骤S303：当当前视角未被切换，则根据当前视角获取服务器中对应当前视角的组合视频画面的时间同步切片，以将显示的对应当前视角的低清视频画面替换为高清视频画面；
于本实施例中，在本申请中可以设置一时间阈值来判断当前视角是否属于被确定或属于未被切换的范围。例如，可以是1秒。即当当前视角1秒内还未被切换，则向服务器请求对应当前视角的组合视频画面的时间同步切片，然后对下载的切片进行解码以提取该组合视频画面，并且在客户端的视频框内将原来的低清视频画面替换显示为高清视频画面。
若当前视角持续未被切换，则客户端会持续请求对应该当前视角的组合视频画面的时间同步切片，以显示对应该当前视角的高清视频画面；而若当前视角被切换，则会重复步骤S302-S303。
需要说明的是，由于每次提取的是组合视频画面的时间同步切片，因此，请求、下载、及解码的时间花费都会很短，不会影响用户的观看效果。
于本申请一实施例中，所述方法还包括：各所述高清视频画面和/或各所述低清视频画面在解码和/或显示时，对应每一帧画面添加解码时间戳和/或显示时间戳；其中，所述解码时间戳或显示时间戳是基于所述高清视频画面校正前的视频画面中包含的采集时间戳计算得到的。
于本申请一实施例中，所述方法还包括：对应默认一视角的组合视频画面的时间同步切片与对应当前视角的组合视频画面的时间同步切片，是依据所述解码时间戳和/或显示时间戳中的时间进行同步获取的。
如图8所示，举例来说，假设客户端的直播画面对应的当前视角是第2个视角，则客户端向服务器拉取第2个组合视频画面的时间同步切片，该组合视频画面包含第2个视角的高清视频画面及48个视角的低清视频画面，解码组合视频画面后会选取第2个视角的高清视频画面进行显示播放，所以用户看到的视频框内的画面内容是高清的，当用户从左向右滑动屏幕切换视角时，比如从第2个视角滑动到第46个视角，在视角切换的过程中，为了能够及时响应用户的操作，客户端还是在第2个组合视频画面中选取视频画面进行播放，不过是从解码的组合视频画面中选择与视角对应的低清视频画面进行显示播放，对应用户从左向右滑动屏幕切换视角的过程，客户端的视频框内会依次显示第2个视角的低清视频画面、第3个视角的低清视频画面、第4个视角的低清视频画面…到第46个视角的低清视频画面，从而产生子弹时间的效果，视角切换过程中直播画面是连续播放的，(每个视频画面按时间戳自动播放)不会出现黑屏、卡顿、抖动、画面不连续等现象，当视角切换完成后，客户端会请求第46个视角的组合视频画面(包含了第46个视角的高清视频画面)的时间同步切片，解码组合视频画面会选取第46个视角的高清视频画面进行显示播放，所以视角切换完成后用户看到的画面会从低清无缝切换到高清。
综上所述，本申请提供的一种多视角直播视频的同步切换方法，通过采集端、服务器、客户端的协作，用户通过滑动手机屏幕实时交互方式，围绕直播画面自由选择视角，选择最合适自己的观看角度，随心所欲畅享全场景、沉浸式体验。该方法通过精确的同步控制、相机标定、图像校正、压缩编码等技术实现了多相机间进行流畅自如的实时切换，且切换后的视角画面为高清，实现了用户从“被动接受内容的观众”到“掌握控制权的导演”转变，满足了用户观看场景移动化、文化表达多元化的需求。
如图9所示，展示为本申请于一实施例中的电子装置的模块示意图。其中，该电子装置示意图，分别适用于本申请中图2、图3、及图6所述方法所对应的电子装置900。如图所示，所述装置900包括：获取模块901、处理模块902。
对应图2所述方法的电子装置900包括：
获取模块901，用于获取环形相机阵列同步采集的多个不同视角的视频画面；其中，各所述视频画面包含基于采集时间的采集时间戳；
处理模块902，用于对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面；对各所述高分辨率视频画面分别进行编码压缩、及封装，并传输至服务器。
于具体实施例中，对应图2所述方法的电子装置900可以是直播应用程序中对应拍摄直播视频的用户的虚拟电子装置900，例如，通过应用程序中注册或申请直播以获得使用虚拟电子装置900进行拍摄直播视频的权限。或者，对应图2所述方法的电子装置900还可以是对应拍摄直播视频的用户的硬件电子装置900。
对应图3所述方法的电子装置900包括：
获取模块，用于同步接收多个封装的对应为不同视角的高分辨率视频画面；
处理模块，用于将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面；对各所述高分辨率视频画面与各所述低清视频画面进行拼接，并形成对应视角数量的组合视频画面；其中，各所述组合视频画面包含一各不同视角的高清视频画面、及全部视角的低清视频画面；对各所述组合视频画面按时间同步进行切片，并将各所述组合视频画面编码以供客户端下载。
于具体实施例中，对应图3所述方法的电子装置900可以是直播应用程序中对应后台云端的虚拟电子装置900或硬件电子装置。
对应图6所述方法的电子装置900包括：
获取模块901，用于从服务器中获取对应默认一视角的组合视频画面的时间同步切片，并进行解码以显示该视角的高清视频画面；其中，所述组合视频画面包含一视角的高清视频画面、及全部视角的低清视频画面；
处理模块902，用于当该视角被切换时，显示该组合视频画面中对应当前视角的低清视频画面；当当前视角未被切换，则根据当前视角获取服务器中对应当前视角的组合视频画面的时间同步切片，以将显示的对应当前视角的低清视频画面替换为高清视频画面。
于具体实施例中，对应图6所述方法的电子装置900可以是直播应用程序中对应观看直播视频的用户的虚拟电子装置900，例如，通过应用程序中注册或申请直播以获得使用虚拟电子装置900进行观看直播视频的权限。或者，对应图6所述方法的电子装置900还可以是对应观看直播视频的用户的硬件电子装置900。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块902可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块902的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图10所示，展示为本申请于一实施例中的计算机设备的结构示意图。需要说明的是，该计算机设备的结构示意图可分别使用采集端、服务器、及客户端。
如图所示，所述计算机设备1000包括：存储器1001、及处理器1002；所述存储器1001用于存储计算机指令；所述处理器1002运行计算机指令可对应实现如图2或图3或图6所述的方法。
在一些实施例中，所述计算机设备1000中的所述存储器1001的数量均可以是一或多个，所述处理器1002的数量均可以是一或多个，而图10中均以一个为例。
所述存储器1001可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器1001存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器1002可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器1003用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器1003可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
具体地，当所述计算机设备1000为采集端时，所述通信器1003通信连接环形相机阵列、及服务器；或，当所述计算机设备1000为服务器时，所述通信器1003通信连接服务器、及客户端；或，当所述计算机设备1000为客户端时，所述通信器1003通信连接服务器。
在一些具体的应用中，所述计算机设备1000的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图10中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图2所述的方法；和/或，所述计算机指令被运行时执行如图3所述应用于服务器的方法；和/或，所述计算机指令被运行时执行如图6所述应用于客户端的方法
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种多视角直播视频的同步切换方法、装置、设备和介质。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (16)

1.一种多视角直播视频的同步切换方法，其特征在于，应用于采集端，所述方法包括：
获取环形相机阵列同步采集的多个不同视角的视频画面；其中，各所述视频画面包含基于采集时间的采集时间戳；
对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面；
对各所述高分辨率视频画面分别进行编码压缩、及封装，并传输至服务器。
2.根据权利要求1所述的方法，其特征在于，所述环形相机阵列中各相机设有硬件触发器，用于触发各相机同步采集视频画面；其中，所述硬件触发器采用同一时钟。
3.根据权利要求1所述的方法，其特征在于，对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面，包括：
预先对环形相机阵列中各相机进行标定，以获取各相机对应的至少包含内参、外参、及畸变参数的相机参数；
依据所述相机参数对各相机采集的所述视频画面进行图像秀修正，以得到高分辨率视频画面。
4.一种多视角直播视频的同步切换方法，其特征在于，应用于服务器，所述方法包括：
同步接收多个封装的对应为不同视角的高分辨率视频画面；
将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面；
对各所述高清视频画面与各所述低清视频画面进行拼接，并形成对应视角数量的组合视频画面；其中，各所述组合视频画面包含一个不同视角的高清视频画面、及全部视角的低清视频画面；
对各所述组合视频画面按时间同步进行切片，并将各所述组合视频画面编码以供客户端下载。
5.根据权利要求4所述的方法，其特征在于，所述将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面，包括：
在解码时，对各所述高清视频画面的每一帧画面添加解码时间戳；同时，由各所述高清视频画面缩放后得到的各所述低清视频画面中的每一帧画面也对应有解码时间戳；
其中，所述解码时间戳是基于所述高清视频画面校正前的视频画面中包含的采集时间戳计算得到的。
6.根据权利要求5所述的方法，其特征在于，所述对各所述组合视频画面按时间同步进行切片，包括：
对各所述组合视频画面按时间同步切分为多个预设时长的切片；其中，所按时间时依据所述解码时间戳中的时间。
7.一种多视角直播视频的同步切换方法，其特征在于，应用于客户端，所述方法包括：
从服务器中获取对应一默认视角的组合视频画面的时间同步切片，并进行解码以显示该视角的高清视频画面；其中，所述组合视频画面包含该视角的高清视频画面、及全部视角的低清视频画面；
当该视角被切换时，显示该组合视频画面中对应当前视角的低清视频画面；
当当前视角未被切换，则根据当前视角获取服务器中对应当前视角的组合视频画面的时间同步切片，以将显示的对应当前视角的低清视频画面替换为高清视频画面。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
各所述高清视频画面和/或各所述低清视频画面在解码和/或显示时，对应每一帧画面添加解码时间戳和/或显示时间戳；
其中，所述解码时间戳或显示时间戳是基于所述高清视频画面校正前的视频画面中包含的采集时间戳计算得到的。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对应默认一视角的组合视频画面的时间同步切片与对应当前视角的组合视频画面的时间同步切片，是依据所述解码时间戳和/或显示时间戳中的时间进行同步获取的。
10.一种电子装置，其特征在于，所述装置包括：
获取模块，用于获取环形相机阵列同步采集的多个不同视角的视频画面；其中，各所述视频画面包含基于采集时间的采集时间戳；
处理模块，用于对各个不同视角的视频画面进行图像校正并分别生成高分辨率视频画面；对各所述高分辨率视频画面分别进行编码压缩、及封装，并传输至服务器。
11.一种电子装置，其特征在于，所述装置包括：
获取模块，用于同步接收多个封装的对应为不同视角的高分辨率视频画面；
处理模块，用于将各所述高分辨率视频画面解码为高清视频画面，同时再将各所述高清视频画面缩放出一低清视频画面；对各所述高分辨率视频画面与各所述低清视频画面进行拼接，并形成对应视角数量的组合视频画面；其中，各所述组合视频画面包含一各不同视角的高清视频画面、及全部视角的低清视频画面；对各所述组合视频画面按时间同步进行切片，并将各所述组合视频画面编码以供客户端下载。
12.一种电子装置，其特征在于，所述装置包括：
获取模块，用于从服务器中获取对应默认一视角的组合视频画面的时间同步切片，并进行解码以显示该视角的高清视频画面；其中，所述组合视频画面包含一视角的高清视频画面、及全部视角的低清视频画面；
处理模块，用于当该视角被切换时，显示该组合视频画面中对应当前视角的低清视频画面；当当前视角未被切换，则根据当前视角获取服务器中对应当前视角的组合视频画面的时间同步切片，以将显示的对应当前视角的低清视频画面替换为高清视频画面。
13.一种计算机设备，其特征在于，该计算机设备为采集端，所述采集端包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至3中任意一项所述应用于采集端的方法；所述通信器通信连接环形相机阵列、及服务器。
14.一种计算机设备，其特征在于，该计算机设备为服务器，所述服务器包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求4至6中任意一项所述应用于服务器的方法；所述通信器通信连接服务器、及客户端。
15.一种计算机设备，其特征在于，该计算机设备为客户端，所述客户端包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求4至6中任意一项所述应用于客户端的方法；所述通信器通信连接服务器。
16.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至3中任一项所述应用于采集端的方法；和/或，所述计算机指令被运行时执行如权利要求4至6中任一项所述应用于服务器的方法；和/或，所述计算机指令被运行时执行如权利要求7至9中任一项所述应用于客户端的方法。
CN202010430988.0A 2020-05-20 2020-05-20 多视角直播视频的同步切换方法、装置、设备和介质 Pending CN111447461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430988.0A CN111447461A (zh) 2020-05-20 2020-05-20 多视角直播视频的同步切换方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430988.0A CN111447461A (zh) 2020-05-20 2020-05-20 多视角直播视频的同步切换方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN111447461A true CN111447461A (zh) 2020-07-24

Family

ID=71655593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430988.0A Pending CN111447461A (zh) 2020-05-20 2020-05-20 多视角直播视频的同步切换方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111447461A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN112218132A (zh) * 2020-09-07 2021-01-12 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112601132A (zh) * 2020-12-07 2021-04-02 北京奇艺世纪科技有限公司 音视频文件生成、采集时刻确定方法、装置及电子设备
CN112866733A (zh) * 2021-01-05 2021-05-28 广东中兴新支点技术有限公司 多直播设备的云导播同步系统及方法
CN112887744A (zh) * 2021-01-21 2021-06-01 上海薏欣文化传播有限公司 一种大健康智慧直播厅直播数据传输控制方法
CN112929580A (zh) * 2021-01-14 2021-06-08 北京奇艺世纪科技有限公司 多视角视频播放方法、装置、系统、服务器和客户端设备
CN113259770A (zh) * 2021-05-11 2021-08-13 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、系统、存储介质和视频编码器
CN113518260A (zh) * 2021-09-14 2021-10-19 腾讯科技（深圳）有限公司 视频播放方法、装置、电子设备及计算机可读存储介质
CN113596583A (zh) * 2021-08-05 2021-11-02 四开花园网络科技(广州)有限公司 视频流子弹时间数据处理方法及装置
CN113645486A (zh) * 2021-07-16 2021-11-12 北京爱笔科技有限公司 视频数据的处理方法、装置、计算机设备和存储介质
CN113900572A (zh) * 2021-09-02 2022-01-07 北京大学深圳研究生院 视频数据处理方法、解码设备、编码设备及存储介质
CN113938711A (zh) * 2021-10-13 2022-01-14 北京奇艺世纪科技有限公司 一种视角切换方法、装置、用户端、服务器及存储介质
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN114095668A (zh) * 2021-10-08 2022-02-25 深圳市景阳科技股份有限公司 一种视频播放方法、装置、设备及计算机存储介质
CN114245190A (zh) * 2021-12-17 2022-03-25 天翼视讯传媒有限公司 一种双视频流自由视点视频播放系统
CN114513674A (zh) * 2020-11-16 2022-05-17 上海科技大学 互动直播数据传输/处理方法、处理系统、介质及服务端
CN114697690A (zh) * 2020-12-30 2022-07-01 光阵三维科技有限公司 由组合传送的多个串流取出特定串流播放的系统及方法
CN114760483A (zh) * 2022-04-20 2022-07-15 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质
CN115022611A (zh) * 2022-03-31 2022-09-06 青岛虚拟现实研究院有限公司 Vr画面显示方法、电子设备及可读存储介质
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550239A (zh) * 2015-09-22 2017-03-29 北京同步科技有限公司 360度全景视频直播系统及其实现方法
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN108605140A (zh) * 2016-05-16 2018-09-28 谷歌有限责任公司 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
CN108632674A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种全景视频的播放方法和客户端
CN108810636A (zh) * 2017-04-28 2018-11-13 华为技术有限公司 视频播放方法、设备及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550239A (zh) * 2015-09-22 2017-03-29 北京同步科技有限公司 360度全景视频直播系统及其实现方法
CN108605140A (zh) * 2016-05-16 2018-09-28 谷歌有限责任公司 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
CN108632674A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种全景视频的播放方法和客户端
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN108810636A (zh) * 2017-04-28 2018-11-13 华为技术有限公司 视频播放方法、设备及系统

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218132A (zh) * 2020-09-07 2021-01-12 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112218132B (zh) * 2020-09-07 2022-06-10 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN114513674A (zh) * 2020-11-16 2022-05-17 上海科技大学 互动直播数据传输/处理方法、处理系统、介质及服务端
CN112601132A (zh) * 2020-12-07 2021-04-02 北京奇艺世纪科技有限公司 音视频文件生成、采集时刻确定方法、装置及电子设备
WO2022143212A1 (zh) * 2020-12-30 2022-07-07 光阵三维科技有限公司 由组合传送的多个串流取出特定串流播放的系统及方法
CN114697690A (zh) * 2020-12-30 2022-07-01 光阵三维科技有限公司 由组合传送的多个串流取出特定串流播放的系统及方法
CN112866733A (zh) * 2021-01-05 2021-05-28 广东中兴新支点技术有限公司 多直播设备的云导播同步系统及方法
CN112929580A (zh) * 2021-01-14 2021-06-08 北京奇艺世纪科技有限公司 多视角视频播放方法、装置、系统、服务器和客户端设备
CN112887744B (zh) * 2021-01-21 2022-03-04 上海薏欣文化传播有限公司 一种大健康智慧直播厅直播数据传输控制方法
CN112887744A (zh) * 2021-01-21 2021-06-01 上海薏欣文化传播有限公司 一种大健康智慧直播厅直播数据传输控制方法
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、系统、存储介质和视频编码器
CN113259770A (zh) * 2021-05-11 2021-08-13 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN113259770B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN113645486A (zh) * 2021-07-16 2021-11-12 北京爱笔科技有限公司 视频数据的处理方法、装置、计算机设备和存储介质
CN113596583A (zh) * 2021-08-05 2021-11-02 四开花园网络科技(广州)有限公司 视频流子弹时间数据处理方法及装置
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
WO2023029207A1 (zh) * 2021-09-02 2023-03-09 北京大学深圳研究生院 视频数据处理方法、解码设备、编码设备及存储介质
CN113900572A (zh) * 2021-09-02 2022-01-07 北京大学深圳研究生院 视频数据处理方法、解码设备、编码设备及存储介质
WO2023029252A1 (zh) * 2021-09-02 2023-03-09 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN113518260A (zh) * 2021-09-14 2021-10-19 腾讯科技（深圳）有限公司 视频播放方法、装置、电子设备及计算机可读存储介质
CN113518260B (zh) * 2021-09-14 2022-05-03 腾讯科技（深圳）有限公司 视频播放方法、装置、电子设备及计算机可读存储介质
CN114095668A (zh) * 2021-10-08 2022-02-25 深圳市景阳科技股份有限公司 一种视频播放方法、装置、设备及计算机存储介质
CN113938711A (zh) * 2021-10-13 2022-01-14 北京奇艺世纪科技有限公司 一种视角切换方法、装置、用户端、服务器及存储介质
CN114245190A (zh) * 2021-12-17 2022-03-25 天翼视讯传媒有限公司 一种双视频流自由视点视频播放系统
CN115022611A (zh) * 2022-03-31 2022-09-06 青岛虚拟现实研究院有限公司 Vr画面显示方法、电子设备及可读存储介质
CN115022611B (zh) * 2022-03-31 2023-12-29 青岛虚拟现实研究院有限公司 Vr画面显示方法、电子设备及可读存储介质
CN114760483A (zh) * 2022-04-20 2022-07-15 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质
CN114760483B (zh) * 2022-04-20 2023-12-19 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111447461A (zh) 多视角直播视频的同步切换方法、装置、设备和介质
WO2021179783A1 (zh) 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
CN108632676B (zh) 图像的显示方法、装置、存储介质及电子装置
CN101917391B (zh) 一种网络视频的播放方法及一种网络视频播放系统
CN108900857B (zh) 一种多视角视频流处理方法和装置
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
WO2014025319A1 (en) System and method for enabling user control of live video stream(s)
CN111970524B (zh) 交互类直播连麦的控制方法、装置、系统、设备及介质
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
CN111355966A (zh) 环绕自由视角直播方法及系统
CN112423110A (zh) 直播视频数据生成方法、装置及直播视频播放方法、装置
US11120615B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
US20200145716A1 (en) Media information processing method and apparatus
US20230045876A1 (en) Video Playing Method, Apparatus, and System, and Computer Storage Medium
WO2014144641A1 (en) System and method for replicating a media stream
CN112219403A (zh) 沉浸式媒体的渲染视角度量
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
WO2022021519A1 (zh) 视频解码方法、系统、设备及计算机可读存储介质
CN110139128B (zh) 一种信息处理方法、拦截器、电子设备及存储介质
CN113973224A (zh) 媒体信息的传输方法、计算设备及存储介质
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
CN114666565B (zh) 多视角视频播放方法、装置及存储介质
CN112261422A (zh) 适用于广电领域的仿真远程直播流数据处理方法
CN113395527A (zh) 一种基于vr技术的远程直播虚拟背景云合成系统
CN107835433B (zh) 一种赛事宽视角直播系统、相关联的设备和直播方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200724