CN114666565A - 多视角视频播放方法、装置及存储介质 - Google Patents

多视角视频播放方法、装置及存储介质 Download PDF

Info

Publication number
CN114666565A
CN114666565A CN202011530265.4A CN202011530265A CN114666565A CN 114666565 A CN114666565 A CN 114666565A CN 202011530265 A CN202011530265 A CN 202011530265A CN 114666565 A CN114666565 A CN 114666565A
Authority
CN
China
Prior art keywords
top box
view
set top
view video
cloud rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011530265.4A
Other languages
English (en)
Other versions
CN114666565B (zh
Inventor
卢红
谢可珍
方捷
刘凯峰
李健
胡钉昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202011530265.4A priority Critical patent/CN114666565B/zh
Publication of CN114666565A publication Critical patent/CN114666565A/zh
Application granted granted Critical
Publication of CN114666565B publication Critical patent/CN114666565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server

Abstract

本发明涉及多视角视频播放方法、装置及存储介质。由多视角视频播放系统执行的多视角视频的播放方法，多视角视频播放系统包括云渲染单元和内容分发网络单元，多视角视频播放系统与作为视频终端的一个或多个机顶盒可通信地连接，播放方法包括：接收步骤，接收以多视角方式拍摄得到的包含多个视角的多视角视频流；云渲染步骤，根据来自机顶盒的指令，由云渲染单元对多视角视频进行云渲染，并将渲染后的视频流作为多视角视频播放系统的输出发送给机顶盒；以及切换步骤，在机顶盒以固定视角进行播放的时间大于等于第一阈值的情况下，将多视角视频播放系统的输出从渲染后的视频流切换为内容分发网络单元在固定视角下对应的输出视频流而发送给机顶盒。

Description

多视角视频播放方法、装置及存储介质
技术领域
本发明总体上涉及视频通信领域，更具体地涉及一种多视角视频播放方法、装置及存储介质。
背景技术
在传统赛事、演出、活动直播时，在现场都会布置多个机位摄像机。传统的直播中不同机位的切换由导播进行切换控制，最终生成单路输出视频来提供给观众。在该情况下观众无法对画面和角度进行选择。多视角视频播放可以使用户在观看直播或点播视频内容时自由选择想观看的视角，选择自己感兴趣的画面，从而进行立体式的环绕观看，这一过程由用户自己选择和主导。多视角视频被认为是观看体验的一次创新，满足了用户多样化的观看需求，给用户提供了更具临场感的直播体验。图9示出了多视角播放的一个示例性应用场景的例子。
从用户体验来看，多视角视频与VR效果有相似之处，但也存在区别。VR以头盔为中心，通过视角移动观察场地四周的环境。多视角视频从场边多角度的多机位出发，收看场地内的场景。VR需要以头盔为终端，受到限制较大，用户使用环境受到诸多限制。多视角视频以5G手机触屏和大屏为终端，用户使用环境不受限制。图10示出了一种多视角视频直播的现场拍摄场景。图11示出了利用平板电脑触屏操控并用大屏播放的一个示例性应用场景的例子。
多视角视频虽然处于发展初期，但受到了技术和市场的关注，除了日韩4D Replay之外，国内如华为、中兴、烽火等也逐步投入开发多视角视频业务，取得了进展。
关于现有厂家提供的多视角视频直播，4D Replay采用云渲染技术效果，具备手机/Pad触屏和电视大屏的同屏观看效果，但云渲染资源消耗高。中兴通讯的多视角直播主要由其国内合作伙伴(制作公司)完成，在国内较早实现多视角直播，但初期仅在手机上实现播放，后期推出4K自由视点机顶盒可360度视角自由旋转。烽火通信的多视角开发，目前实现了PC终端播放和手机端播放。华为推出了自由视角技术，采用云计算+边缘设备结合AI算法，对多路摄像机画面进行渲染、处理、整合、编码，并通过虚拟视角技术叠加，在手机客户端与TV屏同时集成兼容自由视角操控、媒体处理的自由视角模块，但机顶盒需要支持自由视角播放器，更新设备所产生的成本高昂。
发明内容
普通机顶盒作为视频终端一般不具备解析、处理多视角视频流的能力，仅能直接播放预定格式的视频流。在以往的多视角视频技术中，存在无法支持普通机顶盒或者渲染资源消耗大而规模推广成本非常高这样的问题。
本发明是为了解决上述问题而完成的，其目的在于能够支持普通机顶盒使用多视角视频技术并且降低渲染资源的消耗。
在下文中给出了关于本发明的简要概述，以便提供关于本发明的一些方面的基本理解。但是，应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图用来确定本发明的关键性部分或重要部分，也不是意图用来限定本发明的范围。其目的仅仅是以简化的形式给出关于本发明的某些概念，以此作为稍后给出的更详细描述的前序。
根据本发明的一个方面，提供一种由多视角视频播放系统执行的多视角视频的播放方法，所述多视角视频播放系统包括云渲染单元和内容分发网络单元，所述多视角视频播放系统与作为视频终端的一个或多个机顶盒可通信地连接，所述播放方法包括：接收步骤，接收以多视角方式拍摄得到的包含多个视角的多视角视频流；云渲染步骤，根据来自机顶盒的指令，由所述云渲染单元对所述多视角视频进行云渲染，并将渲染后的视频流作为所述多视角视频播放系统的输出发送给所述机顶盒；以及切换步骤，在所述机顶盒以固定视角进行播放的时间大于等于第一阈值的情况下，将所述多视角视频播放系统的输出从所述渲染后的视频流切换为所述内容分发网络单元在所述固定视角下对应的输出视频流而发送给所述机顶盒。
根据本发明的另一个方面，提供一种多视角视频播放系统，所述多视角视频播放系统包括接收单元、云渲染单元、内容分发网络单元和控制单元，所述多视角视频播放系统与作为视频终端的一个以上的机顶盒可通信地连接，所述接收单元接收以多视角方式拍摄得到的包含多个视角的多视角视频流，所述控制单元根据来自机顶盒的指令使所述云渲染单元对所述多视角视频进行云渲染并将渲染后的视频流作为所述多视角视频播放系统的输出而发送给所述机顶盒，在所述机顶盒以固定视角进行播放的时间大于等于第一阈值的情况下，所述控制单元将所述多视角视频播放系统的输出从所述渲染后的视频流切换为所述内容分发网络单元在所述固定视角下对应的输出视频流而发送给所述机顶盒。
根据本发明的又一个方面，提供一种计算机可读存储介质，其包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据本发明的上述方面所述的方法。
根据本发明，在滑动视角时采用云渲染，在固定视角时采用CDN流，能够节约云渲染资源，使得一方面可以充分利用云渲染支持普通机顶盒播放多视角直播和点播、快速兼容采用不同播出技术的节目版权方，另一方面又根据多视角视频播放的特点将云渲染和CDN结合，极大地节约云端GPU和CPU的资源消耗。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更清楚地理解本发明，其中：
图1是示出了根据本发明的一个实施例的多视角视频播放系统的示意性的框图。
图2是示出了根据本发明的一个实施例的由多视角视频播放系统执行的多视角视频的播放方法的示意性的流程图。
图3示出了根据本发明的一个具体实施例的多视角直播系统构架图。
图4示出了根据本发明的一个具体实施例的多视角转播系统构架图。
图5中示出了以插值渲染的方式计算在每两个摄像机(即真实视点)之间的位置处设置一个虚拟视点的示意性的例子。
图6示出了生成多视角视频流的同步信息的流程图。
图7示出了云渲染CDN对齐的时序图的一个例子。
图8示出机顶盒终端CDN切换时序的一个例子。
图9示出了多视角播放的一个示例性应用场景的例子。
图10示出了一种多视角视频直播的现场拍摄场景。
图11示出了利用平板电脑触屏操控并用大屏播放的一个示例性应用场景的例子。
具体实施方式
参考附图进行以下详细描述，并且提供以下详细描述以帮助全面理解本发明的各种示例实施例。以下描述包括各种细节以帮助理解，但是这些细节仅被认为是示例，而不是为了限制本发明，本发明是由随附权利要求及其等同内容限定的。在以下描述中使用的词语和短语仅用于能够清楚一致地理解本发明。另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本发明的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
图1是示出了根据本发明的一个实施例的多视角视频播放系统的示意性的框图。
如图1所示，多视角视频播放系统1包括接收单元11、控制装置12、云渲染单元13和内容分发网络单元14。多视角视频播放系统1与多视角拍摄系统2和作为视频终端的多个机顶盒3(即机顶盒3-1、3-2、…3-n，在下文中在不需要特别区分时统称为机顶盒3)可通信地连接。在一个实施例中，多视角视频播放系统1与多视角拍摄系统2和多个机顶盒3可以通过互联网或者专用网络(例如闭路电视网络)连接。在一个实施例中，机顶盒3可以与手机操控进行多屏互动播放。
接收单元11接收由多视角拍摄系统2以多视角方式拍摄得到的包含多个视角的多视角视频流。在一个实施例中，多视角拍摄系统2中可以包括多个摄像机，每个摄像机对应一个拍摄视角。在一个实施例中，多个摄像机拍摄的多路视频信号可以通过播放控制审核与延迟控制而形成多视角视频流，在该多视角视频流中包括拼接的多路视频信号以及同步信息等。
控制单元12根据来自某个机顶盒3(例如机顶盒3-1)的指令使云渲染单元13对多视角视频进行云渲染并将渲染后的视频流作为多视角视频播放系统1的输出而发送给该机顶盒(例如机顶盒3-1)。
在机顶盒3以固定视角进行播放的时间大于等于第一阈值T1的情况下，控制单元12将多视角视频播放系统1的输出从渲染后的视频流切换为内容分发网络单元14在当前的固定视角下对应的输出视频流而发送给该机顶盒3。第一阈值T1可以根据实际需要来任意地设置，在一个实施例中第一阈值T1可以为5分钟。通过控制单元12进行如上所述的控制，当该机顶盒3(例如机顶盒3-1)以固定视角进行播放的时间大于等于第一阈值T1时(即认为用户已经选定了某个视角进行观看时)，控制单元12使机顶盒3的视频源从云渲染单元13切换为内容分发网络单元14，由内容分发网络单元14向机顶盒3提供视频流数据。
机顶盒3的指令可以通过互联网或者专用网络发送给多视角视频播放系统1的控制单元12。在一个实施例中，可以在多视角视频播放系统1侧设置计时器来监视某个机顶盒3(例如机顶盒3-1)以固定视角进行播放的时间是否大于等于第一阈值T1。在另一个实施例中，也可以在各个机顶盒3中设置计时器来监视某个机顶盒3(例如机顶盒3-1)以固定视角进行播放的时间是否大于等于第一阈值T1，在计数器到达预定的计数值时机顶盒3向多视角视频播放系统1的控制单元12发送表示该机顶盒3以固定视角进行播放的时间是否大于等于第一阈值T1的消息。在一个实施例中，机顶盒3的指令可以通过对机顶盒操作面板、遥控器等进行操作而生成，也可以通过对配对后的智能终端(例如智能手机，未图示)等进行操作而生成。
目前，对于云渲染单元所具有的运算处理单元(例如CPU)和图形处理单元(例如GPU)的性能要求较高，其成本也更加昂贵。相对于此，内容分发网络与云渲染单位相比，其造价成本低廉，易于以更大的规模布设网络。
发明人考虑到观众大部分时间是观看固定视角，少部分时间滑动视角，因此本发明采用云渲染与内容分发网络结合的多视角视频播放系统，既能满足一般机顶盒的需求，又能节约云渲染资源。而且，使得多视角云渲染具备规模推广的实用性。
根据本发明的播放系统，在以多个视角进行滑动视角播放时采用云渲染，在固定视角时采用内容分发网络流，由此使得一方面可以充分利用云渲染支持普通机顶盒播放多视角直播和点播、快速兼容采用不同播出技术的节目版权方，另一方面又根据多视角视频播放的特点将云渲染和内容分发网络结合，极大地节约云端图形处理资源(例如GPU)和运算处理资源(例如CPU)的资源消耗。
在一个实施例中，云渲染包括将多视角视频流转换为适于机顶盒3以固定视角进行播放的视频格式的处理和/或将多视角视频流转换为适于机顶盒3以多个视角进行滑动视角播放的视频格式的处理。普通的机顶盒作为视频终端一般不具备解析、处理多视角视频流的能力，仅能直接播放预定格式的视频流，由此多视角视频流无法直接应用于机顶盒3。因此，需要云渲染单元13将视频流转换为适于机顶盒3播放的格式，这里的转换可以包括但不限于将多视角视频流转换为适于机顶盒3以固定视角进行播放的视频格式的处理和/或将多视角视频流转换为适于机顶盒3以多个视角进行滑动视角播放的视频格式的处理。滑动视角播放是指在多个视角之间依次切换地进行播放以模拟用户经过这些视点进行观察来获得临场效果的播放模式。
在另一个实施例中，在机顶盒3以固定视角进行播放的时间大于等于第一阈值T1的情况下(即当控制单元12判定为用户已经开始观看当前视角的视频时)，控制单元12还使云渲染单元13针对所述机顶盒停止进行渲染和编码输出，并释放云渲染单元13针对当前机顶盒3的图形处理所占用的资源(例如GPU资源)。
在另一个实施例中，在机顶盒3以固定视角进行播放的时间大于等于第二阈值T2时，云渲染单元13释放针对当前机顶盒3的运算处理所占用的资源(例如CPU资源、内存中与渲染有关的运算进程等)。第二阈值T2可以根据实际需要而任意地设定。在一个实施例中，T2大于T1。由此，使云渲染单元13逐步释放针对当前机顶盒3的资源，在一定程度上能够快速地返回到滑动视角播放的模式。
在一个实施例中，多视角视频播放系统1在接收到来自机顶盒3的表示请求进行滑动视角播放的请求指令的情况下，针对机顶盒3分配云渲染所需的图形处理资源和/或运算处理资源，对多视角视频流进行云渲染，并将多视角视频播放系统1的输出切换成将由云渲染单元13渲染后的视频流发送到该机顶盒3。由此，能够使机顶盒3重新开始滑动视角播放的模式。
在一个实施例中，接收单元11还获得多视角视频流的视角信息和时间戳信息，控制单元12在云渲染单元13和内容分发网络单元14之间发生切换时根据所获得的视角信息和时间戳信息来使切换前后机顶盒3接收到的视频流在时间上对齐。由此，能够使机顶盒3的视频流在切换时流畅地衔接。在另一个实施例中，上述的时间对齐功能也可以由控制单元12以外的单独的模块(单元)来实现。
图2是示出了根据本发明的一个实施例的由多视角视频播放系统执行的多视角视频的播放方法的示意性的流程图。
如图2所示，在多视角视频播放系统1中，首先，执行的接收步骤S201，接收由多视角拍摄系统2以多视角方式拍摄得到的包含多个视角的多视角视频流。
接着，执行云渲染步骤S203，在该云渲染步骤S203中，根据来自某个机顶盒3(例如机顶盒3-1)的指令，由云渲染单元13对在步骤S201中接收到的多视角视频进行云渲染，并将渲染后的视频流作为多视角视频播放系统1的输出发送给该机顶盒3。
接着，执行切换步骤S205，在该切换步骤S205中，在该机顶盒3以固定视角进行播放的时间大于等于第一阈值T1的情况下，将多视角视频播放系统1的输出从在步骤S203中渲染后的视频流切换为内容分发网络单元14在该固定视角下对应的输出视频流而发送给机顶盒3。第一阈值T1可以根据实际需要来任意地设置，在一个实施例中第一阈值T1可以为5分钟。通过控制单元12进行如上所述的控制，当该机顶盒3(例如机顶盒3-1)以固定视角进行播放的时间大于等于第一阈值T1时(即认为用户已经选定了某个视角进行观看时)，控制单元12使该机顶盒3的视频源从云渲染单元13切换为内容分发网络单元14，由内容分发网络单元14向该机顶盒3提供视频流数据。
发明人考虑到观众大部分时间是观看固定视角，少部分时间滑动视角，因此本发明采用云渲染与内容分发网络结合的多视角视频播放方法，既能满足一般机顶盒的需求，又能节约云渲染资源。而且，使得多视角云渲染具备规模推广的实用性。
根据本发明的播放方法，在以多个视角进行滑动视角播放时采用云渲染，在固定视角时采用内容分发网络流，由此使得一方面可以充分利用云渲染支持普通机顶盒播放多视角直播和点播、快速兼容采用不同播出技术的节目版权方，另一方面又根据多视角视频播放的特点将云渲染和内容分发网络结合，极大地节约云端图形处理资源(例如GPU)和运算处理资源(例如CPU)的资源消耗。
另外，在一个实施例中，云渲染包括将所述多视角视频流转换为适于所述机顶盒以固定视角进行播放的视频格式的处理和/或将所述多视角视频流转换为适于所述机顶盒以多个视角进行滑动视角播放的视频格式的处理。一般的机顶盒作为视频终端一般不具备解析、处理多视角视频流的能力，仅能直接播放预定格式的视频流，由此多视角视频流无法直接应用于机顶盒3。因此，需要云渲染单元13将视频流转换为适于机顶盒3播放的格式，这里的转换可以包括但不限于将多视角视频流转换为适于机顶盒3以固定视角进行播放的视频格式的处理和/或将多视角视频流转换为适于机顶盒3以多个视角进行滑动视角播放的视频格式的处理。滑动视角播放是指在多个视角之间依次切换地进行播放以模拟用户经过这些视点进行观察来获得临场效果的播放模式。
在另一个实施例中，在切换步骤S201中，还包括：云渲染单元13停止针对该机顶盒3进行渲染和编码输出，并释放云渲染单元13针对该机顶盒3的图形处理所占用的资源(例如GPU资源)。
在另一个实施例中，在该机顶盒3以固定视角进行播放的时间大于等于第二阈值T2时，云渲染单元13释放针对所述机顶盒的运算处理所占用的资源(例如CPU资源、内存中与渲染有关的运算进程等)。第二阈值T2可以根据实际需要而任意地设定。在一个实施例中，T2大于T1。由此，使云渲染单元13逐步释放针对当前机顶盒3的资源，在一定程度上能够快速地返回到滑动视角播放的模式。
在另一个实施例中，多视角视频播放系统1在接收到来自该机顶盒3的表示请求进行滑动视角播放的请求指令的情况下，针对该机顶盒3分配云渲染所需的图形处理资源和/或运算处理资源，对多视角视频流进行云渲染，并将多视角视频播放系统1的输出切换成将由云渲染单元13渲染后的视频流发送到该机顶盒3。由此，能够使机顶盒3重新开始滑动视角播放的模式。
在一个实施例中，在接收步骤S201中还包括获得所述多视角视频流的视角信息和时间戳信息的步骤S202，此外，播放方法还包括对齐步骤，在该对齐步骤中，在云渲染单元13和内容分发网络单元14之间发生切换时根据在步骤S202中获取的视角信息和时间戳信息使切换前后机顶盒3接收到的视频流在时间上对齐。由此，能够使机顶盒3的视频流在切换时流畅地衔接。
下面，说明本发明的一个具体实施例的多视角视频系统整体架构。
图3示出了根据本发明的一个具体实施例的多视角直播系统构架图。
图4示出了根据本发明的一个具体实施例的多视角转播系统构架图。
多视角视频系统整体架构在整个流程上包括如下几个环节：多视角拍摄制作、多视角视频拼流和虚拟视点计算、CDN和视频云渲染平台(即多视角视频播放系统)、终端播放与交互控制。
在整个架构的第一个环节，多视角拍摄制作主体为内容制作商，其进行多视角拼流和虚拟视点计算，可以采用现场拼流系统，也可由运营商提供边缘计算平台运行拼流系统。其中，可以但不限于以插值运算的方式计算出多个摄像机的每两个摄像机之间的位置处的一个或多个虚拟视点处的视频流。在图5中示出了以插值渲染的方式计算在每两个摄像机(即真实视点)之间的位置处设置一个虚拟视点的示意性的例子。实线描绘的摄像机1～M对应于真实视点1～M，虚线描绘的摄像机对应于在每两个摄像机之间的虚拟视点，通过插值运算得到该虚拟视点处的视频流，在图5的配置中N＝2M-1。图5的例子仅仅是一个例示，虚拟视点的数量和位置可以根据实际需要而任意地设定。在一个实施例中，虚拟视点的追加是为了在滑动视角播放时能够平滑地从一个实际视点过渡到下一个实际视点。
另外，在本实施例中，CDN和云渲染平台这一部分(即多视角视频播放系统)可以由电信运营商提供的。
关于终端播放与控制的方面，从手机屏的角度来说优选能兼容嵌入多种视频播放器，从大屏的角度来说优选能兼容IPTV(交互式网络电视)机顶盒和OTT(“OverTheTop”)机顶盒。
参考图3，在多视角直播系统架构图中，视频拼流环节包括编码、同步信息、虚拟视点、子弹视频、拼接流等模块，其向本发明的多视角视频播放系统提供多视角视频流。在本发明的多视角视频播放系统中的云渲染平台中，采用云端组播实现直播转发，从而节约网络流量。本发明的多视角视频播放系统的控制单元进行调度控制、交互处理、CDN对齐等处理。云渲染处理包括播放渲染、编码输出等处理。终端模块包括手机操控与机顶盒终端播放多屏互动，其中机顶盒终端播放只需要现有普通机顶盒的H.264播放能力即可。
参考图4，在多视角点播系统架构图中，按CDN与多视角视频流的注入规范，预先将拼接视频流注入到CDN。在该实施例中，为了加强平滑性，可以对虚拟视角和子弹视频进行更进一步的非实时计算。云渲染平台和CDN对接，播放CDN的内容并输出编码，实现用户对多视角视频流的点播。
采用云渲染的多视角直播和点播系统，克服了现有多视角视频技术中不支持普通机顶盒播放多视角视频的缺点，而且采用云渲染容易实现在云端快速适配各种多视角播放器，为采用不同播出技术的节目版权方提供兼容性平台。
图6示出了生成多视角视频流的同步信息的流程图。
参考图6，在视频拼流阶段，采用两次同步处理机制。首先执行多视角同步信息前置处理。例如假设有n路原始信号，对于n路摄像头信号源编码后采用RTP协议封装，n路原始信号的协议包的时间戳(Time Stamp)一致。在虚拟视角生成时，虚拟视角的协议包与其参考协议包的时间戳一致。在生成拼接流时，拼接流的协议包与其包含的视角信号的时间戳保持一致。一般来说，虚拟视角或拼接流会发生延迟，那么在多视角同步信息后置处理阶段，缓存n路原始信号，保证与虚拟视角和拼接流的时间戳再次同步后，再向多视角视频播放系统发送包含了同步信息的多视角视频流。
图7示出了云渲染CDN对齐的时序图的一个例子。
以下参考图7，详细说明云渲染CDN对齐时序的一个例子。在图7的例子中，终端模块包括手机操控与机顶盒终端播放多屏互动。
首先，在CDN对齐之前进行正常云渲染时序，其包括调度、交互处理、播放渲染、输出编码等。具体而言，如图7所示，手机操控连接机顶盒终端，请求云渲染资源，随后在多视角视频播放系统的调度控制下，云渲染平台将多视角拍摄制作的拼接流以固定视角播放模式进行云渲染并在编码输出后发送给机顶盒来进行显示。随后，在手机终端请求滑动视角播放时，云渲染平台将多视角拍摄制作的拼接流按照滑动视角播放模式进行云渲染并在编码输出后发送给机顶盒来进行显示。随后，在判断终端为以固定视角进行观看(即释放操控)时，云渲染平台将多视角拍摄制作的拼接流按照固定视角播放模式进行云渲染并在编码输出后发送给机顶盒来进行显示。随后，开始CDN对齐处理。在云渲染阶段，滑动视角的时间总体上是较短的。云端渲染播放在判断固定视角播放时间达到第一阈值T1(例如设置为5分钟)时，认为手机不操控、用户进入固定视角播放状态。此时，云端渲染播放根据拼接流的视角和时间戳，调用CDN的固定视角视频流并与拼接流时间戳对齐，然后将CDN的当前固定视角视频流转发输出，停止云渲染平台的云渲染播放和编码，并释放对应的GPU资源。
参考图8来详细地说明机顶盒终端CDN切换时序的一个例子。在图8中分别示出了代表CDN切换的释放资源和再次操控的时序图。如图8所示，当云端CDN对齐一段时间后，判断固定视角播放时间达到第二阈值T2(例如10分钟)时，认为用户此时完全不进行交互操控而仅观看当前固定视角。因此将当前固定视角的CDN url(统一资源定位标志)和CDN对齐流的时间戳发给手机或机顶盒，此时机顶盒直接请求CDN url并对齐时间戳进行播放，完成CDN切换。此时完全释放云端资源CPU(即图8中的“CDN切换-释放资源”)。
当再次进行操控时，通过调度控制分配可用的云渲染播放资源，再次进入滑动视角云渲染播放模式(即图8中的“CDN切换-再次操控”)。
根据本发明的方法，在滑动视角播放时采用云渲染，在固定视角时采用CDN流url，由此能够节约云渲染资源。使得一方面可以充分利用云端渲染支持普通机顶盒播放多视角直播和点播、快速兼容采用不同播出技术的节目版权方，另一方面又根据多视角视频播放的特点将云端渲染和CDN结合，极大地节约云端GPU和CPU的资源消耗。
本发明可以被实现为装置、系统、集成电路和非瞬时性计算机可读介质上的计算机程序的任何组合。可以将一个或多个处理器实现为执行本发明中描述的部分或全部功能的集成电路(IC)、专用集成电路(ASIC)或大规模集成电路(LSI)、系统LSI，超级LSI或超LSI组件。
本发明包括软件、应用程序、计算机程序或算法的使用。可以将软件、应用程序、计算机程序或算法存储在非瞬时性计算机可读介质上，以使诸如一个或多个处理器的计算机执行上述步骤和附图中描述的步骤。例如，一个或多个存储器以可执行指令存储软件或算法，并且一个或多个处理器可以关联执行该软件或算法的一组指令，以根据本发明中描述的实施例提供各种功能。
软件和计算机程序(也可以称为程序、软件应用程序、应用程序、组件或代码)包括用于可编程处理器的机器指令，并且可以以高级过程性语言、面向对象编程语言、功能性编程语言、逻辑编程语言或汇编语言或机器语言来实现。术语“计算机可读介质”是指用于向可编程数据处理器提供机器指令或数据的任何计算机程序产品、装置或设备，例如磁盘、光盘、固态存储设备、存储器和可编程逻辑设备(PLD)，包括将机器指令作为计算机可读信号来接收的计算机可读介质。
举例来说，计算机可读介质可以包括动态随机存取存储器(DRAM)、随机存取存储器(RAM)、只读存储器(ROM)、电可擦只读存储器(EEPROM)、紧凑盘只读存储器(CD-ROM)或其他光盘存储设备、磁盘存储设备或其他磁性存储设备，或可以用于以指令或数据结构的形式携带或存储所需的计算机可读程序代码以及能够被通用或专用计算机或通用或专用处理器访问的任何其它介质。如本文中所使用的，磁盘或盘包括紧凑盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中磁盘通常以磁性方式复制数据，而盘则通过激光以光学方式复制数据。上述的组合也包括在计算机可读介质的范围内。
提供本发明的主题作为用于执行本发明中描述的特征的装置、系统、方法和程序的示例。但是，除了上述特征之外，还可以预期其他特征或变型。可以预期的是，可以用可能代替任何上述实现的技术的任何新出现的技术来完成本发明的部件和功能的实现。
另外，以上描述提供了示例，而不限制权利要求中阐述的范围、适用性或配置。在不脱离本发明的精神和范围的情况下，可以对所讨论的元件的功能和布置进行改变。各种实施例可以适当地省略、替代或添加各种过程或部件。例如，关于某些实施例描述的特征可以在其他实施例中被结合。
另外，在本发明的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性和顺序。
类似地，虽然在附图中以特定次序描绘了操作，但是这不应该被理解为要求以所示的特定次序或者以顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。

Claims (13)

1.一种由多视角视频播放系统执行的多视角视频的播放方法，所述多视角视频播放系统包括云渲染单元和内容分发网络单元，所述多视角视频播放系统与作为视频终端的一个或多个机顶盒可通信地连接，所述播放方法包括：
接收步骤，接收以多视角方式拍摄得到的包含多个视角的多视角视频流；
云渲染步骤，根据来自机顶盒的指令，由所述云渲染单元对所述多视角视频进行云渲染，并将渲染后的视频流作为所述多视角视频播放系统的输出发送给所述机顶盒；以及
切换步骤，在所述机顶盒以固定视角进行播放的时间大于等于第一阈值的情况下，将所述多视角视频播放系统的输出从所述渲染后的视频流切换为所述内容分发网络单元在所述固定视角下对应的输出视频流而发送给所述机顶盒。
2.根据权利要求1所述的播放方法，其中，
所述云渲染包括将所述多视角视频流转换为适于所述机顶盒以固定视角进行播放的视频格式的处理和/或将所述多视角视频流转换为适于所述机顶盒以多个视角进行滑动视角播放的视频格式的处理。
3.根据权利要求1所述的播放方法，其中，
在所述切换步骤中，还包括：所述云渲染单元停止针对所述机顶盒进行渲染和编码输出，并释放所述云渲染单元针对所述机顶盒的图形处理所占用的资源。
4.根据权利要求3所述的播放方法，其中，
在所述机顶盒以固定视角进行播放的时间大于等于第二阈值时，所述云渲染单元释放针对所述机顶盒的运算处理所占用的资源。
5.根据权利要求3或4所述的播放方法，其中，
所述多视角视频播放系统在接收到来自所述机顶盒的表示请求进行滑动视角播放的请求指令的情况下，针对所述机顶盒分配云渲染所需的图形处理资源和/或运算处理资源，对所述多视角视频流进行云渲染，并将所述多视角视频播放系统的输出切换成将由所述云渲染单元渲染后的视频流发送到所述机顶盒。
6.根据权利要求1所述的播放方法，其中，
在所述接收步骤中还包括获得所述多视角视频流的视角信息和时间戳信息的步骤，
所述播放方法还包括对齐步骤，在所述对齐步骤中，在所述云渲染单元和所述内容分发网络单元之间发生切换时根据所述视角信息和所述时间戳信息使切换前后所述机顶盒接收到的视频流在时间上对齐。
7.一种多视角视频播放系统，所述多视角视频播放系统包括接收单元、云渲染单元、内容分发网络单元和控制单元，所述多视角视频播放系统与作为视频终端的一个以上的机顶盒可通信地连接，
所述接收单元接收以多视角方式拍摄得到的包含多个视角的多视角视频流，
所述控制单元根据来自机顶盒的指令使所述云渲染单元对所述多视角视频进行云渲染并将渲染后的视频流作为所述多视角视频播放系统的输出而发送给所述机顶盒，
在所述机顶盒以固定视角进行播放的时间大于等于第一阈值的情况下，所述控制单元将所述多视角视频播放系统的输出从所述渲染后的视频流切换为所述内容分发网络单元在所述固定视角下对应的输出视频流而发送给所述机顶盒。
8.根据权利要求7所述的多视角视频播放系统，其中，
所述云渲染包括将所述多视角视频流转换为适于所述机顶盒以固定视角进行播放的视频格式的处理和/或将所述多视角视频流转换为适于所述机顶盒以多个视角进行滑动视角播放的视频格式的处理。
9.根据权利要求7所述的多视角视频播放系统，其中，
在所述机顶盒以固定视角进行播放的时间大于等于第一阈值的情况下，所述控制单元还使所述云渲染单元针对所述机顶盒停止进行渲染和编码输出，并释放所述云渲染单元针对所述机顶盒的图形处理所占用的资源。
10.根据权利要求9所述的多视角视频播放系统，其中，
在所述机顶盒以固定视角进行播放的时间大于等于第二阈值时，所述云渲染单元释放其针对所述机顶盒的运算处理所占用的资源。
11.根据权利要求9或10所述的多视角视频播放系统，其中，
所述多视角视频播放系统在接收到来自所述机顶盒的表示请求进行滑动视角播放的请求指令的情况下，针对所述机顶盒分配云渲染所需的图形处理资源和/或运算处理资源，对所述多视角视频流进行云渲染，并将所述多视角视频播放系统的输出切换成将由所述云渲染单元渲染后的视频流发送到所述机顶盒。
12.根据权利要求7所述的多视角视频播放系统，其中，
所述接收单元还获得所述多视角视频流的视角信息和时间戳信息，
所述控制单元在所述云渲染单元和所述内容分发网络单元之间发生切换时根据所述视角信息和所述时间戳信息使切换前后所述机顶盒接收到的视频流在时间上对齐。
13.一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1至6中的任意一项所述的播放方法。
CN202011530265.4A 2020-12-22 2020-12-22 多视角视频播放方法、装置及存储介质 Active CN114666565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011530265.4A CN114666565B (zh) 2020-12-22 2020-12-22 多视角视频播放方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011530265.4A CN114666565B (zh) 2020-12-22 2020-12-22 多视角视频播放方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114666565A true CN114666565A (zh) 2022-06-24
CN114666565B CN114666565B (zh) 2024-02-27

Family

ID=82025245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011530265.4A Active CN114666565B (zh) 2020-12-22 2020-12-22 多视角视频播放方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114666565B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
CN108012168A (zh) * 2016-10-31 2018-05-08 中国电信股份有限公司 一种多路视频流直播的控制方法和视频直播系统
CN108965847A (zh) * 2017-05-27 2018-12-07 华为技术有限公司 一种全景视频数据的处理方法及装置
WO2019139250A1 (en) * 2018-01-15 2019-07-18 Samsung Electronics Co., Ltd. Method and apparatus for playing a 360-degree video
CN110290290A (zh) * 2019-06-21 2019-09-27 深圳迪乐普数码科技有限公司 云vr演播室的实现方法、装置、计算机设备及存储介质
WO2019231693A1 (en) * 2018-05-31 2019-12-05 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
CN111356018A (zh) * 2020-03-06 2020-06-30 北京奇艺世纪科技有限公司 一种播放控制方法、装置、电子设备及存储介质
CN111698520A (zh) * 2020-06-24 2020-09-22 北京奇艺世纪科技有限公司 一种多视角视频的播放方法、装置、终端及存储介质
CN111901616A (zh) * 2020-07-15 2020-11-06 天翼视讯传媒有限公司 一种基于H5/WebGL的改进多视角直播渲染的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
CN108012168A (zh) * 2016-10-31 2018-05-08 中国电信股份有限公司 一种多路视频流直播的控制方法和视频直播系统
CN108965847A (zh) * 2017-05-27 2018-12-07 华为技术有限公司 一种全景视频数据的处理方法及装置
WO2019139250A1 (en) * 2018-01-15 2019-07-18 Samsung Electronics Co., Ltd. Method and apparatus for playing a 360-degree video
WO2019231693A1 (en) * 2018-05-31 2019-12-05 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
CN110290290A (zh) * 2019-06-21 2019-09-27 深圳迪乐普数码科技有限公司 云vr演播室的实现方法、装置、计算机设备及存储介质
CN111356018A (zh) * 2020-03-06 2020-06-30 北京奇艺世纪科技有限公司 一种播放控制方法、装置、电子设备及存储介质
CN111698520A (zh) * 2020-06-24 2020-09-22 北京奇艺世纪科技有限公司 一种多视角视频的播放方法、装置、终端及存储介质
CN111901616A (zh) * 2020-07-15 2020-11-06 天翼视讯传媒有限公司 一种基于H5/WebGL的改进多视角直播渲染的方法

Also Published As

Publication number Publication date
CN114666565B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
WO2021179783A1 (zh) 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
US11277598B2 (en) Systems and methods for network-based media processing
CN111447461A (zh) 多视角直播视频的同步切换方法、装置、设备和介质
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN106507186B (zh) 一种媒体信息的切换方法、服务器及存储介质
CN101909160A (zh) 一种网络视频直播中的播控切换方法及装置
CN111372145B (zh) 一种多视点视频的视点切换方法和系统
CN101917568A (zh) 一种基于流媒体技术的网络视频播放器及播放系统
Ahmad Multi-view video: get ready for next-generation television
US20210176446A1 (en) Method and device for transmitting and receiving metadata about plurality of viewpoints
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
WO2020228482A1 (zh) 视频处理方法、装置及系统
CN111447503A (zh) 一种多视点视频的视点切换方法、服务器和系统
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
BR112012022448A2 (pt) método e aparelho para conversão de conteúdo de vídeo bidimensional para inserção em conteúdo de vídeo tridimensional
CN105704399A (zh) 多画面电视节目的播出方法和系统
CN114079813A (zh) 画面同步方法、编码方法、视频播放设备及视频编码设备
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
CN112087642A (zh) 云导播播放方法、云导播服务器及远程管理终端
CN114666565B (zh) 多视角视频播放方法、装置及存储介质
Kawamura et al. 3D free-viewpoint augmented reality on a second display synchronized with a broadcast program
KR102233667B1 (ko) 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
EP3776484A1 (en) Associating file format objects and dynamic adaptive streaming over hypertext transfer protocol (dash) objects
TWI778749B (zh) 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant