CN113099245A - 全景视频直播方法、系统和计算机可读存储介质 - Google Patents

全景视频直播方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN113099245A
CN113099245A CN202110241541.3A CN202110241541A CN113099245A CN 113099245 A CN113099245 A CN 113099245A CN 202110241541 A CN202110241541 A CN 202110241541A CN 113099245 A CN113099245 A CN 113099245A
Authority
CN
China
Prior art keywords
image frame
interest
region
panoramic
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110241541.3A
Other languages
English (en)
Other versions
CN113099245B (zh
Inventor
陈科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN202110241541.3A priority Critical patent/CN113099245B/zh
Publication of CN113099245A publication Critical patent/CN113099245A/zh
Application granted granted Critical
Publication of CN113099245B publication Critical patent/CN113099245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供一种全景视频直播方法，包括：主播客户端确定全景图像帧中的至少一个感兴趣区域；确定所述感兴趣区域在原始图像帧中的第一位置信息；根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器；当所述观众客户端确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。本申请实施例提供的方法，可以提高全景视频直播中感兴趣区域的画面清晰度，提高了观众观看全景视频的体验。

Description

全景视频直播方法、系统和计算机可读存储介质
技术领域
本申请实施例涉及直播技术领域，尤其涉及全景视频直播的方法、系统和计算机可读存储介质，还涉及一种主播客户端和一种观众客户端。
背景技术
在全景视频直播中，全景视频采用的分辨率通常比较大，但由于带宽的限制，直播的全景视频并不能选择较高的码率进行编码，而采用小码率对全景视频进行编码，全景视频会被过多的压缩，导致观众观看到的全景视频的清晰度明显下降，观看体验较差。
发明内容
为克服相关技术中存在的问题，本申请实施例提供了全景视频直播的方法、系统和计算机可读存储介质，还提供一种主播客户端和一种观众客户端。
根据本申请实施例的第一方面，提供一种全景视频直播方法，包括：
主播客户端确定全景图像帧中的至少一个感兴趣区域；
所述主播客户端确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
所述主播客户端根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
所述主播客户端将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度；
观众客户端从所述服务器获取所述全景图像帧对应的视频流进行播放；
当所述观众客户端确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。
根据本申请实施例的第二方面，提供一种全景视频直播方法，应用于主播客户端，包括：
确定全景图像帧中的至少一个感兴趣区域；
确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
根据本申请实施例的第三方面，提供一种全景视频直播方法，应用于观众客户端，包括：
从服务器获取全景图像帧对应的视频流进行播放；
从所述服务器获取感兴趣区域在所述全景图像帧中的第二位置信息，并根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域；
当确定所述感兴趣区域被观众选中时，从所述服务器被选中的感兴趣区域对应的目标图像帧的视频流进行播放，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
根据本申请实施例的第四方面，提供一种全景视频直播系统，包括：主播客户端和观众客户端；
所述主播客户端用于：确定全景图像帧中的至少一个感兴趣区域；确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度；
所述观众客户端用于：从所述服务器获取所述全景图像帧对应的视频流进行播放；当确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。
根据本申请实施例的第五方面，提供一种主播客户端，包括：
第一确定模块，用于确定全景图像帧中的至少一个感兴趣区域；
第二确定模块，用于确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
裁剪模块，用于根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
编码模块，用于将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
根据本申请实施例的第六方面，提供一种观众客户端，包括：
第一播放模块，用于从服务器获取全景图像帧对应的视频流进行播放；
标记模块，用于从所述服务器获取感兴趣区域在所述全景图像帧中的第二位置信息，并根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域；
第二播放模块，用于当确定所述感兴趣区域被用户选中时，从所述服务器获取所述感兴趣区域对应的目标图像帧的视频流进行播放，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
根据本申请实施例的第七方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时上述第一方面提供的全景视频直播方法。
本申请提供的技术方案可以包括以下有益效果：
本申请实施例提供的全景视频直播方法，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
并且，由于感兴趣区域对应全景视频中的局部区域，因此其分辨率要小于全景视频的分辨率，在此基础上，要使感兴趣区域对应的画面清晰度高于全景视频的画面清晰度，只需要较小的码率对感兴趣区域对应的视频流进行编码即可，少量带宽资源的付出即可带来显著的画面清晰度的提升。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例。
附图说明
此处的附图被并入说明书中并构成本申请实施例的一部分，示出了符合本申请实施例的实施例，并与说明书一起用于解释本申请实施例的原理。
图1是本申请实施例提供的一种全景视频直播的应用场景图。
图2是本申请实施例提供的全景视频直播方法的第一流程图。
图3是本申请实施例提供的主播客户端确定感兴趣区域的界面示意图。
图4是本申请实施例提供的观众客户端标记感兴趣区域的界面示意图。
图5是本申请实施例提供的观众客户端新建窗口播放感兴趣区域的视频流的界面示意图。
图6是本申请实施例提供的全景视频直播方法的第二流程图。
图7是本申请实施例提供的全景视频直播方法的第三流程图。
图8是本申请实施例提供的全景视频直播系统的结构示意图。
图9是本申请实施例提供的主播客户端的结构示意图。
图10是本申请实施例提供的观众客户端的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
全景视频可以给用户提供720度的视角(水平360度和竖直360度)，当用户在观看全景视频时，用户可以通过鼠标或手指在全景视频的播放界面上拉动或滑动，从而可以改变当前所观看的预览画面对应的视角，实现在全景视频中的漫游。
可以参考图1，图1是本申请实施例提供的一种全景视频直播的应用场景图。如图1所示，在全景视频直播时，主播可以通过全景相机对所处环境所有视角进行图像采集，采集的不同视角的图像在通过拼接后可以得到全景图像，主播客户端(安装在主播终端)可以将全景图像对应的视频流传输到服务器，从而观众客户端(安装在观众终端)可以从服务器拉取所述全景图像对应的视频流进行播放，使观众可以观看到主播所处环境所有视角的画面，达到身临其境的效果。
全景视频相比传统视频可以提供更多的视角，但全景视频的分辨率也比传统视频大。由于带宽的限制，直播的全景视频并不能采用较高的码率进行编码，从而在编码压缩后，全景视频的清晰度会明显下降，导致观众观看到的全景画面清晰度不足。
为解决上述问题，申请人进行了研究和分析。申请人发现，全景视频虽然能够提供所有视角的画面，但并不是所有视角都被观众所关注。可以举个例子，比如在舞台表演的全景视频直播中，观众所关注的视角是舞台、观众席所在的视角，而其他如天花板、过道等区域的视角，观众并不会过多的关注。
基于上述发现，申请人提供了一种解决方案，即主播客户端可以裁剪出全景画面中的感兴趣区域，并可以对感兴趣区域对应的视频流进行高清编码，使观众可以观看到更清晰的所述感兴趣区域对应的画面。由于感兴趣区域仅是全景画面中的局部区域，因此感兴趣区域对应的分辨率较小，采用较小的码率对感兴趣区域的视频流进行编码已经可以使感兴趣区域有较高的画面清晰度，相比对整个全景视频采用高码率编码而言，所占用的带宽要小很多，并且由于感兴趣区域是观众更关注的区域，因此在提高观众体验上效果显著。
可以参考图2，图2是本申请实施例提供的全景视频直播方法的第一流程图。该方法应用于主播系统，主播系统可以包括主播客户端和观众客户端，主播客户端和观众客户端可以是一种应用程序，其可以安装在各种类型的终端设备中，比如可以安装在手机、电脑、平板等，当然，主播客户端和观众客户端也可以是网页应用(web app)。该方法可以包括以下步骤：
S202、主播客户端确定全景图像帧中的至少一个感兴趣区域。
S204、主播客户端确定所述感兴趣区域在原始图像帧中的第一位置信息。
S206、主播客户端根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧。
S208、主播客户端将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器。
S210、观众客户端从所述服务器获取所述全景图像帧对应的视频流进行播放。
S212、当观众客户端确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。
全景视频是由一帧帧全景图像帧构成的，对任一帧全景图像帧，其是全景相机采集的不同视角的图像拼接得到的，这里可以将全景相机采集的不同视角的图像称为原始图像帧，即全景图像帧是多个原始图像帧拼接得到的。全景相机可以包括多个对应不同视角的摄像头(可以参考图1中的全景相机)，每个摄像头可以拍摄得到一个原始图像帧，将多个摄像头在当前时刻拍摄得到的多个原始图像帧进行拼接，可以得到当前时刻对应的全景图像帧(当前帧)。
对于原始图像帧的拼接，在一种实施方式中可以由主播客户端进行，即全景相机可以将拍摄的多个原始图像帧传输给主播客户端，主播客户端可以利用多个原始图像帧进行拼接得到全景图像帧。在一种实施方式中，原始图像帧的拼接也可以由全景相机进行，如此，全景相机可以将各个原始图像帧以及拼接出的全景图像帧均提供给主播客户端。
对于全景图像帧中的感兴趣区域，可以有多种方式确定。在一种实施方式中，所述感兴趣区域可以是主播客户端默认的某个特定视角对应的区域，比如可以默认水平0度上下0度的视角对应的图像区域为感兴趣区域。在一种实施方式中，感兴趣区域也可以是根据全景图像帧中的内容确定的。比如，在一个例子中，可以通过识别算法识别全景图像帧中包含的内容，若所述全景图像帧包含的内容中存在目标内容(例如人物)，则可以将目标内容对应的区域确定为感兴趣区域。
在一种实施方式中，全景图像帧中的感兴趣区域可以是根据主播对所述全景图像帧的操作确定的。在一个例子中，主播客户端可以对全景视频(全景图像帧)进行3D渲染，即播放所述全景视频，主播客户端可以在所述全景视频中生成一个选取框，该选取框的大小可以由主播自行定义，该选取框的中心可以与预览画面的中心重合。主播可以通过在全景视频中漫游，将当前的预览画面对应的视角移动至感兴趣区域对应的视角。在获取到主播输入的确认指令后，主播客户端可以将当前的选取框中的区域确定为感兴趣区域。可以理解的，主播通过重复漫游和输入确认指令，可以选取多个感兴趣区域。可以参考图3，图3是本申请实施例提供的主播客户端确定感兴趣区域的界面示意图。
由于全景图像帧是3D渲染的，而感兴趣区域可以是一个2D的矩形区域，无法直接从全景图像帧中裁剪出感兴趣区域对应的图像，因此，可以确定感兴趣区域在原始图像帧中的第一位置信息，由于原始图像帧是2D的平面图像，因此可以根据该第一位置信息可以从原始图像帧中裁剪出感兴趣区域对应的图像，这里，感兴趣区域对应的图像可以称为目标图像帧。
主播客户端可以针对各个感兴趣区域均裁剪出其对应的目标图像帧，并可以将各个感兴趣区域对应的目标图像帧的视频流以及全景图像帧对应的视频流分别进行编码后传输给服务器。这里，感兴趣区域对应的目标图像帧的清晰度高于全景图像帧的清晰度。相应的，观众客户端可以从服务器获取全景图像帧对应的视频流进行播放，并可以在确定全景图像帧中有感兴趣区域被观众选中时，从服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放，使观众可以观看到感兴趣区域对应的视频，并且该感兴趣区域的视频画面的清晰度高于全景视频的画面清晰度。
视频画面的清晰度可以根据视频画面的分辨率与视频对应的编码码率确定。具体的，可以将视频对应的编码码率记为B，视频的图像帧的分辨率记为S，则视频画面的清晰度与比值B/S成正相关的关系。因此，要使感兴趣区域的画面清晰度高于全景视频的画面清晰度，在一种实施方式中，主播客户端可以以指定码率对目标图像帧对应的视频流进行编码，这里，所述指定码率可以满足以下条件：即指定码率与所述目标图像帧的分辨率的比值大于所述全景图像帧对应的视频流的编码码率与所述全景图像帧的分辨率的比值。这里，可以将所述指定码率记为B1，将目标图像帧的分辨率记为S1，将全景图像帧对应的编码码率记为B2，将全景图像帧的分辨率记为S2，则当满足B1/S1大于B2/S2时，感兴趣区域对应的目标图像帧的清晰度可以高于全景视频对应的全景图像帧的清晰度。可以理解的，由于感兴趣区域通常是全景画面中的局部区域，即感兴趣区域的分辨率S1通常比全景画面的分辨率S2小很多，在此基础上，要满足上述B1/S1大于B2/S2的条件，所述目标图像帧对应的编码码率B1只需要采用很小的数值即可，即只需要付出少量的带宽资源便可以使感兴趣区域的画面清晰度高于全景视频的画面清晰度。
本申请实施例提供的全景视频直播方法，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
如前文所述，全景图像帧是3D图像，全景图像帧是多个原始图像帧拼接得到的。这里，多个原始图像帧在进行拼接时，可以通过投影公式投影到一个立体空间，从而可以对投影后的各个原始图像帧进行拼接，得到所述全景图像帧。而在确定全景图像帧中的感兴趣区域在所述原始图像帧中的第一位置信息时，在一种实施方式中，可以通过所述投影公式对所述全景图像帧中感兴趣区域的像素点进行反计算，换言之，即找出感兴趣区域在全景图像帧中的像素点在原始图像帧中对应的像素点位置，即得到所述像素点在原始图像帧中的第一位置信息。
可以理解的，所述多个原始图像帧中，每个原始图像帧对应不同的视角，因此，在一种可能的情况中，感兴趣区域在反计算到原始图像帧后，其可以落在多个原始图像帧中，比如感兴趣区域在反计算后可以落在视场相邻的两个原始图像帧中。如此，对于感兴趣区域中的像素点，不同像素点在反计算后可能位于不同原始图像帧，因此，所述像素点对应的所述第一位置信息一方面可以指示出所述像素点在反计算后位于多个原始图像帧中的哪一个图像(即目标原始图像帧)，一方面可以指示出所述像素点在所述目标原始图像帧中的位置，比如坐标(X，Y)。
而在根据所述第一位置信息对原始图像帧进行裁剪时，在一种实施方式中，可以对感兴趣区域的每一个像素点，根据所述像素点对应的所述第一位置信息，从指示的目标原始图像帧中提取指示位置处的像素点，从而可以利用提取的感兴趣区域的各个像素点合成所述感兴趣区域对应的所述目标图像帧。
在一种实施方式中，感兴趣区域可以有多个，可以对每一个感兴趣区域，将所述感兴趣区域的各个像素点对应的所述第一位置信息保存在一个模板文件中，从而每个感兴趣区域对应保存有对应的模板文件，在对感兴趣区域进行裁剪时，可以根据该感兴趣区域对应的模板文件进行。
由前文可知，主播客户端可以将各个感兴趣区域对应的目标视频帧的视频流以及全景图像帧对应的视频流分别进行编码后传输给服务器。考虑到带宽资源有限，在一种实施方式中，要传输给服务器的各个视频流对应的编码码率可以根据各个视频流对应的权重对总码率进行分配确定。这里，对于视频流所对应的权重，在一种实施方式可以根据主播的配置操作确定。比如，在一个例子中，感兴趣区域可以有2个，分别记为感兴趣区域A和感兴趣区域B，则主播可以为感兴趣区域A对应的视频流配置权重值a1，为感兴趣区域B对应的视频流配置权重b1，为全景图像帧对应的视频流配置权重值c1，从而主播客户端在接收到三个视频流对应的权重值后，可以根据这些权重值将总码率分配给各个视频流。
在全景图像帧对应的视频流和感兴趣区域对应的视频流传输到服务器之后，观众客户端可以从服务器拉取该全景图像帧对应的视频流进行播放，并且，当确定当前播放的全景图像帧中的感兴趣区域被观众选中时，可以从服务器拉取该被选中的感兴趣区域对应的视频流进行播放。在一种实施方式中，主播客户端可以在上传各个视频流到服务器的同时，将各个感兴趣区域在全景图像帧中的第二位置信息也传输给服务器，如此，观众客户端可以从服务器获取到该第二位置信息，并可以根据该第二位置信息在当前播放的全景图像帧中标记出所述感兴趣区域，以供观众进行选择。可以参考图4，图4是本申请实施例提供的观众客户端标记感兴趣区域的界面示意图。
感兴趣区域可以由主播在开播之前选定，也可以由主播在直播过程中随时添加，相应的，在感兴趣区域确定时，主播客户端可以将感兴趣区域对应的所述第二位置信息传输给服务器，以使观众客户端可以从服务器获取该第二位置信息在全景图像帧中进行标记。
在播放的全景图像帧中标记出感兴趣区域后，观众客户端可以根据观众的操作确定感兴趣区域是否被用户选中，若确定感兴趣区域被观众选中(比如观众点击感兴趣区域)，则可以从服务器拉取被选中的感兴趣区域对应的视频流进行播放。这里，可以理解的，被选中的感兴趣区域可以有多个，当多个感兴趣区域被选中时，观众客户端可以从服务器拉取该被选中的多个感兴趣区域各自对应的视频流分别进行播放。
观众客户端从服务器获取的感兴趣区域对应的视频流，可以采用各种方式进行播放。在一种实施方式中，观众客户端可以新建独立的窗口用于播放该感兴趣区域对应的视频流。例如，观众客户端正在播放从服务器拉取的全景图像帧对应的视频流，当观众在全景视频中漫游并发现感兴趣区域后，观众可以选中该感兴趣区域，此时观众客户端可以拉取该感兴趣区域对应的视频流，并新建一个独立于全景视频的播放窗口的窗口，在该新建窗口中播放感兴趣区域对应的视频流。这里，新建的窗口可以采用全屏展示、小窗展示等各种方式，若多个感兴趣区域被选中，则可以新建多个窗口分别用于播放不同感兴趣区域对应视频流。可以参考图5，图5是本申请实施例提供的观众客户端新建窗口播放感兴趣区域的视频流的界面示意图。
在一种实施方式中，全景图像帧中的感兴趣区域可以是主播在主播客户端自行设置的，而主播所设置的感兴趣区域仅仅是主播自己认定的感兴趣区域，而观众真正感兴趣的区域并不一定是主播所设定的区域。考虑到观众想要观看高清画面的区域有可能未被主播设置成感兴趣区域，并可以将该待定区域在全景图像帧中的第三位置信息传输给服务器。如此，主播客户端可以从服务器获取到该第三位置信息，并可以根据该第三位置信息在所述全景图像帧中标记所述待定区域，从而可以根据主播的操作确定是否将所述待定区域添加为新的感兴趣区域。
观众在确定所述待定区域时可以有多种方式。在一种实施方式中，可以如主播设定感兴趣区域一样，由观众客户端在播放界面上生成一个选取框，从而观众可以通过在播放的全景视频中漫游来改变选取框框选的区域，观众客户端可以根据观众的确认指令，将选取框当前框选的区域确定为所述待定区域。在一种实施方式中，观众也可以对全景图像帧中感兴趣的位置进行点击，则观众客户端可以记录观众在全景图像帧中点击的位置，将该点击的位置传输给服务器。主播客户端在通过服务器获取到该点击的位置后，可以以各种方式(比如弹窗、提示音等)提示主播有观众选取了想要观看高清画面的区域，主播客户端可以在主播触发提示后将当前的预览画面调整至所述点击的位置所在的视角，以使主播可以快速的获知观众想要观看的高清画面具体是在哪里，并可以决定是否将该点击的位置所在的区域添加为新的感兴趣区域。
可以理解的，主播客户端还可以将感兴趣区域对应的数量、感兴趣区域对应的编码码率等信息上传到服务器，观众客户端可以从服务器获取这些信息，并可以根据这些信息在播放界面上进行标注，以提示观众可以高清播放的感兴趣区域有几个，以及不同的感兴趣区域对应的清晰度情况。
考虑到观众客户端除了要拉取全景图像帧对应的视频流以外还要拉取感兴趣区域对应的视频流，虽然感兴趣区域仅是全景画面的局部区域，其对应的视频流不会占用太多的带宽，但毕竟多拉取了感兴趣区域对应的视频流，这在带宽非常有限的情况下，就有可能导致视频卡顿。针对该问题，在一种实施方式中，由于观众选中了感兴趣区域意味着观众此时更关注感兴趣区域对应的画面，因此对于全景视频可以切换至拉取其采用小码率编码对应的视频流。具体的，主播客户端可以对全景图像帧对应的视频流采用多个码率分别进行编码，比如可以对全景图像帧对应的视频流分别采用第一码流和第二码率进行编码，这里，第二码率小于第一码率，如此，传输到服务器的全景图像帧对应的视频流具有大小两种码率，观众客户端可以选择性的根据当前的带宽情况拉取不同码率对应的全景图像帧的视频流。
在一个例子中，当观众客户端确定没有感兴趣区域被用户选中时，可以从服务器拉取第一码率对应的全景图像帧的视频流进行播放，即播放高清版本的全景视频，而当确定感兴趣区域被用户选中时，则可以切换至从服务器获取第二码率对应的全景图像帧的视频流进行播放，即通过降低全景视频的清晰度来节省带宽，将更多的带宽让出给感兴趣区域对应的视频流，以保证观众可以流畅的观看感兴趣区域对应的视频画面。
本申请实施例提供的全景视频直播方法，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
下面可以参考图6，图6是本申请实施例提供的全景视频直播方法的第二流程图。该方法应用于主播客户端，主播客户端可以是一种应用程序，其可以安装在各种类型的终端设备中，比如可以安装在手机、电脑、平板等，当然，主播客户端也可以是网页应用(webapp)。该方法可以包括以下步骤：
S602、确定全景图像帧中的至少一个感兴趣区域。
S604、确定所述感兴趣区域在原始图像帧中的第一位置信息。
其中，所述全景图像帧是多个所述原始图像帧拼接得到的。
S606、根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧.
S608、将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器。
其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
该方法有各种不同的实施方式，这些不同实施方式的具体实现可以参考前文中的相关说明，在此不再赘述。
本申请实施例提供的全景视频直播方法，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
下面可以参考图7，图7是本申请实施例提供的全景视频直播方法的第三流程图。该方法应用于观众客户端，观众客户端可以是一种应用程序，其可以安装在各种类型的终端设备中，比如可以安装在手机、电脑、平板等，当然，主播客户端也可以是网页应用(webapp)。该方法可以包括以下步骤：
S702、从服务器获取全景图像帧对应的视频流进行播放。
S704、从所述服务器获取感兴趣区域在所述全景图像帧中的第二位置信息，并根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域。
S706、当确定所述感兴趣区域被用户选中时，从所述服务器获取所述感兴趣区域对应的目标图像帧的视频流进行播放。
其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
该方法有各种不同的实施方式，这些不同实施方式的具体实现可以参考前文中的相关说明，在此不再赘述。
本申请实施例提供的全景视频直播方法，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
下面可以参考图8，图8是本申请实施例提供的全景视频直播系统的结构示意图。该系统可以包括：主播客户端810和观众客户端820；
所述主播客户端810用于：确定全景图像帧中的至少一个感兴趣区域；确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度；
所述观众客户端820用于：从所述服务器获取所述全景图像帧对应的视频流进行播放；当确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。
在一种实施方式中，主播客户端还可以将所述感兴趣区域在全景图像帧中的第二位置信息传输给所述服务器。相应的，观众客户端还可以从所述服务器获取所述第二位置信息，根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域，当确定所述感兴趣区域被用户选中时，从所述服务器获取所述感兴趣区域对应的目标图像帧的视频流进行播放。
本申请实施例提供的全景视频直播系统，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
本申请实施例还提供了一种主播客户端，可以参考图9，图9是本申请实施例提供的主播客户端的结构示意图，其中包括：
第一确定模块910，用于确定全景图像帧中的至少一个感兴趣区域；
第二确定模块920，用于确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
裁剪模块930，用于根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
编码模块940，用于将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
本申请实施例提供的主播客户端，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
本申请实施例还提供了一种观众客户端，可以参考图10，图10是本申请实施例提供的观众客户端的结构示意图，其中包括：
第一播放模块1010，用于从服务器获取全景图像帧对应的视频流进行播放；
标记模块1020，用于从所述服务器获取感兴趣区域在所述全景图像帧中的第二位置信息，并根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域；
第二播放模块1030，用于当确定所述感兴趣区域被用户选中时，从所述服务器获取所述感兴趣区域对应的目标图像帧的视频流进行播放，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
本申请实施例提供的观众客户端，主播客户端可以裁剪出感兴趣区域对应的目标视频帧，并可以将感兴趣区域对应的目标视频帧的视频流与全景图像帧对应的视频流编码后传输给服务器，其中，目标视频帧的清晰度高于全景图像帧的清晰度，从而，观众客户端可以在确定感兴趣区域被观众选中时，从服务器获取目标视频帧对应的视频流进行播放，使观众可以观看到比全景视频画面更高清的感兴趣区域对应的视频画面，大大提高了观众观看全景视频直播的体验。
上述主播客户端和观众客户端中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
以上的作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可以实现本申请实施例提供的任一种全景视频直播方法。
上述对本申请实施例特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上实施例中提供的技术特征，只要不存在冲突或矛盾，本领域技术人员可以根据实际情况对各个技术特征进行组合，从而构成各种不同的实施例。而本申请文件限于篇幅，未对各种不同的实施例展开说明，但可以理解的是，各种不同的实施例也属于本申请实施例公开的范围。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请实施例的其它实施方案。本申请实施例旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求来限制。
以上所述仅为本申请实施例的较佳实施例而已，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请实施例保护的范围之内。

Claims (13)

1.一种全景视频直播方法，其特征在于，包括：
主播客户端确定全景图像帧中的至少一个感兴趣区域；
所述主播客户端确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
所述主播客户端根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
所述主播客户端将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度；
观众客户端从所述服务器获取所述全景图像帧对应的视频流进行播放；
当所述观众客户端确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。
2.根据权利要求1所述的方法，其特征在于，所述全景图像帧是所述原始图像帧通过投影公式进行投影变换后拼接得到的，所述确定所述感兴趣区域在原始图像帧中的第一位置信息，包括：
将所述全景图像帧中所述感兴趣区域的像素点通过所述投影公式进行反计算，得到所述像素点在所述原始图像帧中的第一位置信息，所述第一位置信息用于指示所述像素点所在的目标原始图像帧和所述像素点在所述目标原始图像帧中的位置，所述目标原始图像帧是多个所述原始图像帧中的任一个。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述主播客户端将所述感兴趣区域在所述全景图像帧中的第二位置信息传输给所述服务器；
所述观众客户端根据从所述服务器获取的所述第二位置信息，在所述全景图像帧中标记所述感兴趣区域。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述主播客户端将所述全景图像帧对应的视频流分别通过第一码率和第二码率编码后传输给所述服务器，其中，所述第二码率小于所述第一码率；
所述观众客户端在确定所述感兴趣区域被触发时，若当前获取的所述全景图像帧的视频流对应所述第一码率，则切换至从所述服务器获取所述全景图像帧的对应所述第二码率的视频流进行播放。
5.根据权利要求1所述的方法，其特征在于，各个所述视频流对应的编码码率是根据各个所述视频流对应的权重对总码率进行分配确定的。
6.根据权利要求1所述的方法，其特征在于，所述观众客户端将所述目标图像帧对应的视频流以独立的窗口进行播放。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述观众客户端根据观众的操作确定待定区域，并将所述待定区域在所述全景图像帧中的第三位置信息传输给所述服务器；
所述主播客户端根据从所述服务器获取的所述第三位置信息，在所述全景图像帧中标记所述待定区域，并根据主播的操作确定是否将所述待定区域添加为所述感兴趣区域。
8.一种全景视频直播方法，其特征在于，应用于主播客户端，包括：
确定全景图像帧中的至少一个感兴趣区域；
确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
9.一种全景视频直播方法，其特征在于，应用于观众客户端，包括：
从服务器获取全景图像帧对应的视频流进行播放；
从所述服务器获取感兴趣区域在所述全景图像帧中的第二位置信息，并根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域；
当确定所述感兴趣区域被观众选中时，从所述服务器被选中的感兴趣区域对应的目标图像帧的视频流进行播放，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
10.一种全景视频直播系统，其特征在于，包括：主播客户端和观众客户端；
所述主播客户端用于：确定全景图像帧中的至少一个感兴趣区域；确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度；
所述观众客户端用于：从所述服务器获取所述全景图像帧对应的视频流进行播放；当确定所述全景图像帧中的感兴趣区域被观众选中时，从所述服务器获取被选中的感兴趣区域对应的目标图像帧的视频流进行播放。
11.一种主播客户端，其特征在于，包括：
第一确定模块，用于确定全景图像帧中的至少一个感兴趣区域；
第二确定模块，用于确定所述感兴趣区域在原始图像帧中的第一位置信息，所述全景图像帧是多个所述原始图像帧拼接得到的；
裁剪模块，用于根据所述第一位置信息从所述原始图像帧中裁剪出所述感兴趣区域对应的目标图像帧；
编码模块，用于将各个所述感兴趣区域对应的目标图像帧的视频流以及所述全景图像帧对应的视频流分别编码后传输给服务器，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
12.一种观众客户端，其特征在于，包括：
第一播放模块，用于从服务器获取全景图像帧对应的视频流进行播放；
标记模块，用于从所述服务器获取感兴趣区域在所述全景图像帧中的第二位置信息，并根据所述第二位置信息在所述全景图像帧中标记所述感兴趣区域；
第二播放模块，用于当确定所述感兴趣区域被用户选中时，从所述服务器获取所述感兴趣区域对应的目标图像帧的视频流进行播放，其中，所述目标图像帧的清晰度高于所述全景图像帧的清晰度。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时如权利要求1-7任一项所述的全景视频直播方法。
CN202110241541.3A 2021-03-04 2021-03-04 全景视频直播方法、系统和计算机可读存储介质 Active CN113099245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110241541.3A CN113099245B (zh) 2021-03-04 2021-03-04 全景视频直播方法、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110241541.3A CN113099245B (zh) 2021-03-04 2021-03-04 全景视频直播方法、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113099245A true CN113099245A (zh) 2021-07-09
CN113099245B CN113099245B (zh) 2023-07-25

Family

ID=76666395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110241541.3A Active CN113099245B (zh) 2021-03-04 2021-03-04 全景视频直播方法、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113099245B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852757A (zh) * 2021-09-03 2021-12-28 维沃移动通信（杭州）有限公司 视频处理方法、装置、设备和存储介质
CN113891105A (zh) * 2021-09-28 2022-01-04 广州繁星互娱信息科技有限公司 画面显示方法和装置、存储介质及电子设备
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN114390368A (zh) * 2021-12-29 2022-04-22 腾讯科技（深圳）有限公司 直播视频数据的处理方法及装置、设备、可读介质
CN116033224A (zh) * 2023-02-17 2023-04-28 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法
WO2023125353A1 (zh) * 2021-12-27 2023-07-06 影石创新科技股份有限公司 全景视频的传输方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217345A (ja) * 2010-03-18 2011-10-27 Nippon Telegr & Teleph Corp <Ntt> 映像伝送方法、映像伝送装置、及びプログラム
CN105264876A (zh) * 2013-05-26 2016-01-20 皮克索洛特公司 低成本电视制作的方法及系统
US20160191798A1 (en) * 2014-12-26 2016-06-30 Kt Corporation Panoramic view customization
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
CN106791710A (zh) * 2017-02-10 2017-05-31 北京地平线信息技术有限公司 目标检测方法、装置和电子设备
CN107396081A (zh) * 2017-06-19 2017-11-24 深圳市铂岩科技有限公司 针对全景视频的优化编码方法及装置
CN110351492A (zh) * 2018-04-06 2019-10-18 中兴通讯股份有限公司 一种视频数据处理方法、装置及系统
CN112003875A (zh) * 2020-09-03 2020-11-27 北京云石海慧软件有限公司 一种视讯焦点内容传输系统及方法
CN112019930A (zh) * 2020-07-26 2020-12-01 杭州皮克皮克科技有限公司 一种直播视频的互动显示方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217345A (ja) * 2010-03-18 2011-10-27 Nippon Telegr & Teleph Corp <Ntt> 映像伝送方法、映像伝送装置、及びプログラム
CN105264876A (zh) * 2013-05-26 2016-01-20 皮克索洛特公司 低成本电视制作的方法及系统
US20160191798A1 (en) * 2014-12-26 2016-06-30 Kt Corporation Panoramic view customization
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
CN106791710A (zh) * 2017-02-10 2017-05-31 北京地平线信息技术有限公司 目标检测方法、装置和电子设备
CN107396081A (zh) * 2017-06-19 2017-11-24 深圳市铂岩科技有限公司 针对全景视频的优化编码方法及装置
CN110351492A (zh) * 2018-04-06 2019-10-18 中兴通讯股份有限公司 一种视频数据处理方法、装置及系统
CN112019930A (zh) * 2020-07-26 2020-12-01 杭州皮克皮克科技有限公司 一种直播视频的互动显示方法及装置
CN112003875A (zh) * 2020-09-03 2020-11-27 北京云石海慧软件有限公司 一种视讯焦点内容传输系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN113852757A (zh) * 2021-09-03 2021-12-28 维沃移动通信（杭州）有限公司 视频处理方法、装置、设备和存储介质
CN113891105A (zh) * 2021-09-28 2022-01-04 广州繁星互娱信息科技有限公司 画面显示方法和装置、存储介质及电子设备
WO2023125353A1 (zh) * 2021-12-27 2023-07-06 影石创新科技股份有限公司 全景视频的传输方法、装置及存储介质
CN114390368A (zh) * 2021-12-29 2022-04-22 腾讯科技（深圳）有限公司 直播视频数据的处理方法及装置、设备、可读介质
CN114390368B (zh) * 2021-12-29 2022-12-16 腾讯科技（深圳）有限公司 直播视频数据的处理方法及装置、设备、可读介质
CN116033224A (zh) * 2023-02-17 2023-04-28 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法
CN116033224B (zh) * 2023-02-17 2024-02-06 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法

Also Published As

Publication number Publication date
CN113099245B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN113099245B (zh) 全景视频直播方法、系统和计算机可读存储介质
US11653065B2 (en) Content based stream splitting of video data
CN107534789B (zh) 影像同步装置及影像同步方法
US9774896B2 (en) Network synchronized camera settings
CN112470482B (zh) 视频播放方法、装置、终端及存储介质
EP2850592B1 (en) Processing panoramic pictures
WO2015025309A1 (en) System and method for real-time processing of ultra-high resolution digital video
US11694303B2 (en) Method and apparatus for providing 360 stitching workflow and parameter
RU2718118C2 (ru) Устройство для обработки информации и способ обработки информации
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
CN106303663B (zh) 直播处理方法和装置、直播服务器
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN107231564B (zh) 一种视频直播方法、直播系统和直播服务器
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
CN110933461B (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
EP3621309A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
CN114449303A (zh) 直播画面生成方法和装置、存储介质及电子装置
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
WO2023029252A1 (zh) 多视点视频数据处理方法、设备及存储介质
KR20180092411A (ko) 다원 방송 송출 방법 및 장치
KR20220045038A (ko) 코드 스트림의 처리 방법, 장치, 제1 단말, 제2 단말 및 저장 매체
CN113891112B (zh) 十亿像素视频的直播方法、装置、介质及设备
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
CN116320366A (zh) 视频流数据推送方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant