CN117528137A - 一种视频处理方法及装置 - Google Patents

一种视频处理方法及装置 Download PDF

Info

Publication number
CN117528137A
CN117528137A CN202210909926.7A CN202210909926A CN117528137A CN 117528137 A CN117528137 A CN 117528137A CN 202210909926 A CN202210909926 A CN 202210909926A CN 117528137 A CN117528137 A CN 117528137A
Authority
CN
China
Prior art keywords
image
video
transport stream
image slice
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210909926.7A
Other languages
English (en)
Inventor
周伟伦
熊名男
张立欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Original Assignee
Douyin Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd filed Critical Douyin Vision Co Ltd
Priority to CN202210909926.7A priority Critical patent/CN117528137A/zh
Publication of CN117528137A publication Critical patent/CN117528137A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种视频处理方法及装置，涉及视频处理技术领域。该方法包括：解析第一传输流，以获取所述第一传输流中的视频帧；其中，所述视频帧的视场角大于客户端设备的视场角；将所述视频帧投影为第一图像；将所述第一图像分割为多个图像分片，以获取第一图像分片集合；分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。本申请实施例用于减少或避免客户端在视频播放过程中卡顿。

Description

一种视频处理方法及装置
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频处理方法及装置。
背景技术
广角视频(包括全景视频、虚拟现实(Virtual Reality，VR)视频、球面视频等)具有大的视场角，允许用户在观看时改变视角，选择感兴趣区域进行观看。
受限广角视频包含多个视角的视频内容的特性，广角视频的数据量非常庞大，传输过程会消耗大量的网络带宽资源，很多场景中网络都无法满足高码率的广角视频的流畅播放。
发明内容
有鉴于此，本申请实施例提供了一种视频处理方法及装置，用于减少或避免客户端在视频播放过程中卡顿。
为了实现上述目的，本申请实施例提供技术方案如下：
第一方面，本申请的实施例提供了一种视频处理方法，包括：
解析第一传输流，以获取所述第一传输流中的视频帧；其中，所述视频帧的视场角大于客户端设备的视场角；
将所述视频帧投影为第一图像；
将所述第一图像分割为多个图像分片，以获取第一图像分片集合；
分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
作为本申请实施例一种可选的实施方式，所述方法还包括：
确定所述第一图像分片集合中与所述客户端设备的视角对应的一个或多个目标图像分片；
向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
作为本申请实施例一种可选的实施方式，所述方法还包括：
对所述第一图像进行降采样，以获取第二图像；
基于所述第二图像，生成背景视频编码数据；
基于所述背景视频编码数据，向所述客户端设备发送第三传输流。
作为本申请实施例一种可选的实施方式，所述基于所述第二图像，生成背景视频编码数据，包括：对所述第二图像进行视频编码，以生成所述背景视频编码数据；
所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流，包括：向所述客户端设备发送包括所述背景视频编码数据的所述第三传输流。
作为本申请实施例一种可选的实施方式，所述基于所述第二图像，生成背景视频编码数据，包括：
将所述第二图像分割为多个图像分片，以获取第二图像分片集合；
分别对所述第二图像分片集合中的各个图像分片进行视频编码，以获取所述第二图像分片集合中的各个第二图像分片的视频编码数据；
根据所述第二图像分片集合中的各个第二图像分片的视频编码数据，生成所述背景视频编码数据。
作为本申请实施例一种可选的实施方式，所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流，包括：
确定冗余图像分片；其中，所述冗余图像分片为所述第二图像分片集合中与所述目标图像分片位置相同的图像分片；
向所述客户端设备发送包括所述背景视频编码数据中除所述冗余图像分片以外的其它图像分片的视频编码数据的第三传输流。
作为本申请实施例一种可选的实施方式，在所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流之前，所述方法还包括：
获取所述第一传输流中的音频编码数据；
根据所述背景视频编码数据和所述音频编码数据生成所述第三传输流。
作为本申请实施例一种可选的实施方式，所述分别对所述第一图像分片集合中的各个图像分片进行视频编码，获取所述第一图像分片集合中的各个图像分片的视频编码数据，包括：
通过多个视频编码组件并行对所述第一图像分片集合中的图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
作为本申请实施例一种可选的实施方式，所述向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流，包括：
基于所述第一图像分片集合中的各个图像分片的视频编码数据，生成第四传输流；
向内容分发网络CDN发送所述第四传输流；
通过所述CDN生成包括所述一个或多个目标图像分片的视频编码数据的所述第二传输流；
通过所述CDN向所述客户端设备发送所述第二传输流。
作为本申请实施例一种可选的实施方式，所述解析所述第一传输流，以获取所述第一传输流中的视频帧，包括：
对所述第一传输流进行解封装，以获取所述第一传输流中的视频编码数据；
对所述第一传输流中的视频编码数据进行解码，以获取所述视频帧。
作为本申请实施例一种可选的实施方式，在解析所述第一传输流之前，所述方法还包括：
从直播推流端设备获取第一传输流。
第二方面，本申请实施例提供了一种视频处理装置，包括：
解析单元，用于解析第一传输流，以获取所述第一传输流中的视频帧；其中，所述视频帧的视场角大于客户端设备的视场角；
投影单元，用于将所述视频帧投影为第一图像；
图像分割单元，用于将所述第一图像分割为多个图像分片，以获取第一图像分片集合；
视频编码模块，用于分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
作为本申请实施例一种可选的实施方式，所述视频处理装置，还包括：
确定单元，用于确定所述第一图像分片集合中与所述客户端设备的视角对应的一个或多个目标图像分片；
发送单元，用于向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
作为本申请实施例一种可选的实施方式，所述视频处理装置，还包括：
降采样单元，用于对所述第一图像进行降采样，以获取第二图像；
所述视频编码单元，还用于基于所述第二图像，生成背景视频编码数据；
所述发送单元，还用于基于所述背景视频编码数据，向所述客户端设备发送第三传输流。
作为本申请实施例一种可选的实施方式，所述视频编码单元，具体用于对所述第二图像进行视频编码，以生成所述背景视频编码数据；
所述发送单元，具体用于向所述客户端设备发送包括所述背景视频编码数据的所述第三传输流。
作为本申请实施例一种可选的实施方式，所述图像分割，还用于将所述第二图像分割为多个图像分片，以获取第二图像分片集合；
所述视频编码单元，具体用于分别对所述第二图像分片集合中的各个图像分片进行视频编码，以获取所述第二图像分片集合中的各个第二图像分片的视频编码数据，以及根据所述第二图像分片集合中的各个第二图像分片的视频编码数据，生成所述背景视频编码数据。
作为本申请实施例一种可选的实施方式，所述发送单元，具体用于确定冗余图像分片；其中，所述冗余图像分片为所述第二图像分片集合中与所述目标图像分片位置相同的图像分片；向所述客户端设备发送包括所述背景视频编码数据中除所述冗余图像分片以外的其它图像分片的视频编码数据的第三传输流。
作为本申请实施例一种可选的实施方式，所述发送单元，还用于在所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流之前，获取所述第一传输流中的音频编码数据；根据所述背景视频编码数据和所述音频编码数据生成所述第三传输流。
作为本申请实施例一种可选的实施方式，所述视频编码单元，具体用于通过多个视频编码组件并行对所述第一图像分片集合中的图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
作为本申请实施例一种可选的实施方式，所述发送单元，具体用于基于所述第一图像分片集合中的各个图像分片的视频编码数据，生成第四传输流；向内容分发网络CDN发送所述第四传输流；通过所述CDN生成包括所述一个或多个目标图像分片的视频编码数据的所述第二传输流；以及通过所述CDN向所述客户端设备发送所述第二传输流。
作为本申请实施例一种可选的实施方式，所述解析单元，具体用于对所述第一传输流进行解封装，以获取所述第一传输流中的视频编码数据；对所述第一传输流中的视频编码数据进行解码，以获取所述视频帧。
作为本申请实施例一种可选的实施方式，所述装置还包括：
接收单元，用于在所述解析单元解析所述第一传输流之前，从直播推流端设备获取第一传输流。
第三方面，本申请实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现上述任一实施方式所述的视频处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一实施方式所述的视频处理方法。
第五方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述任一实施方式所述的视频处理方法。
本申请实施例提供的视频处理方法首先解析第一传输流以获取所述第一传输流中的视频帧，然后将所述视频帧投影为第一图像，再将所述第一图像分割为多个图像分片，以获取第一图像分片集合，以及分别对所述第一图像分片集合中的图像分片进行视频编码，获取所述第一图像分片集合中的每一个图像分片对应的视频编码数据。由于本申请实施例提供的视频处理方法不会直接将第一传输流转发至客户端设备，而是将所述直播视频的视频帧投影为第一图像，并将第一图像切割为多个图像分片，以及分别对得到的各个图像分片进行视频编码以获取所述第一图像分片集合中的各个图像分片的视频编码数据，因此在向客户端发送视频流时，可以仅向客户端设备的视角对应的图像分片的视频编码数据，避免向客户端设备发送不与视角对应的图像分片的视频编码数据，进而减少需要在网络中传输的数据量，减少或避免客户端在视频播放过程中卡顿。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要调用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的视频处理方法的场景架构图之一；
图2为本申请实施例提供的视频处理方法的步骤流程图；
图3为本申请实施例提供的第一图像的示意图之一；
图4为本申请实施例提供的第一图像的示意图之二；
图5为本申请实施例提供的第一图像集合的示意图；
图6为本申请实施例提供的视频处理方法的交互流程图之一；
图7为本申请实施例提供的视频处理方法的交互流程图之二；
图8为本申请实施例提供的冗余图像分片的示意图；
图9为本申请实施例提供的视频处理装置的架构图之一；
图10为本申请实施例提供的视频处理装置的架构图之二；
图11为本申请实施例提供的视频处理装置的结构示意图之一；
图12为本申请实施例提供的视频处理装置的结构示意图之二；
图13为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，调用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
以下首先对本申请实施例提供的视频处理方法的场景架构进行说明。
参照图1所示，在一些实施例中，本申请实施例提供的视频处理方法的场景架构中包括：直播推流端设备11、直播服务器12、至少一个客户端设备13(图1中以包括三个客户端设备为例示出)。
其中，直播推流端设备11具有视场角大于客户端设备的视场角的视频拍摄装置，且可以通过视频拍摄装置进行视频拍摄以获取视场角大于客户端设备的视场角直播视频流以及向直播服务器12发送所述直播视频流。直播服务器12接收到直播推流端设备11发送的直播视频流后，首先解封装直播视频流获取直播视频流中的视频编码数据和音频编码数据，然后再解码视频编码数据获取所述直播视频流中的视频帧，再对所述直播视频流中的视频帧进行投影，以及将投影得到的二维平面图像分割多个图像分片，并分别对每一个图像分片进行视频编码，获取每一个图像分片对应的视频编码数据。在客户端设备13请求直播视频流时，首先获取客户端设备13的视角，然后确定客户端设备13的视角对应的图像分片，以及向客户端设备发送包括确定客户端设备13的视角对应的图像分片的编码数据的传输流。客户端设备13在接收到传输流后，根据传输流进行直播视频的播放。
本申请实施例提供了一种视频处理方法，该视频处理方法的执行主体可以为视频服务器、直播服务器等。参照图2所示，该视频处理方法包括如下步骤：
S201、解析第一传输流，以获取所述第一传输流中的视频帧。
其中，所述视频帧的视场角(Field of view)大于客户端设备的视场角。
本申请实施例中视频帧的视场角大于客户端设备的视场角是指客户端设备所显示的视频内容仅为视频帧的一部分，而非全部。例如：所述视频帧的视场角为180°，客户端设备所显示的视频内容的视场角为75°，则可以认为客户端设备所显示的视频内容仅为视频帧的一部分，所述视频帧的视场角大于客户端设备的视场角。
在一些实施例中，所述第一传输流中的视频帧为全景视频帧。即，所述第一传输流中的视频帧为球面视频帧，包含全方位的视角信息。
示例性的，可以通过解封装操作、解码操作等解析操作解析所述第一传输流，以获取所述第一传输流中的视频帧。
需要是说明的是，本申请实施例中第一传输流对应的视频可以为二维视频，也可以为三维视频；当第一传输流对应的视频为二维视频时，第一传输流中的视频帧即为一个图像，而当第一传输流对应的视频为三维视频时，第一传输流中的视频帧包括两个图像，两个图像分别为左眼视图对应的图像和右眼视图对应的图像。
S202、将所述视频帧投影为第一图像。
本申请实施例中将所述视频帧投影为第一图像是指将所述第一传输流中的视频帧投影为二维平面的图像。
在一些实施例中，可以通过等距柱状投影的方式将所述第一传输流中的视频帧投影为等距柱状投影格式的第一图像。参照图3所示，图3中以所述第一传输流中的视频帧为球面视频帧为例示出。通过等距柱状投影的方式将所述视频帧投影为第一图像，包括：将第一传输流中的视频帧31上的各个像素点按照预设定的疏密分布规则投影到一个矩形平面上，以得到所述第一图像32。
在一些实施例中，也可以通过立方体贴图投影的方式将所述第一传输流中的视频帧投影为立方体贴图格式的第一图像。参照图4所示，图4中也以所述第一传输流中的视频帧为球面视频帧为例示出。通过立方体贴图投影的方式将所述视频帧投影为第一图像，包括：将第一传输流中的视频帧41上的各个像素点按照预设定的疏密分布规则投影到立方体42的表面上，然后后再将立方体42展开以得到所述第一图像43。相比于等距柱状投影，立方体贴图投影的扭曲更小，因此可以更加准确的表示第一传输流中的视频帧。
在一些实施例中，还可以通过可以等角度立方体贴图(Equi-Angular Cubemap，EAC)投影的方式将所述第一传输流中的视频帧投影为等角度立方体贴图格式的图像。等角度立方体贴图投影的方式的原理与立方体贴图投影的原理类似，不同之处在于优化了投影时的采样点位置，使得各个位置的像素密度相等，从而提升细节部分的清晰度。
将所述第一传输流中的视频帧投影为第一图像可以减少视频帧的尺寸，进而减少视频编码过程中的资源的消耗，减少视频编码带来的延迟。
S203、将所述第一图像分割为多个图像分片，以获取第一图像分片集合。
示例性的，参照图5所示，可以将第一图像51分割为多个大小相同的图像分片500。
本申请实施例中不限定分割第一图像得到的图像分片的大小和形状，实际使用中可以根据需求对图像分片的大小和形状进行设置。
S204、分别对所述第一图像分片集合中的图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片对应的视频编码数据。
即，分别独立对分割第一图像得到的每一个图像分片进行视频编码，以获取分割第一图像得到的每一个图像分片对应的视频编码数据。
本申请实施例提供的视频处理方法首先解析第一传输流以获取所述第一传输流中的视频帧，然后将所述视频帧投影为第一图像，再将所述第一图像分割为多个图像分片，以获取第一图像分片集合，以及分别对所述第一图像分片集合中的图像分片进行视频编码，获取所述第一图像分片集合中的每一个图像分片对应的视频编码数据。由于本申请实施例提供的视频处理方法不会直接将第一传输流转发至客户端设备，而是将所述直播视频的视频帧投影为第一图像，并将第一图像切割为多个图像分片，以及分别对得到的各个图像分片进行视频编码以获取所述第一图像分片集合中的各个图像分片的视频编码数据，因此在向客户端发送视频流时，可以仅向客户端设备的视角对应的图像分片的视频编码数据，避免向客户端设备发送不与视角对应的图像分片的视频编码数据，进而减少需要在网络中传输的数据量，减少或避免客户端在视频播放过程中卡顿。
作为对上实施例的扩展和细化，本申请实施例提供了另一种视频处理方法，参照图6所示，该视频处理方法包括如下步骤S601至S608：
S601、直播推流端设备向直播服务器发送第一传输流。
对应的，直播服务器从直播推流端设备获取第一传输流。
其中，所述视频帧的视场角大于客户端设备的视场角。
S602、直播服务器解析第一传输流，以获取所述第一传输流中的视频帧。
S603、直播服务器将所述视频帧投影为第一图像。
S604、直播服务器将第一图像分割为多个图像分片，以获取第一图像分片集合。
S605、直播服务器分别对第一图像分片集合中的图像分片进行视频编码，以获取第一图像分片集合中的各个图像分片对应的视频编码数据。
S606、直播服务器确定所述第一图像分片集合中与所述客户端设备的视角对应的一个或多个目标图像分片。
在一些实施例中，直播服务器确定客户端设备的视角对应的一个或多个目标图像分片的实现方式可以包括：配置客户端设备以预设时长为周期，周期性根据陀螺仪、惯性传感器等获取自身的视角，并将视角发送至直播服务器，直播服务器接收客户端设备发送的视角后，根据客户端设备发送的视角以及视角与图像分片的对应关系确定客户端设备的视角对应的目标图像分片。
S607、直播服务器向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
对应的，所述客户端设备接收直播服务器发送的包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
S608、客户端设备根据所述第二传输流进行视频播放。
由于第二传输流只包括所述一个或多个目标图像分片对应的视频编码数据，而不包括第一图像分片集合中的其它图像分片对应的视频编码数据，因此客户端设备根据第二传输流进行视频播放时只能播放所述一个或多个目标图像分片对应的显示区域。然而，目标图像分片对应的显示区域正是客户端设备当前视角下用户想要观看的显示区域，因此只能播放所述一个或多个目标图像分片对应的显示区域也不会影响用户的观看体验。
作为对上述实施例的扩展和细化，本申请实施例提供了另一种视频处理方法，参照图7所示的交互流程图，该视频处理方法包括：
S701、直播推流端设备向直播服务器发送第一传输流。
对应的，直播服务器从直播推流端设备获取第一传输流。
其中，所述视频帧的视场角大于客户端设备的视场角。
S702、直播服务器对第一传输流进行解封装，以获取所述第一传输流中的视频编码数据和音频编码数据。
具体的，可以根据直播推流端设备与直播服务器之间的传输协议对第一传输流进行解封装，以获取第一传输流中封装的直播视频的视频编码数据和音频编码数据，然后再对直播视频的音频编码数据和视频编码数据进行拆分，从而获取所述第一传输流中的视频编码数据和音频编码数据。
S703、直播服务器对所述第一传输流中的视频编码数据进行解码，以获取所述第一传输流中的视频帧。
S704、直播服务器将所述视频帧投影为第一图像。
S705、直播服务器将所述第一图像分割为多个图像分片，以获取第一图像分片集合。
S706、直播服务器分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
在一些实施例中，直播服务器可以通过多个视频编码组件并行对所述第一图像分片集合中的图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片对应的视频编码数据。
本申请实施例中的视频编码组件可以中央处理器(Central Processing Unit，CPU)或者图形处理器(Graphics Processing Unit，GPU)。
直播数据流的传输需要保证实时性，当直播视频的码率为30帧/秒时，直播服务器每秒会接收到包含30个视频帧的传输流，且需要将完成包含30个视频帧的视频编码数据的转码处理，并生成相应的传输流。然而，编码组件的效率都是有上限的，很可能会因为需要视频编码的数据量超出编码组件的数据处理效率而导致无法实时将直播推流端设备发送的第一传输流转换为需要向客户端设备发送的第二传输流。上述实施例中通过多个视频编码组件并行对所述第一图像分片集合中的图像分片进行视频编码，因此可以减少单个视频编码组件需要处理的数据量，进而保证直播数据的传输的实时性。
S707、直播服务器确定所述第一图像分片集合中与所述客户端设备的视角对应的一个或多个目标图像分片。
S708、直播服务器向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
对应的，客户端设备接收直播服务器发送的包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
S709、直播服务器对所述第一图像进行降采样，以获取第二图像。
S710、直播服务器基于所述第二图像，生成背景视频编码数据。
在一些实施例中，上步骤S710(基于所述第二图像，生成背景视频编码数据)包括：对所述第二图像进行视频编码，以生成所述背景视频编码数据。
即，直接对第二图像进行视频编码，并将第二图像对应的视频编码数据作为背景视频编码数据。
在一些实施例中，上步骤S710(基于所述第二图像，生成背景视频编码数据)包括如下步骤1至步骤4：
步骤1、将所述第二图像分割为多个图像分片，以获取第二图像分片集合。
具体的，可以采用分割第一图像时的图像分割算法对第二图像进行分割，以将所述第二图像分割为多个图像分片。
步骤2、分别对所述第二图像分片集合中的各个图像分片进行视频编码，以获取所述第二图像分片集合中的各个第二图像分片的视频编码数据。
步骤3、根据所述第二图像分片集合中的各个第二图像分片的视频编码数据，生成所述背景视频编码数据。
S711、直播服务器基于所述背景视频编码数据和所述音频编码数据，生成第三传输流。
当基于所述第二图像，生成背景视频编码数据，包括：对所述第二图像进行视频编码，以生成所述背景视频编码数据时，上步骤S711(直播服务器基于所述背景视频编码数据和所述音频编码数据，生成第三传输流)可以包括：直播服务器生成包括所述背景视频编码数据和所述音频编码数据的第三传输流。
当基于所述第二图像，生成背景视频编码数据，包括上步骤1至步骤3时，上步骤S711(直播服务器基于所述背景视频编码数据和所述音频编码数据，生成第三传输流)可以包括如下步骤4和步骤5：
步骤4、确定冗余图像分片。
其中，所述冗余图像分片为所述第二图像分片集合中与所述目标图像分片位置相同的图像分片。
示例性的，参照图8所示，对第一图像81进行分割得到的图像分片包括：图像分片1至图像分片16，因此第一图像分片集合为：{图像分片1、图镶块2，……，图像分片16}，第一图像分片集合中的图像分片2、图像分片3、图像分片6、图像分片7为客户端设备的视角对应的目标图像分片；对第二图像82进行分割得到的图像分片包括：图像分片a至图像分片p，因此第二图像分片集合为：{图像分片a、图镶块b，……，图像分片p}，由于第二图像分片集合中的图像分片b、图像分片c、图像分片f、图像分片g分别与目标图像分片的位置相同，因此可以确定第二图像分片集合中的图像分片b、图像分片c、图像分片f、图像分片g为冗余图像分片。
步骤5、根据所述第二图像分片集合中除所述冗余图像分片以外的其它图像分片对应的视频编码数据以及所述音频编码数据生成所述第三传输流。
示例性的，在图8所示示例的基础上，第二图像分片集合中除所述冗余图像分片以外的其它图像分片包括：图像分片a、图像分片d、图像分片e、图像分片h、图像分片i、图像分片j、图像分片k、图像分片l、图像分片m、图像分片n、图像分片o、图像分片p，因此根据图像分片a、图像分片d、图像分片e、图像分片h、图像分片i、图像分片j、图像分片k、图像分片l、图像分片m、图像分片n、图像分片o、图像分片p对应的视频编码数据以及所述音频编码数据生成所述第三传输流。
由于冗余图像分片与目标图像分片的位置相同，因此根据所述第二图像分片集合中除所述冗余图像分片以外的其它图像分片对应的视频编码数据生成第二视频编码数据，可以在不影响正常显示的情况下进一步减少视频传输过程中的需要在网络中传输的数据量。
S712、直播服务器向所述客户端设备发送所述第三传输流。
对应的，客户端设备接收直播服务器发送的所述第三传输流。
S713、客户端设备根据所述第二传输流和所述第三传输流进行视频播放。
在一些实施例中的，客户端设备根据所述第一传输流和所述第二传输流进行视频播放可以包括：
解析所述第一传输流获取所述第一视频编码数据，并在第一视图上基于所述第一视频编码数据进行视频播放；
解析所述第二传输流获取所述第二视频编码数据和所述音频编码数据，并在第二视图上基于所述第一视频编码数据进行视频播放；
其中，第一视图位于所述第二视频的上层。
由于第一视图位于第二视图的上层，因此第一视频编码数据会遮盖第二视频编码数据对应位置。
由于目标终端设备的视角随时可能发生变化，而从目标终端设备的视角发生变化到目标终端设备获取包括变化后的视角对应的图像分片的编码数据会有一定延迟。上述实施例中直播服务器同时向客户端设备发送了包括第三传输流，因此在目标终端设备的视角发生变化到获取包括变化后的视角对应的图像分片的编码数据之间的时间段内，可以基于第三传输流进行视频播放，进而减少延迟对用户体验的影响。
示例性的，参照图9所示，图9为实现上述实施例提供的视频处理方法的系统架构示意图，参照图9所示，直播服务器包括：解封装模块91、视频解码模块92、投影模块93、降采样模块94、第一视频编码模块95、第一封装模块96、图像分割模块97、第二视频编码模块98以及第二封装模块99。实现上述实施例提供的视频处理方法过程中，直播服务器首先通过解封装模块91将第一传输流解封装为视频编码数据和音频编码数据，再通过视频解码模块92对视频编码数据进行解码以获取第一传输流中视频帧，然后通过投影模块93将视频帧投影为第一图像。将视频帧投影为第一图像后分两路数据流进行数据处理，其中一路数据路的处理过程包括：通过降采样模块94将第一图像降采样为第二图像，通过第一视频编码模块95处理第二图像，以生成背景视频编码数据，以及通过第一封装模块96封装背景视频编码数据和音频编码数据后发送至CDN；另一路数据路的处理过程包括：通过图像分割模块97将第一图像降采样为多个图像分片获取第一图像分片集合，通过第二视频编码模块98分别对第一图像分片集合中的各个图像分片进行编码，再确定所述客户端设备的视角对应的所述一个或多个目标图像分片以及通过第二封装模块99封装所述一个或多个目标图像分片的视频编码数据生成第二传输流。
在一些实施例中，直播服务器向所述客户端设备发送第二传输流的实现方式可以包括如下步骤：
步骤Ⅰ、根据所述第一图像分片集合中的各个图像分片对应的视频编码数据，生成第四传输流。
可选的，直播服务器根据所述第一图像分片集合中的各个图像分片对应的视频编码数据，生成第四传输流可以包括：对所述第一图像分片集合中的各个图像分片对应的视频编码数据进行合并，获取合并编码数据，完成所述合并编码数据的协议层封装，以获取所述第四传输流。
步骤Ⅱ、直播服务器向内容分发网络CDN发送所述第四传输流。
步骤Ⅲ、直播服务器通过所述CDN生成所述第二传输流。
步骤Ⅳ、直播服务器通过所述CDN向所述客户端设备发送所述第二传输流。
在一些实施例中，直播服务器向所述客户端设备发送所述第三传输流的实现方式可以包括：
直播服务器向CDN发送所述第三传输流，并通过CDN向客户端设备发送所述第三传输流。
示例性的，参照图10所示，图10为实现上述实施例中的直播服务器的结构示意图。在图9所示实施例的基础上，视频处理方法的系统架构中还包括：CDN，所述直播服务器还包括：合并模块101，所述合并模块101用于所述第一图像分片集合中的各个图像分片对应的视频编码数据进行合并，并通过所述第二封装模块99对所述合并视频编码数据进行封装，获取所述第四传输流，以及向CDN发送所述第四传输流；第一封装模块96封装第二视频编码数据和音频编码数据后，还将分装得到的数据发送至CDN，且直播服务器通过CDN向客户端设备发送所述第二传输流和所述第三传输流。
基于同一发明构思，作为对上述方法的实现，本申请实施例还提供了一种视频处理装置，该实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的视频处理装置能够对应实现前述方法实施例中的全部内容。
本申请实施例提供了一种视频处理装置，图11为该视频处理装置的结构示意图，如图11所示，该视频处理装置1100包括：
解析单元111，用于解析第一传输流，以获取所述第一传输流中的视频帧；其中，所述视频帧的视场角大于客户端设备的视场角；
投影单元112，用于将所述视频帧投影为第一图像；
图像分割单元113，用于将所述第一图像分割为多个图像分片，以获取第一图像分片集合；
视频编码模块114，用于分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
作为本申请实施例一种可选的实施方式，参照图12所示，所述视频处理装置1100，还包括：
确定单元115，用于确定所述第一图像分片集合中与所述客户端设备的视角对应的一个或多个目标图像分片；
发送单元116，用于向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
作为本申请实施例一种可选的实施方式，参照图12所示，所述视频处理装置1100，还包括：
降采样单元117，用于对所述第一图像进行降采样，以获取第二图像；
所述视频编码单元114，还用于基于所述第二图像，生成背景视频编码数据；
所述发送单元11+，还用于基于所述背景视频编码数据，向所述客户端设备发送第三传输流。
作为本申请实施例一种可选的实施方式，所述视频编码单元114，具体用于对所述第二图像进行视频编码，以生成所述背景视频编码数据；
所述发送单元116，具体用于向所述客户端设备发送包括所述背景视频编码数据的所述第三传输流。
作为本申请实施例一种可选的实施方式，所述图像分割113，还用于将所述第二图像分割为多个图像分片，以获取第二图像分片集合；
所述视频编码单元114，具体用于分别对所述第二图像分片集合中的各个图像分片进行视频编码，以获取所述第二图像分片集合中的各个第二图像分片的视频编码数据，以及根据所述第二图像分片集合中的各个第二图像分片的视频编码数据，生成所述背景视频编码数据。
作为本申请实施例一种可选的实施方式，所述发送单元116，具体用于确定冗余图像分片；其中，所述冗余图像分片为所述第二图像分片集合中与所述目标图像分片位置相同的图像分片；向所述客户端设备发送包括所述背景视频编码数据中除所述冗余图像分片以外的其它图像分片的视频编码数据的第三传输流。
作为本申请实施例一种可选的实施方式，所述发送单元116，还用于在所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流之前，获取所述第一传输流中的音频编码数据；根据所述背景视频编码数据和所述音频编码数据生成所述第三传输流。
作为本申请实施例一种可选的实施方式，所述视频编码单元114，具体用于通过多个视频编码组件并行对所述第一图像分片集合中的图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
作为本申请实施例一种可选的实施方式，所述发送单元116，具体用于基于所述第一图像分片集合中的各个图像分片的视频编码数据，生成第四传输流；向内容分发网络CDN发送所述第四传输流；通过所述CDN生成包括所述一个或多个目标图像分片的视频编码数据的所述第二传输流；以及通过所述CDN向所述客户端设备发送所述第二传输流。
作为本申请实施例一种可选的实施方式，所述解析单元111，具体用于对所述第一传输流进行解封装，以获取所述第一传输流中的视频编码数据；对所述第一传输流中的视频编码数据进行解码，以获取所述视频帧。
作为本申请实施例一种可选的实施方式，参照图12所示，所述视频处理装置1100还包括：
接收单元118，用于在所述解析单元解析所述第一传输流之前，从直播推流端设备获取第一传输流。
本实施例提供的视频处理装置可以执行上述方法实施例提供的视频处理方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本申请实施例还提供了一种电子设备。图13为本申请实施例提供的电子设备的结构示意图，如图13所示，本实施例提供的电子设备包括：存储器131和处理器132，所述存储器131用于存储计算机程序；所述处理器132用于在执行计算机程序时执行上述实施例提供的视频处理方法。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的视频处理方法。
基于同一发明构思，本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的视频处理方法。
本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种视频处理方法，其特征在于，包括：
解析第一传输流，以获取所述第一传输流中的视频帧；其中，所述视频帧的视场角大于客户端设备的视场角；
将所述视频帧投影为第一图像；
将所述第一图像分割为多个图像分片，以获取第一图像分片集合；
分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述第一图像分片集合中与所述客户端设备的视角对应的一个或多个目标图像分片；
向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述第一图像进行降采样，以获取第二图像；
基于所述第二图像，生成背景视频编码数据；
基于所述背景视频编码数据，向所述客户端设备发送第三传输流。
4.根据权利要求3所述的方法，其特征在于，
所述基于所述第二图像，生成背景视频编码数据，包括：对所述第二图像进行视频编码，以生成所述背景视频编码数据；
所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流，包括：向所述客户端设备发送包括所述背景视频编码数据的所述第三传输流。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第二图像，生成背景视频编码数据，包括：
将所述第二图像分割为多个图像分片，以获取第二图像分片集合；
分别对所述第二图像分片集合中的各个图像分片进行视频编码，以获取所述第二图像分片集合中的各个第二图像分片的视频编码数据；
根据所述第二图像分片集合中的各个第二图像分片的视频编码数据，生成所述背景视频编码数据。
6.根据权利要求5所述的方法，其特征在于，所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流，包括：
确定冗余图像分片；其中，所述冗余图像分片为所述第二图像分片集合中与所述目标图像分片位置相同的图像分片；
向所述客户端设备发送包括所述背景视频编码数据中除所述冗余图像分片以外的其它图像分片的视频编码数据的第三传输流。
7.根据权利要求3-6任一项所述的方法，其特征在于，在所述基于所述背景视频编码数据，向所述客户端设备发送第三传输流之前，所述方法还包括：
获取所述第一传输流中的音频编码数据；
根据所述背景视频编码数据和所述音频编码数据生成所述第三传输流。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述分别对所述第一图像分片集合中的各个图像分片进行视频编码，获取所述第一图像分片集合中的各个图像分片的视频编码数据，包括：
通过多个视频编码组件并行对所述第一图像分片集合中的图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
9.根据权利要求2-6任一项所述的方法，其特征在于，所述向所述客户端设备发送包括所述一个或多个目标图像分片的视频编码数据的第二传输流，包括：
基于所述第一图像分片集合中的各个图像分片的视频编码数据，生成第四传输流；
向内容分发网络CDN发送所述第四传输流；
通过所述CDN生成包括所述一个或多个目标图像分片的视频编码数据的所述第二传输流；
通过所述CDN向所述客户端设备发送所述第二传输流。
10.根据权利要求1-6任一项所述的方法，其特征在于，所述解析所述第一传输流，以获取所述第一传输流中的视频帧，包括：
对所述第一传输流进行解封装，以获取所述第一传输流中的视频编码数据；
对所述第一传输流中的视频编码数据进行解码，以获取所述视频帧。
11.根据权利要求1-6任一项所述的方法，其特征在于，在解析所述第一传输流之前，所述方法还包括：
从直播推流端设备获取第一传输流。
12.一种视频处理装置，其特征在于，包括：
解析单元，用于解析第一传输流，以获取所述第一传输流中的视频帧；其中，所述视频帧的视场角大于客户端设备的视场角；
投影单元，用于将所述视频帧投影为第一图像；
图像分割单元，用于将所述第一图像分割为多个图像分片，以获取第一图像分片集合；
视频编码模块，用于分别对所述第一图像分片集合中的各个图像分片进行视频编码，以获取所述第一图像分片集合中的各个图像分片的视频编码数据。
13.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-11任一项所述的视频处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-11任一项所述的视频处理方法。
CN202210909926.7A 2022-07-29 2022-07-29 一种视频处理方法及装置 Pending CN117528137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210909926.7A CN117528137A (zh) 2022-07-29 2022-07-29 一种视频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210909926.7A CN117528137A (zh) 2022-07-29 2022-07-29 一种视频处理方法及装置

Publications (1)

Publication Number Publication Date
CN117528137A true CN117528137A (zh) 2024-02-06

Family

ID=89765089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210909926.7A Pending CN117528137A (zh) 2022-07-29 2022-07-29 一种视频处理方法及装置

Country Status (1)

Country Link
CN (1) CN117528137A (zh)

Similar Documents

Publication Publication Date Title
KR102261559B1 (ko) 정보 처리 방법 및 장치
EP3782368A1 (en) Processing video patches for three-dimensional content
CN110876051B (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US11539983B2 (en) Virtual reality video transmission method, client device and server
CN108282449B (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
CN109218755B (zh) 一种媒体数据的处理方法和装置
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN109644296A (zh) 一种视频流传输方法、相关设备及系统
US20210279945A1 (en) Method and device for processing content
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
KR20230137459A (ko) 포인트 클라우드 인코딩 방법 및 장치, 포인트 클라우드 디코딩 방법 및 장치, 및 컴퓨터-판독가능 매체, 및 전자 디바이스
CN110351492B (zh) 一种视频数据处理方法、装置及介质
US20230360678A1 (en) Data processing method and storage medium
WO2022116822A1 (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN117528137A (zh) 一种视频处理方法及装置
WO2022151370A1 (en) Multi-track based immersive media playout
CN115733576A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
KR102702392B1 (ko) 컨텐츠의 처리 방법 및 장치
CN108271084B (zh) 一种信息的处理方法及装置
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination