CN116033180A - 视频处理方法、电子设备及存储介质 - Google Patents

视频处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116033180A
CN116033180A CN202111239873.4A CN202111239873A CN116033180A CN 116033180 A CN116033180 A CN 116033180A CN 202111239873 A CN202111239873 A CN 202111239873A CN 116033180 A CN116033180 A CN 116033180A
Authority
CN
China
Prior art keywords
video
sub
saliency
processing method
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111239873.4A
Other languages
English (en)
Inventor
许静
孟宇
王剑楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202111239873.4A priority Critical patent/CN116033180A/zh
Priority to PCT/CN2022/114283 priority patent/WO2023071469A1/zh
Publication of CN116033180A publication Critical patent/CN116033180A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频处理方法、电子设备及存储介质，应用于服务器的视频处理方法包括：获取片源的原始视频；对原始视频进行显著度计算得到原始视频上的显著度分布信息；对原始视频进行分块得到多个子视频；根据显著度分布信息对子视频进行编码压缩。本发明中通过显著度计算主要目的是获取对用户行为的预测结果，基于不同预测得到的显著度分布信息实现对分块后不同的子视频进行编码压缩，使得编码压缩后的子视频大小与用户行为的特点相对应，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。

Description

视频处理方法、电子设备及存储介质
技术领域
本发明涉及但不限于视觉技术领域，特别是涉及一种视频处理方法、电子设备及存储介质。
背景技术
虚拟现实技术(Virtual Reality，VR)发展到现在已经广为人知，而作为虚拟现实相关资源的主要承载形式和虚拟现实用户的主要消费内容，基于VR的360度全景视频被越来越多的用户所接受和消费。相比传统平面视频通常只有一个镜头进行内容的拍摄，而360度全景视频在拍摄时通常由多个镜头同时拍摄，然后对内容进行畸变矫正和拼接后形成完整的全景内容，相关技术中，随着VR的分辨率越来越高，数据量的增加也会相应引入编解码等处理流程中计算量的增加，导致其所占用的传输带宽也越来越高，大大增加了计算和存储资源的消耗，影响视频的观看质量。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种视频处理方法、电子设备及存储介质，能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
第一方面，本发明实施例提供了一种视频处理方法，应用于服务器，所述视频处理方法包括：
获取片源的原始视频；
对所述原始视频进行显著度计算得到所述原始视频上的显著度分布信息；
对所述原始视频进行分块得到多个子视频；
根据所述显著度分布信息对所述子视频进行编码压缩。
第二方面，本发明实施例提供了一种视频处理方法，应用于播放终端，所述视频处理方法包括：
向服务器发送片源的播放请求，以使所述服务器根据所述播放请求确定所述片源；
接收所述服务器发送的所述片源对应的编码压缩后的子视频，所述编码压缩后的子视频由所述服务器根据所述片源的原始视频进行显著度计算得到所述原始视频上的显著度分布信息，并对所述原始视频进行分块得到多个子视频后，所述服务器根据所述显著度分布信息对所述子视频进行编码压缩得到；
根据所述编码压缩后的子视频解码后得到播放视频。
第三方面，本发明实施例提供了一种电子设备，其特征在于，包括：存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面实施例中任意一项所述的视频处理方法或本发明第二方面实施例中任意一项所述的视频处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面实施例中任意一项所述的视频处理方法或本发明第二方面实施例中任意一项所述的视频处理方法。
本发明实施例至少包括以下有益效果：本发明实施例中的视频处理方法，可应用在服务器或播放终端上，服务器先获取片源的原始视频，对原始视频进行显著度计算得到原始视频上的显著度分布信息，随后服务器对原始视频进行分块得到分块后的多个子视频，再根据显著度分布信息对子视频进行编码压缩，得到编码压缩后的子视频，以便播放终端向服务器发送片源的播放请求后，接收服务器发送的片源对应的编码压缩后的子视频，播放终端对其进行解码后即可得到播放视频，本发明实施例中通过显著度计算主要目的是获取对用户行为的预测结果，基于不同预测得到的显著度分布信息实现对分块后不同的子视频进行编码压缩，使得编码压缩后的子视频大小与用户行为的特点相对应，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的视频处理方法的流程示意图；
图2是本发明另一个实施例提供的视频处理方法的流程示意图；
图3是本发明另一个实施例提供的视频处理方法的流程示意图；
图4是本发明另一个实施例提供的视频处理方法的流程示意图；
图5是本发明另一个实施例提供的视频处理方法的流程示意图；
图6是本发明另一个实施例提供的视频处理方法的流程示意图；
图7是本发明另一个实施例提供的视频处理方法的流程示意图；
图8是本发明另一个实施例提供的视频处理方法的流程示意图；
图9是本发明一个实施例提供的电子设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。
应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明实施例的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明实施例中的具体含义。
VR发展到现在，随着相关的上下游产业链的完善和重点环节的软硬件技术发展，沉浸式虚拟现实技术正在被越来越多的人所熟知。而作为虚拟现实相关资源的主要承载形式和虚拟现实用户的主要消费内容，360度全景视频以4K VR作为起点，8K VR作为未来发展趋势，甚至在将来，会发展到12K VR、24K VR等，对于8K VR，会占用带宽百兆以上，数据量的增加也会相应引入编解码等处理流程中计算量的增加。因此，如何在带宽降低的同时保障用户观看高质量的VR内容，成为了VR应用进一步落地亟需解决的问题。
基于此，本发明实施例提供了一种视频处理方法、电子设备及存储介质，视频处理方法可应用在服务器和播放终端中，通过显著度计算主要目的是获取对用户行为的预测结果，基于不同预测得到的显著度分布信息实现对分块后不同的子视频进行编码压缩，使得编码压缩后的子视频大小与用户行为的特点相对应，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
下面进行详细说明。
本发明实施例提供了一种视频处理方法，应用于服务器，参照图1所示，本发明实施例中的视频处理方法包括但不限于步骤S110、步骤S120、步骤S130和步骤S140。
步骤S110，获取片源的原始视频。
在一实施例中，服务器先获取片源的原始视频，片源可以是用于播放终端播放的点播片源或直播片源，片源可以由任意形式得到，注入的片源编码压缩格式和文件封装格式不受限制，原始视频为未经过本申请中视频处理方法处理之前的视频源，本发明实施例中的服务器可以是视频服务器，原始视频可以是全景视频或其它类型的视频，当原始视频为全景视频时，本发明实施例中的视频处理方法可应用到VR技术领域中，所处理后的视频可以供VR播放终端进行播放，当原始视频为其它类型的视频时，本发明实施例中的视频处理方法所处理后的视频可以供手机、平板电脑、视频播放器等播放终端进行播放，本发明实施例中以原始视频为360度全景视频为例子，但并不表示为对本发明实施例的限制，以下实施例可称原始视频为全景视频或360度全景视频。
步骤S120，对原始视频进行显著度计算得到原始视频上的显著度分布信息。
在一实施例中，服务器利用显著度预测算法对360度全景视频进行显著度计算，得到和全景视频长宽或分辨率对应的显著度分布二维矩阵，需要说明的是，本发明实施例中所得到的显著度分布二维矩阵的长宽或分辨率可以与原始视频相同，并将显著度分布二维矩阵作为原始视频上的显著度分布信息，显著度分布二维矩阵标记了全景视频上每个像素点的显著度值，这里的显著度计算主要目的是获取对用户行为的预测结果，通过本发明实施例中的显著度预测算法可以获取全景视频中每个像素点的显著度值，对具体的算法本发明实施例没有具体限制，可以理解的是，本发明实施例可以根据不同的显著度预测算法给出预测的准确度不同结果，选择匹配的显著度预测算法应用到视频处理方法中。
360度全景视频作为一种新的媒体内容，相比于传统平面视频，也引入了一些新的特性。在视频的采集端，传统平面视频通常只有一个镜头进行内容的拍摄，而360度全景视频在拍摄时通常由多个镜头同时拍摄，然后对内容进行畸变矫正和拼接后形成完整的360度全景内容，而在后续的传输和存储过程中，360度全景内容会被以非均匀的方式映射到平面上进行压缩编码和传输。相比于传统的平面视频，这些处理流程会给360度全景视频引入额外的质量损失，而当视频内容在播放终端进行播放时，用户通常佩戴头戴式显示设备进行观看，和传统平面视频将完整的内容直接呈现于用户的视场中心不同，用户在观看360度全景视频时只能以视场为单位进行局部内容的观看，并且可以依靠转头等动作进行观看区域的自主选择。一方面沉浸式的观看方式隔绝了外界的视觉干扰，而自由度较高和局部可见的特点则决定了用户的质量感知结果更多的会受局部内容的影响。
需要说明的是，根据沉浸式用户观看行为分析的结果显示，不同的用户在观看相同的360度全景视频内容时的头动数据呈现出了高度的一致性，即不同的用户倾向于观看的区域和停留的观看时长都是相似的。更进一步地，在沉浸式观看环境中，当用户经过对整个场景的快速观察后，就会倾向于固定观看某些区域，基于这样的一致性结合前述局部内容对质量感知结果的主要影响，本发明实施例根据用户行为的特点对完整的360度全景视频显著度计算可以得到对用户行为的特点相对应的显著度分布二维矩阵。显著度又叫显著性，是视频或图像中重要的视觉特征，体现了人眼对图像的某些区域的重视程度。对于一个视频来说，用户只对视频中的部分区域感兴趣，或用户倾向于观看的视频中的该区域，这部分感兴趣的区域代表了用户的查询意图，而其他的不感兴趣区域则与用户的查询意图无关，显著度表征的区域是视频中最能引起用户兴趣、最能表现视频内容的区域。
步骤S130，对原始视频进行分块得到多个子视频。
在一实施例中，服务器对全景视频进行分块(TI LE)得到多个分块上的子视频，服务器可以对全景视频进行大小相同或不同的分块，得到大小相同或不同的多个子视频，例如，服务可根据全景视频中用户视角倾向高的方向，划分出分块大小稍大的子视频，对其他区域的子视频划分的分块可以稍小，可根据实际需要设置，以便提高视频的编码解码效果，提高该分块子视频的播放质量，需要说明的是，分块的数量可以根据实际需要设置，在一实施例中，服务器将分辨率为3840X1920的全景视频按照长宽4x3分块，总共得到12个子视频，每个分块的子视频的分辨率为960x640，服务器可根据带宽的要求，调整所得分块得到的子视频的数量，当上述实施例中所得到的12个子视频的带宽满足设计需求，即可不需要再进行其他数量的分块，服务器可根据实际需要或人工智能算法对分块的数量进行设置，在另一实施例中，分块越多，所得到的子视频越多，能达到的带宽减小效果越明显，但所需要的处理资源会增加，服务器可根据带宽的要求设置相应的分块数量，以达到带宽要求和处理要求，本发明不对其做具体限制。
需要说明的是，为了总体减少传输带宽，基于视窗依赖式传输机制是一种必要且可行的全景视频传输方案，视窗依赖式传输机制即以高质量形式传输用户高度关注的部分内容，或用户当前正在观看的视窗内容，而对于暂时不会被看到的其他区域内容，则可适当降低传输质量，甚至不传输。为了实现依赖于用户视窗的全景视频传输，本发明实施例采用分块式流化(Tiled Streaming)策略，主要是在像素域将未压缩的原始高视频分辨率视频逐帧切分成若干个低分辨率的空间分块视频，并将每个分块的子视频编码成独立可解的媒体内容，这样的方案通常需要对各个分块都进行不同质量的编码，在一实施例中，对于用户的观看视角内的区域，播放终端可以从服务器侧下载对应区域的高质量的分块内容，视角外的区域，则下载对应区域的低质量的分块内容。
需要说明的是，本发明实施例中的分块，可以理解为，在高效率视频编码(HighEfficiency Video Coding，HEVC)中一幅图像可以划分为若干个Tile，即从从水平和垂直方向将图像分割为若干个矩形区域，把这些矩形区域称为分块，分块可以由MPEG HEVC编码定义，本发明不对其做具体限制。
以上步骤S120和S130顺序不分先后，也可以先分块再做显著度计算。
步骤S140，根据显著度分布信息对子视频进行编码压缩
在一实施例中，服务器根据显著度分布信息对子视频进行编码压缩，可以对所有得到的子视频进行压缩编码，也可以针对部分区域内的子视频进行压缩编码，需要说明的是，HEVC为代表的编码标准中的优化算法是针对传统视频进行设计的，并没有考虑到全景视频的一些新特性，因此如何对编码器进行针对全景视频的优化从而充分利用服务资源成为了又一个亟需解决的问题。本发明实施例中在分块的基础上对子视频进行非均匀的编码，可以得到不同质量的子视频，其中显著度高的子视频所编码压缩后得到的视频质量高于显著度低的子视频，本发明实施例通过显著度计算主要目的是获取对用户行为的预测结果，基于不同预测得到的显著度分布信息实现对分块后不同的子视频进行编码压缩，使得编码压缩后的子视频大小与用户行为的特点相对应，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
可以理解的是，在一实施例中的全景视频中，用户倾向于固定观看某些区域内的子视频经过编码压缩后的视频质量较高，而其他位置的子视频编码压缩后的视频质量较低，而用户倾向于固定观看某些区域所占的全景视频的比例小，也就是高质量的子视频数量小于低质量的子视频数量，因此经过本发明实施例中的视频处理方法后，所得到的压缩视频相比原始视频，能够使得视频低带宽传输的同时，降低计算和存储资源的消耗。
参照图2所示，在一实施例中，上述步骤S120中还可以包括但不限于步骤S210和步骤S220。
步骤S210，获取原始视频的首帧或关键帧。
步骤S220，根据首帧或关键帧对原始视频进行显著度计算，得到首帧或关键帧上的显著度分布信息。
在一实施例中，服务器所得到的显著度分布信息，是根据原始视频的首帧或关键帧进行显著度计算得到的，服务器根据预设的要求，获取原始视频的首帧或关键帧，关键帧可以是用户或开发者根据实际需要选定的原始视频中最能表征显著度的图像帧，根据首帧或关键帧能得到在该帧处的原始视频的图像截图，服务器对该图进行显著度计算，计算结果应用到全景视频中的其他图像帧。可以理解的是，本发明实施例中的视频处理方法，在原始视频的首帧或关键帧处得到的显著度分布信息，可以表征原始视频上用户的用户行为的预测结果，将得到的显著度分布信息，应用到整个视频的图像帧上，以便进行编码压缩处理，服务器可根据实际需要，周期性或非周期性刷新显著度分布信息，重新获取关键帧进行新的显著度分布信息的计算，本发明不对其做具体限制。
参照图3所示，在一实施例中，上述步骤S140中还可以包括但不限于步骤S310至步骤S330。
步骤S310，根据显著度分布信息得到每个子视频所对应的显著度权重值。
步骤S320，根据显著度权重值得到每个子视频的编码参数。
步骤S330，根据编码参数对相应的子视频进行编码压缩。
在一实施例中，服务器计算每个分块上子视频显著度的相应权重，根据显著度分布信息得到每个子视频上对应的显著度值，并根据显著度分布信息得到总的全景视频上的显著度总数，由子视频上的显著度值在显著度总值上的占比得到每个子视频所对应的显著度权重值，服务器根据每个子视频上显著度权重值的不同分配不同的编码参数，以便根据不同的编码参数对相应的子视频进行，不同的编码参数对子视频进行编码压缩后，可以得到质量不同的视频文件，因此经过本发明实施例中的视频处理方法后，所得到的压缩视频相比原始视频，能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
参照图4所示，在一实施例中，上述步骤S320中还可以包括但不限于步骤S410至步骤S440。
步骤S410，获取原始视频对应的预分配总质量参数。
步骤S420，获取子视频对应的预设质量参数。
步骤S430，根据预分配总质量参数和显著度权重值得到子视频的预分配质量参数。
步骤S440，根据预分配质量参数和预设质量参数确定得到子视频的编码参数。
在一实施例中，服务器根据不同的质量参数给子视频设置不同的编码参数，服务器获取全景视频对应的预分配总质量参数，预分配总质量参数为预先设定好的一个参数，为根据实际需要设定的总质量参数，小于原始视频的原质量参数，并获取子视频对应的预设质量参数，预设质量参数可以是编码器对子视频的预设最小值或最大值，随后服务器根据预分配总质量参数和显著度权重值为每个子视频分配得到各个子视频的预分配质量参数，并根据预分配质量参数和预设质量参数之间的关系确定得到子视频的编码参数，可以理解的是，本发明实施例中的质量参数可以是视频码率，也可以是其他影响图像质量的视频编码参数，比如量化参数(QP)、关键帧间隔(GOP)、分辨率、帧率等，服务器对比预分配质量参数和预设质量参数之间的大小关系，得到其中合适的一个作为编码参数。
需要说明的是，根据不同的质量参数，服务器得到的编码参数也不同，例如，当质量参数为码率时，预设质量参数即为预设码率，预设码率跟子视频对应的编码器相关，具有一定的限值，预设质量参数大于预分配质量参数时，服务器可以根据预分配质量参数或预设质量参数的大小作为编码参数为子视频进行编码压缩，当预设质量参数小于预分配质量参数时，服务器已经无法为子视频分配更高的质量参数了，因此服务器可以根据预设质量参数的大小作为编码参数为子视频进行编码压缩；又例如，当质量参数为分辨率时，预设质量参数即为预设分辨率，预设分辨率跟所得分块的子视频大小相关，预设质量参数大于预分配质量参数时，服务器可以根据预分配质量参数的大小作为编码参数为子视频进行编码压缩，当预设质量参数小于预分配质量参数时，服务器可以根据预分配质量参数或预设质量参数的大小作为编码参数为子视频进行编码压缩；上述例子仅为示例，并不代表为对本发明实施例的限制。
参照图5所示，在一实施例中，上述步骤S320中还可以包括但不限于步骤S510和步骤S520。
步骤S510，根据预分配质量参数和预设质量参数得到差值。
步骤S520，根据差值和预分配总质量参数得到更新后的预分配总质量参数。
在一实施例中，服务器在得到各个子视频的预分配质量参数后，根据预分配质量参数和预设质量参数之间的数值大小得到二者之间的差值，并通过得到的差值和原先的预分配总质量参数，进行计算并更新得到更新后的预分配总质量参数，需要说明的是，预分配总质量参数可以为预先设定好的一个参数，其大小与带宽相对应，再通过差值修正得到更新后的预分配总质量参数，以使得更新后的预分配总质量参数可以更小，实现了视频低带宽传输。可以理解的是，在一实施例中，服务器在更新预分配总质量参数的过程中，若某个子视频的预分配质量参数高于其预设质量参数，随后更新的预分配总质量参数可以提高，但是对于整体的全景视频而言，预分配质量参数高于预设质量参数的子视频数量占比不高，对整体而言，所更新得到的预分配总质量参数相比原先的预分配总质量参数是降低的，在另一实施例中，更新得到的预分配总质量参数可与原先的预分配总质量参数是相同的，但会小于原始视频的原质量参数，本发明实施例不对其做具体限制。
在一实施例中，以质量参数为码率为例，采用码率选择算法确定每个子视频的具体编码码率，码率选择算法步骤如下：
1)总码率限制为Rtotal，则对应第i个子视频应该分配到的码率为：Ri＝Rtotalwi，其中，i表示第i个子视频,wi为第i个子视频对应的显著度权重值。
2)若子视频对应的最低码率为Rlow，最低码率可以为上述预设质量参数，如果1)计算的码率比最低码率小，即Ri<Rlow，则码率值更新为最低码率，即Ri＝Rlow；更新Rtotal，若Ri与Rlow的差值为Di，Rtotal减去Di得到最新的Rtotal。
3)若子视频对应的最高码率为Rhigh，最高码率可以为上述预设质量参数，如果1)计算的码率比最高码率大，即Ri>Rhigh，则码率值更新为最高码率，即Ri＝Rtotal；更新Rtotal，若Ri与Rhigh的差值为Di，Rtotal加上Di得到最新的Rtotal。
在满足本发明实施例要求的前提下，上述步骤2)和步骤3)中也可以不用差值去更新预分配总质量参数，例如在预设质量参数小于或大于预分配质量参数时，服务器可根据预设质量参数作为相对应的子视频的编码参数，对于其余子视频的编码，预分配总质量参数可以减去已经分配好编码参数的子视频的数值后，根据余下的预分配总质量参数的值和其余子视频的显著度权重值得到其余子视频的预分配质量参数，从而可以得到其余子视频的编码参数；还可以理解的是，例如在预设质量参数大于预分配质量参数时，服务器可根据预分配质量参数作为相对应的子视频的编码参数，并通过上述计算得到的差值更新预分配总质量参数后，对于其余子视频的编码，更新后的预分配总质量参数可以减去已经分配好编码参数的子视频的数值后，根据余下的预分配总质量参数的值和其余子视频的显著度权重值得到其余子视频的预分配质量参数，从而可以得到其余子视频的编码参数，上述例子仅为示例，并不代表为对本发明实施例的限制。
参照图6所示，本发明实施例中的视频处理方法还可以包括但不限于步骤S610和步骤S620。
步骤S610，获取视频封装协议。
步骤S620，根据封装协议对编码压缩后的子视频进行流媒体传输封装。
在一实施例中，服务器需要对编码后的视频进行流媒体传输封装，服务器可以根据视频播放的设备得到其视频封装协议，根据不同的封装协议对编码压缩后的子视频进行流媒体传输封装，例如部分封装协议需要进行周期性封装的，服务器在一定周期内完成一次对编码压缩后的子视频的封装，封装协议包括但不限定与HLS、DASH和MSS等，本发明实施例不对其做具体限制。
在一实施例中，服务器根据编码压缩后的子视频生成各个子视频的播放索引文件，播放索引文件中加入分块的子视频的信息字段，标记每个视频文件对应的分块编号和位置信息，用于播放终端识别。
本发明实施例还提供了一种视频处理方法，应用于播放终端，参照图7所示，本发明实施例中的视频处理方法包括但不限于步骤S710、步骤S720和步骤S730。
步骤S710，向服务器发送片源的播放请求，以使服务器根据播放请求确定片源。
步骤S720，接收服务器发送的片源对应的编码压缩后的子视频，编码压缩后的子视频由服务器根据片源的原始视频进行显著度计算得到原始视频上的显著度分布信息，并对原始视频进行分块得到多个子视频后，服务器根据显著度分布信息对子视频进行编码压缩得到。
步骤S730，根据编码压缩后的子视频解码后得到播放视频。
在一实施例中，本发明实施例中提到的视频处理方法应用在播放终端上，本发明实施例中的编码压缩后的子视频由上述实施例中服务器执行的视频处理方法得到，在此不再赘述，播放终端向服务器发送片源的播放请求，服务器根据播放请求确定对应的片源后，播放终端可以接收服务器发送的片源对应的编码压缩后的子视频，并根据编码压缩后的子视频进行解码后得到播放视频，本发明实施例中以原始视频为360度全景视频为例子，因此本发明实施例中的播放终端为VR播放终端，但并不表示为对本发明实施例的限制，以下实施例可称原始视频为全景视频或360度全景视频。本发明实施例中通过显著度计算主要目的是获取对用户行为的预测结果，基于不同预测得到的显著度分布信息实现对分块后不同的子视频进行编码压缩，使得编码压缩后的子视频大小与用户行为的特点相对应，播放终端所得到的编码压缩后的子视频根据用户行位的特点具有不同的质量，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
参照图8所示，在一实施例中，播放请求包括用户在播放终端视角上的选定区域内，上述步骤S720中还可以包括但不限于步骤S810和步骤S820。
步骤S810，根据选定区域所对应的区域，确定原始视频分块的区域对应的子视频。
步骤S820，接收服务器发送的与选定区域对应的编码压缩后的子视频。
在一实施例中，播放终端可以从服务器下载得到所有全景视频的子视频，也可以根据用户在播放终端视角上的选定区域获取该改与的子视频，播放终端根据选定区域所对应的区域，确定原始视频分块的区域对应的子视频，选定区域可以是用户选择的区域，也可以是用户视角所处的区域，播放终端确定该区域的位置后，从服务器接收与选定区域对应的编码压缩后的子视频，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
可以理解的是，当播放设备不是VR播放设备，而是如手机等其他类型的播放设备时，用户可以在播放设备上选定某个观看的区域，并将该区域作为上述实施例所说的选定区域，从而使得播放设备能够根据用户的选定要求获取该区域的子视频进行解码，从而能够实现视频低带宽传输的同时，降低计算和存储资源的消耗。
下面，通过具体的实施例进行说明。
实施例一，本发明实施例提供了一种应用于点播业务的全景视频文件处理方法，具体步骤如下：
1.1)用于点播的全景视频完整片源注入视频服务器，注入片源编码压缩格式和文件封装格式不受限制，视频编码格式可以是AVC/H.264、HEVC/H265等，文封装格式可以是MP4,MPEG-TS等。
1.2)利用显著度预测算法对360度全景视频进行显著度计算，得到和全景视频长宽(分辨率)相同的显著度分布二维矩阵，这里使用一个分辨率3840x1920的4K全景视频来说明，显著度预测结果是3840x1920大小的二维矩阵，二维矩阵标记了每个像素点的显著度值。这里的显著度计算主要目的是获取对用户行为的预测结果，对具体的算法没有限制，不同的显著度预测算法给出预测的准确度不同可能会影响最终的优化结果。
1.3)将分辨率为3840x1920的全景视频按照长宽4x3分块，总共12个分块，每个分块的分辨率为960x640，实际应用中，分块的大小可以相同，也可以不同。
以上步骤1.2)和步骤1.3)顺序不分先后，也可以先分块再做显著度计算。
1.4)计算每个分块的相应权重，分块权重计算为对应的960x640分辨率大小的矩形框所覆盖的显著度值之和比上3840x1920范围内的所有显著度值之和。
以上，步骤1.2)、步骤1.3)和步骤1.4)步骤，可以是针对整个视频进行计算，也可以是针对首帧或部分关键帧进行计算，计算结果同样应用去视频中的其他图像帧。
1.5)编码参数具体值确定，这里的编码参数可以是视频码率，也可以是其他影响图像质量的视频编码参数，比如量化参数、关键帧间隔、分辨率、帧率等。
以码率为例，采用码率选择算法确定每个分块的具体编码码率，码率选择算法步骤如下：
1.5.1)总码率限制为Rtotal，则对应第i个子视频应该分配到的码率为：Ri＝Rtotalwi，其中，i表示第i个子视频,wi为第i个子视频对应的显著度权重值。
1.5.2)若子视频对应的最低码率为Rlow，最低码率可以为上述预设质量参数，如果1)计算的码率比最低码率小，即Ri<Rlow，则码率值更新为最低码率，即Ri＝Rlow；更新Rtotal，若Ri与Rlow的差值为Di，Rtotal减去Di得到最新的Rtotal。
1.5.3)若子视频对应的最高码率为Rhigh，最高码率可以为上述预设质量参数，如果1)计算的码率比最高码率大，即Ri>Rhigh，则码率值更新为最高码率，即Ri＝Rtotal；更新Rtotal，若Ri与Rhigh的差值为Di，Rtotal加上Di得到最新的Rtotal。
步骤1.5.2)和步骤1.5.3)顺序可调换。
1.6)对原始全景视频进行解码，再进行基于MCTS(运动约束分块集)的HEVC tile编码。在编码过程中，根据步骤1.5)中得到的对进行压缩码率限制，完成编码操作，本例中,经过编码得到12个可以完全独立解码的压缩视频。
1.7)对编码后的视频，进行流式传输封装，生成播放索引文件。封装协议包括但不限定与HLS、DASH和MSS等，播放索引文件中加入分块信息字段，标记每个视频文件对应的分块编号和位置信息，用于播放终端识别。
实施例二，本发明实施例提供了一种全景视频点播业务中VR播放终端和视频服务器的交互流程，具体步骤如下：
2.1)VR播放终端向视频服务器发起播放索引文件index.mpd请求，index.mpd描述了每个视频文件的名称、存放路径和对应的分块编号、位置等信息。
2.2)视频服务器返回播放索引文件index.mpd。
2.3)VR播放终端解析index.mpd，获取视频文件信息，向视频服务器发起视频文件下载请求，可以下载所有分块对应的视频文件，也可以只下载视角范围内的分块对应的文件。
2.4)视频服务器发送视频文件给VR播放终端。
2.5)VR播放终端对视频文件进行空间重组、解码并播放。
实施例三，本发明实施例提供了一种应用于直播业务的全景视频文件处理方法，具体步骤如下：
3.1)视频服务器拉取或接收360度全景直播码流，直播流编码格式和码流传输封装协议不受限制，视频编码协议可以是AVC/H.264、HEVC/H265等，码流传输封装协议可以是RTSP、RTMP、HLS等。
3.2)利用显著度预测算法对全景视频直播流进行显著度计算，得到和全景视频长宽(分辨率)相同的显著度分布二维矩阵，这里使用一个分辨率3840x1920的4K全景视频来说明，显著度预测结果是3840x1920大小的二维矩阵，二维矩阵标记了每个像素点的显著度值。
3.3)将分辨率为3840x1920的全景视频按照长宽4x3分块，总共12个分块，每个分块的分辨率为960x640。实际应用中，分块的大小可以相同，也可以不同。
以上步骤3.2)和步骤3.3)顺序不分先后，也可以先分块再做显著度计算。
3.4)计算每个分块的相应权重，分块权重计算为对应的960x640分辨率大小的矩形框所覆盖的显著度值之和比上3840x1920范围内的所有显著度值之和。
以上步骤3.2)、步骤3.3)和步骤3.4)，可以针对直播流的某个关键帧或部分关键帧进行计算，计算结果同样应用与直播流中的其他图像帧。
3.5)编码参数具体值确定，这里的编码参数可以是视频码率，也可以是其他影响图像质量的视频编码参数，比如量化参数、关键帧间隔、分辨率、帧率等。
以码率为例，采用码率选择算法确定每个分块的具体编码码率，码率选择算法步骤如下：
3.5.1)总码率限制为Rtotal，则对应第i个子视频应该分配到的码率为：Ri＝Rtotalwi，其中，i表示第i个子视频,wi为第i个子视频对应的显著度权重值。
3.5.2)若子视频对应的最低码率为Rlow，最低码率可以为上述预设质量参数，如果1)计算的码率比最低码率小，即Ri<Rlow，则码率值更新为最低码率，即Ri＝Rlow；更新Rtotal，若Ri与Rlow的差值为Di，Rtotal减去Di得到最新的Rtotal。
3.5.3)若子视频对应的最高码率为Rhigh，最高码率可以为上述预设质量参数，如果1)计算的码率比最高码率大，即Ri>Rhigh，则码率值更新为最高码率，即Ri＝Rtotal；更新Rtotal，若Ri与Rhigh的差值为Di，Rtotal加上Di得到最新的Rtotal。
步骤3.5.2)和步骤3.5.3)顺序可调换。
3.6)每间隔一个周期，对周期内的全景视频直播流进行解码，再进行基于MCTS的HEVC tile编码。在编码过程中，根据步骤3.5)中得到的对进行压缩码率限制，完成编码操作，本例中,经过编码得到12个可以完全独立解码的压缩视频。
3.7)对上述周期内编码后的视频，进行流式切片封装，生成播放索引文件，封装协议包括但不限定与HLS、DASH和MSS等，播放索引文件中加入分块信息字段，标记每个视频文件对应的分块编号和位置信息，用于播放终端识别。
实施例四，本发明实施例提供了一种全景视频直播业务中VR播放终端和视频服务器的交互流程，具体步骤如下：
4.1)VR播放终端周期性地向视频服务器发起播放索引文件index.mpd请求，index.mpd描述了最近几个周期的视频文件的名称、存放路径和对应的分块编号、位置等信息。
4.2)视频服务器返回最新的播放索引文件index.mpd。
4.3)VR播放终端解析index.mpd，获取视频文件信息，向视频服务器发起视频文件下载请求，可以下载所有分块对应的视频文件，也可以只下载视角范围内的分块对应的文件。
4.4)视频服务器发送视频文件给VR播放终端。
4.5)VR播放终端对视频文件进行空间重组、解码并播放。
上述实施例中的服务器具备视频编解码和存储能力，播放终端具备全景视频解码和播放能力。
图9示出了本发明实施例提供的电子设备100。电子设备100包括：处理器101、存储器102及存储在存储器102上并可在处理器101上运行的计算机程序，计算机程序运行时用于执行上述的视频处理方法。
处理器101和存储器102可以通过总线或者其他方式连接。
存储器102作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的视频处理方法。处理器101通过运行存储在存储器102中的非暂态软件程序以及指令，从而实现上述的视频处理方法。
存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的视频处理方法。此外，存储器102可以包括高速随机存取存储器102，还可以包括非暂态存储器102，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器102可选包括相对于处理器101远程设置的存储器102，这些远程存储器102可以通过网络连接至该电子设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的视频处理方法所需的非暂态软件程序以及指令存储在存储器102中，当被一个或者多个处理器101执行时，执行上述的视频处理方法，例如，执行图1中的方法步骤S110至步骤S140、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310至步骤S330、图4中的方法步骤S410至步骤S440、图5中的方法步骤S510至步骤S520、图6中的方法步骤S610至步骤S620、图7中的方法步骤S710至步骤S730、图8中的方法步骤S810至步骤S820。
本发明实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的视频处理方法。
在一实施例中，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行图1中的方法步骤S110至步骤S140、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310至步骤S330、图4中的方法步骤S410至步骤S440、图5中的方法步骤S510至步骤S520、图6中的方法步骤S610至步骤S620、图7中的方法步骤S710至步骤S730、图8中的方法步骤S810至步骤S820。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
还应了解，本发明实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (10)

1.一种视频处理方法，应用于服务器，所述视频处理方法包括：
获取片源的原始视频；
对所述原始视频进行显著度计算得到所述原始视频上的显著度分布信息；
对所述原始视频进行分块得到多个子视频；
根据所述显著度分布信息对所述子视频进行编码压缩。
2.根据权利要求1所述的视频处理方法，其特征在于，所述对所述原始视频进行显著度计算得到所述原始视频上的显著度分布信息，包括：
获取所述原始视频的首帧或关键帧；
根据所述首帧或所述关键帧对所述原始视频进行显著度计算，得到所述首帧或所述关键帧上的所述显著度分布信息。
3.根据权利要求1或2所述的视频处理方法，其特征在于，所述根据所述显著度分布信息对所述子视频进行编码压缩，包括：
根据所述显著度分布信息得到每个所述子视频所对应的显著度权重值；
根据所述显著度权重值得到每个所述子视频的编码参数；
根据所述编码参数对相应的所述子视频进行编码压缩。
4.根据权利要求3所述的视频处理方法，其特征在于，所述根据所述显著度权重值得到所述子视频的编码参数，包括：
获取所述原始视频对应的预分配总质量参数；
获取所述子视频对应的预设质量参数；
根据所述预分配总质量参数和所述显著度权重值得到所述子视频的预分配质量参数；
根据所述预分配质量参数和所述预设质量参数确定得到所述子视频的所述编码参数。
5.根据权利要求4所述的视频处理方法，其特征在于，所述根据所述显著度权重值得到所述子视频的编码参数，还包括：
根据所述预分配质量参数和所述预设质量参数得到差值；
根据所述差值和所述预分配总质量参数得到更新后的所述预分配总质量参数。
6.根据权利要求1所述的视频处理方法，其特征在于，所述视频处理方法还包括：
获取视频封装协议；
根据所述封装协议对编码压缩后的所述子视频进行流媒体传输封装。
7.一种视频处理方法，应用于播放终端，所述视频处理方法包括：
向服务器发送片源的播放请求，以使所述服务器根据所述播放请求确定所述片源；
接收所述服务器发送的所述片源对应的编码压缩后的子视频，所述编码压缩后的子视频由所述服务器根据所述片源的原始视频进行显著度计算得到所述原始视频上的显著度分布信息，并对所述原始视频进行分块得到多个子视频后，所述服务器根据所述显著度分布信息对所述子视频进行编码压缩得到；
根据所述编码压缩后的子视频解码后得到播放视频。
8.根据权利要求7所述的视频处理方法，其特征在于，所述播放请求包括用户在所述播放终端视角上的选定区域内，所述接收所述服务器发送的所述片源对应的编码压缩后的子视频，包括：
根据所述选定区域所对应的区域，确定所述原始视频分块的区域对应的所述子视频；
接收所述服务器发送的与所述选定区域对应的所述编码压缩后的子视频。
9.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时如实现权利要求1至6中任意一项所述的视频处理方法或权利要求7至8中任意一项所述的视频处理方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至6中任意一项所述的视频处理方法或权利要求7至8中任意一项所述的视频处理方法。
CN202111239873.4A 2021-10-25 2021-10-25 视频处理方法、电子设备及存储介质 Pending CN116033180A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111239873.4A CN116033180A (zh) 2021-10-25 2021-10-25 视频处理方法、电子设备及存储介质
PCT/CN2022/114283 WO2023071469A1 (zh) 2021-10-25 2022-08-23 视频处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111239873.4A CN116033180A (zh) 2021-10-25 2021-10-25 视频处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116033180A true CN116033180A (zh) 2023-04-28

Family

ID=86072842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111239873.4A Pending CN116033180A (zh) 2021-10-25 2021-10-25 视频处理方法、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN116033180A (zh)
WO (1) WO2023071469A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579843A (zh) * 2024-01-17 2024-02-20 淘宝（中国）软件有限公司 视频编码处理方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2549754A1 (en) * 2011-07-19 2013-01-23 Thomson Licensing Method and apparatus for reframing and encoding an original video signal
US20140269901A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal
US11729407B2 (en) * 2018-10-29 2023-08-15 University Of Washington Saliency-based video compression systems and methods
CN112055263B (zh) * 2020-09-08 2021-08-13 西安交通大学 基于显著性检测的360°视频流传输系统
CN112637596B (zh) * 2020-12-21 2023-04-11 中国科学院国家空间科学中心 一种码率控制系统
CN113411582A (zh) * 2021-05-10 2021-09-17 华南理工大学 一种基于活动轮廓的视频编码方法、系统、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579843A (zh) * 2024-01-17 2024-02-20 淘宝（中国）软件有限公司 视频编码处理方法及电子设备
CN117579843B (zh) * 2024-01-17 2024-04-02 淘宝（中国）软件有限公司 视频编码处理方法及电子设备

Also Published As

Publication number Publication date
WO2023071469A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
EP3510744B1 (en) Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
US8510458B2 (en) Method and device for sharing bandwidth of a communication network
WO2018183257A1 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for vr videos
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
CN108810545B (zh) 用于视频编码的方法、装置、计算机可读介质及电子设备
CN113557741B (zh) 用于点云的自适应流式传输的方法和装置
CN111416989A (zh) 视频直播方法、系统及电子设备
CN104096362A (zh) 基于游戏者关注区域改进视频流的码率控制比特分配
CN110602506B (zh) 视频处理方法、网络设备及计算机可读存储介质
CN103607667A (zh) 一种p2p流媒体系统中的svc视频文件的分片方法
WO2023071469A1 (zh) 视频处理方法、电子设备及存储介质
US20240119660A1 (en) Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs
CN116634151A (zh) 视频处理方法、装置、计算机设备、存储介质及程序产品
US20140321556A1 (en) Reducing amount of data in video encoding
US11582494B2 (en) System and method for content-layer based video compression
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
US20230300346A1 (en) Supporting view direction based random access of bitsteam
Ozcinar et al. Viewport-aware omnidirectional video streaming using visual attention and dynamic tiles
KR20120012089A (ko) 스케일러블 비디오 코딩기법을 활용하는 영상 제공 시스템 및 그 방법
CN112702632B (zh) 直播节目注入方法、装置、系统、存储介质和计算机设备
Luís Viewport Adaptive Streaming for Omnidirectional Video Delivery
CN117714700A (zh) 一种视频编码方法、装置、设备、可读存储介质及产品
CN113965748A (zh) 一种高保真的视频流压缩控制方法
CN117676266A (zh) 视频流的处理方法及装置、存储介质、电子设备
CN116686286A (zh) 在沉浸式视频中改变视频轨道

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication