CN116248895A - 虚拟现实全景漫游的视频云转码方法及系统 - Google Patents

虚拟现实全景漫游的视频云转码方法及系统 Download PDF

Info

Publication number
CN116248895A
CN116248895A CN202310500223.3A CN202310500223A CN116248895A CN 116248895 A CN116248895 A CN 116248895A CN 202310500223 A CN202310500223 A CN 202310500223A CN 116248895 A CN116248895 A CN 116248895A
Authority
CN
China
Prior art keywords
image frame
code stream
macro block
video code
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310500223.3A
Other languages
English (en)
Other versions
CN116248895B (zh
Inventor
刘金豪
罗鑫
刘正权
黄勇志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yanggu Network Technology Co ltd
Original Assignee
Shanghai Yanggu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yanggu Network Technology Co ltd filed Critical Shanghai Yanggu Network Technology Co ltd
Priority to CN202310500223.3A priority Critical patent/CN116248895B/zh
Publication of CN116248895A publication Critical patent/CN116248895A/zh
Application granted granted Critical
Publication of CN116248895B publication Critical patent/CN116248895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开一种虚拟现实全景漫游的视频云转码方法及系统，对待转码的全景视频码流进行解码，得到全景视频码流的色彩差分序列，根据色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的动态晕眩度，进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少全景视频码流中引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。

Description

虚拟现实全景漫游的视频云转码方法及系统
技术领域
本申请涉及视频转码技术领域，具体的说，本申请涉及一种虚拟现实全景漫游的视频云转码方法及系统。
背景技术
近年来虚拟现实（virtual-reality，VR）技术一直处于交叉技术领域的前沿地位，有相关报告显示，沉浸式的虚拟现实全景漫游技术将逐渐成为新兴的触觉5G互联网生态系统的技术基石，但虚拟现实全景漫游对播放的全景视频分辨率要求很高，往往是普通视频的数倍，若在用户本地终端设备上对全景视频进行转码时往往受限于网络带宽与本地终端设备中央处理器（central processing unit，CPU）的运算速度，在对全景视频码流解码时会出现播放卡顿等情况，影响用户使用体验，极大的制约了VR技术的发展。
现有技术中通过视频云转码技术可解决上述问题，视频云转码技术是指将视频通过视频云端服务器转换成适合本地终端设备播放的视频格式的云计算技术，本地终端设备的 CPU 处理能力有限，存储空间小，而利用视频云端服务器强大的运算能力可以实现各种格式的全景视频转码，在转码过程中可降低全景视频的冗余量，从而减少视频传输的网络带宽压力与本地终端设备的存储压力，但对于虚拟现实全景漫游由于其独特的沉浸式体验，在全景漫游的视频场景迅速变换时，人眼捕捉图像变化容易带来不同程度的晕眩感，会导致用户的观看体验不佳，而现有的视频云转码技术中，往往只减少了全景视频中的时间冗余数据和空间冗余数据，对引起观看者晕眩的部分全景视频冗余数据则较少关注，导致用户的观看体验不佳。
发明内容
本申请要解决的技术问题是提供一种虚拟现实全景漫游的视频云转码方法及系统，以在视频云端服务器对全景视频码流进行转码时，减少引起观看者晕眩的部分全景视频冗余数据，提升虚拟现实全景漫游用户的观看体验。
为解决所述技术问题，本申请采用如下技术方案：
第一方面，本申请提供一种虚拟现实全景漫游的视频云转码方法，该方法可包括如下步骤：
视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；
对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；
根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；
根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；
根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
在一些实施例中，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列可包括：
根据全景视频码流格式，确定相应的视频解码器；
通过所述视频解码器，获取所述全景视频码流的YUV格式数据；
根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列。
在一些实施例中，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列可包括：
根据所述YUV格式数据获取所述全景视频码流的图像首帧中各像素点色彩值以及所述全景视频码流的第二图像帧中各像素点的色彩值；
根据所述第二图像帧中各像素点的色彩值和所述图像首帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第二图像帧的色彩差分序列；
根据所述YUV格式数据，获取所述全景视频码流中第三图像帧中各像素点的色彩值；
根据第二图像帧中各像素点的色彩值和所述第三图像帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第三图像帧的色彩差分序列；
重复上述步骤，直到确定所述全景视频码流全部图像帧的色彩差分序列。
在一些实施例中，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合可包括：
选定当前图像帧中第一宏块的第一像素点；
根据所述色彩差分序列，获得当前图像帧的前
Figure SMS_1
个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素；
根据所述前
Figure SMS_2
个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号和预测亮度信号；
对所述第一宏块中除所述第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号与预测亮度信号，根据所述第一宏块中所有像素点的预测色度信号与预测亮度信号得到所述第一宏块的预测宏块；
对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块；
根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合。
在一些实施例中，当前图像帧中第一宏块的第一像素点的预测色度信号和预测亮度信号可通过下述公式确定：
Figure SMS_3
其中，若当前图像帧为第
Figure SMS_9
图像帧，所述第一像素点为第/>
Figure SMS_7
图像帧中第/>
Figure SMS_13
行第/>
Figure SMS_5
列像素点，/>
Figure SMS_22
为第一像素点的预测亮度信号，/>
Figure SMS_15
、/>
Figure SMS_21
均为第一像素点的预测色度信号，其分别是预测色调信号与预测饱和度信号，/>
Figure SMS_14
为第一像素点的亮度信号，/>
Figure SMS_20
、
Figure SMS_4
分别为第一像素点的色调信号与饱和度信号，/>
Figure SMS_12
为第/>
Figure SMS_19
图像帧中第/>
Figure SMS_25
行第/>
Figure SMS_23
列像素点的亮度信息差分信号，/>
Figure SMS_26
为第/>
Figure SMS_11
图像帧中第/>
Figure SMS_24
行第/>
Figure SMS_8
列像素点的色度信息差分信号，/>
Figure SMS_17
为第/>
Figure SMS_6
图像帧中第/>
Figure SMS_16
行第/>
Figure SMS_10
列像素点的色度信息差分信号，/>
Figure SMS_18
为预测深度，为预设的常数且为整数。
在一些实施例中，对所述全景视频码流进行压缩编码可包括：
根据宏块对应的比特压缩率，确定所述全景视频码流中各个宏块的像素深度；
根据各个宏块的像素深度对所述全景视频码流进行压缩，得到压缩视频码流；
对所述压缩视频码流进行余弦离散变换，获得所述全景视频码流的频域数据集合；
对所述频域数据集合进行量化，得到量化后的频域数据集合；
对所述量化后的频域数据集合进行熵编码。
在一些实施例中，所述熵编码的编码方式可为哈夫曼编码。
第二方面，本申请公开一种虚拟现实全景漫游的视频云转码系统，包括：
色彩差分序列确定模块，用于在视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；
宏块集合确定模块，用于对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；
动态变化残差值确定模块，用于根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；
比特压缩率确定模块，用于根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；
用户视频码流确定模块，用于根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
第三方面，本申请公开一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的虚拟现实全景漫游的视频云转码方法。
第四方面，本申请公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述虚拟现实全景漫游的视频云转码方法。
本申请公开的实施例提供的技术方案具有以下有益效果：
本申请通过视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合与下一图像帧的宏块集合，确定当前帧图像中宏块的动态变化残差值，根据所述动态变化残差值，由预设的晕眩度算法得到当前图像帧中各个宏块的动态晕眩度，并根据所述动态晕眩度调整所述宏块对应的比特压缩率，根据所述全景视频码流中各个宏块对应的比特压缩率对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
本申请中通过对待转码的全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据下一图像帧的预测宏块集合与实际的下一图像帧的宏块集合确定每个宏块对应的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的观看者晕眩程度（即动态晕眩度），进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，可减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少了引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。
附图说明
图1是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码方法的示例性流程图；
图2是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码系统的示例性硬件和/或软件的示意图；
图3是本申请施例提供的一种虚拟现实全景漫游的视频云转码方法的计算机设备的结构示意图。
实施方式
本申请核心在于通过对待转码的全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据下一图像帧的预测宏块集合与实际的下一图像帧的宏块集合确定当前图像帧中每个宏块对应的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的观看者晕眩程度（即动态晕眩度），进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，可减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少了引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参考图1，该图是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码方法的示例性流程图，该虚拟现实全景漫游的视频云转码方法100主要包括如下步骤：
在步骤101，视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，具体实现时，全景视频码流可通过全景摄像机采集，这里不做具体限定。
在一些实施例中，对所述全景视频码流进行解码，获得所述全景视频码流的色彩差分序列可采用下述方式实现，即：
首先，根据全景视频码流格式，确定相应的视频解码器；例如，对于H.264格式的全景视频码流，选取H.264视频解码器；
其次，通过所述视频解码器，获取所述全景视频码流的YUV格式数据；
再次，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列。
具体实现时，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列可以采用下述优选的方式，即：
根据所述YUV格式数据获取所述全景视频码流的图像首帧中各像素点色彩值以及所述全景视频码流的第二图像帧中各像素点的色彩值；
根据第二图像帧中各像素点的色彩值和所述图像首帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第二图像帧的色彩差分序列；
根据所述YUV格式数据，获取所述全景视频码流中第三图像帧中各像素点的色彩值；
根据第二图像帧中各像素点的色彩值和所述第三图像帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第三图像帧的色彩差分序列；
重复上述步骤，直到得到所述全景视频码流全部图像帧的色彩差分序列。
需要说明，所述首帧为全景视频码流的全部图像帧中基于时间顺序的第一图像帧，具体实现时，首帧中每个像素点的色彩值可以由一个亮度信号与两个色度信号表示：
例如，在一些实施例中，以YUV444存储方式的YUV格式数据为例，首帧中第
Figure SMS_29
行第/>
Figure SMS_31
列像素点的色彩值可以表示为/>
Figure SMS_34
，其中/>
Figure SMS_28
为首帧中第/>
Figure SMS_30
行第/>
Figure SMS_33
列像素点的亮度信号，/>
Figure SMS_35
为分别首帧中第/>
Figure SMS_27
行第/>
Figure SMS_32
列像素点的色调信号与饱和度信号；具体实现时，所述亮度信号、色调信号、饱和度信号也可以用一个0到255的整数表示，由所述亮度信号、色调信号、饱和度信号可以唯一确定的表出对应像素点的色彩值。
需要说明，所述同位像素点，为不同图像帧中同一位置的像素点，例如，选定第二图像帧的第15行第16列的像素点，其在图像首帧对应的同位像素点即为所述图像首帧的第15行第16列的像素点；此外，所述图像首帧YUV格式数据即为所述图像首帧的色彩差分序列。
具体实现时，可以根据所述YUV格式数据，获取第
Figure SMS_37
图像帧中第/>
Figure SMS_39
行第/>
Figure SMS_42
列像素点的色彩值，此时，第/>
Figure SMS_38
图像帧中第/>
Figure SMS_41
行第/>
Figure SMS_43
列像素点的色彩差分序列元素可以表示为
Figure SMS_44
，其中/>
Figure SMS_36
为该像素点的亮度信息差分信号，/>
Figure SMS_40
为该像素点的色度信息差分信号。
需要说明的，所述亮度信息差分信号与所述色度信息差分信号，一定程度上可以代表该像素点的亮度瞬时变化信息，所述亮度信息差分信号与所述色度信息差分信号由下式确定：
Figure SMS_45
其中，
Figure SMS_53
为第/>
Figure SMS_55
图像帧中第/>
Figure SMS_62
行/>
Figure SMS_48
列像素点的亮度信息差分信号，/>
Figure SMS_56
为第
Figure SMS_68
图像帧中第/>
Figure SMS_73
行第/>
Figure SMS_51
列像素点的色度信息差分信号，其中/>
Figure SMS_54
为第/>
Figure SMS_61
图像帧中第/>
Figure SMS_67
行第
Figure SMS_50
列像素点的亮度信号，/>
Figure SMS_58
分别为第/>
Figure SMS_66
图像帧中第/>
Figure SMS_72
行第/>
Figure SMS_47
列像素点的色调信号与饱和度信号，其中/>
Figure SMS_57
为第/>
Figure SMS_65
图像帧中第/>
Figure SMS_71
行第/>
Figure SMS_52
列像素点的亮度信号，
Figure SMS_60
分别为第/>
Figure SMS_63
图像帧中第/>
Figure SMS_69
行第/>
Figure SMS_46
列像素点的色调信号与饱和度信号，/>
Figure SMS_59
为标定的色调系数，/>
Figure SMS_64
为标定的饱和度系数；在一些实施例中，由于人眼对于视频中色度变化的敏感度远小于对亮度变化的敏感度，为便于计算，/>
Figure SMS_70
、/>
Figure SMS_49
可以取小于0.1的相同常数。
根据上式可以获取第
Figure SMS_74
图像帧中任一像素点的色彩差分序列元素，将所述第/>
Figure SMS_75
图像帧中所有像素点的色彩差分序列元素确定后按行优先排列方式进行排列，即可得到所述第/>
Figure SMS_76
图像帧的色彩差分序列，全景视频码流中的所有图像帧的色彩差分序列按照时间顺序排列可以得到所述全景视频码流的色彩差分序列。
另外，为便于数据的运算与存储，也可采用YUV420或是YUV422存储方式的YUV格式数据，例如，在YUV422存储方式中，每两个相邻的像素点的色度信息差分信号相等，这样，在一定程度上减轻了视频云端服务器的计算量。
在步骤102，对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合。
需要说明，在视频转码中，当前图像帧往往被分割成多个宏块，视频编码算法以宏块为单位，对逐个宏块进行编码，最终组织成连续的视频码流；在一些实施例中，所述宏块的划分方式可以是依据分辨率公约数大小的正四边形等比例划分，并且为了便于各个宏块的动态变化残差值确定，在不同的图像帧中宏块的划分方式是一致的，例如，每个分辨率为640 x 480的三十万像素的图像帧，可以分为48个大小相同的正四边形宏块，在具体实现时，也可以根据全景视频的转码需要采用不同的划分方法，这里不做限定。
在步骤103，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的实际宏块集合，确定当前图像帧中各个宏块的动态变化残差值，需要说明的，所述下一图像帧，为所述当前图像帧基于时间顺序的下一图像帧。
在步骤104，根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整，具体实现时，动态晕眩度可由预设的晕眩度算法确定。
需要说明的，本申请中当前图像帧可以是所述全景视频码流中选择的任意一个图像帧，在一些实施例中，也可以按照图像帧的播放时间顺序，将所有图像帧依次作为当前图像帧完成上述当前图像帧上的操作或计算，直到获得全景视频码流中全部宏块的比特压缩率。
在步骤105，根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
在一些实施例中，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合可采用下述方式实现，即：
首先，选定所述当前图像帧中第一宏块中第一像素点；所述第一宏块或第一像素点可以是按照行优先排列顺序的第一个宏块或第一个像素点，也可以是按照其他优先级顺序进行排列的第一个宏块或第一个像素点，这里不作限定；
其次，根据所述色彩差分序列，获得当前图像帧的前
Figure SMS_77
个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素，需要说明的，所述同位像素点有/>
Figure SMS_78
个；
再次，根据所述前
Figure SMS_79
个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号与预测亮度信号；
具体实现时，确定所述当前图像帧中第一宏块中第一像素点的预测色度信号和预测亮度信号的方式可以由下式表示，即：
Figure SMS_80
其中，若当前图像帧为第
Figure SMS_85
图像帧，所述第一像素点为第/>
Figure SMS_89
图像帧中第/>
Figure SMS_95
行第/>
Figure SMS_84
列像素点，/>
Figure SMS_93
为第一像素点的预测亮度信号，/>
Figure SMS_99
、/>
Figure SMS_103
均为为第一像素点的预测色度信号，其分别是预测色调信号与预测饱和度信号，/>
Figure SMS_82
为第一像素点的亮度信号，/>
Figure SMS_91
、/>
Figure SMS_97
分别为第一像素点的色调信号与饱和度信号，/>
Figure SMS_102
为第/>
Figure SMS_87
图像帧中第/>
Figure SMS_90
行第/>
Figure SMS_94
列像素点（即第一像素点在第/>
Figure SMS_100
图像帧中的同位像素点）的亮度信息差分信号，/>
Figure SMS_86
为第/>
Figure SMS_92
图像帧中第/>
Figure SMS_98
行第/>
Figure SMS_104
列像素点的色度信息差分信号，/>
Figure SMS_81
为第/>
Figure SMS_88
图像帧中第/>
Figure SMS_96
行第/>
Figure SMS_101
列像素点的色度信息差分信号，/>
Figure SMS_83
为预测深度，为预设的常数且为整数，其反映了进行动态变化预测时，需要获取当前图像帧前序多次变化的程度。
采用上式计算，可以根据当前图像帧中的像素点前序P个图像帧对应像素点的多次变化预测该像素点下一帧的变化，从而在一定程度上模拟人脑基于观看的全景视频的前序变化产生的下一步全景视频的图像变化预测，进而可以根据下一图像帧的预测变化与实际的下一图像帧变化相对比获得动态变化残差值，从而由该动态变化残差值估计全景视频的变化与人脑的动态变化预测的偏离程度。
在一些实施例中，可以对第一宏块中除第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号和预测亮度信号，所述第一宏块中所有像素点的预测色度信号与预测亮度信号可确定所述第一宏块的预测宏块。
对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块，根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合，具体实现时，可以由所有宏块的预测宏块组成下一图像帧的预测宏块集合。
在一些实施例中，当前图像帧中宏块的动态变化残差值，可以根据下一图像帧的预测宏块集合与下一图像帧的实际宏块集合确定，需要说明的，全景视频码流中不同图像帧的宏块的划分方式是一致的。
例如，以当前图像帧为640 x 480的三十万像素的图像帧为例，可以分为48个大小相同的正四边形宏块，每个宏块中存在80 x 80的像素点。
所述动态变化残差值可以是一个三维向量
Figure SMS_105
，当前图像帧中例如左上角宏块的动态变化残差值中的向量元素可以由下式确定：
Figure SMS_106
其中
Figure SMS_110
为亮度残差，/>
Figure SMS_112
为色调残差，/>
Figure SMS_114
为饱和率残差，/>
Figure SMS_109
为当前图像帧中第/>
Figure SMS_113
行第/>
Figure SMS_115
列像素点的预测亮度信号与下一图像帧中的同位像素点的亮度信号的差值，/>
Figure SMS_118
为当前图像帧中第/>
Figure SMS_107
行第/>
Figure SMS_111
列像素点的预测色调信号与下一图像帧中的同位像素点的色调信号的差值，/>
Figure SMS_116
为当前图像帧中第/>
Figure SMS_117
行第/>
Figure SMS_108
列像素点的预测饱和度信号与下一图像帧中的同位像素点的饱和度信号的差值。
采用同样方式可以计算当前图像帧中除左上角宏块外的其余宏块的动态变化残差值，从而得到当前图像帧中全部宏块对应的动态变化残差值。
需要说明，麻省理工学院的学者查尔斯·欧曼在1990年提出了一种假说来阐释晕动症的原因，即，眼睛与大脑期望间的冲突才是晕动症的根源，人体运动时，大脑会从预期的神经活动模式中减去实际的感觉输入，剩下的就是“感觉运动冲突信号”，这种感觉运动冲突信号会导致人在观测外界环境时产生眩晕感，现实生活中这种冲突信号并不高，也就是说大脑的预期和实际的感觉基本一致，但在虚拟现实全景漫游视频中，人眼观察到的图像常常和人脑预期的下一步图像不符，导致感觉运动冲突信号的增加，从而引起人体产生强烈眩晕感（即，3D晕动症），影响观看者体验。
而动态变化残差值反映了当前图像帧的宏块中全部像素点的动态变化预测量与实际的全部像素点色彩值下一步的变化量的偏离程度，因此可以在一定程度上模拟人体大脑的感觉运动冲突信号的大小，当动态残差值过大时，代表当前图像帧中的宏块的变化容易引起人体大脑感觉运动冲突信号增加，导致晕眩感的产生，因此，可以根据宏块的动态变化残差值，计算在全景视频播放时该宏块引起观看者的晕眩程度，即宏块的动态晕眩度，当宏块的动态晕眩度超过预设的晕眩度阈值时，说明该宏块在全景视频播放时容易引起观看者产生晕眩感，影响用户观看体验，因此，进一步可以根据所述动态晕眩度对所述动态晕眩度过高（即超过阈值）的宏块进行压缩编码，降低其占用的比特数，从而给全景视频用户带来更好的观看体验。
在一些实施例中，本申请的晕眩度算法可以由下式表示，即：
Figure SMS_119
其中，
Figure SMS_120
为选定宏块的动态晕眩度，/>
Figure SMS_121
为该选定宏块的亮度残差，/>
Figure SMS_122
为该选定宏块的色调残差，/>
Figure SMS_123
为该选定宏块的饱和率残差，/>
Figure SMS_124
为该选定宏块尺寸大小，例如，该选定宏块存在50 x 40的像素点，宏块尺寸大小即为50 x 40。
需要说明，由于人眼对于色度信号的分辨度远小于对亮度信号的分辨度，故而亮度残差是引起晕眩感的主要原因，因此，由亮度残差、色调残差、饱和度残差计算宏块的眩晕度时所占的影响比例也不应相等，上式中亮度残差、色调残差、饱和度残差前的比例系数是根据人眼对黑白色彩的分辨度（亮度信号的分辨度）与最常见的红蓝信号的分辨度（色度信号的分辨度）的比值确定，在具体实施时，也可以根据人的主观观看感受，调整上式中亮度残差、色调残差、饱和度残差前的比例系数，这里不再赘述。
而根据上述的晕眩度算法，可以根据当前图像帧中各个宏块的动态变化残差值，确定各个宏块对应的动态晕眩度，进而当宏块对应的动态晕眩度大于预设的晕眩度阈值时，调整所述宏块的比特压缩率，即：
Figure SMS_125
其中，
Figure SMS_126
为选定宏块的动态晕眩度，/>
Figure SMS_127
为预设的晕眩度阈值，/>
Figure SMS_128
为选定宏块的比特压缩率，/>
Figure SMS_129
为全景视频转码的原始比特压缩率，/>
Figure SMS_130
为调整后的比特压缩率，调整后的比特压缩率大于原始比特压缩率，在一些实施例中，原始比特压缩率根据用户需求标定，所述调整后的比特压缩率可以是原始比特压缩率的一定倍数，例如当选定宏块的动态晕眩度高于预设的晕眩度阈值时，将所述选定宏块的比特压缩率调整为原始比特压缩率的1.5倍。
需要说明，宏块的比特压缩率为该宏块在压缩编码后用户视频码流中所占用的比特数与压缩编码前的全景视频码流中所占用的比特数之比，当宏块的比特压缩率提高时，其在压缩编码后在用户视频中呈现的分辨率也将相应的变低，因此在全景视频播放的过程中该宏块的变化更不容易被人眼捕捉，从而可降低该宏块在全景视频播放时造成的晕眩感，提高虚拟现实漫游用户的观看体验。
在一些实施例中，对所述全景视频码流进行压缩编码可采用下述方式：
首先，根据所述宏块对应的比特压缩率，确定所述全景视频码流中各个宏块的像素深度，根据各个宏块的像素深度对全景视频码流进行压缩，得到压缩视频码流。
需要说明，像素深度是指宏块中存储单个像素所用的位数，可以用它来度量图像的分辨率，根据所述宏块对应的比特压缩率，可以确定宏块中的像素点需要丢失的存储位数，从而实现视频的压缩，例如，当比特压缩率为50%时，所述全景视频码流中存储单个像素所用的位数降低一半，具体实现时，可以采用多个像素点共同占据同一个色度或亮度信号达到压缩效果，也可以根据所述各个宏块的比特压缩率，采用现有的高效率视频编码（HighEfficiency Video Coding，HEVC）编码方式对所述全景视频进行压缩编码，这里不做限定。
其次，对所述压缩视频码流进行余弦离散变换，获得所述全景视频码流的频域数据集合。
需要说明，余弦离散变换过程中不会有像素数据的损失，它将压缩视频码流中基于时间域的图像数据转换成频域中代表不同频率分量的频域数据（也可称为系数），这样可以使压缩视频码流的大部分数据存储集中于频率域的一个小范围内，因此，采用余弦离散变换很多时候也可以减少压缩视频码流的图像数据占用的比特数。
再次，对所述频域数据集合进行量化，得到量化后的频域数据集合。
需要说明，量化过程是一种有损运算，是根据频域数据与标定的常数得到二者的商数，然后取数值上最接近该商数的整数代替原有的频域数据，从而将较为复杂的频域数据转换为一个或多个整数码，在用户对视频解码过程中可以根据该整数码对频域数据进行恢复；实际的压缩视频码流中的图像数据与量化后的图像数据比值也叫做量化噪声，量化噪声越大，所述量化后的频域数据集合占用的比特数越低；在一些实施例中，也可以根据所述压缩视频码流中的宏块对应的比特压缩率调整所述量化步骤中的量化噪声；
最后，对所述量化后的频域数据集合进行熵编码，最终得到转码后的用户视频码流。
需要说明的，根据信息论的原理，可以找到最佳数据压缩编码的方法，数据压缩的理论极限是信息熵，即把信息中排除了冗余后的平均信息量称为信息熵，如果要求编码过程中不丢失信息量，即要求保存信息熵，这种信息保持编码叫熵编码，是根据消息出现概率的分布特性而进行的，是无损数据压缩编码，现有技术中对熵编码存在一套完整的编码体系，具体实现时，所述熵编码的编码方式可以为哈夫曼编码，也可以是其他例如香农编码等熵编码方式，这里不做具体限定。
另外，本申请的另一方面，参考图2，该图是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码系统的示例性硬件和/或软件的示意图，该虚拟现实全景漫游的视频云转码系统200可包括：色彩差分序列确定模块201、宏块集合确定模块202、动态变化残差值确定模块203、比特压缩率确定模块204和用户视频码流确定模块205，分别说明如下：
色彩差分序列确定模块201，所述色彩差分序列确定模块201主要用于在视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；
宏块集合确定模块202，所述宏块集合确定模块202主要用于对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；
动态变化残差值确定模块203，所述动态变化残差值确定模块203主要用于根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合与下一图像帧的宏块集合，确定当前图像帧中宏块的动态变化残差值；
比特压缩率确定模块204，所述比特压缩率确定模块204主要用于根据所述动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断所述当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对动态晕眩度超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整，具体实现时，动态晕眩度可由预设的晕眩度算法确定；
用户视频码流确定模块205，所述用户视频码流确定模块205主要用于根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
在一些实施例中，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的虚拟现实全景漫游的视频云转码方法。
另外，在一些实施例中，参考图3，图3是本申请施例提供的一种虚拟现实全景漫游的视频云转码方法的计算机设备的结构示意图。该计算机设备300包括至少一个处理器301、通信总线302、存储器303以及至少一个通信接口304。
处理器301可以是一个通用中央处理器(central processing unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)或一个或多个用于控制本申请中的虚拟现实全景漫游的视频云转码方法的执行。
通信总线302可包括一通路，在上述组件之间传送信息。
存储器303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器303可以是独立存在，通过通信总线302与处理器301相连接。存储器303也可以和处理器301集成在一起。
其中，存储器303用于存储执行本申请方案的程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的程序代码。程序代码中可以包括一个或多个软件模块。上述实施例对所述全景视频码流进行压缩编码可以通过处理器301以及存储器303中的程序代码中的一个或多个软件模块实现。
通信接口304，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
上述的计算机设备可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑 (personaldigital assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本申请实施例不限定计算机设备的类型。
本申请通过视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合与下一帧图像的宏块集合，确定当前图像帧中宏块的动态变化残差值；根据所述动态变化残差值，由预设的晕眩度算法得到当前图像帧中各个宏块的动态晕眩度，并根据所述动态晕眩度调整所述宏块对应的比特压缩率；根据所述全景视频码流中各个宏块对应的比特压缩率对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
本申请中对待转码的全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据下一图像帧的预测宏块集合与实际的下一图像帧的宏块集合确定每个宏块对应的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的观看者晕眩程度（即动态晕眩度），进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，可减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少了引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种虚拟现实全景漫游的视频云转码方法，其特征在于，包括如下步骤：
视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；
对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；
根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；
根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；
根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
2.如权利要求1所述的方法，其特征在于，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列包括：
根据全景视频码流格式，确定相应的视频解码器；
通过所述视频解码器，获取所述全景视频码流的YUV格式数据；
根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列。
3.如权利要求2所述的方法，其特征在于，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列包括：
根据所述YUV格式数据获取所述全景视频码流的图像首帧中各像素点色彩值以及所述全景视频码流的第二图像帧中各像素点的色彩值；
根据所述第二图像帧中各像素点的色彩值和所述图像首帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第二图像帧的色彩差分序列；
根据所述YUV格式数据，获取所述全景视频码流中第三图像帧中各像素点的色彩值；
根据第二图像帧中各像素点的色彩值和所述第三图像帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第三图像帧的色彩差分序列；
重复上述步骤，直到确定所述全景视频码流全部图像帧的色彩差分序列。
4.如权利要求1所述的方法，其特征在于，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合包括：
选定当前图像帧中第一宏块的第一像素点；
根据所述色彩差分序列，获得当前图像帧的前
Figure QLYQS_1
个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素；
根据所述前
Figure QLYQS_2
个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号和预测亮度信号；
对所述第一宏块中除所述第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号与预测亮度信号，根据所述第一宏块中所有像素点的预测色度信号与预测亮度信号得到所述第一宏块的预测宏块；
对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块；
根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合。
5.如权利要求4所述的方法，其特征在于，第一像素点的预测色度信号和预测亮度信号通过下述公式确定：
Figure QLYQS_17
其中，若当前图像帧为第/>
Figure QLYQS_22
图像帧，所述第一像素点为第/>
Figure QLYQS_23
图像帧中第/>
Figure QLYQS_4
行第/>
Figure QLYQS_7
列像素点，/>
Figure QLYQS_10
为第一像素点的预测亮度信号，/>
Figure QLYQS_19
、
Figure QLYQS_8
均为第一像素点的预测色度信号，其分别是预测色调信号与预测饱和度信号，/>
Figure QLYQS_18
为第一像素点的亮度信号，/>
Figure QLYQS_20
、/>
Figure QLYQS_21
分别为第一像素点的色调信号与饱和度信号，
Figure QLYQS_13
为第/>
Figure QLYQS_14
图像帧中第/>
Figure QLYQS_15
行第/>
Figure QLYQS_16
列像素点的亮度信息差分信号，/>
Figure QLYQS_6
为第/>
Figure QLYQS_24
图像帧中第/>
Figure QLYQS_25
行第/>
Figure QLYQS_26
列像素点的色度信息差分信号，/>
Figure QLYQS_3
为第/>
Figure QLYQS_9
图像帧中第/>
Figure QLYQS_11
行第/>
Figure QLYQS_12
列像素点的色度信息差分信号，/>
Figure QLYQS_5
为预测深度，为预设的常数且为整数。
6.如权利要求1所述的方法，其特征在于，对所述全景视频码流进行压缩编码包括：
根据宏块对应的比特压缩率，确定所述全景视频码流中各个宏块的像素深度；
根据各个宏块的像素深度对所述全景视频码流进行压缩，得到压缩视频码流；
对所述压缩视频码流进行余弦离散变换，获得所述全景视频码流的频域数据集合；
对所述频域数据集合进行量化，得到量化后的频域数据集合；
对所述量化后的频域数据集合进行熵编码。
7.如权利要求6所述的方法，其特征在于，所述熵编码的编码方式为哈夫曼编码。
8.一种虚拟现实全景漫游的视频云转码系统，其特征在于，包括：
色彩差分序列确定模块，用于在视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；
宏块集合确定模块，用于对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；
动态变化残差值确定模块，用于根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；
比特压缩率确定模块，用于根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；
用户视频码流确定模块，用于根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至7任一项所述虚拟现实全景漫游的视频云转码方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虚拟现实全景漫游的视频云转码方法。
CN202310500223.3A 2023-05-06 2023-05-06 虚拟现实全景漫游的视频云转码方法及系统 Active CN116248895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310500223.3A CN116248895B (zh) 2023-05-06 2023-05-06 虚拟现实全景漫游的视频云转码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310500223.3A CN116248895B (zh) 2023-05-06 2023-05-06 虚拟现实全景漫游的视频云转码方法及系统

Publications (2)

Publication Number Publication Date
CN116248895A true CN116248895A (zh) 2023-06-09
CN116248895B CN116248895B (zh) 2023-07-21

Family

ID=86633435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310500223.3A Active CN116248895B (zh) 2023-05-06 2023-05-06 虚拟现实全景漫游的视频云转码方法及系统

Country Status (1)

Country Link
CN (1) CN116248895B (zh)

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970060939A (ko) * 1996-01-19 1997-08-12 김광호 시감특성을 이용한 영상 부호화방법 및 장치
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
US5828848A (en) * 1996-10-31 1998-10-27 Sensormatic Electronics Corporation Method and apparatus for compression and decompression of video data streams
JP2002165222A (ja) * 2000-11-28 2002-06-07 Hiroaki Kunieda 動画像情報の高性能符号圧縮システム
US20050135486A1 (en) * 2003-12-18 2005-06-23 Daeyang Foundation (Sejong University) Transcoding method, medium, and apparatus
WO2005091632A1 (en) * 2004-02-23 2005-09-29 Nokia Corporation Transmission of video information
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
CN103002280A (zh) * 2012-10-08 2013-03-27 中国矿业大学 基于hvs&roi的分布式编解码方法及系统
CN103581647A (zh) * 2013-09-29 2014-02-12 北京航空航天大学 一种基于彩色视频运动矢量的深度图序列分形编码方法
CN107800979A (zh) * 2017-10-23 2018-03-13 深圳看到科技有限公司 高动态范围视频拍摄方法及拍摄装置
WO2018066986A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20180115745A1 (en) * 2015-03-30 2018-04-26 Sony Corporation Information processing device, information processing method, program, and recording medium
US10084959B1 (en) * 2015-06-25 2018-09-25 Amazon Technologies, Inc. Color adjustment of stitched panoramic video
WO2019079398A1 (en) * 2017-10-18 2019-04-25 Gopro, Inc. CHROMINANCE DENGING
CN110022473A (zh) * 2018-01-08 2019-07-16 中国科学院计算技术研究所 全景视频图像的显示方法
US20190273910A1 (en) * 2018-03-05 2019-09-05 Valve Corporation Controlling image display via real-time compression in peripheral image regions
CN110663257A (zh) * 2017-05-31 2020-01-07 维里逊专利及许可公司 使用场景的2d捕获图像提供虚拟现实内容的方法和系统
US20200023157A1 (en) * 2018-07-17 2020-01-23 Limbix Health, Inc. Dynamic digital content delivery in a virtual environment
WO2020027349A1 (ko) * 2018-07-31 2020-02-06 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
CN111757126A (zh) * 2019-03-27 2020-10-09 北京传送科技有限公司 面向vr的实时图像压缩方法、系统和存储介质
CN113766235A (zh) * 2021-08-30 2021-12-07 聚好看科技股份有限公司 一种全景视频传输方法及设备
WO2022069388A1 (en) * 2020-10-02 2022-04-07 Koninklijke Philips N.V. A method and apparatus for encoding and decoding one or more views of a scene
CN115461780A (zh) * 2020-05-13 2022-12-09 高通股份有限公司 基于机器学习的图像调整
WO2023020560A1 (zh) * 2021-08-20 2023-02-23 百果园技术(新加坡)有限公司 视频编解码的方法、装置、电子设备及存储介质

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970060939A (ko) * 1996-01-19 1997-08-12 김광호 시감특성을 이용한 영상 부호화방법 및 장치
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
US5828848A (en) * 1996-10-31 1998-10-27 Sensormatic Electronics Corporation Method and apparatus for compression and decompression of video data streams
JP2002165222A (ja) * 2000-11-28 2002-06-07 Hiroaki Kunieda 動画像情報の高性能符号圧縮システム
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
US20050135486A1 (en) * 2003-12-18 2005-06-23 Daeyang Foundation (Sejong University) Transcoding method, medium, and apparatus
WO2005091632A1 (en) * 2004-02-23 2005-09-29 Nokia Corporation Transmission of video information
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN103002280A (zh) * 2012-10-08 2013-03-27 中国矿业大学 基于hvs&roi的分布式编解码方法及系统
CN103581647A (zh) * 2013-09-29 2014-02-12 北京航空航天大学 一种基于彩色视频运动矢量的深度图序列分形编码方法
US20180115745A1 (en) * 2015-03-30 2018-04-26 Sony Corporation Information processing device, information processing method, program, and recording medium
US10084959B1 (en) * 2015-06-25 2018-09-25 Amazon Technologies, Inc. Color adjustment of stitched panoramic video
WO2018066986A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN110663257A (zh) * 2017-05-31 2020-01-07 维里逊专利及许可公司 使用场景的2d捕获图像提供虚拟现实内容的方法和系统
WO2019079398A1 (en) * 2017-10-18 2019-04-25 Gopro, Inc. CHROMINANCE DENGING
CN107800979A (zh) * 2017-10-23 2018-03-13 深圳看到科技有限公司 高动态范围视频拍摄方法及拍摄装置
CN110022473A (zh) * 2018-01-08 2019-07-16 中国科学院计算技术研究所 全景视频图像的显示方法
US20190273910A1 (en) * 2018-03-05 2019-09-05 Valve Corporation Controlling image display via real-time compression in peripheral image regions
CN111819798A (zh) * 2018-03-05 2020-10-23 威尔乌集团 经由实时压缩控制周边图像区域中的图像显示
US20200022632A1 (en) * 2018-07-17 2020-01-23 Limbix Health, Inc. Digital content processing and generation for a virtual environment
US20200023157A1 (en) * 2018-07-17 2020-01-23 Limbix Health, Inc. Dynamic digital content delivery in a virtual environment
WO2020027349A1 (ko) * 2018-07-31 2020-02-06 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
CN111757126A (zh) * 2019-03-27 2020-10-09 北京传送科技有限公司 面向vr的实时图像压缩方法、系统和存储介质
CN115461780A (zh) * 2020-05-13 2022-12-09 高通股份有限公司 基于机器学习的图像调整
WO2022069388A1 (en) * 2020-10-02 2022-04-07 Koninklijke Philips N.V. A method and apparatus for encoding and decoding one or more views of a scene
WO2023020560A1 (zh) * 2021-08-20 2023-02-23 百果园技术(新加坡)有限公司 视频编解码的方法、装置、电子设备及存储介质
CN113766235A (zh) * 2021-08-30 2021-12-07 聚好看科技股份有限公司 一种全景视频传输方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周一青;孙布勒;齐彦丽;彭燕;刘玲;张志龙;刘奕彤;刘丹谱;李兆歆;田霖;: "面向通信与计算融合的5G移动增强/虚拟现实", 电信科学, no. 08 *
艾达;董久军;林楠;刘颖;: "用于虚拟现实的360度视频编码技术新进展", 计算机应用研究, no. 06 *

Also Published As

Publication number Publication date
CN116248895B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11936884B2 (en) Coded-block-flag coding and derivation
KR102287947B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
JP2022050585A (ja) クロマ予測方法及びデバイス
TW201804797A (zh) 視訊資料處理方法以及裝置及相關非揮發性計算機可讀介質
CN111131828B (zh) 一种图像压缩方法、装置、电子设备和存储介质
CN113170202B (zh) 用于构建应用多假设预测的块的mpm列表的编码器、解码器及相应方法
CN113785573A (zh) 编码器、解码器和使用自适应环路滤波器的对应方法
US11343501B2 (en) Video transcoding method and device, and storage medium
CN112165620B (zh) 视频的编码方法及装置、存储介质、电子设备
JP2022172137A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN115348449A (zh) 编码器，解码器和使用压缩mv存储的对应方法
CN116848843A (zh) 可切换的密集运动向量场插值
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP2010098352A (ja) 画像情報符号化装置
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN115052163B (zh) 编码器、解码器和用于变换处理的对应方法
CN110213595B (zh) 基于帧内预测的编码方法、图像处理设备和存储装置
CN116248895B (zh) 虚拟现实全景漫游的视频云转码方法及系统
KR100584422B1 (ko) 영상데이터의 압축 장치 및 방법
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
CN115988201B (zh) 一种编码胶片颗粒的方法、装置、电子设备和存储介质
JP2014003587A (ja) 画像符号化装置及びその方法
CN116489360B (zh) 一种图像编解码方法及装置
WO2020000487A1 (zh) 变换方法、反变换方法及装置
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant