CN111711818B - 视频图像编码传输方法及其装置 - Google Patents

视频图像编码传输方法及其装置 Download PDF

Info

Publication number
CN111711818B
CN111711818B CN202010403421.4A CN202010403421A CN111711818B CN 111711818 B CN111711818 B CN 111711818B CN 202010403421 A CN202010403421 A CN 202010403421A CN 111711818 B CN111711818 B CN 111711818B
Authority
CN
China
Prior art keywords
sub
edge
video image
video images
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010403421.4A
Other languages
English (en)
Other versions
CN111711818A (zh
Inventor
杨付正
杨明祎
宋佳润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010403421.4A priority Critical patent/CN111711818B/zh
Publication of CN111711818A publication Critical patent/CN111711818A/zh
Application granted granted Critical
Publication of CN111711818B publication Critical patent/CN111711818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs

Abstract

本发明公开了一种视频图像编码传输方法及其装置，方法包括：接收输入视频图像；对所述输入视频图像进行分块处理得到N个子区域视频图像；对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像；对所述N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流；将所述N个扩边子区域码流存储于所述第一设备，以供第二设备输出视频图像。本发明提供的视频图像编码传输方法，通过对子区域视频图像进行扩边处理，在不修改编码器的基础上，保证了子区域视频图像在后续第二设备上处理的正确性，从而得到高质量的输出视频图像，且该视频图像编码传输方法不受编码标准的限制，具有普适性，可以应用到更多的场景中。

Description

视频图像编码传输方法及其装置
技术领域
本发明属于多媒体技术领域，具体涉及一种视频图像编码传输方法、一种视频图像编码传输装置。
背景技术
随着多媒体技术的发展，视频业务的需求变得多种多样，对视频编码传输方法及系统装置也提出了多种功能要求。其中，对基于分块的视频编码传输方法及系统装置的需求越来越大。
请参见图1，图1为传统的基于分块的视频编码传输系统中一示例视频图像处理示意图。在这种传统的基于分块的视频编码传输系统中，以基于视角的全景视频传输系统为例，在服务器端，VR全景视频画面被划分为若干个子区域，每个子区域对应一个子区域码流；客户端根据用户当前时刻的视角位置信息，请求当前视角对应的一个或多个子区域码流，各子区域码流在客户端解码后得到的视频图像按照各自在原VR全景视频中的位置进行摆放，一起构成一个视角图像，送往终端呈现。为了实现观看视频的实时性和流畅性，要求客户端需要具有足够数量的解码器来保证请求得到的多个子区域码流能够实时同步解码。然而，现实应用中大部分客户端解码器数量有限，无法满足此硬件条件。为降低对客户端的硬件要求，在解码前将这些子区域码流进行组装，生成一个新的符合相关编解码标准的合并码流，该合并码流包含这些子区域码流的视频内容。
但是，从图1中可以看到，通过码流组装后，部分子区域视频图像的边缘区域变成了合并后视频图像的内部区域，这样的变化会导致解码时部分信息的错误，出现花屏。由于这个问题的存在，现有的码流组装算法都要求输入的码流需要符合一定的要求，如针对高效视频编码(High Efficiency Video Coding，简称HEVC)标准的码流组装算法要求输入的子区域码流需符合运动约束分块集(Motion Constrained Tile Sets，简称MCTS)。然而，现实应用中大部分编码器不支持此功能，无法生成符合码流组装算法要求的子区域码流，从而导致解码合并码流后无法得到正确的输出视频图像。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种视频图像编码传输方法、一种视频图像编码传输装置。
第一方面，本发明实施例提供了一种视频图像编码传输方法，执行于第一设备上，包括：
接收输入视频图像；
对所述输入视频图像进行分块处理得到N个子区域视频图像，其中，N为大于0的整数；
对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像；
对所述N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流；
将所述N个扩边子区域码流存储于所述第一设备，以供第二设备输出视频图像。
在本发明的一个实施例中，对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像，包括：
根据预设扩边参数中的扩边宽度对所述N个子区域视频图像分别进行扩边处理得到N个子区域视频图像的扩边区域；
根据预设扩边参数中的扩边区域像素填充方法对所述N个子区域视频图像的扩边区域进行像素值填充处理得到所述N个扩边子区域视频图像。
在本发明的一个实施例中，将所述预设扩边参数存储于所述第一设备，以供所述第二设备输出视频图像。
第二方面，本发明的另一个实施例提供了一种视频图像编码传输装置，所述装置包括：
视频图像输入模块，用于接收输入视频图像；
视频图像分块模块，用于对所述输入视频图像进行分块处理得到N个子区域视频图像，其中，N为大于0的整数；
视频图像扩边填充模块，用于对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像。
视频图像编码模块，用于对所述N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流；
第一视频图像存储输出模块，用于将所述N个扩边子区域码流存储于所述第一设备，以供第二设备输出视频图像。
在本发明的一个实施例中，所述装置还包括：
第二视频图像存储输出模块，用于将所述预设扩边参数存储于所述第一设备，以供所述第二设备输出视频图像。
第三方面，本发明的再一个实施例提供了一种视频图像编码传输方法，执行于第二设备上，包括：
获取M个扩边子区域码流，其中，M为大于0且小于或等于N的整数，N为第一设备上存储的扩边子区域码流数目；
对所述M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流；
对所述扩边子区域合并码流进行解码处理得到重建视频图像；
对所述重建视频图像进行去边处理得到M个目标子区域视频图像，根据所述M个目标子区域视频图像得到输出视频图像。
在本发明的一个实施例中，对所述重建视频图像进行去边处理得到M个目标子区域视频图像，包括：
获取预设扩边参数；
根据所述预设扩边参数去除所述重建视频图像中的扩边区域得到所述M个目标子区域视频图像。
第四方面，本发明的又一个实施例提供了一种视频图像编码传输装置，所述装置包括：
视频图像码流获取模块，用于获取M个扩边子区域码流，其中，M为大于0且小于或等于N的整数，N为第一设备上存储的扩边子区域码流数目；
视频图像码流合并模块，用于对所述M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流；
视频图像解码模块，用于对所述扩边子区域合并码流进行解码处理得到重建视频图像；
视频图像去边输出模块，用于对所述重建视频图像进行去边处理得到M个目标子区域视频图像，根据所述M个目标子区域视频图像得到输出视频图像。
在本发明的一个实施例中，所述装置还包括：
视频图像扩边参数获取模块，用于获取预设扩边参数。
第五方面，本发明的还一个实施例提供了一种视频图像编码传输系统，包括第一设备和第二设备，其中，
所述第一设备上执行上述第一方面任一所述的视频图像编码传输方法；
所述第二设备上执行上述第三方面任一所述的视频图像编码传输方法。
与现有技术相比，本发明的有益效果：
本发明提供的视频图像编码传输方法，首先将输入视频图像划分为多个子区域视频图像，然后对各子区域视频图像进行扩边得到多个扩边子区域视频图像，再分别编码扩边子区域视频图像得到对应的扩边子区域码流，并存储于第一设备以供第二设备输出视频图像。本发明通过对子区域视频图像进行扩边处理，在不修改编码器的基础上，保证了子区域视频图像在后续第二设备上处理的正确性，且该视频图像编码传输方法不受编码标准的限制，具有普适性，可以应用到更多的场景中。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是传统的基于分块的视频编码传输系统中一示例视频图像处理示意图；
图2是本发明实施例提供的一种视频图像编码传输方法的流程示意图；
图3是本发明实施例提供的一种视频图像编码传输方法对应的一示例视频图像处理示意图；
图4是本发明实施例提供的一种视频图像编码传输装置的结构示意图；
图5是本发明实施例提供的另一种视频图像编码传输装置的结构示意图；
图6是本发明实施例提供的另一种视频图像编码传输方法的流程示意图；
图7是本发明实施例提供的另一种视频图像编码传输方法对应的一示例视频图像处理示意图；
图8是本发明实施例提供的再一种视频图像编码传输装置的结构示意图；
图9是本发明实施例提供的又一种视频图像编码传输装置的结构示意图；
图10是本发明实施例提供的一种视频图像编码传输系统的结构示意图；
图11是本发明实施例提供的一种视频图像编码传输系统的结构一示例示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
在目前的基于分块的视频编码传输系统中，为降低解码时的硬件要求，在解码前将多个子区域码流进行组装，合成一个新的码流进行解码，此合并码流包含各子区域码流所有信息。但是，码流组装算法要求输入的码流需符合一定的要求才能保证组装后码流解码的正确性，而现实应用中大部分编码器不支持此功能，不具有普适性，使得基于分块的视频编码传输系统无法得到普遍应用。在实际应用中，如何在不修改编码器的基础上，保证码流组装后合并码流的正确解码，从而使得基于分块的视频编码传输系统可以得到普遍的应用是一个有待解决的问题。
基于上述存在的问题，请参见图2，图2是本发明实施例提供的一种视频图像编码传输方法的流程示意图，本发明实施例提供了一种视频图像编码传输方法，执行于第一设备上，该视频图像编码传输方法包括以下步骤：
步骤1、接收输入视频图像。
具体而言，第一设备接收输入视频图像，比如输入视频图像为VR全景视频图像。
步骤2、对输入视频图像进行分块处理得到N个子区域视频图像。
具体而言，在第一设备上对输入视频图像进行分块，分块成任意大小的N个子区域视频图像，然后再处理得到大小相同的N个子区域视频图像，其中，N为大于0的整数。
步骤3、对N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像。
具体而言，为了提高输出视频图像的准确性，本实施例步骤3包括步骤3.1、步骤3.2：
步骤3.1、根据预设扩边参数中的扩边宽度对N个子区域视频图像分别进行扩边处理得到N个子区域视频图像的扩边区域。
具体而言，为了保证在第二设备上合并码流后码流解码的正确性，本实施例首先在第一设备上对N个子区域视频图像分别进行符合预设扩边参数中的扩边宽度的扩边处理，得到N个子区域视频图像的扩边区域。其中，扩边宽度的数值不固定，且子区域视频图像对应的上下左右各方向的扩边区域的扩边宽度可相同，也可以不相同，具体扩边宽度可以根据系统实际所使用的编码器特性进行设置，比如，若第一设备上编码采用高效视频编码(High Efficiency Video Coding，简称HEVC)标准或多功能视频编码(Versatile VideoCoding，简称VVC)标准，则对每个子区域视频图像进行扩边操作时，其扩边宽度可以设置为HEVC和VVC编码标准中一个编码树单元(Coding Tree Unit，简称CTU)的尺寸大小或以上，HEVC编码标准中一个编码树单元的尺寸大小通常为64个像素值，则扩边宽度为64个像素值或以上，比如上下左右扩边宽度均为64，或者上下扩边宽度为64、左右扩边宽度均为128；若第一设备上编码采用高级视频编码(Advanced Video Coding，简称AVC)标准，其扩边宽度可以设置为AVC编码标准中一个宏块(Macro block)的尺寸大小或以上，AVC编码标准中一个宏块的尺寸大小为16个像素值，则扩边宽度为16个像素值或以上，比如上下左右扩边宽度均为16，或者上扩边宽度为16、下扩边宽度为32、左扩边宽度为64、右扩边宽度为128。
步骤3.2、根据预设扩边参数中的扩边区域像素填充方法对N个子区域视频图像的扩边区域进行像素值填充处理得到N个扩边子区域视频图像。
具体而言，本实施例经过步骤3.1扩边处理后，每个子区域视频图像都存在一扩边宽度的扩边区域，然后根据预设扩边参数中的扩边区域像素填充方法对这些扩边区域进行像素值填充处理得到N个扩边子区域视频图像。其中，扩边区域填充的像素值不做具体限制，可使用纯色等其他方式填充，比如本实施例采用纯黑色像素值填充；像素填充方法不限。
需要说明的是，本实施例步骤3中的预设扩边参数包括但不限于扩边宽度、扩边区域像素填充方法，比如还可以包括扩边处理的标志信息，通过该标志信息判断在视频图像编码传输过程中是否进行扩边处理，具体根据实际需要进行预设扩边参数设置。
步骤4、对N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流。
具体而言，本实施例对步骤3得到的N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流。比如第一设备上根据HEVC编码标准进行编码时，在第二设备上进行HEVC编码标准相对应的码流合并、解码处理。
步骤5、将N个扩边子区域码流存储于第一设备，以供第二设备视频图像输出。
具体而言，第一设备上完成了上述对输入视频图像的处理后，将N个扩边子区域码流存储于第一设备，以供传输给第二设备，在第二设备上再根据这些扩边子区域码流输出视频图像。
进一步地，本实施例视频图像编码传输方法还包括：
步骤6、将预设扩边参数存储于第一设备，以供第二设备输出视频图像。
具体而言，本实施例可以在第一设备与第二设备约定的预设扩边参数下进行扩边及后续数据处理，但若第一设备或是第二设备一端的预设扩边参数发生变化时，还需要提前告知另一端做相应的修改操作，这样带来了很大的不便，而且当第一设备与第二设备的预设扩边参数不一致时，将影响输出视频图像的质量。因此，本实施例将第一设备的预设扩边参数存储于第一设备上，在第一设备接收到第二设备的传输请求后，将预设扩边参数一并与扩边子区域码流发送于第二设备，以供第二设备进行对应的去边处理，从而输出高质量的视频图像。
请参见图3，图3是本发明实施例提供的一种视频图像编码传输方法对应的一示例视频图像处理示意图，本实施例中第一设备上以HEVC编码标准为例，HEVC编码标准中CTU尺寸大小为64个像素值，第一设备上将输入视频图像划分为4个大小相同的子区域视频图像(N为4)，对每个子区域视频图像进行64个像素值的扩边处理得到对应的4个扩边子区域视频图像，分别对每个扩边子区域视频图像进行HEVC编码处理得到相应的扩边子区域码流，具体流程参见图2。
综上所述，本实施例提供了一种视频图像编码传输方法，首先将输入视频图像划分为多个子区域视频图像，然后对各子区域视频图像扩边得到多个扩边子区域视频图像，再分别编码扩边子区域视频图像得到对应的扩边子区域码流，并存储于第一设备以供第二设备输出视频图像，同时将预设扩边参数存储于第一设备以供第二设备输出视频图像。本实施例通过对子区域视频图像进行扩边处理，在不修改编码器的基础上，保证了子区域视频图像在后续第二设备上处理的正确性；同时，本实施例第一设备将预设扩边参数提供于第二设备，第二设备通过接收到的预设扩边参数进行数据处理，从而提高了第一设备与第二设备之间数据处理的自适应能力，进而提高了输出视频图像的质量；本实施例提供的视频图像编码传输方法，不受编码标准的限制，具有普适性，可以应用到更多的场景中。
实施例二
在上述实施例一的基础上，请参见图4，图4是本发明实施例提供的一种视频图像编码传输装置的结构示意图，本实施例提供了一种视频图像编码传输装置，该视频图像编码传输装置包括：
视频图像输入模块，用于接收输入视频图像。
视频图像分块模块，用于对输入视频图像进行分块处理得到N个子区域视频图像，其中，N为大于0的整数。
视频图像扩边模块，用于对N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像。
具体而言，本实施例中图像扩边填充模块中对N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像，包括：
根据预设扩边参数中的扩边宽度对N个子区域视频图像分别进行扩边处理得到N个子区域视频图像的扩边区域。
根据预设扩边参数中的扩边区域像素填充方法对N个子区域视频图像的扩边区域进行像素值填充处理得到N个扩边子区域视频图像。
视频图像编码模块，用于对N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流。
第一视频图像存储输出模块，用于将N个扩边子区域码流存储于第一设备，以供第二设备输出视频图像。
进一步地，请参见图5，图5是本发明实施例提供的另一种视频图像编码传输装置的结构示意图，所述装置还包括：
第二视频图像存储输出模块，用于将预设扩边参数存储于第一设备，以供第二设备输出视频图像。
本实施例提供的一种视频图像编码传输装置，可以执行上述实施例一所述的视频图像编码传输方法实施例，其实现原理和技术效果类似，在此不再赘述。
实施例三
在上述实施例一的基础上，请参见图6，图6是本发明实施例提供的另一种视频图像编码传输方法的流程示意图，本实施例提供了另一种视频图像编码传输方法，执行于第二设备上，该视频图像编码传输方法包括以下步骤：
步骤1、获取M个扩边子区域码流。
具体而言，以全景视频为例，第二设备根据用户当前视角向第一设备请求视域内对应的扩边子区域码流，从而获取视域内的M个扩边子区域码流，其中，M为大于0且小于或等于N的整数，N为实施例一中第一设备上存储的扩边子区域码流数目。
步骤2、对M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流。
具体而言，为了降低对第二设备的硬件性能的要求，第二设备上将步骤1获取的M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流。本实施例在实施例一中第一设备编码前进行了扩边操作，编码后得到的码流包含扩边区域的信息，这样在合并码流中扩边区域的信息可以帮助有效的避免由合并带来的解码信息错误，从而保证合并码流解码的正确性。码流合并过程是将多个子区域码流合并为一个新的符合相关编解码标准的码流，该合并码流中包含了这些子区域码流的视频信息，不同编解码标准有不同的码流合并方法，具体细节在此不再赘述。
需要说明的是，对M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流也可以在第一设备上实现，具体地，实施例一中对N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流后，对N个扩边子区域码流进行码流合并处理得到扩边子区域合并码流，将该扩边子区域合并码流存储于第一设备中，以供第二设备输出视频图像，此时，第二设备在步骤1中直接获取的是视域内的扩边子区域合并码流，直接进行后续步骤3的处理。
步骤3、对扩边子区域合并码流进行解码处理得到重建视频图像。
具体而言，本实施例第二设备上对扩边子区域合并码流进行解码处理得到重建视频图像，重建视频图像由M个扩边子区域视频图像组成。其中，第二设备上的解码采用与第一设备上编码相对应的解码方式，比如第一设备上根据HEVC编码标准进行编码，则第二设备上根据HEVC编码标准对应的解码方式进行解码。
步骤4、对重建视频图像进行去边处理得到M个目标子区域视频图像，对M个目标子区域视频图像处理，得到输出视频图像。
具体而言，在第二设备上解码得到的重建视频图像包含了M个扩边子区域视频图像，即重建视频图像除了目标子区域视频图像外，还包括扩边区域，因此，本实施例步骤4包括步骤4.1、步骤4.2：
步骤4.1、获取预设扩边参数。
具体而言，通常第一设备与第二设备约定了预设扩边参数，比如是否进行扩边处理的标志信息、上下左右各方向的扩边宽度、扩边区域像素填充方法，若第一设备或是第二设备的预设扩边参数发生变化时，导致使用约定好的预设扩边参数进行扩边区域去除可能会出现偏差，进而导致输出视频图像的不正确。因此，本实施例在第二设备向第一设备发送请求时，第一设备同时将其存储的预设扩边参数发送于第二设备，第二设备接收预设扩边参数，通过接收的预设扩边参数中的扩边宽度进行后续去边处理。比如第一设备上使用各方向相等且为扩边宽度为64个像素值的扩边宽度进行扩边处理，对应的在第二设备上，使用各方向相等且宽度为64个像素值的扩边宽度对扩边区域进行去边处理。
步骤4.2、根据预设扩边参数去除重建视频图像中的扩充区域得到M个目标子区域视频图像。
具体而言，步骤4.1确定预设扩边参数，即上下左右各方向的扩边宽度，则根据该扩边宽度去除重建视频图像中M个扩边子区域视频图像的扩充区域得到M个目标子区域视频图像。其中，若步骤4.1确定的预设扩边参数还包括扩边处理的标志信息时，则由扩边处理的标志信息决定是否需要去除重建视频图像的扩充区域，具体地，当扩边处理的标志信息为扩边标识时，则根据扩边宽度去除M个扩边子区域视频图像的扩充区域得到M个目标子区域视频图像，当扩边处理的标志信息为非扩边标识时，直接对重建视频图像进行后续视频图像输出处理。
进一步地，本实施例根据M个目标子区域视频图像得到输出视频图像。
具体而言，本实施例对去边处理后M个目标子区域视频图像或重建视频图像进行拼接等处理得到输出视频图像，该输出视频图像为第二设备上视域内的视频图像。
请参见图7，图7是本发明实施例提供的另一种视频图像编码传输方法对应的一示例视频图像处理示意图，本实施例中第二设备上以HEVC编码标准为例，第二设备从第一设备获取4个扩边子区域码流(M＝4)，对该4个扩边子区域码流进行码流组装合并得到扩边子区域合并码流，然后对扩边子区域合并码流进行解码得到重建视频图像，重建视频图像包括4个带扩边区域的子区域视频图像。然后对重建视频图像进行去边处理得到4个目标子区域视频图像，该4个目标子区域视频图像通过拼接等处理得到最终的输出视频图像，具体流程参见图6，可见，本实施例第二设备输出视频图像与第一设备输入视频图像保持了高度一致。
综上所述，本实施例提供了一种视频图像编码传输方法，第二设备根据需求向第一设备请求，第一设备响应该请求并将第二设备请求的多个扩边子区域码流发送于第二设备，第二设备得到多个扩边子区域码流后，将多个扩边子区域码流进行组装合并为一路扩边子区域合并码流，解码扩边子区域合并码流得到重建视频图像，根据第一设备发送给第二设备的预设扩边参数去除重建视频图像中的扩边区域后得到多个目标子区域视频图像，对多个目标子区域视频图像进行拼接等操作得到第二设备视域内的输出视频图像。由于本实施例获取的码流提前都是进行了扩边处理后的码流数据，保证了码流组装合并后解码的正确性，从而输出高质量视频图像，同时降低了对第二设备硬件性能的要求；本实施例第二设备通过接收第一设备发送的预设扩边参数进行扩边区域去除处理，提高了第一设备与第二设备之间数据处理的自适应能力，提高了输出视频图像的质量；本实施例提供的视频图像编码传输方法，不受编码标准的限制，具有普适性，可以应用到更多的场景中。
实施例四
在上述实施例三的基础上，请参见图8，图8是本发明实施例提供的再一种视频图像编码传输装置的结构示意图，本实施例提供了一种视频图像编码传输装置，该视频图像编码传输装置包括：
视频图像码流获取模块，用于获取M个扩边子区域码流，其中，M为大于0且小于或等于N的整数，N为实施例一中第一设备上存储的扩边子区域码流数目。
视频图像码流合并模块，用于对M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流。
视频图像解码模块，用于对扩边子区域合并码流进行解码得到重建视频图像。
视频图像去边输出模块，用于对重建视频图像进行去边处理得到M个目标子区域视频图像，根据M个目标子区域视频图像得到输出视频图像。
具体而言，本实施例视频图像编码传输装置中对重建视频图像进行去边处理得到M个目标子区域视频图像，根据M个目标子区域视频图像得到输出视频图像，包括：
获取预设扩边参数；
根据预设扩边参数去除重建视频图像中的扩充区域得到M个目标子区域视频图像；
根据M个目标子区域视频图像得到输出视频图像。
进一步地，请参见图9，图9是本发明实施例提供的又一种视频图像编码传输装置的结构示意图，本实施例视频图像编码传输装置还包括：
视频图像扩边参数获取模块，用于获取预设扩边参数。
本实施例提供的一种视频图像编码传输装置，可以执行上述实施例三所述的视频图像编码传输方法实施例，其实现原理和技术效果类似，在此不再赘述。
实施例五
在上述实施例三的基础上，请参见图10，图10是本发明实施例提供的一种视频图像编码传输系统的结构示意图，本实施例提供了一种视频图像编码传输系统，包括第一设备和第二设备：
第一设备上执行上述实施例一所述的视频图像编码传输方法，第二设备上执行上述实施例三所述的视频图像编码传输方法，具体地：
请参见图11，图11是本发明实施例提供的一种视频图像编码传输系统的结构一示例示意图，本实施例第一设备为一服务器，第二设备为一客户端，该视频图像编码传输系统中：以全景视频为例，服务器首先将输入视频图像划分为多个大小相同的子区域视频图像，然后对各子区域视频图像扩边得到多个扩边子区域视频图像，再分别编码各扩边子区域视频图像得到对应的扩边子区域码流，将得到的多个扩边子区域码流存储于服务器中，以供后续客户端视频图像输出；客户端根据用户当前视角向服务器请求视域内对应的多个扩边子区域码流，服务器响应该请求并将该视域内的多个子区域码流发送于客户端，客户端将请求得到的多个扩边子区域码流进行组装合并为一个新的码流，该扩边子区域合并码流中包含了这些子区域码流的视频信息，解码扩边子区域合并码流得到重建视频图像，对重建视频图像进行去边处理得到多个目标子区域视频图像，再经过拼接等流程即可获得视域内的输出视频图像，用于渲染显示。
本实施例提供的一种视频图像编码传输系统，可以执行上述实施例一所述的视频图像编码传输方法实施例、上述实施例三所述的视频图像编码传输方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种视频图像编码传输方法，其特征在于，执行于第一设备上，包括：
接收输入视频图像；
对所述输入视频图像进行分块处理得到N个子区域视频图像，其中，N为大于0的整数；
对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像；
对所述N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流；
将所述N个扩边子区域码流存储于所述第一设备，以供第二设备输出视频图像；
所述方法还包括：执行于第二设备上，包括：
获取M个扩边子区域码流，其中，M为大于0且小于或等于N的整数，N为第一设备上存储的扩边子区域码流数目；
对所述M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流；
对所述扩边子区域合并码流进行解码处理得到重建视频图像；重建视频图像由M个扩边子区域视频图像组成；
对所述重建视频图像进行去边处理得到M个目标子区域视频图像，对去边处理后M个目标子区域视频图像进行拼接得到输出视频图像；
对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像，包括：
根据预设扩边参数中的扩边宽度对所述N个子区域视频图像分别进行扩边处理得到N个子区域视频图像的扩边区域；
根据预设扩边参数中的扩边区域像素填充方法对所述N个子区域视频图像的扩边区域进行像素值填充处理得到所述N个扩边子区域视频图像；
其中，扩边区域填充的像素值不做具体限制。
2.根据权利要求1所述的视频图像编码传输方法，其特征在于，将所述预设扩边参数存储于所述第一设备，以供所述第二设备输出视频图像。
3.根据权利要求1所述的视频图像编码传输方法，其特征在于，对所述重建视频图像进行去边处理得到M个目标子区域视频图像，包括：
获取预设扩边参数；
根据所述预设扩边参数去除所述重建视频图像中的扩边区域得到所述M个目标子区域视频图像。
4.一种视频图像编码传输装置，其特征在于，所述装置包括：
视频图像输入模块，用于接收输入视频图像；
视频图像分块模块，用于对所述输入视频图像进行分块处理得到N个子区域视频图像，其中，N为大于0的整数；
视频图像扩边模块，用于对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像；
视频图像编码模块，用于对所述N个扩边子区域视频图像分别进行编码处理得到N个扩边子区域码流；
第一视频图像存储输出模块，用于将所述N个扩边子区域码流存储于第一设备，以供第二设备输出视频图像；
视频图像码流获取模块，用于获取M个扩边子区域码流，其中，M为大于0且小于或等于N的整数，N为第一设备上存储的扩边子区域码流数目；
视频图像码流合并模块，用于对所述M个扩边子区域码流进行码流合并处理得到扩边子区域合并码流；
视频图像解码模块，用于对所述扩边子区域合并码流进行解码处理得到重建视频图像；重建视频图像由M个扩边子区域视频图像组成；
视频图像去边输出模块，用于对所述重建视频图像进行去边处理得到M个目标子区域视频图像，对去边处理后M个目标子区域视频图像进行拼接得到输出视频图像；
所述对所述N个子区域视频图像分别进行扩边、像素值填充处理得到N个扩边子区域视频图像，包括：
根据预设扩边参数中的扩边宽度对所述N个子区域视频图像分别进行扩边处理得到N个子区域视频图像的扩边区域；
根据预设扩边参数中的扩边区域像素填充方法对所述N个子区域视频图像的扩边区域进行像素值填充处理得到所述N个扩边子区域视频图像；
其中，扩边区域填充的像素值不做具体限制。
5.根据权利要求4所述的视频图像编码传输装置，其特征在于，所述装置还包括：
第二视频图像存储输出模块，用于将所述预设扩边参数存储于所述第一设备，以供所述第二设备输出视频图像。
6.根据权利要求4所述的视频图像编码传输装置，其特征在于，所述装置还包括：
视频图像扩边参数获取模块，用于获取预设扩边参数。
7.一种视频图像编码传输系统，其特征在于，包括第一设备和第二设备，其中，
所述第一设备上和所述第二设备上执行权利要求1~3任一所述的视频图像编码传输方法。
CN202010403421.4A 2020-05-13 2020-05-13 视频图像编码传输方法及其装置 Active CN111711818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403421.4A CN111711818B (zh) 2020-05-13 2020-05-13 视频图像编码传输方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403421.4A CN111711818B (zh) 2020-05-13 2020-05-13 视频图像编码传输方法及其装置

Publications (2)

Publication Number Publication Date
CN111711818A CN111711818A (zh) 2020-09-25
CN111711818B true CN111711818B (zh) 2022-09-09

Family

ID=72537429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403421.4A Active CN111711818B (zh) 2020-05-13 2020-05-13 视频图像编码传输方法及其装置

Country Status (1)

Country Link
CN (1) CN111711818B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116600116B (zh) * 2022-07-15 2024-02-02 格兰菲智能科技(武汉)有限公司 编码方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090104050A (ko) * 2006-12-21 2009-10-05 톰슨 라이센싱 비디오 이미지의 블럭을 디코딩하는 방법
CN102209241B (zh) * 2011-05-25 2013-07-03 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
KR101912485B1 (ko) * 2011-08-25 2018-10-26 선 페이턴트 트러스트 타일 부호화 스킴을 이용한 영상 부호화, 추출 및 복호화 방법 및 장치
CN107517385B (zh) * 2016-06-16 2020-02-21 华为技术有限公司 一种视频图像的编解码方法和装置
CN109996072B (zh) * 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置
CN109996069B (zh) * 2018-01-03 2021-12-10 华为技术有限公司 视频图像编解码方法及设备
CN110519652B (zh) * 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Thaisa L. da Silva ; Luciano V. Agostini ; Luis A. da Silva Cruz.《Complexity reduction of depth intra coding for 3D video extension of HEVC》.《2014 IEEE Visual Communications and Image Processing Conference》.2015, *
一种灵活可靠的星载图像压缩编码技术;张喜明等;《无线电工程》;20170205(第02期);全文 *

Also Published As

Publication number Publication date
CN111711818A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
US8644381B2 (en) Apparatus for reference picture resampling generation and method thereof and video decoding system using the same
US9094660B2 (en) Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
KR102357137B1 (ko) 이미지 처리 방법, 단말기, 및 서버
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
JP4485951B2 (ja) ３次元ビデオ信号後処理方法
US11483475B2 (en) Adaptive panoramic video streaming using composite pictures
US9177359B2 (en) Information processor, cloud platform, information processing method, and computer program product thereof
WO2019137313A1 (zh) 一种媒体信息的处理方法及装置
US20240007680A1 (en) Techniques and apparatus for automatic roi chunking for content-aware point cloud compression using hevc tiles
JP2006513596A5 (zh)
US11683513B2 (en) Partitioning of coded point cloud data
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
KR102161888B1 (ko) 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 인코더 및 방법
US20230306563A1 (en) Image filling method and apparatus, decoding method and apparatus, electronic device, and medium
CN112188209A (zh) 视频流解码方法、装置、计算机设备和存储介质
CN111711818B (zh) 视频图像编码传输方法及其装置
US20120007951A1 (en) System and format for encoding data and three-dimensional rendering
CN111757087A (zh) Vr视频的处理方法、装置和电子设备
EP3646286A1 (en) Apparatus and method for decoding and coding panoramic video
CN116250238A (zh) 用于对场景的一幅或多幅视图进行编码和解码的方法和装置
CN112367521B (zh) 显示屏内容分享方法、装置、计算机设备和存储介质
KR20220122754A (ko) 포인트 클라우드 코딩에서 카메라 파라미터 시그널링
CN111212267A (zh) 一种全景图像的分块方法及服务器
EP4199516A1 (en) Reduction of redundant data in immersive video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant