CN105554506A - 基于多方式边界填充的全景视频编码、解码方法和装置 - Google Patents

基于多方式边界填充的全景视频编码、解码方法和装置 Download PDF

Info

Publication number
CN105554506A
CN105554506A CN201610035874.XA CN201610035874A CN105554506A CN 105554506 A CN105554506 A CN 105554506A CN 201610035874 A CN201610035874 A CN 201610035874A CN 105554506 A CN105554506 A CN 105554506A
Authority
CN
China
Prior art keywords
boundary
boundary filling
reference sample
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610035874.XA
Other languages
English (en)
Other versions
CN105554506B (zh
Inventor
王振宇
王荣刚
姜秀宝
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201610035874.XA priority Critical patent/CN105554506B/zh
Publication of CN105554506A publication Critical patent/CN105554506A/zh
Application granted granted Critical
Publication of CN105554506B publication Critical patent/CN105554506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于多方式边界填充的全景视频编码、解码方法和装置,在通过帧间预测得到当前图像块的预测图像块时,帧间预测包括边界填充步骤,边界填充步骤为:当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值。本申请提供的基于多方式边界填充的全景视频编码、解码方法和装置中,充分利用了全景视频中,水平方向图像内容是循环相连的这一特性,优化图像边界填充方法,使得在编码端能够根据参考样本的坐标自适应选择更合理的边界填充方式,以达到提升压缩效率的目的。

Description

基于多方式边界填充的全景视频编码、解码方法和装置
技术领域
本申请涉及数字视频编解码技术领域,具体涉及一种基于多方式边界填充的全景视频编码、解码方法和装置。
背景技术
目前,虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中,全景图像和全景视频是一个重要的组成部分。由于全景视频记录了360度视角的全部画面,具有极高的数据量,因此全景视频的压缩是虚拟现实应用中的一个关键技术。全景视频作为一种新兴的媒体,和传统的视频相比,具有视野大,分辨率高,数据量大等特点。利用全景视频,观察者视点不变,改变观察方向能够观察到周围的全部场景,而普通的二维视频只反应了全景视频的某个局部。
柱面全景视频是一种常见的全景视频,它相当于一个虚拟的摄像机,把空间中的三维物体投影到柱面上。柱面全景视频的生成可以利用多摄像头或者单摄像头采集系统采集而成。
由于全景视频的视野范围是普通视频的5~6倍,在给用户提供相同的视觉质量的情况下,全景视频的数据量是普通视频的5~6倍。如果按照传统的视频传输方案,全景视频在网络环境下的使用变得困难重重。但是,由于在同一时刻,用户所需要看到的内容只是全景视频的某一部分,所以分块编码与传输成为了全景视频网络传输的常见方案。
请参考图1,柱面全景视频的传输方法主要包括下面步骤:
对全景图像进行分块,并对每个图像块的序列独立进行编码。
之后选择所需要的编码后的数据进行传输。在此可以根据用户当前的视角选择数据。传输媒介可以是因特网、无线网络、局域网、光学网络、其它合适的传输媒介、或者这些传输媒介的适当组合。
最后解码端接收到数据之后,对这些块序列进行独立的解码和投影变换,得到所需图像。
在全景视频的分块编码中,分块的尺寸对于全景视频的编码效率以及传输区域有着重要的影响,而这两项因素直接决定着需要传输的数据量。如果编码块尺寸小,则传输区域较小,但是编码效率会较低;如果编码块尺寸大,则编码效率较高,但是传输区域也较大。所以在相同的视觉质量下,不同的编码块尺寸,需要传输的数据量是不一样的。
由于全景视频相对普通视频具有一定的特殊性,例如全景视频具有循环性,画面存在较大畸变等,需要使用一个特殊的编码技术以提高全景视频的压缩效率,而如何提高全景视频的压缩效率是本领域常年研究的一个问题。
发明内容
本申请提供一种基于多方式边界填充的全景视频编码、解码方法和装置,可以提高全景视频的压缩效率。
根据本申请的第一方面,本申请提供了一种基于多方式边界填充的全景视频编码方法包括:
将当前图像划分为若干图像块;
通过帧间预测得到当前图像块的预测图像块;所述帧间预测包括边界填充步骤,所述边界填充步骤为:当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值;
将当前图像块与预测图像块相减,得到残差块;
对残差块进行变换、量化和熵编码,以得到编码码流;所述编码码流的序列头或图像头中写入有边界填充步骤中所选择的边界填充方式。
优选的,当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式步骤,包括:当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,选择横向图像边界填充方式求得参考样本的样本值;当参考样本的纵坐标位于参考图像上边界和下边界之外时,选择纵向图像边界填充方式求得参考样本的样本值。
在一实施例中,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用循环填充方式。
在另一实施例中,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用重复填充方式。
根据本申请的第二方面,本申请还提供了一种基于多方式边界填充的全景视频编码装置,包括:
图像划分模块,用于将当前图像划分为若干图像块;
帧间预测模块,用于通过帧间预测得到当前图像块的预测图像块;所述帧间预测模块包括边界填充单元,用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值;
计算模块,用于将当前图像块与预测图像块相减,得到残差块;
码流生成模块,用于对残差块进行变换、量化和熵编码,以得到编码码流;所述编码码流的序列头或图像头中写入有边界填充单元所选择的边界填充方式。
优选的,边界填充单元用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值,具体为:边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,选择横向图像边界填充方式求得参考样本的样本值;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,选择纵向图像边界填充方式求得参考样本的样本值。
在一实施例中,边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用循环填充方式。
在另一实施例中,边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用重复填充方式。
根据本申请的第三方面,本申请还提供了一种基于多方式边界填充的全景视频解码方法,包括:
对编码码流进行熵解码、反量化和反变换,以得到重建的残差块;
通过帧间预测得到当前图像块的预测图像块;所述帧间预测包括边界填充步骤,所述边界填充步骤为:采用编码码流的序列头或图像头中记录的边界填充方式,以求得参考样本的样本值;
将预测图像块和重建的残差块相加,得到重建的图像块。
在一实施例中,当所述边界填充方式记录在编码码流的序列头中时,编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充;当所述边界填充方式记录在编码码流的图像头中时,与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。
根据本申请的第四方面,本申请还提供了一种基于多方式边界填充的全景视频解码装置,包括:
残差块重建模块,用于对编码码流进行熵解码、反量化和反变换,以得到重建的残差块;
帧间预测模块,用于通过帧间预测得到当前图像块的预测图像块;所述帧间预测模块包括边界填充单元,用于采用编码码流的序列头或图像头中记录的边界填充方式,以求得参考样本的样本值;
图像块重建模块,用于将预测图像块和重建的残差块相加,得到重建的图像块。
在一实施例中,边界填充单元用于当所述边界填充方式记录在编码码流的序列头中时,编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充;当所述边界填充方式记录在编码码流的图像头中时,与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。
本申请提供的基于多方式边界填充的全景视频编码、解码方法和装置,充分利用了全景视频中,水平方向图像内容是循环相连的这一特性,优化图像边界填充方法,使得在编码端能够根据参考样本的坐标自适应选择更合理的边界填充方式,以达到提升压缩效率的目的。
附图说明
图1为柱面全景视频的传输方法示意图;
图2为本申请一种实施例中基于多方式边界填充的全景视频编码方法的流程示意图;
图3为帧间预测过程中,边界填充的示意图;
图4为本申请一种实施例中采用循环填充方式的原理示意图;
图5为本申请一种实施例中分别采用循环填充方式和重复填充方式的原理示意图;
图6为本申请一种实施例中基于多方式边界填充的全景视频编码装置的模块示意图;
图7为本申请一种实施例中基于多方式边界填充的全景视频解码方法的流程示意图;
图8为本申请一种实施例中基于多方式边界填充的全景视频解码装置的模块示意图。
具体实施方式
本申请的发明构思在于:在传统的视频编解码标准中,对图像边界统一使用重复填充的方法。对于图像边界外的样本点,使用图像边界上距离样本点最近的点的值作为样本点的样本值。但在全景视频中,水平方向图像内容是循环相连的,因此可以利用这一特性优化图像边界填充方法,以达到提升压缩效率的目的。所以,本申请提供的全景视频编码、解码方法和装置中,在编码端根据参考样本的坐标自适应选择更合理的边界填充方式,以达到提升压缩效率的目的。
下面通过具体实施方式结合附图对本申请作进一步详细说明。
实施例一
请参考图2,本实施例提供了一种基于多方式边界填充的全景视频编码方法,包括下面步骤:
步骤1.1:将当前图像划分为若干图像块。具体的,切分的图像块的大小可以根据实际需求选择。
步骤1.2:通过帧间预测得到预测图像块。本实施例中,步骤1.2包括边界填充步骤(步骤1.21),步骤1.21为:当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值。
首先,需要说明的是,编解码过程中进行帧间预测时,当前图像块的坐标加上运动矢量MV,得到的新坐标就是参考图像上预测图像块的坐标。帧间预测就是根据该坐标将参考图像上的预测图像块的值取出,作为当前图像块的预测值。具体到图像块内的某一个像素时,预测图像块内对应位置的像素称作当前图像块内该像素的参考样本。但是参考图像上的预测图像块可能会有一部分或全部位于参考图像边界外,如图3所示,当前图像块为图像块A,运动矢量为MV,因此参考图像上的预测图像块为图像块B。图像块B的一部分位于参考图像边界之外,因此这一部分的像素值就需要通过边界填充计算出来。
本实施例中,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,选择横向图像边界填充方式求得参考样本的样本值;当参考样本的纵坐标位于参考图像上边界和下边界之外时,选择纵向图像边界填充方式求得参考样本的样本值。
优选的,本实施例中,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用循环填充方式。
请参考图4,为本实施例中采用循环填充方式的原理示意图。
具体的,本实施例中,循环填充方式可以采用下面形式:
对于一个宽为w,高为h的图像,以图像左上角为坐标原点,横向向右为x坐标正方向,纵向向下为y坐标正方向;如果一个样本点坐标为(ax,ay),记为样本点A,当0<ay<h,且ax<0或ax>w–1(由于像素坐标是从0开始的,图像宽度为w时,图像内部像素的横坐标的取值范围是0到w-1)时,样本点A的样本值等于样本点(w-(ax%w),ay)的样本值。如果一个样本点坐标为(bx,by),记为样本点B,当by<0或by>h–1时,样本点B的样本值等于样本点(bx,h-(by%h))的样本值。其中,“%”运算符为取模运算。
在另一实施例中,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用重复填充方式。
请参考图5,为其分别采用循环填充方式和重复填充方式的原理示意图。具体的,循环填充方式和重复填充方式分别可以采用下面形式:
以图像左上角为坐标远点;横向为x坐标,向右为正方向;纵向为y坐标,向下为正方向;图像宽度为w,图像高度为h。如果一个样本点坐标为(ax,ay),记为样本点A,当0<ay<h,且ax<0或ax>w–1时,样本点A的样本值等于样本点(w-(ax%w),ay)的样本值。其中,“%”运算符为取模运算。如果一个样本点坐标为(bx,by),记为样本点B,当by<0时,样本点B的样本值等于样本点(bx,0)的样本值;当by>h–1时,样本点B的样本值等于样本点(bx,h-1)的样本值。
当然,在其他实施例中,如果坐标系发生了相应的改变,例如坐标原点不再取图像左上角,那么样本值的计算方式也可以相应进行改变。
步骤1.3:当前图像块每个像素减去预测图像块相同位置的像素,得到残差块。
步骤1.4:对残差块进行变换、量化得到量化块;最后通过熵编码将量化块的每个系数以及当前图像块的运动矢量写入编码码流。本实施例中,由于在帧间预测过程中选择了不同的边界填充方式,因此,在编码码流中需要写入所选择的相应的边界填充方式,以用于解码。具体的,在编码码流的序列头或图像头中写入边界填充步骤中所选择的边界填充方式。
需要说明是,具体是选择将边界填充方式的信息写入序列头还是图像头,可以根据实际需求选择。写入序列头就表示序列内所有图像都采用相同的方式填充,而图像头不再需要写入额外的标识,可以节省标识位本身的开销;写入图像头就只能标识当前图像的填充方式,每一帧图像都可以采用不同的方式填充,方式较为灵活。
实施例二
请参考图6,对应于实施例一提供的基于多方式边界填充的全景视频编码方法,本实施例相应提供了一种基于多方式边界填充的全景视频编码装置,包括图像划分模块101、帧间预测模块102、计算模块103和码流生成模块104。
图像划分模块101用于将当前图像划分为若干图像块。具体的,切分的图像块的大小可以根据实际需求选择。
帧间预测模块102用于通过帧间预测得到当前图像块的预测图像块。本实施例中,帧间预测模块102包括边界填充单元1021,用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值。
首先,需要说明的是,编解码过程中进行帧间预测时,当前图像块的坐标加上运动矢量MV,得到的新坐标就是参考图像上预测图像块的坐标。帧间预测就是根据该坐标将参考图像上的预测图像块的值取出,作为当前图像块的预测值。具体到图像块内的某一个像素时,预测图像块内对应位置的像素称作当前图像块内该像素的参考样本。但是参考图像上的预测图像块可能会有一部分或全部位于参考图像边界外,如图3所示,当前图像块为图像块A,运动矢量为MV,因此参考图像上的预测图像块为图像块B。图像块B的一部分位于参考图像边界之外,因此这一部分的像素值就需要通过边界填充计算出来。
本实施例中,边界填充单元1021用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,选择横向图像边界填充方式求得参考样本的样本值;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,选择纵向图像边界填充方式求得参考样本的样本值。
优选的,本实施例中,边界填充单元1021用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用循环填充方式。
请参考图4,为本实施例中采用循环填充方式的原理示意图。
具体的,本实施例中,循环填充方式可以采用下面形式:
对于一个宽为w,高为h的图像,以图像左上角为坐标原点,横向向右为x坐标正方向,纵向向下为y坐标正方向;如果一个样本点坐标为(ax,ay),记为样本点A,当0<ay<h,且ax<0或ax>w–1(由于像素坐标是从0开始的,图像宽度为w时,图像内部像素的横坐标的取值范围是0到w-1)时,样本点A的样本值等于样本点(w-(ax%w),ay)的样本值。如果一个样本点坐标为(bx,by),记为样本点B,当by<0或by>h–1时,样本点B的样本值等于样本点(bx,h-(by%h))的样本值。其中,“%”运算符为取模运算。
在另一实施例中,边界填充单元1021用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用重复填充方式。
请参考图5,为其分别采用循环填充方式和重复填充方式的原理示意图。具体的,循环填充方式和重复填充方式分别可以采用下面形式:
以图像左上角为坐标远点;横向为x坐标,向右为正方向;纵向为y坐标,向下为正方向;图像宽度为w,图像高度为h。如果一个样本点坐标为(ax,ay),记为样本点A,当0<ay<h,且ax<0或ax>w–1时,样本点A的样本值等于样本点(w-(ax%w),ay)的样本值。其中,“%”运算符为取模运算。如果一个样本点坐标为(bx,by),记为样本点B,当by<0时,样本点B的样本值等于样本点(bx,0)的样本值;当by>h–1时,样本点B的样本值等于样本点(bx,h-1)的样本值。
当然,在其他实施例中,如果坐标系发生了相应的改变,例如坐标原点不再取图像左上角,那么样本值的计算方式也可以相应进行改变。
计算模块103用于将当前图像块与预测图像块相减,得到残差块。
码流生成模块104用于对残差块进行变换、量化和熵编码,以得到编码码流。编码码流的序列头或图像头中写入有边界填充单元1021所选择的边界填充方式,以用于解码。
需要说明是,具体是选择将边界填充方式的信息写入序列头还是图像头,可以根据实际需求选择。写入序列头就表示序列内所有图像都采用相同的方式填充,而图像头不再需要写入额外的标识,可以节省标识位本身的开销;写入图像头就只能标识当前图像的填充方式,每一帧图像都可以采用不同的方式填充,方式较为灵活。
实施例三
请参考图7,基于实施例一提供的基于多方式边界填充的全景视频编码方法,本实施例相应提供了一种基于多方式边界填充的全景视频解码方法,包括下面步骤:
步骤2.1:对编码码流进行熵解码、反量化和反变换,以得到重建的残差块。
步骤2.2:通过帧间预测得到预测图像块。本实施例中,步骤2.2包括边界填充步骤(步骤2.21),步骤2.21为:采用编码码流的序列头或图像头中记录的边界填充方式,以求得参考样本的样本值。步骤2.21与实施例一中的步骤1.21相同,此处不再赘述。
本实施例中,当边界填充方式记录在编码码流的序列头中时,编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充;当边界填充方式记录在编码码流的图像头中时,与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。
步骤2.3:将预测图像块和重建的残差块相加,得到重建的图像块
实施例四
请参考图8,对应于实施例三提供的基于多方式边界填充的全景视频解码方法,本实施例相应提供了一种基于多方式边界填充的全景视频解码装置,包括残差块重建模块201、帧间预测模块202和图像块重建模块203。
残差块重建模块201用于对编码码流进行熵解码、反量化和反变换,以得到重建的残差块。
帧间预测模块202用于通过帧间预测得到当前图像块的预测图像块。本实施例中,帧间预测模块202包括边界填充单元2021,用于采用编码码流的序列头或图像头中记录的边界填充方式,以求得参考样本的样本值。边界填充单元2021与实施例二中的边界填充单元1021相同,此处不再赘述。
本实施例中,边界填充单元2021用于当边界填充方式记录在编码码流的序列头中时,编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充;当边界填充方式记录在编码码流的图像头中时,与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。
图像块重建模块203用于将预测图像块和重建的残差块相加,得到重建的图像块。
需要说明的是,本申请实施例中,仅对全景视频编解码帧间预测过程中的边界填充步骤进行了详细说明,对于全景视频编解码过程中的其他步骤,皆可以采用现有技术中的任意一种可行方法。另外,通常,视频处理装置可包括编码装置和/或解码装置,编码装置包括编码过程和解码过程,解码装置包括解码过程。解码装置的解码过程与编码装置的解码过程相同。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分步骤可以通过程序来控制相关硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存取存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说,在不脱离本申请发明构思的前提下,还可以做出若干简单推演或替换。

Claims (10)

1.一种基于多方式边界填充的全景视频编码方法,其特征在于,包括:
将当前图像划分为若干图像块;
通过帧间预测得到当前图像块的预测图像块;所述帧间预测包括边界填充步骤,所述边界填充步骤为:当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值;
将当前图像块与预测图像块相减,得到残差块;
对残差块进行变换、量化和熵编码,以得到编码码流;所述编码码流的序列头或图像头中写入有边界填充步骤中所选择的边界填充方式。
2.如权利要求1所述的方法,其特征在于,当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式步骤,包括:当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,选择横向图像边界填充方式求得参考样本的样本值;当参考样本的纵坐标位于参考图像上边界和下边界之外时,选择纵向图像边界填充方式求得参考样本的样本值。
3.如权利要求2所述的方法,其特征在于,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用循环填充方式。
4.如权利要求2所述的方法,其特征在于,当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用重复填充方式。
5.一种基于多方式边界填充的全景视频编码装置,其特征在于,包括:
图像划分模块,用于将当前图像划分为若干图像块;
帧间预测模块,用于通过帧间预测得到当前图像块的预测图像块;所述帧间预测模块包括边界填充单元,用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值;
计算模块,用于将当前图像块与预测图像块相减,得到残差块;
码流生成模块,用于对残差块进行变换、量化和熵编码,以得到编码码流;所述编码码流的序列头或图像头中写入有边界填充单元所选择的边界填充方式。
6.如权利要求5所述的装置,其特征在于,边界填充单元用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时,根据参考样本的坐标自适应选择边界填充方式,以求得参考样本的样本值,具体为:边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,选择横向图像边界填充方式求得参考样本的样本值;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,选择纵向图像边界填充方式求得参考样本的样本值。
7.如权利要求6所述的装置,其特征在于,边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用循环填充方式。
8.如权利要求6所述的装置,其特征在于,边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内,且参考样本的横坐标位于参考图像左边界和右边界之外时,横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时,纵向图像边界填充方式采用重复填充方式。
9.一种基于多方式边界填充的全景视频解码方法,其特征在于,包括:
对编码码流进行熵解码、反量化和反变换,以得到重建的残差块;
通过帧间预测得到当前图像块的预测图像块;所述帧间预测包括边界填充步骤,所述边界填充步骤为:采用编码码流的序列头或图像头中记录的边界填充方式,以求得参考样本的样本值;
将预测图像块和重建的残差块相加,得到重建的图像块。
10.一种基于多方式边界填充的全景视频解码装置,其特征在于,包括:
残差块重建模块,用于对编码码流进行熵解码、反量化和反变换,以得到重建的残差块;
帧间预测模块,用于通过帧间预测得到当前图像块的预测图像块;所述帧间预测模块包括边界填充单元,用于采用编码码流的序列头或图像头中记录的边界填充方式,以求得参考样本的样本值;
图像块重建模块,用于将预测图像块和重建的残差块相加,得到重建的图像块。
CN201610035874.XA 2016-01-19 2016-01-19 基于多方式边界填充的全景视频编码、解码方法和装置 Active CN105554506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610035874.XA CN105554506B (zh) 2016-01-19 2016-01-19 基于多方式边界填充的全景视频编码、解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610035874.XA CN105554506B (zh) 2016-01-19 2016-01-19 基于多方式边界填充的全景视频编码、解码方法和装置

Publications (2)

Publication Number Publication Date
CN105554506A true CN105554506A (zh) 2016-05-04
CN105554506B CN105554506B (zh) 2018-05-29

Family

ID=55833412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610035874.XA Active CN105554506B (zh) 2016-01-19 2016-01-19 基于多方式边界填充的全景视频编码、解码方法和装置

Country Status (1)

Country Link
CN (1) CN105554506B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231311A (zh) * 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备
WO2017125030A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of inter prediction for spherical images and cubic images
WO2017124305A1 (zh) * 2016-01-19 2017-07-27 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN107135397A (zh) * 2017-04-28 2017-09-05 中国科学技术大学 一种全景视频编码方法和装置
WO2017220012A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and apparatus of face independent coding structure for vr video
WO2018001194A1 (en) * 2016-06-27 2018-01-04 Mediatek Inc. Method and apparatus of inter coding for vr video using virtual reference frames
CN108377377A (zh) * 2016-02-05 2018-08-07 联发科技股份有限公司 球面或者立方体图像序列的视频编码或者解码方法及装置
WO2019015629A1 (en) * 2017-07-19 2019-01-24 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS AT DISCONTINUOUS LEVELS IN CODED VIRTUAL REALITY IMAGES
CN109314788A (zh) * 2016-06-21 2019-02-05 派视特立株式会社 编码装置和编码方法以及解码装置和解码方法
CN109964483A (zh) * 2016-11-15 2019-07-02 Kddi株式会社 动态图像编码装置、动态图像解码装置以及程序
CN109983470A (zh) * 2017-09-13 2019-07-05 联发科技股份有限公司 具有无效区域的vr图像的视频编解码方法和装置
TWI690201B (zh) * 2016-08-08 2020-04-01 聯發科技股份有限公司 全方位視訊之解碼方法、編碼方法及電子設備
CN110958443A (zh) * 2019-12-16 2020-04-03 宁波大学 一种360度视频帧间快速编码方法
CN111429501A (zh) * 2020-03-25 2020-07-17 贝壳技术有限公司 深度图预测模型生成方法和装置、深度图预测方法和装置
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
CN112991170A (zh) * 2021-03-05 2021-06-18 Oppo广东移动通信有限公司 图像超分辨率重建的方法、装置、终端及存储介质
CN114245120A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN114245125A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114679588A (zh) * 2016-05-27 2022-06-28 松下电器(美国)知识产权公司 编码方法及解码方法
CN115802058A (zh) * 2016-10-04 2023-03-14 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
WO2024017061A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for picture padding in video coding
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12035049B2 (en) 2016-10-06 2024-07-09 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034374A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and device for motion estimation and compensation for panorama image
CN101394569A (zh) * 2008-10-29 2009-03-25 北京创毅视讯科技有限公司 一种avs视频解码器的容错方法、装置及芯片

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034374A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and device for motion estimation and compensation for panorama image
CN101394569A (zh) * 2008-10-29 2009-03-25 北京创毅视讯科技有限公司 一种avs视频解码器的容错方法、装置及芯片

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊聪等: "H.264兼容的全景视频编码方法", 《中国图象图形学报》 *

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124305A1 (zh) * 2016-01-19 2017-07-27 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
WO2017125030A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of inter prediction for spherical images and cubic images
CN108377377A (zh) * 2016-02-05 2018-08-07 联发科技股份有限公司 球面或者立方体图像序列的视频编码或者解码方法及装置
US11985350B2 (en) 2016-05-27 2024-05-14 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11962804B2 (en) 2016-05-27 2024-04-16 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN114679588B (zh) * 2016-05-27 2024-07-02 松下电器(美国)知识产权公司 编码方法及解码方法
CN114679588A (zh) * 2016-05-27 2022-06-28 松下电器(美国)知识产权公司 编码方法及解码方法
US11985349B2 (en) 2016-05-27 2024-05-14 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN109314788B (zh) * 2016-06-21 2023-06-30 派视特立株式会社 编码装置和编码方法以及解码装置和解码方法
CN109314788A (zh) * 2016-06-21 2019-02-05 派视特立株式会社 编码装置和编码方法以及解码装置和解码方法
GB2566186A (en) * 2016-06-23 2019-03-06 Mediatek Inc Method and apparatus of face independent coding structure for VR video
RU2715800C1 (ru) * 2016-06-23 2020-03-03 МедиаТек Инк. Способ и устройство независимой структуры кодирования граней для видео в формате виртуальной реальности
WO2017220012A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and apparatus of face independent coding structure for vr video
TWI655862B (zh) * 2016-06-23 2019-04-01 聯發科技股份有限公司 視頻編碼或解碼方法與裝置
GB2566186B (en) * 2016-06-23 2021-09-15 Mediatek Inc Method and apparatus of face independent coding structure for VR video
WO2018001194A1 (en) * 2016-06-27 2018-01-04 Mediatek Inc. Method and apparatus of inter coding for vr video using virtual reference frames
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
CN106231311A (zh) * 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
TWI690201B (zh) * 2016-08-08 2020-04-01 聯發科技股份有限公司 全方位視訊之解碼方法、編碼方法及電子設備
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
AU2022228228B2 (en) * 2016-10-04 2023-10-19 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN115802059A (zh) * 2016-10-04 2023-03-14 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
US12028503B2 (en) 2016-10-04 2024-07-02 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12015854B2 (en) 2016-10-04 2024-06-18 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11991339B2 (en) 2016-10-04 2024-05-21 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11962744B2 (en) 2016-10-04 2024-04-16 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11949846B1 (en) 2016-10-04 2024-04-02 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11936841B2 (en) 2016-10-04 2024-03-19 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN114245120A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN114245119A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN114245118A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN114245125A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114245123A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531586A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531593A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531588A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531585A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US11910094B2 (en) 2016-10-04 2024-02-20 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11863732B1 (en) 2016-10-04 2024-01-02 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11412137B2 (en) 2016-10-04 2022-08-09 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
AU2021266245B2 (en) * 2016-10-04 2022-08-11 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11463672B2 (en) 2016-10-04 2022-10-04 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN114245119B (zh) * 2016-10-04 2022-11-22 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
US11533429B2 (en) 2016-10-04 2022-12-20 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11539881B2 (en) 2016-10-04 2022-12-27 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11539883B2 (en) 2016-10-04 2022-12-27 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11546513B2 (en) 2016-10-04 2023-01-03 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11553168B2 (en) 2016-10-04 2023-01-10 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN115802058A (zh) * 2016-10-04 2023-03-14 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
US11843866B2 (en) 2016-10-04 2023-12-12 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11606499B2 (en) 2016-10-04 2023-03-14 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11677926B1 (en) 2016-10-04 2023-06-13 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11831818B2 (en) 2016-10-04 2023-11-28 B1 Institute Of Image Technology, Inc. Method and apparatus for reconstructing 360-degree image according to projection format
US11706531B2 (en) 2016-10-04 2023-07-18 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN115802059B (zh) * 2016-10-04 2023-09-08 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
CN115802058B (zh) * 2016-10-04 2023-09-15 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
US11778158B2 (en) 2016-10-04 2023-10-03 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11792526B1 (en) 2016-10-04 2023-10-17 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11792525B2 (en) 2016-10-04 2023-10-17 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
AU2022229691B2 (en) * 2016-10-04 2023-10-19 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
AU2022228227B2 (en) * 2016-10-04 2023-10-19 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
AU2022228372B2 (en) * 2016-10-04 2023-10-19 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12035049B2 (en) 2016-10-06 2024-07-09 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备
CN109964483A (zh) * 2016-11-15 2019-07-02 Kddi株式会社 动态图像编码装置、动态图像解码装置以及程序
CN109964483B (zh) * 2016-11-15 2021-11-19 Kddi株式会社 动态图像编码装置、解码装置以及计算机可读存储介质
CN107135397B (zh) * 2017-04-28 2018-07-06 中国科学技术大学 一种全景视频编码方法和装置
CN107135397A (zh) * 2017-04-28 2017-09-05 中国科学技术大学 一种全景视频编码方法和装置
US11049314B2 (en) 2017-07-19 2021-06-29 Mediatek Inc Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
WO2019015629A1 (en) * 2017-07-19 2019-01-24 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS AT DISCONTINUOUS LEVELS IN CODED VIRTUAL REALITY IMAGES
US10614609B2 (en) 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
CN114584791A (zh) * 2017-07-19 2022-06-03 联发科技股份有限公司 处理360度虚拟现实图像的方法和装置
CN109983470A (zh) * 2017-09-13 2019-07-05 联发科技股份有限公司 具有无效区域的vr图像的视频编解码方法和装置
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
CN110958443B (zh) * 2019-12-16 2021-06-29 宁波大学 一种360度视频帧间快速编码方法
CN110958443A (zh) * 2019-12-16 2020-04-03 宁波大学 一种360度视频帧间快速编码方法
CN111429501A (zh) * 2020-03-25 2020-07-17 贝壳技术有限公司 深度图预测模型生成方法和装置、深度图预测方法和装置
CN112991170A (zh) * 2021-03-05 2021-06-18 Oppo广东移动通信有限公司 图像超分辨率重建的方法、装置、终端及存储介质
WO2024017061A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for picture padding in video coding

Also Published As

Publication number Publication date
CN105554506B (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN105554506A (zh) 基于多方式边界填充的全景视频编码、解码方法和装置
RU2742344C2 (ru) Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга
JP6866299B2 (ja) 全方向視差ライトフィールド表示システム用の方法および装置
JP7008903B2 (ja) 適応イントラ予測による全方位映像符号化および復号のための方法および装置
JP7043148B2 (ja) 適応型イントラ最確モードを用いた全方位映像符号化のための方法および装置
CN112219398B (zh) 用于深度编码和解码的方法和装置
EP3531698A1 (en) Deblocking filter method and terminal
US11539979B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN111819844A (zh) 采用360°虚拟现实投影的投影布局的重构的基于投影帧的适应性环路滤波方法
US11902578B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN105681805A (zh) 视频编码、解码方法及其帧间预测方法和装置
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
KR102334628B1 (ko) 360도 비디오의 영역 정보 전달 방법 및 장치
KR20210128442A (ko) 포인트 클라우드 데이터 처리 장치 및 방법
US10848771B2 (en) Encoding and decoding a video signal
CN111095362A (zh) 用于编码点云的方法和设备
US20220321912A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20200145695A1 (en) Apparatus and method for decoding a panoramic video
KR20220069086A (ko) 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치
JP7332605B2 (ja) ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器
CN110495178A (zh) 3d视频编码的装置和方法
CN113853796A (zh) 用于体积视频编码和解码的方法、装置和计算机程序产品
JP6209026B2 (ja) 画像符号化装置及びその制御方法
KR20200108882A (ko) 3차원 장면들을 데이터 스트림에 인코딩하고 그로부터 디코딩하기 위한 방법 및 장치
US10341682B2 (en) Methods and devices for panoramic video coding and decoding based on multi-mode boundary fill

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant