CN110996104B - 一种光场焦点堆栈图像序列编、解码方法、装置及系统 - Google Patents

一种光场焦点堆栈图像序列编、解码方法、装置及系统 Download PDF

Info

Publication number
CN110996104B
CN110996104B CN201911234746.8A CN201911234746A CN110996104B CN 110996104 B CN110996104 B CN 110996104B CN 201911234746 A CN201911234746 A CN 201911234746A CN 110996104 B CN110996104 B CN 110996104B
Authority
CN
China
Prior art keywords
coding
image sequence
stack image
sub
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911234746.8A
Other languages
English (en)
Other versions
CN110996104A (zh
Inventor
杨铀
吴科君
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911234746.8A priority Critical patent/CN110996104B/zh
Publication of CN110996104A publication Critical patent/CN110996104A/zh
Application granted granted Critical
Publication of CN110996104B publication Critical patent/CN110996104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种光场焦点堆栈图像序列编、解码方法、装置及系统，由于焦点堆栈图像每帧之间存在很大相关性，每帧之间仅有对焦区域与失焦模糊区域不同，通过对对焦区域进行高斯滤波，即可模拟出其他帧的失焦模糊区域。本发明通过遍历预测运动矢量候选列表，将失真代价最小的预测运动矢量所指的位置作为起始点，依次进行整像素搜索和级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块最优最优匹配块，将高斯滤波应用到帧间预测模型之中，有效的减小了预测单元与编码单元的残差分布，从而有效的节省了码率，编码效率较高。

Description

一种光场焦点堆栈图像序列编、解码方法、装置及系统
技术领域
本发明属于立体视觉和视频编码交叉技术领域，更具体地，涉及一种光场焦点堆栈图像序列编、解码方法、装置及系统。
背景技术
光场焦点堆栈图像序列是一组聚焦于不同深度的二维图像，包含了丰富的三维信息，广泛应用于如重聚焦、景深扩展、三维显示，由于密集的采样和可忽略的视差，因此存在大量的空间冗余，需要进一步压缩消除冗余。光场焦点堆栈图像序列与普通图像序列有较大差别，普通图像序列帧与帧之间的对焦区域大致相同，而焦点堆栈图像序列在场景的对焦区域和失焦区域不同。大多数现有的编、解码方法是针对普通图像序列而设计的，故研究光场焦点堆栈图像序列编、解码方法及系统具有重要意义。
现有的光场焦点堆栈图像序列编码方法中，基于3D-DCT的光场焦点堆栈图像序列编码方法，先将焦点堆栈图像序列分割为8x8x8的3D像素块，再对每个3D块3D-DCT变换和线性量化，采用Z字形扫描方式将3D块从低频到高频重新排列为1D信号，将1D信号采用Huffman编码生成二进制码流文件。而基于小波变换的光场焦点堆栈图像序列压缩方法，对原始焦点堆栈图像序列进行3D-DWT变化，并对变换结果采用3D多级树集合分裂(SPIHT)算法获得多分辨率图像金字塔，进一步通过编码算法获得码流，相比于基于3D-DCT的焦点堆栈压缩算法，有效的抑制了编码块效应。但是，以上方法均没有考虑到图像之间的高度相关性，编码效率较低。
综上所述，提出一种编码效率较高的光场焦点堆栈图像序列编、解码方法、装置及系统是亟需解决的问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种光场焦点堆栈图像序列编、解码方法、装置及系统，其目的在于解决现有技术由于没有考虑到图像之间的高度相关性而导致的编码效率较低的问题。
为实现上述目的，第一方面，本发明提供了一种光场焦点堆栈图像序列编码方法，包括以下步骤：
S1、对光场焦点堆栈图像序列中的第一帧进行帧内编码；
S2、为当前待编码帧构造参考帧列表，将编码深度值初始化为零，并基于编码深度将当前待编码帧划分为编码单元；
S3、对于当前编码深度的编码单元，根据当前帧间预测模式得到其子预测单元；
S4、构造当前子预测单元的预测运动矢量候选列表，在参考帧列表中遍历预测运动矢量候选列表，选择率失真代价最小的预测运动矢量，并将其所指的位置作为起始点，在起始点的预设搜索范围内，进行整像素搜索；
S5、将整像素搜索的最优运动矢量所指的位置作为起始点，进行级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块，其运动矢量为当前子预测单元的最优运动矢量；
S6、对每一个子预测单元，重复步骤S4-S5进行迭代，直至得到当前编码深度下每一子预测单元的最优匹配块及其率失真代价；
S7、对当前编码深度的编码单元遍历所有帧间预测模式，按照S3-S6所述的方法进行操作，将率失真代价最小的帧间预测模式作为该编码单元的最优帧间预测模式；
S8、递增编码深度值，将编码单元进一步划分为子编码单元；
S9、对当前编码深度的每一个子编码单元依次按照S3-S8所述的方法进行操作，比较当前深度下各子编码单元的率失真代价之和与上一深度的率失真代价，将率失真代价较小的作为当前待编码帧各子编码单元的最优编码划分模式；
S10、基于当前帧的最优编码划分模式和最优帧间预测模式下的各编码单元下的子预测单元的最优运动矢量、高斯滤波参数，通过运动补偿分别构造出其各编码单元的预测块；
S11、计算各编码单元与其对应预测块的残差，对高斯滤波参数、所得残差以及其对应的运动信息进行熵编码；
S12、对光场焦点堆栈图像序列中的所有待编码帧按照步骤S2-S11所述的方法进行编码，直至光场焦点堆栈图像序列全部编码完毕，得到堆栈图像序列的码流文件。
进一步优选地，当编码深度值初始化为零时，将待编码帧划分为最大编码单元。
进一步优选地，上述最优帧间预测模式包括对称分割模式和非对称分割模式。
进一步优选地，步骤S5中将整像素搜索的最优运动矢量所指的位置作为起始点进行级联的亚像素搜索的方法包括以下步骤：
S51、将整像素搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行半像素运动搜索；
S52、将半像素运动搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行1/4像素运动搜索。
进一步优选地，上述步骤S5中，对搜索过程中的每一个匹配块采用不同高斯滤波参数进行高斯滤波，选取使率失真代价最小的高斯滤波参数作为匹配块的高斯滤波参数，以步长0.1在0.6-2.6范围内递增的进行高斯滤波参数的取值。
进一步优选地，率失真代价函数为：
Jpred＝Dpred+λpred*Rpred
其中，Jpred为失真代价，Dpred为与待编码帧的编码块与其匹配块相比的失真，λpred为拉格朗日乘子，Rpred为参考块编码所需的比特数量。
第二方面，本发明提供了一种光场焦点堆栈图像序列解码方法，包括：解析码流文件中的高斯滤波参数、残差和运动信息，基于高斯滤波参数对根据运动信息通过运动补偿重构的图像块进行滤波，重构出预测块，将预测块与残差块相结合，得到重建的解码图像，完成焦点堆栈图像序列的解码过程。
第三方面，本发明提供了一种编码器，采用本发明第一方面所提出的光场焦点堆栈图像序列编码方法进行编码；
第四方面，本发明提供了一种解码器，采用本发明第二方面所提出的光场焦点堆栈图像序列解码方法进行解码。
第五方面，本发明提供了一种光场焦点堆栈图像序列编解码系统，包括：第四方面所述的编码器和第五方面所述的解码器。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明提出了一种光场焦点堆栈图像序列编码方法，焦点堆栈图像每帧之间存在很大相关性，视差很小或没有，每帧之间仅有对焦区域与失焦模糊区域不同。对焦区域进行高斯滤波，可有效的模拟出其他帧的失焦模糊区域，将高斯滤波应用到帧间预测模型之中，通过对预测块进行滤波，有效的减小了预测块与编码单元的残差分布，从而有效的节省了码率，编码效率较高。
2、本发明所提供的一种光场焦点堆栈图像序列解码方法，对搜索过程中的每一个匹配块采用不同高斯滤波参数进行高斯滤波，选取使率失真代价最小的高斯滤波参数作为匹配块的高斯滤波参数，以步长0.1在0.6-2.6范围内递增的进行高斯滤波参数的取值，较小的步长和适中的范围减小了滤波参数突变的可能性，可以避免产生编码块效应，编码效果更加自然、平滑。
3、本发明所提供的一种光场焦点堆栈图像序列解码方法，由于高斯滤波参数为浮点数，在熵编码时将高斯滤波参数扩大10倍后进行取整操作，将浮点数转换为整数，从而避免小数点后的长位数造成的编码浪费，大大提高了编码码率。
附图说明
图1是本发明所提供的一种光场焦点堆栈图像序列编码方法流程图；
图2是本发明实施例所提供的HEVC标准下的编码单元划分模式示意图；
图3是本发明实施例所提供的帧间预测模式示意图；其中，图(a)为对原始图像块不进行划分的示意图；图(b)为将原始图像块进行上下左右2等分示意图；图(c)为将原始图像块进行横向二等分示意图；图(d)为将原始图像块进行纵向二等分示意图；图(e)为将原始图像块进行横向1:3划分示意图；图(f)为将原始图像进行横向3:1划分示意图；图(g)为将原始图像进行纵向1:3划分示意图；图(h)为将原始图像进行纵向3:1划分示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为实现上述目的，第一方面，本发明提供了一种光场焦点堆栈图像序列编码方法，如图1所示，包括以下步骤：
S1、对光场焦点堆栈图像序列中的第一帧进行帧内编码；
具体的，获得光场焦点堆栈图像序列的方法通常包括两种，一种是采用普通相机对同一场景中不同位置进行对焦，得到不同精深的图像构成焦点堆栈图像序列，另一种是采用焦点堆栈图像序列成像模型对光场相机所得图像进行处理，得到光场焦点堆栈图像序列。本实施例中的光场焦点堆栈图像序列采用后者所述的方法得到，利用光场工具包将光场子孔径图像先进行偏移再加权求和，根据偏移程度的不同得到不同深度的焦点堆栈图像序列。
S2、为当前待编码帧构造参考帧列表，将编码深度值初始化为零，并基于编码深度将当前待编码帧划分为编码单元；
优选地，将已编码帧中和待编码帧中的已编码子块构成当前待编码帧的参考帧列表。当编码深度值初始化为零时，将待编码帧划分为最大编码单元。
具体的，如图2所示为HEVC标准下的编码单元划分模式，其最大编码单元尺寸为64×64，编码深度为零时，最大编码单元尺寸为64×64，深度为1、2、3时对应的编码单元尺寸分别为32×32、16×16、8×8。具体的，当编码深度值为0时，将待编码帧划分为最大编码单元，即本实施例中为64×64大小的编码单元；当编码深度值为1时，在最大编码模块上进一步进行划分，得到如标号15所示的32×32大小的子编码块；当编码深度为2时，在编码深度为1的编码模块上进一步进行划分，得到如标号2所示的16×16大小的子编码块；当编码深度为3时，在编码深度为2的编码模块上进一步进行划分，得到如标号7所示的8×8大小的子编码块。
S3、对于当前编码深度的编码单元，根据当前帧间预测模式得到其子预测单元；
优选地，帧间预测模式包括对称分割模式和非对称分割模式。如图3所示，原始图像块的大小为2N×2N，其中图(a)-(d)为对称分割模式，图(a)表示对原始图像块不进行划分；图(b)表示将原始图像块进行上下左右2等分，划分为N×N大小；图(c)表示将原始图像块进行横向二等分，分别划分为2N×N大小；图(d)表示将原始图像块进行纵向二等分，分别划分为N×2N大小；图(e)-(h)为非对称分割模式，图(e)表示将原始图像块进行横向1:3划分；图(f)表示将图像进行横向3:1划分；图(g)表示将原始图像进行纵向1:3划分；图(h)表示将原始图像进行纵向3:1划分。
S4、构造当前子预测单元的预测运动矢量候选列表，在参考帧列表中遍历预测运动矢量候选列表，选择率失真代价最小的预测运动矢量，并将其所指的位置作为起始点，在起始点的预设搜索范围内，进行整像素搜索；
具体的，本实施例中，对于高级运动矢量模式，利用时域和空域信息构建运动矢量候选列表。
优选地，率失真代价函数为：
Jpred＝Dpred+λpred*Rpred
其中，Jpred为失真代价，Dpred为与待编码帧的编码块与其匹配块相比的失真，λpred为拉格朗日乘子，Rpred为参考块编码所需的比特数量。
S5、将整像素搜索的最优运动矢量所指的位置作为起始点，进行级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块，其运动矢量为当前子预测单元的最优运动矢量；具体的，当最优匹配块为高斯滤波之前的匹配块时，其高斯滤波参数取值为0。
优选地，将整像素搜索的最优运动矢量所指的位置作为起始点进行级联的亚像素搜索的方法包括以下步骤：
S51、将整像素搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行半像素运动搜索；
S52、将半像素运动搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行1/4像素运动搜索。
采用不同亚像素精度进行搜索，使得搜索的精确度更高。
将整像素搜索的最优运动矢量所指的位置作为起始点，在预设搜索范围内进行半像素运动搜索，对1/2像素的插值后在预设搜索范围内进行1/2的运动估计；将半像素运动搜索的最优运动矢量所指的位置作为起始点，进行1/4像素运动搜索，对像素进行1/4插值后在预设搜索范围内进行1/4像素运动估计，对1/4像素运动搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块。具体的，上述预设搜索范围根据参考帧列表类型、参考帧索引以及是否是双向预测自适应设置。
具体的，焦点堆栈图像每帧之间存在很大相关性，视差很小或没有，每帧之间仅有对焦区域与失焦模糊区域不同。光学系统的成像模型可以由点扩散函数PSF来刻画，由于光场相机是主透镜以及微透镜阵列的组合结构，其对应的点扩散函数形式复杂，直接应用会导致计算量大；但光场相机的点扩散函数呈现出类高斯形式，故可以将该模型简化为二维高斯点扩散函数。将对焦区域与二维高斯点扩散函数做卷积，可模拟出其他帧的失焦模糊区域。
具体的，二维高斯点扩散函数的表达式为：
Figure BDA0002304589250000081
其中，σ为高斯滤波参数，x，y为参考块中各像素点的位置。对参考块进行自适应高斯滤波得到
Figure BDA0002304589250000082
其中，Inoblur为参考块，h(x,y；σ)为二维高斯点扩散函数。将高斯滤波应用到帧间预测模型之中，通过对预测单元进行滤波，可以有效的减小了预测单元与编码单元的残差分布，从而有效的节省了码率。
优选地，对搜索过程中的每一个匹配块采用不同高斯滤波参数进行高斯滤波，选取使率失真代价最小的高斯滤波参数作为匹配块的高斯滤波参数，以步长0.1在0.6-2.6范围内递增的进行高斯滤波参数的取值，通过选择精细的滤波参数可以避免编码块效应。
S6、对每一个子预测单元，重复步骤S4-S5进行迭代，直至得到当前编码深度下每一子预测单元的最优匹配块及其率失真代价；
S7、对当前编码深度的编码单元遍历所有帧间预测模式，按照S3-S6所述的方法进行操作，将率失真代价最小的帧间预测模式作为该编码单元的最优帧间预测模式；
S8、递增编码深度值，将编码单元进一步划分为子编码单元；
S9、对当前编码深度的每一个子编码单元依次按照S3-S8所述的方法进行操作，比较当前深度下各子编码单元的率失真代价之和与上一深度的率失真代价，将率失真代价较小的作为当前待编码帧各子编码单元的最优编码划分模式；
S10、基于当前帧的最优编码划分模式和最优帧间预测模式下的各编码单元下的子预测单元的最优运动矢量、高斯滤波参数，通过运动补偿分别构造出其各编码单元的预测块；
S11、计算各编码单元与其对应预测块的残差，对高斯滤波参数、所得残差以及其对应的运动信息进行熵编码；其中，运动信息包括最优运动矢量中的精度信息和偏移信息。
优选地，由于高斯滤波参数为浮点数，小数点后的位数较多，在熵编码时将其扩大10倍并进行取整操作，将浮点数转换为整数，可以大大减少所需编码码率。
S12、对光场焦点堆栈图像序列中的所有待编码帧按照步骤S2-S11所述的方法进行编码，直至光场焦点堆栈图像序列全部编码完毕，得到堆栈图像序列的码流文件。
从EPFL光场数据集中生成的17帧光场焦点堆栈图像序列，分别采用
本发明所提供的编码方法与HM 16.20默认编码方法对光场焦点堆栈图像序列进行编码，比较编码结果的RD性能，实验表明本发明所提供的方法，在低延时B,低延时P以及随机访问的编码结构配置下分别节省了7.10％、16.60％、7.30％的码率，具有更高的编码效率。
第二方面，本发明提供了一种光场焦点堆栈图像序列解码方法，包括：解析码流文件中的高斯滤波参数、残差和运动信息，基于高斯滤波参数对根据运动信息通过运动补偿重构的图像块进行滤波，重构出预测块，将预测块与残差块相结合，得到重建的解码图像，完成焦点堆栈图像序列的解码过程。
优选地，若在编码时，存在将高斯滤波参数转换为整数的操作，那么解码时则需要进行对应的逆操作，将整数对应转换成浮点数。
第三方面，本发明提供了一种编码器，采用本发明第一方面所提出的光场焦点堆栈图像序列编码方法进行编码；
第四方面，本发明提供了一种解码器，采用本发明第二方面所提出的光场焦点堆栈图像序列解码方法进行解码。
第五方面，本发明提供了一种光场焦点堆栈图像序列编解码系统，包括：第四方面所述的编码器和第五方面所述的解码器。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种光场焦点堆栈图像序列编码方法，其特征在于，包括以下步骤：
S1、对光场焦点堆栈图像序列中的第一帧进行帧内编码；
S2、为当前待编码帧构造参考帧列表，将编码深度值初始化为零，并基于编码深度将当前待编码帧划分为编码单元；
S3、对于当前编码深度的编码单元，根据当前帧间预测模式得到其子预测单元；
S4、构造当前子预测单元的预测运动矢量候选列表，在参考帧列表中遍历预测运动矢量候选列表，选择率失真代价最小的预测运动矢量，并将其所指的位置作为起始点，在起始点的预设搜索范围内，进行整像素搜索；
S5、将整像素搜索的最优运动矢量所指的位置作为起始点，进行级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块，其运动矢量为当前子预测单元的最优运动矢量；
S6、对每一个子预测单元，按照步骤S4-S5所述的方法进行操作，直至得到当前编码深度下每一子预测单元的最优匹配块及其率失真代价；
S7、对当前编码深度的编码单元遍历所有帧间预测模式，按照S3-S6所述的方法进行操作，将率失真代价最小的帧间预测模式作为该编码单元的最优帧间预测模式；
S8、递增编码深度值，将编码单元进一步划分为子编码单元；
S9、对当前编码深度的每一个子编码单元依次按照S3-S8所述的方法进行操作，比较当前深度下各子编码单元的率失真代价之和与上一深度的率失真代价，将比较结果较小的编码深度下的划分方式作为当前待编码帧各子编码单元的最优编码划分模式；
S10、基于当前帧的最优编码划分模式和最优帧间预测模式下的各编码单元下的子预测单元的最优运动矢量、高斯滤波参数，通过运动补偿分别构造出其各编码单元的预测块；
S11、计算各编码单元与其对应预测块的残差，对高斯滤波参数、所得残差以及其对应的运动信息进行熵编码；
S12、对光场焦点堆栈图像序列中的所有待编码帧按照步骤S2-S11所述的方法进行编码，直至光场焦点堆栈图像序列全部编码完毕，得到堆栈图像序列的码流文件。
2.根据权利要求1所述的光场焦点堆栈图像序列编码方法，其特征在于，当编码深度值初始化为零时，将待编码帧划分为最大编码单元。
3.根据权利要求1所述的光场焦点堆栈图像序列编码方法，其特征在于，所述最优帧间预测模式包括对称分割模式和非对称分割模式。
4.根据权利要求1所述的光场焦点堆栈图像序列编码方法，其特征在于，步骤S5中将整像素搜索的最优运动矢量所指的位置作为起始点进行级联的亚像素搜索的方法，包括以下步骤：
S51、将整像素搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行半像素运动搜索；
S52、将半像素运动搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行1/4像素运动搜索。
5.根据权利要求1所述的光场焦点堆栈图像序列编码方法，其特征在于，所述步骤S5中，对搜索过程中的每一个匹配块采用不同高斯滤波参数进行高斯滤波，选取使率失真代价最小的高斯滤波参数作为匹配块的高斯滤波参数。
6.根据权利要求1所述的光场焦点堆栈图像序列编码方法，其特征在于，所述率失真代价计算公式为：
Jpred＝Dpred+λpred*Rpred
其中，Jpred为率失真代价，Dpred为与待编码帧的编码块与其匹配块相比的失真，λpred为拉格朗日乘子，Rpred为匹配块编码所需的比特数量。
7.一种光场焦点堆栈图像序列解码方法，其特征在于，包括：解析码流文件中的高斯滤波参数、残差和运动信息，基于高斯滤波参数对根据运动信息通过运动补偿重构的图像块进行滤波，重构出预测块，将预测块与残差块相结合，得到重建的解码图像，完成焦点堆栈图像序列的解码过程。
8.一种编码器，其特征在于，采用权利要求1-6任意一项所述的光场焦点堆栈图像序列编码方法进行编码。
9.一种解码器，其特征在于，采用权利要求7所述的光场焦点堆栈图像序列解码方法进行解码。
10.一种光场焦点堆栈图像序列编解码系统，其特征在于，包括：权利要求8所述的编码器和权利要求9所述的解码器。
CN201911234746.8A 2019-12-05 2019-12-05 一种光场焦点堆栈图像序列编、解码方法、装置及系统 Active CN110996104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911234746.8A CN110996104B (zh) 2019-12-05 2019-12-05 一种光场焦点堆栈图像序列编、解码方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911234746.8A CN110996104B (zh) 2019-12-05 2019-12-05 一种光场焦点堆栈图像序列编、解码方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110996104A CN110996104A (zh) 2020-04-10
CN110996104B true CN110996104B (zh) 2021-10-08

Family

ID=70090385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911234746.8A Active CN110996104B (zh) 2019-12-05 2019-12-05 一种光场焦点堆栈图像序列编、解码方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110996104B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019862B (zh) * 2020-09-08 2022-01-04 华中科技大学 图像处理方法、装置及设备
CN114449283B (zh) * 2020-10-30 2024-06-07 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN112465796B (zh) * 2020-12-07 2023-11-21 清华大学深圳国际研究生院 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
CN113343822B (zh) * 2021-05-31 2022-08-19 合肥工业大学 一种基于3d卷积的光场显著性目标检测方法
CN114095736B (zh) * 2022-01-11 2022-05-24 杭州微帧信息科技有限公司 一种快速运动估计视频编码方法
CN116777750B (zh) * 2023-07-31 2023-12-26 山东黄河三角洲国家级自然保护区管理委员会 一种基于视差维滤波的聚焦堆栈视差维超分辨方法和装置
CN117522939B (zh) * 2024-01-04 2024-03-19 电子科技大学 一种单目单张模糊图像深度计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438102A (zh) * 2011-10-26 2012-05-02 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统及成像方法
CN106575035A (zh) * 2014-06-25 2017-04-19 雷蒙特亚特特拉维夫大学有限公司 用于光场成像的系统和方法
CN108810511A (zh) * 2018-06-21 2018-11-13 华中科技大学 一种基于视点一致性的多视点压缩深度视频增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244058B1 (en) * 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
IN2014CN02708A (zh) * 2011-09-28 2015-08-07 Pelican Imaging Corp
US10706564B2 (en) * 2018-04-11 2020-07-07 Wisconsin Alumni Research Foundation Systems, methods, and media for determining object motion in three dimensions from light field image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438102A (zh) * 2011-10-26 2012-05-02 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统及成像方法
CN106575035A (zh) * 2014-06-25 2017-04-19 雷蒙特亚特特拉维夫大学有限公司 用于光场成像的系统和方法
CN108810511A (zh) * 2018-06-21 2018-11-13 华中科技大学 一种基于视点一致性的多视点压缩深度视频增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Light Field Image Compression Based on Bi-Level View Compensation With Rate-Distortion Optimization;Junhui Hou等;《IEEE Transactions on Circuits and Systems for Video Technology》;20190206;全文 *
Linear view synthesis using a dimensionality gap light field prior;Anat Levin等;《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20100805;全文 *
光场图像压缩算法研究;蒋妍;《中国优秀硕士学位论文全文数据库信息科技辑》;20170215;全文 *

Also Published As

Publication number Publication date
CN110996104A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110996104B (zh) 一种光场焦点堆栈图像序列编、解码方法、装置及系统
JP7335315B2 (ja) 画像予測方法および関連装置
KR101393824B1 (ko) 저 복잡성 움직임 벡터 도출을 위한 시스템 및 방법
JP2019535202A (ja) インター予測モードベースの画像処理方法及びそのための装置
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
CN110312132A (zh) 一种编解码方法、装置及其设备
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
JPS62203496A (ja) 動画像信号の高能率符号化方式
CN111801941B (zh) 用于利用自适应乘数系数进行图像滤波的方法及装置
CN104604232A (zh) 用于编码多视点图像的方法及装置,以及用于解码多视点图像的方法及装置
CN114845102B (zh) 光流修正的提前终止
CN113615194B (zh) 使用抽取预测块的dmvr
MX2012011882A (es) Filtros mixtos de coeficientes de filtro.
CN113597769A (zh) 基于光流的视频帧间预测
CN111869208B (zh) 使用自适应乘数系数进行图像滤波的方法及装置
CN113810715A (zh) 一种基于空洞卷积神经网络的视频压缩参考图像生成方法
KR101354086B1 (ko) 공통 병합 후보 블록 집합을 이용한 영상 부호화 방법 및 복호화 방법
CN114007078B (zh) 一种运动信息候选列表的构建方法、装置及其设备
CN102263953B (zh) 一种基于对象的快速多目立体视频分形压缩与解压缩方法
CN112565767B (zh) 视频解码方法、视频编码方法及相关设备
CN116980596A (zh) 一种帧内预测方法、编码器、解码器及存储介质
Zhu et al. Deep inter prediction via reference frame interpolation for blurry video coding
CN111355961A (zh) 一种帧间预测的方法和装置
CN110944177B (zh) 视频解码方法及视频解码器，视频编码方法及视频编码器
Aydinoglu et al. Multiview image coding using local orthogonal bases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant