CN107135393B - 一种光场图像的压缩方法 - Google Patents

一种光场图像的压缩方法 Download PDF

Info

Publication number
CN107135393B
CN107135393B CN201710305196.9A CN201710305196A CN107135393B CN 107135393 B CN107135393 B CN 107135393B CN 201710305196 A CN201710305196 A CN 201710305196A CN 107135393 B CN107135393 B CN 107135393B
Authority
CN
China
Prior art keywords
image
image block
reference frame
images
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710305196.9A
Other languages
English (en)
Other versions
CN107135393A (zh
Inventor
郭正霖
杨昕欣
刁为民
冀会辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710305196.9A priority Critical patent/CN107135393B/zh
Publication of CN107135393A publication Critical patent/CN107135393A/zh
Application granted granted Critical
Publication of CN107135393B publication Critical patent/CN107135393B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种光场图像的压缩方法，属于图像压缩的技术领域。本发明通过对非参考帧中的部分图像块进行运动估计，计算这些图像块的运动矢量，取其众数作为整幅图像的全局运动矢量，基于全局运动估计对当前待编码帧进行帧间预测编码。本发明用于光场图像压缩，能明显减小数据量，提高压缩效率。

Description

一种光场图像的压缩方法
技术领域
本发明属于光场图像处理的技术领域，具体涉及一种以全局运动矢量为基础的光场图像压缩方法。
背景技术
“光场”是用来记录光线分布情况的一个模型，可以全方位地描述光线在空间与时间中的各种信息。对于传统相机成像来说，一张照片上的一个像素点只是不同方向的光线叠加之后的结果；对于光场相机来说，其采集到的图像上还包含着光辐射在传播过程中的四维位置和方向的信息，相比只记录二维的传统成像方式多出2个自由度，可以对光路进行轨迹追踪，因而在图像重建过程中，能够获得更加丰富的图像信息。光场图像在计算物体景深、医学影像以及虚拟现实等领域有着广泛的应用。
目前有两种常见的光场图像进行采集方式：微透镜相机以及相机阵列。两种方式都是将四维光场信息记录在二维的图片上，光场图像包含的信息量十分巨大，相应地，其文件大小也高于传统的图片文件，如何高效储存与传输光场图像已经是当前十分迫切的需求。
使用相机阵列拍摄出的光场子图像间存在极高的相关性，由于每幅子图像之间只有相机位置的变化，而没有图像中物体的相对移动，因此相邻图像间几乎只有相对平移的关系，利用这一相关性，对两幅图像进行基于全局运动估计的帧间预测编码，能大大提高光场图像的编码效率。
发明内容
本发明的目的在于，提供一种能提升光场图像压缩效率的图像压缩方法，即基于全局运动估计的光场子图像编码方法。
本发明采用的技术方案为：一种光场图像的压缩方法，包括下列步骤：
步骤1：输入待压缩的光场图像子阵列；
步骤2：对光场子图像进行图像组划分，将同一行或同一列的所有图像作为一个图像组；
步骤3：分别对各组图像进行编码压缩：将每一行最左或每一列最上的图像作为参考帧，基于参考帧计算其相邻帧的全局运动矢量以及预测图像，对全局运动矢量以及相邻帧与预测图像的差值进行编码；
步骤4：对于每一组待编码的子图像，将该组最近完成编码的图像作为参考帧，基于参考帧计算其相邻帧的全局运动矢量以及预测图像，对全局运动矢量以及相邻帧与预测图像的差值进行编码；
步骤5：重复步骤4，直到所有子图像组的每一幅子图像都完成了全局运动矢量以及图像差值的编码，整个光场图像压缩过程结束。
在步骤3和4中，全局运动矢量的具体计算方法为：设每个光场子图像的大小是L*W个像素，对当前帧的中心区域中的n*n个大小为k*k像素的图像块进行运动估计，得到这n*n个图像块的运动矢量，以其众数作为当前帧的全局运动矢量；
所述参数k的计算方法为k＝max[16,ωlog2S]，其中ω为预设尺度因子，S＝min[L,W]；
所述参数n的计算方法为n＝max[4,log2(S/k)],其中S＝min[L,W]；
所述中心区域是指，当前图像的中心像素点最邻近的n*n个子图像区域。
在步骤3和4中，图像块的运动矢量的具体计算方法为：
首先判断分组方式：
若是按行分组，将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行最小绝对差值和计算，找出最小绝对差值和最小的图像块，两图像块间的水平相对位移即为水平运动矢量dx；之后再将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行进行最小绝对差值和计算，找出最小绝对差值和最小的图像块，两图像块间的垂直相对位移即为垂直运动矢量dy，则[dx,dy]即为当前图像块的运动矢量；
若是按列分组，将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行最小绝对差值和计算，找出最小绝对差值和最小的图像块，两图像块间的垂直相对位移即为垂直运动矢量dy；之后再将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行进行最小绝对差值和计算，找出最小绝对差值和最小的图像块，两图像块间的水平相对位移即为水平运动矢量dx，则[dx,dy]即为当前图像块的运动矢量。
综上所述，由于采用了上述技术方案，本发明的有益效果为：本发明首先根据光场图像的行列数目，决定更加有效的分组方式；使用参考帧图像对当前待编码图像进行全局运动估计，相对于分块运动估计的做法，大大减少了计算量，提高了计算速度；在进行全局运动估计的过程中，通过分析图像的大小和复杂度，自动选取合理的分块方式与块数量，在保证准确性的前提下减小了运算量。最后通过全局运动补偿提高参考帧图像与当前待编码帧图像的相关性，实现高效的光场子图像压缩过程。
附图说明
图1为子图像按行分组示意图；
图2为n＝4为例的中心区域的含义；
图3为对图像块进行运动估计的过程。
具体实施方式：
为使本发明的目的与技术方案更加清楚，下面结合实施方式与示意图，对本发明作进一步详细描述。
基于本发明的方法，对输入的光场子图像阵列进行如下处理：
步骤1、确定光场子图像分组方式。设光场子图像阵列的数目为M*N，即M行N列，若M<N，则将每一行子图像作为一个图像组；若N<M，则将每一列子图像作为一个图像组。
步骤2、确定要检测的图像块大小k*k。其中k＝max[16,ωlog2S]，其中ω为预设尺度因子，设每个光场子图像的大小是L*W个像素，S＝min[L,W]；
步骤3、确定需要进行运动估计的图像块数量num＝n*n，其中n＝max[4,log2(S/k)],其中S＝min[L,W]；
步骤4、将每一行最左(若将每一行子图像作为一个图像组)或每一列最上(若将每一行列图像作为一个图像组)的图像作为参考帧，对其相邻帧(下一帧)进行全局运动估计。
步骤5、全局运动估计的方法是：对于当前编码帧的中心区域中的n*n个大小为k*k像素的图像块进行运动估计，得到n*n个图像块运动矢量[dx(i),dy(i)]；所述中心区域是指，当前图像的中心像素点最邻近的n*n个子图像区域。取数组dx(i)中元素的众数为dx，取数组dy(i)中元素的众数为dy，则矢量[dx,dy]为整幅子图像的全局运动矢量。
步骤6、对图像块进行运动估计的方法是：首先判断分组方式，若是按行分组，对于当前编码帧的每一个图像块curblock(i)，在参考帧的对应位置图像块的向左k像素到向右k像素进行全搜索算法的图像块匹配，为减小计算量，使用最小绝对差值和(SAD)算法，公式为：
SAD(mv)＝∑|f2(x，mv)-f1(x)|
步骤7、找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i)，记录图像块curblock(i)与horblock(i)间的水平位移矢量dx(i)；之后在参考帧的horblock(i)图像块向上k像素到向下k像素进行全搜索算法的图像块匹配，找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i)，记录图像块horblock(i)与verblock(i)间的垂直位移矢量dy(i)；则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
步骤8、若是按列分组，对于当前编码帧的每一个图像块curblock(i)，在参考帧的对应位置图像块的向上k像素到向下k像素进行全搜索算法的图像块匹配，使用最小绝对差值和(SAD)算法，找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i)，记录图像块curblock(i)与verblock(i)间的水平位移矢量dy(i)；之后在参考帧的verblock(i)图像块向左k像素到向右k像素进行全搜索算法的图像块匹配，找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i)，记录图像块verblock(i)与horblock(i)间的水平位移矢量dx(i)；则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
步骤9、求得当前帧的全局运动矢量[dx,dy]后，将参考帧平移[dx,dy]后作为预测图像，将当前帧与预测图像做差，将得到的差值D与全局运动矢量[dx,dy]进行编码。
步骤10、将最近完成编码的图像作为参考帧，将其下一帧图像作为待编码的当前帧，重复步骤5～9，对当前帧进行压缩编码。
步骤11、当每一组子图像中的每一幅子图像都进行过编码之后，整个光场图像阵列的压缩编码结束。

Claims (1)

1.一种光场图像的压缩方法，其特征在于，包括以下步骤：
步骤1：输入待压缩的光场图像子阵列；
步骤2：对光场子图像进行图像组划分，将同一行或同一列的所有图像作为一个图像组；
步骤3：分别对各组图像进行编码压缩：将每一行最左或每一列最上的图像作为参考帧，基于参考帧计算其相邻帧的全局运动矢量以及预测图像，对全局运动矢量以及相邻帧与预测图像的差值进行编码；
步骤4：对于每一组待编码的子图像，将该组最近完成编码的图像作为参考帧，基于参考帧计算其相邻帧的全局运动矢量以及预测图像，对全局运动矢量以及相邻帧与预测图像的差值进行编码；
步骤5：重复步骤4，直到所有子图像组的每一幅子图像都完成了全局运动矢量以及图像差值的编码，整个光场图像压缩过程结束；
其中，在步骤3和4中，全局运动矢量的具体计算方法为：
对当前帧的中心区域中的n*n个大小为2^k*2^k像素的图像块进行运动估计，得到这n*n个图像块的运动矢量，以其众数作为当前帧的全局运动矢量；
所述参数k的计算方法为k＝max[16,ωlog2 S]，其中ω为预设尺度因子，S＝min[L,W]；
所述参数n的计算方法为n＝max[4,log2(S/k)],其中S＝min[L,W]；
所述中心区域是指，当前图像的中心像素点最邻近的n*n个子图像区域；
图像块的运动矢量的具体计算方法为：
找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i)，记录图像块curblock(i)与horblock(i)间的水平位移矢量dx(i)；之后在参考帧的horblock(i)图像块向上k像素到向下k像素进行全搜索算法的图像块匹配，找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i)，记录图像块horblock(i)与verblock(i)间的垂直位移矢量dy(i)；则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量；
若是按列分组，对于当前编码帧的每一个图像块curblock(i)，在参考帧的对应位置图像块的向上k像素到向下k像素进行全搜索算法的图像块匹配，使用最小绝对差值和(SAD)算法，找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i)，记录图像块curblock(i)与verblock(i)间的水平位移矢量dy(i)；之后在参考帧的verblock(i)图像块向左k像素到向右k像素进行全搜索算法的图像块匹配，找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i)，记录图像块verblock(i)与horblock(i)间的水平位移矢量dx(i)；则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
CN201710305196.9A 2017-05-03 2017-05-03 一种光场图像的压缩方法 Expired - Fee Related CN107135393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710305196.9A CN107135393B (zh) 2017-05-03 2017-05-03 一种光场图像的压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710305196.9A CN107135393B (zh) 2017-05-03 2017-05-03 一种光场图像的压缩方法

Publications (2)

Publication Number Publication Date
CN107135393A CN107135393A (zh) 2017-09-05
CN107135393B true CN107135393B (zh) 2020-11-06

Family

ID=59715227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710305196.9A Expired - Fee Related CN107135393B (zh) 2017-05-03 2017-05-03 一种光场图像的压缩方法

Country Status (1)

Country Link
CN (1) CN107135393B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757125B (zh) * 2019-03-29 2024-02-27 曜科智能科技（上海）有限公司 基于光场多视角视频压缩方法及其装置、设备和介质
CN109996067B (zh) * 2019-04-04 2021-02-02 清华大学深圳研究生院 一种基于深度的全光图像自适应卷积编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309424A (zh) * 2008-07-04 2008-11-19 四川虹微技术有限公司 一种快速运动估计的方法
CN101588437A (zh) * 2008-04-29 2009-11-25 奥多比公司 用于对光场图像进行基于块的压缩的方法和设备
CN104469372A (zh) * 2014-11-06 2015-03-25 中国科学院计算技术研究所 用于压缩微透镜阵列采集的光场图像的方法和系统
CN106375766A (zh) * 2016-09-08 2017-02-01 电子科技大学 一种光场图像压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588437A (zh) * 2008-04-29 2009-11-25 奥多比公司 用于对光场图像进行基于块的压缩的方法和设备
CN101309424A (zh) * 2008-07-04 2008-11-19 四川虹微技术有限公司 一种快速运动估计的方法
CN104469372A (zh) * 2014-11-06 2015-03-25 中国科学院计算技术研究所 用于压缩微透镜阵列采集的光场图像的方法和系统
CN106375766A (zh) * 2016-09-08 2017-02-01 电子科技大学 一种光场图像压缩方法

Also Published As

Publication number Publication date
CN107135393A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
US10652577B2 (en) Method and apparatus for encoding and decoding light field based image, and corresponding computer program product
WO2017120981A1 (en) Compression method and apparatus for panoramic stereo video system
Ding et al. Spatio-temporal recurrent networks for event-based optical flow estimation
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
US20140219559A1 (en) Apparatus and Method for Segmenting an Image
US10785502B2 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
JPH07262381A (ja) ブロック・マッチングによるイメージ・モーション推定方法
US9883200B2 (en) Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
US20140147031A1 (en) Disparity Estimation for Misaligned Stereo Image Pairs
CN106791768A (zh) 一种基于图割优化的深度图帧率提升方法
CN111598775B (zh) 基于lstm网络的光场视频时域超分辨重建方法
CN107135393B (zh) 一种光场图像的压缩方法
CN113538243A (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN106791869B (zh) 基于光场子孔径图像相对位置关系的快速运动搜索方法
CN106791876B (zh) 一种基于3d-hevc的深度图快速帧内预测方法
CN101895749A (zh) 一种快速视差估计和运动估计方法
CN109660811B (zh) 一种快速的hevc帧间编码方法
CN114651270A (zh) 通过时间可变形卷积进行深度环路滤波
CN111416983B (zh) 基于成像相关的多焦距光场视频帧内预测方法和装置
CN106961605B (zh) 一种基于宏像素边界匹配的光场图像压缩方法
CN105263026A (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
CN111385585B (zh) 一种基于机器学习的3d-hevc深度图编码单元划分方法
Paul et al. Self-supervised learning of perceptually optimized block motion estimates for video compression
Jia et al. Neighbor correspondence matching for flow-based video frame synthesis
Zhang et al. As-Deformable-As-Possible Single-image-based View Synthesis without Depth Prior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201106

Termination date: 20210503