CN107135393A - 一种光场图像的压缩方法 - Google Patents
一种光场图像的压缩方法 Download PDFInfo
- Publication number
- CN107135393A CN107135393A CN201710305196.9A CN201710305196A CN107135393A CN 107135393 A CN107135393 A CN 107135393A CN 201710305196 A CN201710305196 A CN 201710305196A CN 107135393 A CN107135393 A CN 107135393A
- Authority
- CN
- China
- Prior art keywords
- image
- motion vector
- image block
- light field
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种光场图像的压缩方法,属于图像压缩的技术领域。本发明通过对非参考帧中的部分图像块进行运动估计,计算这些图像块的运动矢量,取其众数作为整幅图像的全局运动矢量,基于全局运动估计对当前待编码帧进行帧间预测编码。本发明用于光场图像压缩,能明显减小数据量,提高压缩效率。
Description
技术领域
本发明属于光场图像处理的技术领域,具体涉及一种以全局运动矢量为基础的光场图像压缩方法。
背景技术
“光场”是用来记录光线分布情况的一个模型,可以全方位地描述光线在空间与时间中的各种信息。对于传统相机成像来说,一张照片上的一个像素点只是不同方向的光线叠加之后的结果;对于光场相机来说,其采集到的图像上还包含着光辐射在传播过程中的四维位置和方向的信息,相比只记录二维的传统成像方式多出2个自由度,可以对光路进行轨迹追踪,因而在图像重建过程中,能够获得更加丰富的图像信息。光场图像在计算物体景深、医学影像以及虚拟现实等领域有着广泛的应用。
目前有两种常见的光场图像进行采集方式:微透镜相机以及相机阵列。两种方式都是将四维光场信息记录在二维的图片上,光场图像包含的信息量十分巨大,相应地,其文件大小也高于传统的图片文件,如何高效储存与传输光场图像已经是当前十分迫切的需求。
使用相机阵列拍摄出的光场子图像间存在极高的相关性,由于每幅子图像之间只有相机位置的变化,而没有图像中物体的相对移动,因此相邻图像间几乎只有相对平移的关系,利用这一相关性,对两幅图像进行基于全局运动估计的帧间预测编码,能大大提高光场图像的编码效率。
发明内容
本发明的目的在于,提供一种能提升光场图像压缩效率的图像压缩方法,即基于全局运动估计的光场子图像编码方法。
本发明采用的技术方案为:一种光场图像的压缩方法,包括下列步骤:
步骤1:输入待压缩的光场图像子阵列;
步骤2:对光场子图像进行图像组划分,将同一行或同一列的所有图像作为一个图像组;
步骤3:分别对各组图像进行编码压缩:将每一行最左或每一列最上的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤4:对于每一组待编码的子图像,将该组最近完成编码的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤5:重复步骤4,直到所有子图像组的每一幅子图像都完成了全局运动矢量以及图像差值的编码,整个光场图像压缩过程结束。
在步骤3和4中,全局运动矢量的具体计算方法为:设每个光场子图像的大小是L*W个像素,对当前帧的中心区域中的n*n个大小为k*k像素的图像块进行运动估计,得到这n*n个图像块的运动矢量,以其众数作为当前帧的全局运动矢量;
所述参数k的计算方法为k=max[16,ωlog2S],其中ω为预设尺度因子,S=min[L,W];
所述参数n的计算方法为n=max[4,log2(S/k)],其中S=min[L,W];
所述中心区域是指,当前图像的中心像素点最邻近的n*n个子图像区域。
在步骤3和4中,图像块的运动矢量的具体计算方法为:
首先判断分组方式:
若是按行分组,将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的水平相对位移即为水平运动矢量dx;之后再将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的垂直相对位移即为垂直运动矢量dy,则[dx,dy]即为当前图像块的运动矢量;
若是按列分组,将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的垂直相对位移即为垂直运动矢量dy;之后再将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的水平相对位移即为水平运动矢量dx,则[dx,dy]即为当前图像块的运动矢量。
综上所述,由于采用了上述技术方案,本发明的有益效果为:本发明首先根据光场图像的行列数目,决定更加有效的分组方式;使用参考帧图像对当前待编码图像进行全局运动估计,相对于分块运动估计的做法,大大减少了计算量,提高了计算速度;在进行全局运动估计的过程中,通过分析图像的大小和复杂度,自动选取合理的分块方式与块数量,在保证准确性的前提下减小了运算量。最后通过全局运动补偿提高参考帧图像与当前待编码帧图像的相关性,实现高效的光场子图像压缩过程。
附图说明
图1为子图像按行分组示意图;
图2为n=4为例的中心区域的含义;
图3为对图像块进行运动估计的过程。
具体实施方式:
为使本发明的目的与技术方案更加清楚,下面结合实施方式与示意图,对本发明作进一步详细描述。
基于本发明的方法,对输入的光场子图像阵列进行如下处理:
步骤1、确定光场子图像分组方式。设光场子图像阵列的数目为M*N,即M行N列,若M<N,则将每一行子图像作为一个图像组;若N<M,则将每一列子图像作为一个图像组。
步骤2、确定要检测的图像块大小k*k。其中k=max[16,ωlog2S],其中ω为预设尺度因子,设每个光场子图像的大小是L*W个像素,S=min[L,W];
步骤3、确定需要进行运动估计的图像块数量num=n*n,其中n=max[4,log2(S/k)],其中S=min[L,W];
步骤4、将每一行最左(若将每一行子图像作为一个图像组)或每一列最上(若将每一行列图像作为一个图像组)的图像作为参考帧,对其相邻帧(下一帧)进行全局运动估计。
步骤5、全局运动估计的方法是:对于当前编码帧的中心区域中的n*n个大小为k*k像素的图像块进行运动估计,得到n*n个图像块运动矢量[dx(i),dy(i)];所述中心区域是指,当前图像的中心像素点最邻近的n*n个子图像区域。取数组dx(i)中元素的众数为dx,取数组dy(i)中元素的众数为dy,则矢量[dx,dy]为整幅子图像的全局运动矢量。
步骤6、对图像块进行运动估计的方法是:首先判断分组方式,若是按行分组,对于当前编码帧的每一个图像块curblock(i),在参考帧的对应位置图像块的向左k像素到向右k像素进行全搜索算法的图像块匹配,为减小计算量,使用最小绝对差值和(SAD)算法,公式为:
SAD(mv)=∑|f2(x,mv)-f1(x)|
步骤7、找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i),记录图像块curblock(i)与horblock(i)间的水平位移矢量dx(i);之后在参考帧的horblock(i)图像块向上k像素到向下k像素进行全搜索算法的图像块匹配,找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i),记录图像块horblock(i)与verblock(i)间的垂直位移矢量dy(i);则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
步骤8、若是按列分组,对于当前编码帧的每一个图像块curblock(i),在参考帧的对应位置图像块的向上k像素到向下k像素进行全搜索算法的图像块匹配,使用最小绝对差值和(SAD)算法,找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i),记录图像块curblock(i)与verblock(i)间的水平位移矢量dy(i);之后在参考帧的verblock(i)图像块向左k像素到向右k像素进行全搜索算法的图像块匹配,找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i),记录图像块verblock(i)与horblock(i)间的水平位移矢量dx(i);则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
步骤9、求得当前帧的全局运动矢量[dx,dy]后,将参考帧平移[dx,dy]后作为预测图像,将当前帧与预测图像做差,将得到的差值D与全局运动矢量[dx,dy]进行编码。
步骤10、将最近完成编码的图像作为参考帧,将其下一帧图像作为待编码的当前帧,重复步骤5~9,对当前帧进行压缩编码。
步骤11、当每一组子图像中的每一幅子图像都进行过编码之后,整个光场图像阵列的压缩编码结束。
Claims (3)
1.一种光场图像的压缩方法,其特征在于,包括以下步骤:
步骤1:输入待压缩的光场图像子阵列;
步骤2:对光场子图像进行图像组划分,将同一行或同一列的所有图像作为一个图像组;
步骤3:分别对各组图像进行编码压缩:将每一行最左或每一列最上的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤4:对于每一组待编码的子图像,将该组最近完成编码的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤5:重复步骤4,直到所有子图像组的每一幅子图像都完成了全局运动矢量以及图像差值的编码,整个光场图像压缩过程结束。
2.如权利要求1所述光场图像的压缩方法,其特征在于,在步骤3和4中,全局运动矢量的具体计算方法为:
对当前帧的中心区域中的n*n个大小为2^k*2^k像素的图像块进行运动估计,得到这n*n个图像块的运动矢量,以其众数作为当前帧的全局运动矢量;
所述参数k的计算方法为k=max[16,ωlog2S],其中ω为预设尺度因子,S=min[L,W];
所述参数n的计算方法为n=max[4,log2(S/k)],其中S=min[L,W];
所述中心区域是指,当前图像的中心像素点最邻近的n*n个子图像区域。
3.如权利要求2所述光场图像的压缩方法,其特征在于,图像块的运动矢量的具体计算方法为:为减小计算量,使用分别计算水平运动矢量和垂直运动矢量的方法,首先判断分组方式:
若是按行分组,将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的水平相对位移即为水平运动矢量dx;之后再将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的垂直相对位移即为垂直运动矢量dy,则[dx,dy]即为当前图像块的运动矢量;
若是按列分组,将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的垂直相对位移即为垂直运动矢量dy;之后再将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的水平相对位移即为水平运动矢量dx,则[dx,dy]即为当前图像块的运动矢量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710305196.9A CN107135393B (zh) | 2017-05-03 | 2017-05-03 | 一种光场图像的压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710305196.9A CN107135393B (zh) | 2017-05-03 | 2017-05-03 | 一种光场图像的压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107135393A true CN107135393A (zh) | 2017-09-05 |
CN107135393B CN107135393B (zh) | 2020-11-06 |
Family
ID=59715227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710305196.9A Expired - Fee Related CN107135393B (zh) | 2017-05-03 | 2017-05-03 | 一种光场图像的压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107135393B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109996067A (zh) * | 2019-04-04 | 2019-07-09 | 清华大学深圳研究生院 | 一种基于深度的全光图像自适应卷积编码方法 |
CN111757125A (zh) * | 2019-03-29 | 2020-10-09 | 曜科智能科技(上海)有限公司 | 基于光场多视角视频压缩方法及其装置、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101309424A (zh) * | 2008-07-04 | 2008-11-19 | 四川虹微技术有限公司 | 一种快速运动估计的方法 |
CN101588437A (zh) * | 2008-04-29 | 2009-11-25 | 奥多比公司 | 用于对光场图像进行基于块的压缩的方法和设备 |
US20140092208A1 (en) * | 2012-09-28 | 2014-04-03 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Backward 3D-View Synthesis Prediction using Neighboring Blocks |
CN104469372A (zh) * | 2014-11-06 | 2015-03-25 | 中国科学院计算技术研究所 | 用于压缩微透镜阵列采集的光场图像的方法和系统 |
CN106375766A (zh) * | 2016-09-08 | 2017-02-01 | 电子科技大学 | 一种光场图像压缩方法 |
-
2017
- 2017-05-03 CN CN201710305196.9A patent/CN107135393B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101588437A (zh) * | 2008-04-29 | 2009-11-25 | 奥多比公司 | 用于对光场图像进行基于块的压缩的方法和设备 |
CN101309424A (zh) * | 2008-07-04 | 2008-11-19 | 四川虹微技术有限公司 | 一种快速运动估计的方法 |
US20140092208A1 (en) * | 2012-09-28 | 2014-04-03 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Backward 3D-View Synthesis Prediction using Neighboring Blocks |
CN104469372A (zh) * | 2014-11-06 | 2015-03-25 | 中国科学院计算技术研究所 | 用于压缩微透镜阵列采集的光场图像的方法和系统 |
CN106375766A (zh) * | 2016-09-08 | 2017-02-01 | 电子科技大学 | 一种光场图像压缩方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111757125A (zh) * | 2019-03-29 | 2020-10-09 | 曜科智能科技(上海)有限公司 | 基于光场多视角视频压缩方法及其装置、设备和介质 |
CN111757125B (zh) * | 2019-03-29 | 2024-02-27 | 曜科智能科技(上海)有限公司 | 基于光场多视角视频压缩方法及其装置、设备和介质 |
CN109996067A (zh) * | 2019-04-04 | 2019-07-09 | 清华大学深圳研究生院 | 一种基于深度的全光图像自适应卷积编码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107135393B (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106134191B (zh) | 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法 | |
CN105430415B (zh) | 一种3d‑hevc深度视频帧内快速编码方法 | |
US20180255319A1 (en) | Method and apparatus for encoding and decoding a light field basde image, and corresponding computer program product | |
CN104704819B (zh) | 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置 | |
US20150172714A1 (en) | METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING | |
US9883200B2 (en) | Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video | |
CN1885953A (zh) | 中间矢量内插方法和执行该方法的三维显示装置 | |
CN108076347A (zh) | 一种编码起始点的获取方法以及装置 | |
CN105453561A (zh) | 三维以及多视图视频编码中导出默认视差向量的方法 | |
US20170064279A1 (en) | Multi-view 3d video method and system | |
CN106791768A (zh) | 一种基于图割优化的深度图帧率提升方法 | |
US20150264356A1 (en) | Method of Simplified Depth Based Block Partitioning | |
CN110650346B (zh) | 一种3d-hevc深度图运动估计并行实现方法及结构 | |
CN107135393A (zh) | 一种光场图像的压缩方法 | |
CN109660811B (zh) | 一种快速的hevc帧间编码方法 | |
Zhang et al. | Fast mode decision based on gradient information in 3D-HEVC | |
CN112468808B (zh) | 一种基于强化学习的i帧目标带宽分配方法及装置 | |
CN114651270A (zh) | 通过时间可变形卷积进行深度环路滤波 | |
CN109996067B (zh) | 一种基于深度的全光图像自适应卷积编码方法 | |
CN104159123B (zh) | 一种适合于硬件实现的hevc运动估计方法 | |
Li et al. | Joint view filtering for multiview depth map sequences | |
Yao et al. | Real-time stereo to multi-view conversion system based on adaptive meshing | |
CN109168000B (zh) | 一种基于rc预测的hevc帧内预测快速算法 | |
CN113111770A (zh) | 一种视频处理方法、装置、终端及存储介质 | |
Li et al. | Fast frame-rate up-conversion of depth video via video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201106 Termination date: 20210503 |