CN108184064B - 一种视角图阵列划分方法 - Google Patents

一种视角图阵列划分方法 Download PDF

Info

Publication number
CN108184064B
CN108184064B CN201810008452.2A CN201810008452A CN108184064B CN 108184064 B CN108184064 B CN 108184064B CN 201810008452 A CN201810008452 A CN 201810008452A CN 108184064 B CN108184064 B CN 108184064B
Authority
CN
China
Prior art keywords
map
view
array
light field
view map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810008452.2A
Other languages
English (en)
Other versions
CN108184064A (zh
Inventor
陈志波
赵盛洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201810008452.2A priority Critical patent/CN108184064B/zh
Publication of CN108184064A publication Critical patent/CN108184064A/zh
Application granted granted Critical
Publication of CN108184064B publication Critical patent/CN108184064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种视角图阵列划分方法，包括：对光场图像进行分解，获得视角图阵列；利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。该方法可以使得参考视角图的比例更低、采样更为稀疏，从而降低总体的编解码复杂度。

Description

一种视角图阵列划分方法
技术领域
本发明涉及光场图像压缩技术领域，尤其涉及一种视角图阵列划分方法。
背景技术
光场相机可以记录空间场景中的光线强度和方向信息(即光场信息)。在光场相机内部，一个微透镜阵列被放置在CCD传感器前方，并位于主透镜的焦距附近。每个微透镜对应于一个像素块(即宏像素)，光场图像由N*M个宏像素组成，其中N和M分别为微透镜阵列的高和宽。若将每个微透镜视为小孔，则主透镜背面在每个宏像素上成倒立的像——即每个宏像素可视为对主透镜在特定方向上的一个采样。
将每个宏像素相同位置的像素点取出依次排列，可以得到2D视角图(或称子孔径图)。光场图像可以利用此方法分解为视角图阵列。显然，相同空间分辨率下，光场图像数据量要数百倍于传统2D图像(Lytro二代光场相机拍摄单幅YUV图像大小50M左右)，这是制约光场技术应用的一个重要因素。因此一套光场图像的高效压缩方案对于图像的存储传输是必须的。
目前(2017年)最高效的编码方式由中国科学技术大学的Zhao等人提出：首先将光场图像分解为视角图阵列，然后将之分为两个部分：参考视角图部分和重建视角图部分。对于前者，重新排列为图像序列，使用HEVC直接编码；对于后者，利用解码后的参考视角图进行重建。但在参考视角图、重建视角图两者划分上面，Zhao的方法仅仅考虑了棋盘格划分，而没有考虑更为稀疏的划分方式。
发明内容
本发明的目的是提供一种视角图阵列划分方法，使得参考视角图的比例更低、采样更为稀疏，可以降低总体的编解码复杂度。
本发明的目的是通过以下技术方案实现的：
一种视角图阵列划分方法，包括：
对光场图像进行分解，获得视角图阵列；
利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。
ADP算法公式如下：
Figure GDA0002384038490000021
其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，
Figure GDA0002384038490000022
表示自然数集。
SMP算法公式如下：
Figure GDA0002384038490000023
其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，
Figure GDA0002384038490000024
表示自然数集。
由上述本发明提供的技术方案可以看出，采用ADP或SMP算法对视角图阵列参考视角图的比例更低、采样更为稀疏；同时，由于重建视角图的编解码复杂度低于视频编码器编码复杂度，因此本方案可以降低总体的编解码复杂度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种视角图阵列划分方法的流程图；
图2为本发明实施例提供的典型的光场图像；
图3为本发明实施例提供的光场图像进行分解的原理图；
图4为本发明实施例提供的视角图阵列划分结果示意图；
图5为本发明实施例提供的编码流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种视角图阵列划分方法，如图1所示，其主要包括如下步骤：
步骤1、对光场图像进行分解，获得视角图阵列。
本步骤可以通过常规技术来实现光场图像的分解，从而获得视角图阵列。
步骤2、利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。
本发明实施例中，可以将划分方法看作一个二值函数M(u,v)，ADP(AntidiagonalPattern)与SMP(Sparse Mesh Pattern)算法的公式依次如下：
Figure GDA0002384038490000031
Figure GDA0002384038490000032
其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，
Figure GDA0002384038490000033
表示自然数集。
划分获得的参考视角图与重建视角图可以利用前文提到的zhao等人的方法分别对参考视角图和重建视角图进行压缩编码。
本发明实施例上述方案相对于zhao等所采用的棋盘格划分，参考视角图的比例更低、采样更为稀疏。同时，由于重建视角图的编解码复杂度低于视频编码器编码复杂度，因此本方案可以降低总体的编解码复杂度。
采用EPFL中的12幅光场图像进行对比实验。与棋盘格方案相比，完全采用ADP划分平均可以节约9.3％码率，而SMP平均可以节约16.48％码率。
对于不同内容的图像，SMP与ADP性能曲线会出现交叉，因此可以根据不同图像、不同码率，选择合适的划分方式，达到最优编码性能
为了便于理解，下面结合具体示例进行说明。
如图2所示，为典型的光场图像；其中，(a)为宏像素，(b)为拍摄得到的光场图像，(c)为分解后得到的视角图。对光场图像进行分解时，通过抽取宏像素相同位置的像素并组合，最终得到视角图，其原理如图3所示。
对于Lytro拍摄得到的光场图像，首先将光场图像分解为分辨率为13x13x434x625x3的视角图阵列，其中13为角度分辨率，434x625为空间分辨率。视角图阵列划分方式采用前文所述的ADP或SMP算法。如图5所示，为视角图阵列划分结果，左、右图分别为ADP算法、SMP算法划分结果；图4中，浅灰色表示参考视角图，深灰色表示重建视角图。
实际工作中，可以根据给定的图像内容和码率，选择合适的划分方式，再按照图5所示流程进行编解码，其中(a)为编码器处理流程，(b)为解码器处理流程。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种视角图阵列划分方法，其特征在于，包括：
对光场图像进行分解，获得视角图阵列；
利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标；
其中，ADP算法公式如下：
Figure FDA0002458560890000011
其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，
Figure FDA0002458560890000012
表示自然数集；
SMP算法公式如下：
Figure FDA0002458560890000013
其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，
Figure FDA0002458560890000014
表示自然数集。
CN201810008452.2A 2018-01-04 2018-01-04 一种视角图阵列划分方法 Active CN108184064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810008452.2A CN108184064B (zh) 2018-01-04 2018-01-04 一种视角图阵列划分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810008452.2A CN108184064B (zh) 2018-01-04 2018-01-04 一种视角图阵列划分方法

Publications (2)

Publication Number Publication Date
CN108184064A CN108184064A (zh) 2018-06-19
CN108184064B true CN108184064B (zh) 2020-06-26

Family

ID=62549846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810008452.2A Active CN108184064B (zh) 2018-01-04 2018-01-04 一种视角图阵列划分方法

Country Status (1)

Country Link
CN (1) CN108184064B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191359A (zh) * 2019-05-16 2019-08-30 华侨大学 一种基于关键子孔径图像选取的光场图像压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
CN103401609A (zh) * 2013-07-31 2013-11-20 中国科学院空间科学与应用研究中心 基于压缩感知与稀疏孔径的自由空间光通信系统及方法
CN104735438A (zh) * 2015-03-09 2015-06-24 南京航空航天大学 一种基于压缩传感的多视点数据采集方法
CN106706638A (zh) * 2016-12-14 2017-05-24 北京理工大学 基于暗条纹逻辑判断的相位成像设备及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
CN106973293B (zh) * 2017-04-21 2020-10-27 中国科学技术大学 基于视差预测的光场图像编码方法
CN107295264B (zh) * 2017-08-01 2019-09-06 清华大学深圳研究生院 一种基于单应性变换光场数据压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
CN103401609A (zh) * 2013-07-31 2013-11-20 中国科学院空间科学与应用研究中心 基于压缩感知与稀疏孔径的自由空间光通信系统及方法
CN104735438A (zh) * 2015-03-09 2015-06-24 南京航空航天大学 一种基于压缩传感的多视点数据采集方法
CN106706638A (zh) * 2016-12-14 2017-05-24 北京理工大学 基于暗条纹逻辑判断的相位成像设备及方法

Also Published As

Publication number Publication date
CN108184064A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
Chen et al. Nerv: Neural representations for videos
Wang et al. Hyperreconnet: Joint coded aperture optimization and image reconstruction for compressive hyperspectral imaging
JP6837056B2 (ja) ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品
CN110599400B (zh) 一种基于epi的光场图像超分辨的方法
CN110612722B (zh) 对数字光场图像编码和解码的方法和设备
CN106534853B (zh) 基于混合扫描顺序的光场图像压缩方法
CN102687500A (zh) 图像恢复装置以及图像恢复方法
JP6872533B2 (ja) ライトフィールドベース画像を符号化および復号する方法および装置、および対応するコンピュータプログラム製品
CN116210219A (zh) 光场图像的处理方法、编码器、解码器及存储介质
CN110366048A (zh) 视频传输方法、装置、电子设备和计算机可读存储介质
Cossalter et al. Joint compressive video coding and analysis
CN108230223A (zh) 基于卷积神经网络的光场角度超分辨率方法及装置
Chandramouli et al. A generative model for generic light field reconstruction
CN108184064B (zh) 一种视角图阵列划分方法
Farrugia et al. A simple framework to leverage state-of-the-art single-image super-resolution methods to restore light fields
Pournaghi et al. Coded acquisition of high frame rate video
CN107770537B (zh) 基于线性重建的光场图像压缩方法
Li et al. High visual-fidelity learned video compression
Yang et al. Graph-convolution network for image compression
Choudhury et al. Low bit-rate compression of video and light-field data using coded snapshots and learned dictionaries
JP6135865B2 (ja) 撮像システム、撮像装置、および撮像方法
Fu et al. Hybrid-context-based multi-prior entropy modeling for learned lossless image compression
Shi et al. A light field demosaicing method with double guided filtering
CN107241600A (zh) 一种静态背景帧内编码方法和装置
Jiang et al. Enhancing high-resolution image compression through local-global joint attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant