CN112218093B - 一种基于视点质量的光场图像视点扫描方法 - Google Patents

一种基于视点质量的光场图像视点扫描方法 Download PDF

Info

Publication number
CN112218093B
CN112218093B CN202011040195.4A CN202011040195A CN112218093B CN 112218093 B CN112218093 B CN 112218093B CN 202011040195 A CN202011040195 A CN 202011040195A CN 112218093 B CN112218093 B CN 112218093B
Authority
CN
China
Prior art keywords
viewpoint
image
central
quality
viewpoints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011040195.4A
Other languages
English (en)
Other versions
CN112218093A (zh
Inventor
朱策
刘宇洋
郭红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011040195.4A priority Critical patent/CN112218093B/zh
Publication of CN112218093A publication Critical patent/CN112218093A/zh
Application granted granted Critical
Publication of CN112218093B publication Critical patent/CN112218093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties

Abstract

本发明属于视频压缩技术领域，具体是涉及一种基于视点质量的光场图像视点扫描方法。本发明的方法包括四个部分：视点间质量差异度量、视点质量排序、视差估计及视点质量排序修正。首先利用现有的图像质量评估算法对视点间图像的质量差异进行度量，并对得到的图像质量按降序排列，然后利用现有视差估计算法求解视点间的视差，最后利用求解的视差对已排序的视点图像序列进行修正，生成伪视频序列。利用现有视频编码工具对伪视频序列进行压缩，实验结果表明，本发明所提方法可有效提升编码性能。

Description

一种基于视点质量的光场图像视点扫描方法
技术领域
本发明属于视频压缩技术领域，具体是涉及一种基于视点质量的光场图像视点扫描方法。
背景技术
截至目前，人们对三维场景信息的采集、存储、传输等方面的研究从未停止。尤其是近年来VR/AR的出现，为三维信息处理领域注入新的活力。光场能够提供超多密集视点，在一定的视角范围内能够提供准连续的视角观看效果，已经成为下一代三位电视系统的发展方向之一。然而，光场数据体量大，数据格式异于传统图像，采用现有图像/视频压缩工具难以高效压缩，为光场数据的存储和传输带来巨大压力，极大地阻碍了光场相关技术的发展。
为了提升光场图像的压缩效率，现有主流的压缩算法首先将光场图像转化为多幅多视点图像，然后将多幅多视点图像按照一定的视点扫描顺序生成伪视频序列(Pseudo-sequence)，最后用现有的视频编码工具进行压缩。由于视点扫描顺序会影响视频编码过程中的时域参考关系，因此视点扫描顺序会影响编码性能(VIOLA I,RERABEK M,EBRAHIMIT.Comparison and evaluation of light field image coding approaches.IEEEJournal of Selected Topics in Signal Processing,2017,11(7):1092–1106.)。
发明内容
为能够提升现有视频编码工具对光场图像的压缩性能，本发明提供了一种基于视点质量的光场图像视点扫描方法。
本发明的技术方案为：
一种基于视点质量的光场图像视点扫描方法，包括以下步骤：
S1、将光场图像转化为多幅子视点图像，然后对非中心视点图像与中心视点图像的质量差异利用SSIM进行度量，获得所有非中心视点图像与中心视点图像的质量差异值；
该步骤也可通过现有其他全参考图像质量评估算法进行度量；
S2、将获得的质量差异值按降序进行排列；
该步骤可采用现有多种视差估计算法计算得到。
S3、获取所有非中心视点图像之间的视差；
S4、根据步骤S3得到的视差对步骤S2的排序进行调整，具体为：设置阈值N，对任意非边界视点的两个非中心视点，如果视差小于N，则保持排序结果不变；否则，交换视点排序，继续比较后续视点与当前视点的视差，直至满足视差小于N为止；调整后的处于非边界的相邻视点间的视差应小于阈值N。若当前两个视点都属于边界视点，则不再考虑相邻视点间的视差，使得相邻视点间的质量差异最小
S5、根据步骤S4获得的排序进行视点扫描，生成伪视频序列，并用现有视频编码工具对伪视频序列进行压缩。
进一步的，步骤S1的具体方法是：
对非中心视点图像V和中心视点图像Vc，其质量差异q为：
q＝SSIM(V,Vc)
SSIM(V,Vc)＝l(V,Vc)·c(V,Vc)·s(V,Vc)
其中，l(V,Vc)、c(V,Vc)和s(V,Vc)分别为非中心视点图像V和中心视点图像Vc的亮度、对比度和结构信息相似度的度量：
Figure BDA0002706412420000021
Figure BDA0002706412420000022
Figure BDA0002706412420000023
c1、c2和c3分别为常数，μV和μVc分别为非中心视点图像V和中心视点图像Vc的亮度分量均值，σV和σVc分别为非中心视点图像V和中心视点图像Vc的均方差，σVVc分别为非中心视点图像V和中心视点图像Vc的协方差。
进一步的，视点的视差采用非中心视点与中心视点的距离来表示。
本发明的有益效果是：本发明的视点扫描方法综合考虑视点间的视差和质量差异两个因素，在扫描视点时使得相邻视点间的差异较小，能提升相邻视点间的相关性，从而有效提升编码性能。
附图说明
图1为算法流程图；
图2为光场图像转化后得到的15*15视点阵列示意图；
图3为本发明中非中心视点与中心视点距离计算的示意图；
图4为光场图像子视点排序结果图；
图5为对比算法扫描方式示意图；图中(a)(b)(c)(d)分别为纵向扫描、之字形扫描、横向扫描和回字形扫描方式。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
实施例
本例以HEVC为编码工具，在实施过程中进行以下操作：
1、从EPFL(M.Rerabek,T.Ebrahimi.New light field image dataset[C].International Conference on Quality of Multimedia Experience.Lisbon,Portugal,2016,1-2)数据库中选取4幅光场图像，然后将光场图像转化为多幅子视点图像。图2展示了有光场图像转化后得到的15*15视点阵列示意图。选取文献(I.Viola,M.Rerabek,T.Ebrahimi.Comparison and evaluation of light field image codingapproaches[J].IEEE Journal of Selected Topics in Signal Processing,2017,11(7):1092-1106)和文献(C.Perra,D.Giusto,.JPEG 2000compression of unfocusedlight field images based on lenslet array slicing[C].IEEE InternationalConference on Consumer Electronics,Las Vegas,USA,2017)中的视点扫描方式作为对比算法。图3展示了四种对比算法视点扫描方式的示意图。
2、采用公式(1)对非中心视点图像与中心视点图像的质量差异利用SSIM进行度量(Z.Wang,A.C.Bovik,H.R.Sheikh and E.P.Simoncelli,"Image quality assessment:from error visibility to structural similarity",IEEE Transactions on ImageProcessing,vol.13,no.4,pp.600-612,2004.)。对非中心视点图像V和中心视点图像Vc，其质量差异q可表示为：
q＝SSIM(V,Vc) (1)
SSIM的计算方式可由式(2)计算得出：
SSIM(V,Vc)＝l(V,Vc)·c(V,Vc)·s(V,Vc) (2)
其中，l(V,Vc)、c(V,Vc)和s(V,Vc)分别为非中心视点图像V和中心视点图像Vc的亮度、对比度和结构信息相似度的度量，分别由式(3)、式(4)和式(5)表示：
Figure BDA0002706412420000041
Figure BDA0002706412420000042
Figure BDA0002706412420000043
在式(3)、式(4)和式(5)中，c1、c2和c3分别为常数，μV和μVc分别为非中心视点图像V和中心视点图像Vc的亮度分量均值，σV和σVc分别为非中心视点图像V和中心视点图像Vc的均方差，σVVc分别为非中心视点图像V和中心视点图像Vc的协方差。
3、对得到的质量评估结果按降序排列。
4、考虑到编码时间，视点的视差采用非中心视点与中心视点的距离来表示。图4给出了非中心视点与中心视点距离计算的示意图。
5、设置视差阈值N，在实际操作中，视差由非中心视点与中心视点的距离表示，可将阈值N设置为1.5。图5展示了最终所得的视点扫描顺序结果示意图。
6、设置HEVC编码的量化参数{22，27，32，37}，以之字形扫描方式作为基准并利用BD-rate作为编码性能的评价指标。
表1展示了本发明的方法同类似方法的编码性能对比结果，可以看出，本发明中的方法能够有效地提升编码性能。
表1本发明的方法同类似方法的编码性能对比结果
Figure BDA0002706412420000051

Claims (3)

1.一种基于视点质量的光场图像视点扫描方法，其特征在于，包括以下步骤：
S1、将光场图像转化为多幅子视点图像，然后对非中心视点图像与中心视点图像的质量差异利用SSIM进行度量，获得所有非中心视点图像与中心视点图像的质量差异值；
S2、将获得的质量差异值按降序进行排列；
S3、获取所有非中心视点图像之间的视差；
S4、根据步骤S3得到的视差对步骤S2的排序进行调整，具体为：将视点划分为边界视点非边界视点，并设置阈值N，对非边界视点，对任意相邻的两个非中心视点，如果视差小于N，则保持排序结果不变；否则，交换视点排序，并继续与后续视点比较，直至满足视差小于N为止；调整后的序列满足非边界的相邻视点间的时差均小于阈值N；对边界视点，不进行调整；
S5、根据步骤S4获得的排序进行视点扫描，生成伪视频序列。
2.根据权利要求1所述的一种基于视点质量的光场图像视点扫描方法，其特征在于，步骤S1的具体方法是：
对非中心视点图像V和中心视点图像Vc，其质量差异q为：
q＝SSIM(V,Vc)
SSIM(V,Vc)＝l(V,Vc)·c(V,Vc)·s(V,Vc)
其中，l(V,Vc)、c(V,Vc)和s(V,Vc)分别为非中心视点图像V和中心视点图像Vc的亮度、对比度和结构信息相似度的度量：
Figure FDA0002706412410000011
Figure FDA0002706412410000012
Figure FDA0002706412410000013
c1、c2和c3分别为常数，μV和
Figure FDA0002706412410000021
分别为非中心视点图像V和中心视点图像Vc的亮度分量均值，σV和
Figure FDA0002706412410000022
分别为非中心视点图像V和中心视点图像Vc的均方差，
Figure FDA0002706412410000023
分别为非中心视点图像V和中心视点图像Vc的协方差。
3.根据权利要求2所述的一种基于视点质量的光场图像视点扫描方法，其特征在于，步骤S3中，视点的视差采用非中心视点与中心视点的距离来表示。
CN202011040195.4A 2020-09-28 2020-09-28 一种基于视点质量的光场图像视点扫描方法 Active CN112218093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011040195.4A CN112218093B (zh) 2020-09-28 2020-09-28 一种基于视点质量的光场图像视点扫描方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011040195.4A CN112218093B (zh) 2020-09-28 2020-09-28 一种基于视点质量的光场图像视点扫描方法

Publications (2)

Publication Number Publication Date
CN112218093A CN112218093A (zh) 2021-01-12
CN112218093B true CN112218093B (zh) 2022-08-05

Family

ID=74052078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011040195.4A Active CN112218093B (zh) 2020-09-28 2020-09-28 一种基于视点质量的光场图像视点扫描方法

Country Status (1)

Country Link
CN (1) CN112218093B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081414A (zh) * 2011-09-28 2014-10-01 派力肯影像公司 用于编码和解码光场图像文件的系统及方法
JP2015080125A (ja) * 2013-10-18 2015-04-23 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN105488760A (zh) * 2015-12-08 2016-04-13 电子科技大学 基于流场的虚拟图像拼接方法
CN106534853A (zh) * 2016-12-21 2017-03-22 中国科学技术大学 基于混合扫描顺序的光场图像压缩方法
CN106662749A (zh) * 2014-07-15 2017-05-10 奥斯坦多科技公司 用于全视差光场压缩的预处理器
CN110392266A (zh) * 2019-07-25 2019-10-29 清华大学深圳研究生院 一种基于伪视频序列的光场视频编码方法和终端设备
CN111010583A (zh) * 2019-11-29 2020-04-14 杭州电子科技大学 一种基于残差分块的自适应多视点视频错误隐藏方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931956B2 (en) * 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081414A (zh) * 2011-09-28 2014-10-01 派力肯影像公司 用于编码和解码光场图像文件的系统及方法
JP2015080125A (ja) * 2013-10-18 2015-04-23 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN106662749A (zh) * 2014-07-15 2017-05-10 奥斯坦多科技公司 用于全视差光场压缩的预处理器
CN105488760A (zh) * 2015-12-08 2016-04-13 电子科技大学 基于流场的虚拟图像拼接方法
CN106534853A (zh) * 2016-12-21 2017-03-22 中国科学技术大学 基于混合扫描顺序的光场图像压缩方法
CN110392266A (zh) * 2019-07-25 2019-10-29 清华大学深圳研究生院 一种基于伪视频序列的光场视频编码方法和终端设备
CN111010583A (zh) * 2019-11-29 2020-04-14 杭州电子科技大学 一种基于残差分块的自适应多视点视频错误隐藏方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Light field image compression based on quality aware pseudo-temporal sequence;Yu Yang Liu et al;《ELECTRONICS LETTERS》;20180419;第54卷(第8期);500-501 *
PSEUDO-SEQUENCE-BASED LIGHT FIELD IMAGE COMPRESSION;Dong Liu et al;《2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)》;20160926;1-4 *
基于光场渲染的多视点视频编解码方法研究;程龙等;《中国科学技术大学学报》;20100815(第08期);45-50 *
视频编码率失真优化技术及其应用研究;刘宇洋;《中国博士学位论文全文数据库 (信息科技辑)》;20200715;I136-35 *

Also Published As

Publication number Publication date
CN112218093A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
Tian et al. NIQSV+: A no-reference synthesized view quality assessment metric
JP4732660B2 (ja) ビジュアルアテンションシステム
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
WO2000060847A1 (en) Image compression
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
Shi et al. Feature-based image set compression
Jin et al. Plenoptic image coding using macropixel-based intra prediction
Meng et al. Full reference light field image quality evaluation based on angular-spatial characteristic
CN102905150A (zh) 一种新的多视点视频分形编码压缩与解压缩方法
KR101129713B1 (ko) 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
CN111369548A (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
US20150169632A1 (en) Method and apparatus for image processing and computer readable medium
CN106791869B (zh) 基于光场子孔径图像相对位置关系的快速运动搜索方法
Van Duong et al. Focal stack based light field coding for refocusing applications
CN115063469A (zh) 基于多帧散斑的时空立体匹配方法
Kishk et al. Integral images compression using discrete wavelets and PCA
CN109523508B (zh) 一种密集光场质量评价方法
CN112218093B (zh) 一种基于视点质量的光场图像视点扫描方法
Zhang et al. An inter-image redundancy measure for image set compression
CN111385585B (zh) 一种基于机器学习的3d-hevc深度图编码单元划分方法
CN103544717A (zh) 一种基于sift特征的二阶段三维图像压缩编码方法
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
Liu et al. Progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds
CN116489333A (zh) 一种面向深度图编码单元划分的边缘分类模型构建方法
CN106657999A (zh) 一种hevc帧内预测编码单元快速选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant