CN112218093A - 一种基于视点质量的光场图像视点扫描方法 - Google Patents
一种基于视点质量的光场图像视点扫描方法 Download PDFInfo
- Publication number
- CN112218093A CN112218093A CN202011040195.4A CN202011040195A CN112218093A CN 112218093 A CN112218093 A CN 112218093A CN 202011040195 A CN202011040195 A CN 202011040195A CN 112218093 A CN112218093 A CN 112218093A
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- image
- central
- viewpoints
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于视频压缩技术领域,具体是涉及一种基于视点质量的光场图像视点扫描方法。本发明的方法包括四个部分:视点间质量差异度量、视点质量排序、视差估计及视点质量排序修正。首先利用现有的图像质量评估算法对视点间图像的质量差异进行度量,并对得到的图像质量按降序排列,然后利用现有视差估计算法求解视点间的视差,最后利用求解的视差对已排序的视点图像序列进行修正,生成伪视频序列。利用现有视频编码工具对伪视频序列进行压缩,实验结果表明,本发明所提方法可有效提升编码性能。
Description
技术领域
本发明属于视频压缩技术领域,具体是涉及一种基于视点质量的光场图像视点扫描方法。
背景技术
截至目前,人们对三维场景信息的采集、存储、传输等方面的研究从未停止。尤其是近年来VR/AR的出现,为三维信息处理领域注入新的活力。光场能够提供超多密集视点,在一定的视角范围内能够提供准连续的视角观看效果,已经成为下一代三位电视系统的发展方向之一。然而,光场数据体量大,数据格式异于传统图像,采用现有图像/视频压缩工具难以高效压缩,为光场数据的存储和传输带来巨大压力,极大地阻碍了光场相关技术的发展。
为了提升光场图像的压缩效率,现有主流的压缩算法首先将光场图像转化为多幅多视点图像,然后将多幅多视点图像按照一定的视点扫描顺序生成伪视频序列(Pseudo-sequence),最后用现有的视频编码工具进行压缩。由于视点扫描顺序会影响视频编码过程中的时域参考关系,因此视点扫描顺序会影响编码性能(VIOLA I,RERABEK M,EBRAHIMIT.Comparison and evaluation of light field image coding approaches.IEEEJournal of Selected Topics in Signal Processing,2017,11(7):1092–1106.)。
发明内容
为能够提升现有视频编码工具对光场图像的压缩性能,本发明提供了一种基于视点质量的光场图像视点扫描方法。
本发明的技术方案为:
一种基于视点质量的光场图像视点扫描方法,包括以下步骤:
S1、将光场图像转化为多幅子视点图像,然后对非中心视点图像与中心视点图像的质量差异利用SSIM进行度量,获得所有非中心视点图像与中心视点图像的质量差异值;
该步骤也可通过现有其他全参考图像质量评估算法进行度量;
S2、将获得的质量差异值按降序进行排列;
该步骤可采用现有多种视差估计算法计算得到。
S3、获取所有非中心视点图像之间的视差;
S4、根据步骤S3得到的视差对步骤S2的排序进行调整,具体为:设置阈值N,对任意非边界视点的两个非中心视点,如果视差小于N,则保持排序结果不变;否则,交换视点排序,继续比较后续视点与当前视点的视差,直至满足视差小于N为止;调整后的处于非边界的相邻视点间的视差应小于阈值N。若当前两个视点都属于边界视点,则不再考虑相邻视点间的视差,使得相邻视点间的质量差异最小
S5、根据步骤S4获得的排序进行视点扫描,生成伪视频序列,并用现有视频编码工具对伪视频序列进行压缩。
进一步的,步骤S1的具体方法是:
对非中心视点图像V和中心视点图像Vc,其质量差异q为:
q=SSIM(V,Vc)
SSIM(V,Vc)=l(V,Vc)·c(V,Vc)·s(V,Vc)
其中,l(V,Vc)、c(V,Vc)和s(V,Vc)分别为非中心视点图像V和中心视点图像Vc的亮度、对比度和结构信息相似度的度量:
c1、c2和c3分别为常数,μV和μVc分别为非中心视点图像V和中心视点图像Vc的亮度分量均值,σV和σVc分别为非中心视点图像V和中心视点图像Vc的均方差,σVVc分别为非中心视点图像V和中心视点图像Vc的协方差。
进一步的,视点的视差采用非中心视点与中心视点的距离来表示。
本发明的有益效果是:本发明的视点扫描方法综合考虑视点间的视差和质量差异两个因素,在扫描视点时使得相邻视点间的差异较小,能提升相邻视点间的相关性,从而有效提升编码性能。
附图说明
图1为算法流程图;
图2为光场图像转化后得到的15*15视点阵列示意图;
图3为本发明中非中心视点与中心视点距离计算的示意图;
图4为光场图像子视点排序结果图;
图5为对比算法扫描方式示意图;图中(a)(b)(c)(d)分别为纵向扫描、之字形扫描、横向扫描和回字形扫描方式。
具体实施方式
下面结合附图及实施例,详细描述本发明的技术方案。
实施例
本例以HEVC为编码工具,在实施过程中进行以下操作:
1、从EPFL(M.Rerabek,T.Ebrahimi.New light field image dataset[C].International Conference on Quality of Multimedia Experience.Lisbon,Portugal,2016,1-2)数据库中选取4幅光场图像,然后将光场图像转化为多幅子视点图像。图2展示了有光场图像转化后得到的15*15视点阵列示意图。选取文献(I.Viola,M.Rerabek,T.Ebrahimi.Comparison and evaluation of light field image codingapproaches[J].IEEE Journal of Selected Topics in Signal Processing,2017,11(7):1092-1106)和文献(C.Perra,D.Giusto,.JPEG 2000compression of unfocusedlight field images based on lenslet array slicing[C].IEEE InternationalConference on Consumer Electronics,Las Vegas,USA,2017)中的视点扫描方式作为对比算法。图3展示了四种对比算法视点扫描方式的示意图。
2、采用公式(1)对非中心视点图像与中心视点图像的质量差异利用SSIM进行度量(Z.Wang,A.C.Bovik,H.R.Sheikh and E.P.Simoncelli,"Image quality assessment:from error visibility to structural similarity",IEEE Transactions on ImageProcessing,vol.13,no.4,pp.600-612,2004.)。对非中心视点图像V和中心视点图像Vc,其质量差异q可表示为:
q=SSIM(V,Vc) (1)
SSIM的计算方式可由式(2)计算得出:
SSIM(V,Vc)=l(V,Vc)·c(V,Vc)·s(V,Vc) (2)
其中,l(V,Vc)、c(V,Vc)和s(V,Vc)分别为非中心视点图像V和中心视点图像Vc的亮度、对比度和结构信息相似度的度量,分别由式(3)、式(4)和式(5)表示:
在式(3)、式(4)和式(5)中,c1、c2和c3分别为常数,μV和μVc分别为非中心视点图像V和中心视点图像Vc的亮度分量均值,σV和σVc分别为非中心视点图像V和中心视点图像Vc的均方差,σVVc分别为非中心视点图像V和中心视点图像Vc的协方差。
3、对得到的质量评估结果按降序排列。
4、考虑到编码时间,视点的视差采用非中心视点与中心视点的距离来表示。图4给出了非中心视点与中心视点距离计算的示意图。
5、设置视差阈值N,在实际操作中,视差由非中心视点与中心视点的距离表示,可将阈值N设置为1.5。图5展示了最终所得的视点扫描顺序结果示意图。
6、设置HEVC编码的量化参数{22,27,32,37},以之字形扫描方式作为基准并利用BD-rate作为编码性能的评价指标。
表1展示了本发明的方法同类似方法的编码性能对比结果,可以看出,本发明中的方法能够有效地提升编码性能。
表1本发明的方法同类似方法的编码性能对比结果
Claims (3)
1.一种基于视点质量的光场图像视点扫描方法,其特征在于,包括以下步骤:
S1、将光场图像转化为多幅子视点图像,然后对非中心视点图像与中心视点图像的质量差异利用SSIM进行度量,获得所有非中心视点图像与中心视点图像的质量差异值;
S2、将获得的质量差异值按降序进行排列;
S3、获取所有非中心视点图像之间的视差;
S4、根据步骤S3得到的视差对步骤S2的排序进行调整,具体为:将视点划分为边界视点非边界视点,并设置阈值N,对非边界视点,对任意相邻的两个非中心视点,如果视差小于N,则保持排序结果不变;否则,交换视点排序,并继续与后续视点比较,直至满足视差小于N为止;调整后的序列满足非边界的相邻视点间的时差均小于阈值N;对边界视点,不进行调整;
S5、根据步骤S4获得的排序进行视点扫描,生成伪视频序列。
3.根据权利要求2所述的一种基于视点质量的光场图像视点扫描方法,其特征在于,步骤S3中,视点的视差采用非中心视点与中心视点的距离来表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040195.4A CN112218093B (zh) | 2020-09-28 | 2020-09-28 | 一种基于视点质量的光场图像视点扫描方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040195.4A CN112218093B (zh) | 2020-09-28 | 2020-09-28 | 一种基于视点质量的光场图像视点扫描方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112218093A true CN112218093A (zh) | 2021-01-12 |
CN112218093B CN112218093B (zh) | 2022-08-05 |
Family
ID=74052078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011040195.4A Active CN112218093B (zh) | 2020-09-28 | 2020-09-28 | 一种基于视点质量的光场图像视点扫描方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112218093B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104081414A (zh) * | 2011-09-28 | 2014-10-01 | 派力肯影像公司 | 用于编码和解码光场图像文件的系统及方法 |
JP2015080125A (ja) * | 2013-10-18 | 2015-04-23 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
CN105488760A (zh) * | 2015-12-08 | 2016-04-13 | 电子科技大学 | 基于流场的虚拟图像拼接方法 |
CN106534853A (zh) * | 2016-12-21 | 2017-03-22 | 中国科学技术大学 | 基于混合扫描顺序的光场图像压缩方法 |
CN106662749A (zh) * | 2014-07-15 | 2017-05-10 | 奥斯坦多科技公司 | 用于全视差光场压缩的预处理器 |
US20190320186A1 (en) * | 2018-04-12 | 2019-10-17 | Ostendo Technologies, Inc. | Methods for MR-DIBR Disparity Map Merging and Disparity Threshold Determination |
CN110392266A (zh) * | 2019-07-25 | 2019-10-29 | 清华大学深圳研究生院 | 一种基于伪视频序列的光场视频编码方法和终端设备 |
CN111010583A (zh) * | 2019-11-29 | 2020-04-14 | 杭州电子科技大学 | 一种基于残差分块的自适应多视点视频错误隐藏方法 |
-
2020
- 2020-09-28 CN CN202011040195.4A patent/CN112218093B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104081414A (zh) * | 2011-09-28 | 2014-10-01 | 派力肯影像公司 | 用于编码和解码光场图像文件的系统及方法 |
JP2015080125A (ja) * | 2013-10-18 | 2015-04-23 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
CN106662749A (zh) * | 2014-07-15 | 2017-05-10 | 奥斯坦多科技公司 | 用于全视差光场压缩的预处理器 |
CN105488760A (zh) * | 2015-12-08 | 2016-04-13 | 电子科技大学 | 基于流场的虚拟图像拼接方法 |
CN106534853A (zh) * | 2016-12-21 | 2017-03-22 | 中国科学技术大学 | 基于混合扫描顺序的光场图像压缩方法 |
US20190320186A1 (en) * | 2018-04-12 | 2019-10-17 | Ostendo Technologies, Inc. | Methods for MR-DIBR Disparity Map Merging and Disparity Threshold Determination |
CN110392266A (zh) * | 2019-07-25 | 2019-10-29 | 清华大学深圳研究生院 | 一种基于伪视频序列的光场视频编码方法和终端设备 |
CN111010583A (zh) * | 2019-11-29 | 2020-04-14 | 杭州电子科技大学 | 一种基于残差分块的自适应多视点视频错误隐藏方法 |
Non-Patent Citations (4)
Title |
---|
DONG LIU ET AL: "PSEUDO-SEQUENCE-BASED LIGHT FIELD IMAGE COMPRESSION", 《2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 * |
YU YANG LIU ET AL: "Light field image compression based on quality aware pseudo-temporal sequence", 《ELECTRONICS LETTERS》 * |
刘宇洋: "视频编码率失真优化技术及其应用研究", 《中国博士学位论文全文数据库 (信息科技辑)》 * |
程龙等: "基于光场渲染的多视点视频编解码方法研究", 《中国科学技术大学学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112218093B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220394226A1 (en) | Free viewpoint video generation and interaction method based on deep convolutional neural network | |
CN111355956B (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法 | |
EP0579319A2 (en) | Tracking moving objects | |
CN108259916B (zh) | 一种分布式视频压缩感知中帧内最佳匹配插值重构方法 | |
CN108347612B (zh) | 一种基于视觉注意机制的监控视频压缩与重构方法 | |
CN102970529B (zh) | 一种基于对象的多视点视频分形编码压缩与解压缩方法 | |
WO2000060847A1 (en) | Image compression | |
Shi et al. | Feature-based image set compression | |
Jin et al. | Plenoptic image coding using macropixel-based intra prediction | |
CN111369548A (zh) | 一种基于生成对抗网络的无参考视频质量评价方法及装置 | |
KR101129713B1 (ko) | 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 | |
CN106791869B (zh) | 基于光场子孔径图像相对位置关系的快速运动搜索方法 | |
Van Duong et al. | Focal stack based light field coding for refocusing applications | |
CN115063469A (zh) | 基于多帧散斑的时空立体匹配方法 | |
JPH11308610A (ja) | 映像信号適応的符号化装置 | |
CN109523508B (zh) | 一种密集光场质量评价方法 | |
CN112218093B (zh) | 一种基于视点质量的光场图像视点扫描方法 | |
Zhang et al. | An inter-image redundancy measure for image set compression | |
CN111385585B (zh) | 一种基于机器学习的3d-hevc深度图编码单元划分方法 | |
CN112770116A (zh) | 用视频压缩编码信息提取视频关键帧的方法 | |
CN103544717A (zh) | 一种基于sift特征的二阶段三维图像压缩编码方法 | |
CN116489333A (zh) | 一种面向深度图编码单元划分的边缘分类模型构建方法 | |
CN107509074B (zh) | 基于压缩感知的自适应3d视频压缩编解码方法 | |
Liu et al. | Progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds | |
CN115802038A (zh) | 一种量化参数确定方法、装置及一种视频编码方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |