CN110310269B - 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 - Google Patents
基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 Download PDFInfo
- Publication number
- CN110310269B CN110310269B CN201910569095.1A CN201910569095A CN110310269B CN 110310269 B CN110310269 B CN 110310269B CN 201910569095 A CN201910569095 A CN 201910569095A CN 110310269 B CN110310269 B CN 110310269B
- Authority
- CN
- China
- Prior art keywords
- light field
- field image
- distorted
- gabor
- polar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,方法包括:对参考光场图像和失真光场图像分别提取极平面图;分别计算参考极平面图和失真极平面图三个尺度和四个方向下的Gabor特征图;分别融合参考极平面图和失真极平面图同一尺度不同方向的Gabor特征图得到极平面多尺度Gabor特征图,进而计算得到极平面多尺度Gabor特征相似度图;基于极平面多尺度Gabor特征相似度图得到最终失真光场图像质量评价值。本发明利用极平面多尺度Gabor特征描述极平面图像的细节信息,进而反映出光场图像中场景结构的变化,具有较好的光场图像质量评价性能。
Description
技术领域
本发明属于图像处理领域,涉及图像质量评价方法,尤其是涉及一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法。
背景技术
随着视觉媒体技术的快速发展,光场成像引起了学术界和工业界的密切关注,并广泛地应用于计算机图形学领域,如三维重建、多视图分割、合成孔径成像等。与传统成像不同,光场成像收集来自空间中通过任意点任意方向上的光流。由此所得到的光场图像往往更能够反映出真实场景中位置和方向信息。
光场图像在生成、处理、压缩、存储、传输和渲染的过程中不可避免地会引入各种失真从而影响光场图像的感知质量和相关的系统性能。尽管目前已有大量的工作在图像质量评价领域开展,但现有的大多数质量评价算法都是针对于自然图像而设计,它们往往不适用于光场图像质量评价。由于不同的图像类型具有不同的图像特征,光场图像携带更多的场景信息,因此设计符合人类视觉系统对光场图像主观感知度的质量评价方法成为图像质量评价领域的迫切需求。
发明内容
本发明的目的在于突破现有技术的局限性,提出了基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,解决现有技术的评估方法未能考虑光场图像的结构特性。
本发明解其技术问题所采用的技术方案是:
一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,步骤如下:
接收参考光场图像Lr={Lr,1,Lr,2,...,Lr,K}和失真光场图像Ld={Ld,1,Ld,2,...,Ld,K},其中,K为视点数目;
提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed;
计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o;
计算参考Gabor特征图Rs,o在同一尺度不同方向下的Gabor特征图Rs(x,y),并计算失真Gabor特征图Ds,o在同一尺度不同方向下的Gabor特征图Ds(x,y),将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims;
基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值。
优选的,提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed,具体包括:将每个视点下光场图像中固定行的信息汇集形成极平面图,用公式表示为:
Er=Er(n,i)=Lr(n,i)
Ed=Ed(n,i)=Ld(n,i)
其中,Lr(n,i)为第i个视点下参考光场图像的第n行,Ld(n,i)为第i个视点下失真光场图像的第n行,Er(n,i)表示第n张参考极平面图的第i行,Ed(n,i)表示第n张失真极平面图的第i行;对于分辨率为M×N、视点数为K的光场图像,可以得到N张分辨率为M×K的极平面图。
优选的,计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
其中,s和o分别表示特征提取的尺度和方向,s=1,2,3,o=1,2,3,4;Gs,o为Gabor滤波器,表示如下:
优选的,计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
优选的,将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims,具体如下:
其中,Cs为稳定系数,Cs=1。
优选的,基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值,具体包括:
步骤6.1,计算单一尺度下的失真光场图像质量评价值,如下:
其中,M×K表示极平面图的大小,N为极平面图的总数,Ω表示输入图像的全部像素点,μ为GSims的均值;
步骤6.2,计算最终失真光场图像Ld的质量评价值,如下:
其中,βs用于调节每个尺度的影响程度,β1=0.05,β2=0.15,β3=0.25,β4=0.55。
本发明的有益效果如下:
本发明提供了一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,通过Gabor滤波器来模拟人脑处理多分辨率信息的特殊功能,利用多尺度机制更好地描述光场图像中场景结构变化的细节内容,反应人眼视主观视觉系统对于光场图像的主观感知度,具有较好的光场图像质量评价性能。
附图说明
图1是本发明的流程示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明为了解决现有技术的评估方法未能考虑光场图像的结构特性,提供一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,如图1所示,具体步骤如下:
步骤1,接收参考光场图像Lr={Lr,1,Lr,2,...,Lr,K}和失真光场图像Ld={Ld,1,Ld,2,...,Ld,K},其中K为视点数目。
步骤2,分别提取参考光场图像Lr和失真光场图像Ld的参考极平面图Er和失真极平面图Ed。从光场图像L={L1,L2,...,LK}(K为视点数目)提取极平面图的方法如下:
将每个视点下光场图像中固定行的信息汇集形成极平面图,用公式表示为:
Er=Er(n,i)=Lr(n,i)
Ed=Ed(n,i)=Ld(n,i)
其中,Lr(n,i)为第i个视点下参考光场图像的第n行,Ld(n,i)为第i个视点下失真光场图像的第n行,Er(n,i)表示第n张参考极平面图的第i行,Ed(n,i)表示第n张失真极平面图的第i行;对于分辨率为M×N、视点数为K的光场图像,可以得到N张分辨率为M×K的极平面图。
步骤3,分别计算参考极平面图Er和失真极平面图Ed三个尺度和四个方向下的参考Gabor特征图Rs,o和失真Gabor特征图Ds,o,用公式表示为:
其中,s和o分别表示分解的尺度和方向,s=1,2,3,o=1,2,3,4。Gs,o为Gabor滤波器,如下:
步骤4,分别融合同一尺度不同方向下的参考Gabor特征图Rs,o和失真Gabor特征图Ds,o得到极平面多尺度Gabor特征相似度图GSims。
具体地,对于参考Gabor特征图Rs,o和失真Gabor特征图Ds,o,同一尺度不同方向下的Gabor特征图的计算方式如下:
极平面多尺度Gabor特征相似度图的计算方法如下:
其中Cs为稳定系数,Cs=1。
步骤5,基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值。
具体地,计算单一尺度下的失真光场图像质量评价值如下:
其中,M×K表示极平面图的大小,N为极平面图的总数,Ω表示输入图像的全部像素点,μ为GSims的均值。
最终失真光场图像Ld的质量评价值的计算方法如下:
其中,βs用于调节每个尺度的影响程度,β1=0.05,β2=0.15,β3=0.25,β4=0.55。
上述实施例仅是用来说明本发明,而并非用作对本发明的限定。只要是依据本发明的技术实质,对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (1)
1.一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,步骤如下:
接收参考光场图像Lr={Lr,1,Lr,2,...,Lr,K}和失真光场图像Ld={Ld,1,Ld,2,...,Ld,K},其中,K为视点数目;
提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed;
计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o;
计算参考Gabor特征图Rs,o在同一尺度不同方向下的Gabor特征图Rs(x,y),并计算失真Gabor特征图Ds,o在同一尺度不同方向下的Gabor特征图Ds(x,y),将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims;
基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值;
提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed,具体包括:将每个视点下光场图像中固定行的信息汇集形成极平面图,用公式表示为:
Er=Er(n,i)=Lr(n,i)
Ed=Ed(n,i)=Ld(n,i)
其中,Lr(n,i)为第i个视点下参考光场图像的第n行,Ld(n,i)为第i个视点下失真光场图像的第n行,Er(n,i)表示第n张参考极平面图的第i行,Ed(n,i)表示第n张失真极平面图的第i行;对于分辨率为M×N、视点数为K的光场图像,可以得到N张分辨率为M×K的极平面图;
计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
其中,s和o分别表示特征提取的尺度和方向,s=1,2,3,o=1,2,3,4;Gs,o为Gabor滤波器,表示如下:
计算参考Gabor特征图Rs,o在同一尺度不同方向下的Gabor特征图Rs(x,y),并计算失真Gabor特征图Ds,o在同一尺度不同方向下的Gabor特征图Ds(x,y),具体如下:
将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims,具体如下:
其中,Cs为稳定系数,Cs=1;
基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值,具体包括:
步骤6.1,计算单一尺度下的失真光场图像质量评价值,如下:
其中,M×K表示极平面图的大小,N为极平面图的总数,Ω表示输入图像的全部像素点,μ为GSims的均值;
步骤6.2,计算最终失真光场图像Ld的质量评价值,如下:
其中,βs用于调节每个尺度的影响程度,β1=0.05,β2=0.15,β3=0.25,β4=0.55。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569095.1A CN110310269B (zh) | 2019-06-27 | 2019-06-27 | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569095.1A CN110310269B (zh) | 2019-06-27 | 2019-06-27 | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110310269A CN110310269A (zh) | 2019-10-08 |
CN110310269B true CN110310269B (zh) | 2022-11-01 |
Family
ID=68077814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910569095.1A Active CN110310269B (zh) | 2019-06-27 | 2019-06-27 | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110310269B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111524104B (zh) * | 2020-04-13 | 2023-03-24 | 华侨大学 | 基于多尺度轮廓波特征的全参考光场图像质量评价方法 |
CN112967242B (zh) * | 2021-02-26 | 2023-07-04 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN117911367A (zh) * | 2024-01-18 | 2024-04-19 | 安庆师范大学 | 一种光场图像全参考质量评价方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
CN106504230A (zh) * | 2016-10-11 | 2017-03-15 | 华侨大学 | 基于相位一致性的全参考彩色屏幕图像质量评估方法 |
CN107705286A (zh) * | 2017-08-23 | 2018-02-16 | 南京航空航天大学 | 一种彩色图像质量综合评价方法 |
CN108447059A (zh) * | 2018-04-09 | 2018-08-24 | 华侨大学 | 一种全参考光场图像质量评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109523508A (zh) * | 2018-09-27 | 2019-03-26 | 宁波大学 | 一种密集光场质量评价方法 |
CN109801273A (zh) * | 2019-01-08 | 2019-05-24 | 华侨大学 | 一种基于极平面线性相似度的光场图像质量评价方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8406563B2 (en) * | 2009-07-28 | 2013-03-26 | National Taiwan University | Photometric calibration method and device |
CN105447884B (zh) * | 2015-12-21 | 2017-11-24 | 宁波大学 | 一种基于流形特征相似度的图像质量客观评价方法 |
-
2019
- 2019-06-27 CN CN201910569095.1A patent/CN110310269B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
CN106504230A (zh) * | 2016-10-11 | 2017-03-15 | 华侨大学 | 基于相位一致性的全参考彩色屏幕图像质量评估方法 |
CN107705286A (zh) * | 2017-08-23 | 2018-02-16 | 南京航空航天大学 | 一种彩色图像质量综合评价方法 |
CN108447059A (zh) * | 2018-04-09 | 2018-08-24 | 华侨大学 | 一种全参考光场图像质量评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109523508A (zh) * | 2018-09-27 | 2019-03-26 | 宁波大学 | 一种密集光场质量评价方法 |
CN109801273A (zh) * | 2019-01-08 | 2019-05-24 | 华侨大学 | 一种基于极平面线性相似度的光场图像质量评价方法 |
Non-Patent Citations (6)
Title |
---|
Light Field Image Quality Assessment via the Light Field Coherence;Yu Tian 等;《IEEE Transactions on Image Processing》;20200717;第129卷;第7945-7956页 * |
利用边缘相似度的光场图像质量评价;田钰 等;《信号处理》;20181031;第34卷(第10期);第1197-1202页 * |
基于Gabor滤波器的全参考图像质量评价方法;王翔 等;《浙江大学学报(工学版)》;20130331;第47卷(第03期);第422-430页 * |
基于视觉感知的光场图像质量评价研究;田钰;《中国优秀硕士学位论文全文数据库 基础科学辑》;20210115(第1期);第1-72页 * |
基于视觉显著失真度的图像质量自适应评价方法;丰明坤 等;《电子与信息学报》;20150930;第37卷(第09期);第2062-2068页 * |
应用log-Gabor韦伯特征的图像质量评价;卢彦飞 等;《光学精密工程》;20151130;第23卷(第11期);第3259-3269页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110310269A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110310269B (zh) | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 | |
CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
CN110570371A (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
CN111445418A (zh) | 图像去雾处理方法、装置及计算机设备 | |
WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
CN112183541B (zh) | 一种轮廓提取方法及装置、电子设备、存储介质 | |
CN108447059B (zh) | 一种全参考光场图像质量评价方法 | |
KR101028628B1 (ko) | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 | |
CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
CN112906675B (zh) | 一种固定场景中的无监督人体关键点检测方法及系统 | |
CN113128517B (zh) | 色调映射图像混合视觉特征提取模型建立及质量评价方法 | |
CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
CN102968793B (zh) | 基于dct域统计特性的自然图像与计算机生成图像的鉴别方法 | |
CN109801273B (zh) | 一种基于极平面线性相似度的光场图像质量评价方法 | |
CN113962904B (zh) | 一种高光谱图像滤波降噪的方法 | |
CN110175981A (zh) | 基于多特征融合brisque算法的图像质量评价方法 | |
CN114821239A (zh) | 一种有雾环境下的病虫害检测方法 | |
CN115564888A (zh) | 一种基于深度学习的可见光多视图像三维重建方法 | |
CN112699898B (zh) | 一种基于多层特征融合的图像方向识别方法 | |
CN111524104B (zh) | 基于多尺度轮廓波特征的全参考光场图像质量评价方法 | |
CN114863132A (zh) | 图像空域信息的建模与捕捉方法、系统、设备及存储介质 | |
CN114581389A (zh) | 一种基于三维边缘相似度特征的点云质量分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |