CN105828061A - 一种基于视觉掩蔽效应的虚拟视点质量评价方法 - Google Patents

一种基于视觉掩蔽效应的虚拟视点质量评价方法 Download PDF

Info

Publication number
CN105828061A
CN105828061A CN201610307584.6A CN201610307584A CN105828061A CN 105828061 A CN105828061 A CN 105828061A CN 201610307584 A CN201610307584 A CN 201610307584A CN 105828061 A CN105828061 A CN 105828061A
Authority
CN
China
Prior art keywords
pixel
image
visual point
pixel value
virtual visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610307584.6A
Other languages
English (en)
Other versions
CN105828061B (zh
Inventor
陈芬
焦任直
彭宗举
蒋刚毅
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weier Vision Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201610307584.6A priority Critical patent/CN105828061B/zh
Publication of CN105828061A publication Critical patent/CN105828061A/zh
Application granted granted Critical
Publication of CN105828061B publication Critical patent/CN105828061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉掩蔽效应的虚拟视点质量评价方法，其充分考虑了虚拟视点绘制失真类型，对虚拟视点图像进行偏移补偿，偏移补偿过程针对虚拟视点绘制像素点偏移等特殊失真，很好地消除了像素点位置偏移对虚拟视点图像质量的影响，使虚拟视点图像主客观质量结果更加一致；充分考虑了人眼视觉特性，提取参考图像的视觉敏感掩模图，消除了虚拟视点图像中视觉不敏感区域的失真对客观质量评价结果的影响，使客观质量评价结果更加符合人眼特性；充分地考虑了失真幅值掩蔽效应和失真分布掩蔽效应，计算虚拟视点图像的失真掩模图是为了能够将失真幅度较大、失真分布集中的区域提取出来，有效的区分不同幅值、不同分布的失真对人眼主观质量的影响。

Description

一种基于视觉掩蔽效应的虚拟视点质量评价方法
技术领域
本发明涉及一种对虚拟视点及绘制系统性能的评价技术，尤其是涉及一种基于视觉掩蔽效应的虚拟视点质量评价方法。
背景技术
近年来，立体视频技术快速发展。自由视点视频系统(FVV，FreeViewpointVideo)更是在3D视频基础上的进一步发展，可以使用户获得更好的视觉体验效果。基于深度的虚拟视点绘制(DIBR，DepthImageBasedRendering)技术是FVV系统的核心，其能够克服相机获取真实视点能力的限制，产生足够多的虚拟视点。然而，由绘制产生的虚拟视点存在多种类型失真，虚拟视点失真将严重影响3D视觉体验效果，因此需要提出一种评价尺度以衡量虚拟视点质量。虚拟视点质量评价不同于传统的2D评价尺度，虚拟视点质量评价不仅是对虚拟视点质量的衡量，而且也是对DIBR算法性能的评估。此外，由于虚拟视点绘制失真不同于传统失真类型，因此传统的2D评价算法不能有效的衡量虚拟视点质量。
虚拟视点数据来源于解码端。因此，影响虚拟视点质量的因素主要有两个：一是接收的深度视频和彩色视频的质量；二是虚拟视点绘制算法。在相同的彩色视频和深度视频配置下，虚拟视点质量同时也反映了虚拟视点绘制系统的性能。在使用同一虚拟视点绘制算法条件下，虚拟视点质量也反映出解码端彩色视频和深度视频的质量，彩色视频影响为虚拟视点像素幅值的改变，而深度视频影响为虚拟视点像素位置的偏移。此外，虚拟视点质量评价可分为虚拟视点视频质量评价和虚拟视点图像质量评价。
在基于多视点加深度(MVD，Multi-viewVideoplusDepth)的FVV系统中，虚拟视点由解码端彩色视频和与之相对应的深度视频绘制产生。DIBR技术的核心思想是利用深度信息和摄像机参数将参考图像中的像素投影到目标虚拟视点上，主要由以下几步完成：首先，利用深度信息，将参考图像中的所有的像素点重投影到与之对应的3D空间中；然后，将这些3D空间点投影到目标图像平面；最后，对绘制的虚拟视点进行后处理，消除虚拟视点中的失真，主要包括空洞填补和伪影消除过程。
虚拟视点绘制时，通常需要将深度转化为视差，通过视差可求得参考视点中像素点在虚拟视点中的位置，深度值决定参考视点中像素的偏移距离，若相邻深度值变化剧烈，则会在两像素之间产生空洞，深度值变化越尖锐，则产生的空洞越大。由于前景与背景交界处深度值变化较大，因此空洞的产生一般位于前景与背景交界处。前景与背景深度边界不准使用不同的插值算法进行空洞填补时，则会产生不同的失真。虚拟视点绘制过程中，边界像素的不可见也会在虚拟视点绘制过程中产生空洞，使用不同的算法进行边界填补时，产生的失真也不相同。
深度图获取算法的限制和深度图编码会导致深度估计不准和深度压缩失真，深度压缩失真则会造成虚拟视点像素位置偏移和对象扭曲。基于结构相似度的检测算法则可以很好的检测出失真偏移区域。对于不同绘制算法绘制出的虚拟视点组成的数据库，存在以下几个影响因子：绘制算法、视觉敏感区域和失真分布情况。
由于待评价虚拟视点为不同算法绘制得到，使用不同算法处理图像边界空洞和遮挡空洞时，会在虚拟视点中引入不同类型失真和不同程度的对象偏移和扭曲。因此，不同虚拟视点绘制算法将影响虚拟视点质量和虚拟视点失真类型。
由于虚拟视点失真大多为虚拟视点中像素位置偏移和对象扭曲，因此基于结构相似度的评价算法可以很好地检测出此种类型的失真。然而，对于评价算法检测出的失真区域，并非所有的失真区域都可以很好的被人眼所察觉，不同区域不同幅度的失真，对人眼的影响效果也不尽相同，纹理复杂度较高或纹理特征相似的区域往往可以容忍更多的绘制失真，而纹理特性变化较大区域的失真往往容易被人眼所察觉。
失真的幅度和失真分布的集中及分散程度也将对人眼有不同的影响效果。若虚拟视点中存在多处失真，则失真程度较大的区域对人眼的影响较为显著，而失真程度较小的区域对人眼影响较小；失真较为集中的区域对人眼的影响较大，而失真较为分散的区域对人眼的影响较小。若虚拟视点中存在多处失真，幅度较大、分布集中的失真则会将幅度较小、分布离散的失真掩蔽掉，影响人眼的视觉效果。
由上述内容可知，虚拟视点绘制过程会引入许多新类型的失真，同时加入人眼视觉特性和失真分布的影响，传统的基于像素的质量评价方法不能有效的评价虚拟视点质量。虚拟视点质量评价不仅是对虚拟视点质量的衡量，而且也是对深度图质量和绘制算法性能的衡量，因此，设计一种有效的虚拟视点质量评价方法具有重要的意义，该方法不仅要求能够有效的评价虚拟视点的质量，符合人眼视觉特性，而且也要求能够有效的评价虚拟视点绘制算法的性能，选择出较优的虚拟视点绘制算法。
发明内容
本发明所要解决的技术问题是提供一种基于视觉掩蔽效应的虚拟视点质量评价方法，其能够有效的评价虚拟视点的质量，同时能够有效的评价虚拟视点绘制算法的性能，使主客观评价结果更加一致，从而能够有效的选出较优的虚拟视点图像和虚拟视点绘制算法。
本发明解决上述技术问题所采用的技术方案为：一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于包括以下步骤：
①选定一幅宽度为W且高度为H的参考图像；并利用多种不同虚拟视点绘制算法分别获取同一视点的虚拟视点视频；接着提取每个虚拟视点视频中的虚拟视点关键帧图像作为待评价的虚拟视点图像；再由提取出的所有待评价的虚拟视点图像构成失真图像库，其中，失真图像库中的每幅虚拟视点图像的宽度为W且高度为H；
②将失真图像库中当前待评价的虚拟视点图像定义为当前虚拟视点图像；
③对当前虚拟视点图像进行偏移补偿，得到当前虚拟视点图像的结构相似度值索引图，记为Iindex，具体过程为：
③-1、利用一个尺寸大小为N×N的滑动窗口，在参考图像中逐像素点移动，将参考图像划分成(W-(N-1))×(H-(N-1))个相互重叠的尺寸大小为N×N的图像块作为参考图像块；同样，在当前虚拟视点图像中逐像素点移动，将当前虚拟视点图像划分成(W-(N-1))×(H-(N-1))个相互重叠的尺寸大小为N×N的图像块作为失真图像块；其中，N≥1；
③-2、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块匹配最佳的参考图像块作为最佳匹配块；
③-3、计算当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值，将当前虚拟视点图像中的第k个失真图像块与其最佳匹配块的结构相似度值记为SSIMk，其中，k的初始值为1，1≤k≤(W-(N-1))×(H-(N-1))；
③-4、将当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值作为该失真图像块的中心像素点的客观评价值；
③-5、将当前虚拟视点图像中的所有失真图像块的中心像素点的客观评价值构成的图像作为当前虚拟视点图像的结构相似度值索引图Iindex，完成当前虚拟视点图像的偏移补偿，其中，Iindex的宽度为W-(N-1)且高度为H-(N-1)；
④根据Iindex计算当前虚拟视点图像的失真掩模图，记为Vb，其中，Vb的宽度为W-(N-1)且高度为H-(N-1)；
⑤计算参考图像的视觉敏感掩模图，记为Vt，其中，Vt的宽度为W且高度为H；然后对Vt进行归一化处理，得到参考图像的归一化后的视觉敏感掩模图，记为Vt'；再对Vt'进行裁剪，保留宽度为W-(N-1)且高度为H-(N-1)的中间部分，将该中间部分作为参考图像的最终的视觉敏感掩模图，记为Vt”，其中，Vt”的宽度为W-(N-1)且高度为H-(N-1)；
⑥计算当前虚拟视点图像的质量评价预测值，记为Scorecur，其中，Lcur表示当前虚拟视点图像的基线距离加权因子，1≤x'≤W-(N-1),1≤y'≤H-(N-1)，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，Vb(x',y')表示Vb中坐标位置为(x',y')的像素点的像素值，Vt”(x',y')表示Vt”中坐标位置为(x',y')的像素点的像素值；
⑦将失真图像库中下一幅待评价的虚拟视点图像作为当前虚拟视点图像，然后返回步骤③继续执行，直至失真图像库中的所有虚拟视点图像处理完毕。
所述的步骤③-2的具体过程为：
③-2a、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块相匹配的所有参考图像块；
③-2b、计算当前虚拟视点图像中的每个失真图像块与其相匹配的每个参考图像块的匹配程度，将当前虚拟视点图像中的第k个失真图像块与其相匹配的第p个参考图像块的匹配程度记为Sk,p，其中，k的初始值为1，1≤k≤(W-(N-1))×(H-(N-1))，1≤p≤P，P表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的参考图像块的总个数，δk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的方差，δp表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的第p个参考图像块中的所有像素点的像素值的方差，δk,p表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值和其相匹配的第p个参考图像块中的所有像素点的像素值的协方差，c为一个较小的常数，0<c<0.1；
③-2c、针对当前虚拟视点图像中的每个失真图像块，从步骤③-2b计算得到的该失真图像块对应的所有匹配程度中找出值最大的匹配程度，并将找出的匹配程度对应的参考图像块确定为与该失真图像块匹配最佳的参考图像块，作为该失真图像块的最佳匹配块。
所述的步骤③-3中其中，q∈[1,P]，P表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的参考图像块的总个数，uk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的均值，uq表示当前虚拟视点图像中的第k个失真图像块的最佳匹配块中的所有像素点的像素值的均值，δk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的方差，δq表示当前虚拟视点图像中的第k个失真图像块的最佳匹配块中的所有像素点的像素值的方差，δk,q表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值和其最佳匹配块中的所有像素点的像素值的协方差，c1＝6.5025，c2＝58.5225，c3＝29.2613，α＝1，β＝1，γ＝1。
所述的步骤④的具体过程为：
④-1、将Iindex划分成个互不重叠的尺寸大小为M×M的图像块，其中，M≥1，符号为向下取整符号；
④-2、计算Iindex中的每个图像块的失真幅度，将Iindex中的第h个图像块的失真幅度记为dh，其中，h的初始值为1，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，1≤x'≤W-(N-1),1≤y'≤H-(N-1)，Ωh表示Iindex中的第h个图像块中的所有像素点的坐标位置构成的集合；
④-3、计算当前虚拟视点图像的失真掩模图Vb，将Vb中坐标位置为(x',y')的像素点的像素值记为Vb(x',y')，假设Iindex中坐标位置为(x',y')的像素点属于Iindex中的第h个图像块，则有其中，thr表示分割阈值。
所述的步骤④-3中的分割阈值thr的获取过程为：将Iindex中的所有像素点的像素值从小到大排列，将最小的像素值记为Iindex,min，将最大的像素值记为Iindex,max；然后令再将的值作为分割阈值thr；其中，g≥5。
所述的步骤⑤中Vt的获取过程为：
⑤-1、对参考图像进行均值滤波，然后对均值滤波后得到的图像中的每个像素点的像素值进行平方运算，得到参考图像的第一滤波图像，记为If，其中，对参考图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5；
⑤-2、对参考图像中的每个像素点的像素值进行平方运算，然后对平方运算后得到的图像进行均值滤波，得到参考图像的第二滤波图像，记为If'，其中，对平方运算后得到的图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5；
⑤-3、计算If'与If的差值图像，记为Iv，将Iv中坐标位置为(x,y)的像素点的像素值记为Iv(x,y)，其中，1≤x≤W,1≤y≤H，If'(x,y)表示If'中坐标位置为(x,y)的像素点的像素值，If(x,y)表示If中坐标位置为(x,y)的像素点的像素值；
⑤-4、利用canny算子计算参考图像的边界图像，然后对参考图像的边界图像进行膨胀，将得到的膨胀图像记为Id，其中，对参考图像的边界图像进行膨胀所采用的膨胀模版选用半径为3个像素点大小的圆；
⑤-5、根据Iv和Id，计算Iv的非边界区域掩膜图，记为Ine，将Ine中坐标位置为(x,y)的像素点的像素值记为Ine(x,y)，Ine(x,y)＝Iv(x,y)×(1-Id(x,y))，其中，Iv(x,y)表示Iv中坐标位置为(x,y)的像素点的像素值，Id(x,y)表示Id中坐标位置为(x,y)的像素点的像素值；
⑤-6、对Ine进行均值滤波，将均值滤波后得到的图像记为Ivm，其中，对Ine进行均值滤波所采用的滤波窗口的尺寸大小为11×11；
⑤-7、根据Iv和Ivm，计算最大融合图，记为Iva，将Iva中坐标位置为(x,y)的像素点的像素值记为Iva(x,y)，Iva(x,y)＝max(Iv(x,y),Ivm(x,y))，其中，max()为取最大值函数，Ivm(x,y)表示Ivm中坐标位置为(x,y)的像素点的像素值；
⑤-8、对Iva中的每个像素点的像素值进行开方运算，将开方运算后得到的图像作为亮度对比值图像，记为E；
⑤-9、计算参考图像对应的预测图像，记为I'，将I'中坐标位置为(x,y)的像素点的像素值记为I'(x,y)，其中，χ表示参考图像中以坐标位置为(x,y)的像素点为中心且尺寸大小为R×R的窗口，R>1，Ωχ表示由χ内的所有像素点的坐标位置构成的集合，1≤x1≤W,1≤y1≤H，I(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点的像素值，In(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点与其所在的窗口的中心像素点的互信息量，In()为以自然基数e为底的对数函数，exp()为以自然基数e为底的指数函数，σ表示高斯分布的标准差，ξ表示参考图像中以坐标位置为(x1,y1)的像素点为中心且尺寸大小为R×R的窗口，Ωξ表示由ξ内的所有像素点的坐标位置构成的集合，1≤x2≤W,1≤y2≤H，(x2,y2)∈Ωξ，表示参考图像中属于Ωξ的坐标位置为(x2,y2)的像素点的像素值，表示参考图像中属于Ωχ的坐标位置为(x1,y1)的像素点的像素值，sum()表示求和函数，表示Ωξ与Ωχ中所有对应位置的像素点的像素值作差再平方后的求和运算；
⑤-10、计算参考图像与I'的差值图像，记为Iu，将Iu中坐标位置为(x,y)的像素点的像素值记为Iu(x,y)，Iu(x,y)＝I(x,y)-I'(x,y)，其中，符号“||”为取绝对值符号；然后计算Iu的香农熵，记为Hu；
⑤-11、计算参考图像的视觉敏感掩模图Vt，将Vt中坐标位置为(x,y)的像素点的像素值记为Vt(x,y)，Vt(x,y)＝fe(x,y)×fs(x,y)，其中， α'＝16，β'＝26，E(x,y)表示E中坐标位置为(x,y)的像素点的像素值，Hu(x,y)表示Hu中坐标位置为(x,y)的像素点的像素值，k1＝3.67，k2＝3.22，k3＝1.19。
所述的步骤⑤中Vt'的获取过程为：将Vt'中坐标位置为(x,y)的像素点的像素值记为Vt'(x,y)，其中，Vt(x,y)表示Vt中坐标位置为(x,y)的像素点的像素值，Vt,min表示Vt中的所有像素点的像素值中最小的像素值，Vt,max表示Vt中的所有像素点的像素值中最大的像素值。
所述的步骤⑥中其中，Bcur表示当前虚拟视点图像的基线距离，medB表示失真图像库中的所有虚拟视点图像的基线距离的中值，τ为用于使Scorecur的值在区间[0,1]内的调节因子，符号“||”为取绝对值符号。
与现有技术相比，本发明的优点在于：
1)本发明方法充分考虑了虚拟视点绘制失真类型，对虚拟视点图像进行偏移补偿，偏移补偿过程针对虚拟视点绘制像素点偏移等特殊失真，很好地消除了像素点位置偏移对虚拟视点图像质量的影响，使虚拟视点图像主客观质量结果更加一致。
2)本发明方法充分考虑了人眼视觉特性，提取参考图像的视觉敏感掩模图，即将参考图像分为视觉敏感区域和视觉不敏感区域，消除了待评价的虚拟视点图像中视觉不敏感区域的失真对虚拟视点图像客观质量评价结果的影响，使虚拟视点图像客观质量评价结果更加符合人眼特性。
3)本发明方法充分地考虑了失真幅值掩蔽效应和失真分布掩蔽效应，即虚拟视点图像中失真幅值较大的区域将会掩蔽失真幅值较小的区域，失真分布集中的区域将会掩蔽失真分布离散的区域，计算虚拟视点图像的失真掩模图是为了能够将失真幅度较大、失真分布集中的区域提取出来，有效的区分不同幅值、不同分布的失真对人眼主观质量的影响。
4)本发明方法考虑到基线距离等绘制条件和绘制参数对虚拟视点图像客观质量的影响，反映不同参数下虚拟视点图像客观质量变化情况。
5)本发明方法充分地考虑了不同绘制算法对虚拟视点图像客观质量的影响，实验验证分别使用7种绘制算法绘制虚拟视点图像，对虚拟视点图像客观质量评价的同时，也能有效的衡量绘制算法的性能，从而能够选出较优绘制系统。
附图说明
图1为本发明方法的总体实现框图；
图2a为Newspaper序列中的第4视点的第104帧图像，该图像为虚拟视点图像；
图2b为采用传统的结构相似度方法获得的图2a所示的图像的结构相似度值索引图；
图2c为采用本发明方法中的结构相似度值索引图获取方法获得的图2a所示的图像的结构相似度值索引图；
图3a为Bookarrival序列中的第8视点的第60帧图像的结构相似度值索引图；
图3b为Bookarrival序列中的第8视点的第60帧图像对应的参考图像的视觉敏感掩模图；
图3c为Bookarrival序列中的第8视点的第60帧图像的失真掩模图；
图4a为Bookarrival序列中的第10视点的第54帧图像的一个局部放大图；
图4b为图4a所示图像的伪影失真图像；
图4c为Bookarrival序列中的第10视点的第54帧图像的另一个局部放大图；
图4d为图4c所示图像的模糊失真图像；
图4e为Bookarrival序列中的第10视点的第54帧图像的第三个局部放大图；
图4f为图4e所示图像的扭曲失真图像；
图4g为Newspaper序列中的第6视点的第136帧图像的局部放大图；
图4h为图4g所示图像的纹理块填补失真图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
①选定一幅宽度为W且高度为H的参考图像；并利用现有的多种不同虚拟视点绘制算法分别获取同一视点的虚拟视点视频；接着提取每个虚拟视点视频中的虚拟视点关键帧图像作为待评价的虚拟视点图像；再由提取出的所有待评价的虚拟视点图像构成失真图像库，其中，失真图像库中的每幅虚拟视点图像的宽度为W且高度为H。
②将失真图像库中当前待评价的虚拟视点图像定义为当前虚拟视点图像。
③对当前虚拟视点图像进行偏移补偿，得到当前虚拟视点图像的结构相似度值索引图，记为Iindex，具体过程为：
③-1、利用一个尺寸大小为N×N的滑动窗口，在参考图像中逐像素点移动，将参考图像划分成(W-(N-1))×(H-(N-1))个相互重叠的尺寸大小为N×N的图像块作为参考图像块；同样，在当前虚拟视点图像中逐像素点移动，将当前虚拟视点图像划分成(W-(N-1))×(H-(N-1))个相互重叠的尺寸大小为N×N的图像块作为失真图像块；其中，N≥1，如可取N＝7、N＝9或N＝11等，在本实施例中取N＝7。
③-2、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块匹配最佳的参考图像块作为最佳匹配块。
在此具体实施例中，步骤③-2的具体过程为：
③-2a、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块相匹配的所有参考图像块。
③-2b、计算当前虚拟视点图像中的每个失真图像块与其相匹配的每个参考图像块的匹配程度，将当前虚拟视点图像中的第k个失真图像块与其相匹配的第p个参考图像块的匹配程度记为Sk,p，Sk,p越大说明两个图像块越匹配，其中，k的初始值为1，1≤k≤(W-(N-1))×(H-(N-1))，1≤p≤P，P表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的参考图像块的总个数，δk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的方差，δp表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的第p个参考图像块中的所有像素点的像素值的方差，δk,p表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值和其相匹配的第p个参考图像块中的所有像素点的像素值的协方差，c为一个较小的常数，0<c<0.1，在本实施例中取c＝0.001。
③-2c、针对当前虚拟视点图像中的每个失真图像块，从步骤③-2b计算得到的该失真图像块对应的所有匹配程度中找出值最大的匹配程度，并将找出的匹配程度对应的参考图像块确定为与该失真图像块匹配最佳的参考图像块，作为该失真图像块的最佳匹配块。
③-3、计算当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值，将当前虚拟视点图像中的第k个失真图像块与其最佳匹配块的结构相似度值记为SSIMk，其中，k的初始值为1，1≤k≤(W-(N-1))×(H-(N-1))。
在此具体实施例中，步骤③-3中其中，q∈[1,P]，P表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的参考图像块的总个数，uk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的均值，uq表示当前虚拟视点图像中的第k个失真图像块的最佳匹配块中的所有像素点的像素值的均值，δk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的方差，δq表示当前虚拟视点图像中的第k个失真图像块的最佳匹配块中的所有像素点的像素值的方差，δk,q表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值和其最佳匹配块中的所有像素点的像素值的协方差，c1＝6.5025，c2＝58.5225，c3＝29.2613，α＝1，β＝1，γ＝1。
③-4、将当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值作为该失真图像块的中心像素点的客观评价值，即对于当前虚拟视点图像中的第k个失真图像块，将当前虚拟视点图像中的第k个失真图像块与其最佳匹配块的结构相似度值作为当前虚拟视点图像中的第k个失真图像块的中心像素点的客观评价值。
③-5、将当前虚拟视点图像中的所有失真图像块的中心像素点的客观评价值构成的图像作为当前虚拟视点图像的结构相似度值索引图Iindex，完成当前虚拟视点图像的偏移补偿，其中，Iindex的宽度为W-(N-1)且高度为H-(N-1)。
在此，本发明方法充分考虑了虚拟视点绘制失真类型，对虚拟视点图像进行偏移补偿，偏移补偿过程针对虚拟视点绘制像素点偏移等特殊失真，很好地消除了像素点位置偏移对虚拟视点图像质量的影响，使虚拟视点图像主客观质量结果更加一致。虚拟视点绘制失真类型有伪影和腐蚀、图像边界模糊、像素偏移和扭曲、纹理块失真等，不同于传统失真类型如高斯噪声，椒盐噪声、JPEG失真等。图4a给出了Bookarrival序列中的第10视点的第54帧图像的一个局部放大图，图4b给出了图4a所示图像的伪影失真图像；图4c给出了Bookarrival序列中的第10视点的第54帧图像的另一个局部放大图，图4d给出了图4c所示图像的模糊失真图像；图4e给出了Bookarrival序列中的第10视点的第54帧图像的第三个局部放大图，图4f给出了图4e所示图像的扭曲失真图像；图4g给出了Newspaper序列中的第6视点的第136帧图像的局部放大图，图4h给出了图4g所示图像的纹理块填补失真图像。
图2a给出了Newspaper序列中的第4视点的第104帧图像，该图像为虚拟视点图像；图2b给出了采用传统的结构相似度方法获得的图2a所示的图像的结构相似度值索引图；图2c给出了采用本发明方法中的结构相似度值索引图获取方法获得的图2a所示的图像的结构相似度值索引图。对比图2b和图2c可以看出，图2b所示的结构相似度值索引图的失真较大，图2a所示的虚拟视点图像中许多未失真区域被错误的计算为失真区域；而图2c所示的结构相似度值索引图的失真较小，与图2a所示的虚拟视点图像的失真大小和分布更加一致。
④根据Iindex计算当前虚拟视点图像的失真掩模图，记为Vb，其中，Vb的宽度为W-(N-1)且高度为H-(N-1)。
在此具体实施例中，步骤④的具体过程为：
④-1、将Iindex划分成个互不重叠的尺寸大小为M×M的图像块，其中，M≥1，如取M＝2、M＝4、M＝8等，在本实施例中取M＝8，符号为向下取整符号。
④-2、计算Iindex中的每个图像块的失真幅度，将Iindex中的第h个图像块的失真幅度记为dh，其中，h的初始值为1，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，1≤x'≤W-(N-1),1≤y'≤H-(N-1)，Ωh表示Iindex中的第h个图像块中的所有像素点的坐标位置构成的集合。
④-3、考虑人眼对失真幅值和失真分布的掩蔽效应，计算当前虚拟视点图像的失真掩模图Vb，将Vb中坐标位置为(x',y')的像素点的像素值记为Vb(x',y')，假设Iindex中坐标位置为(x',y')的像素点属于Iindex中的第h个图像块，则有其中，thr表示分割阈值。
在此，步骤④-3中的分割阈值thr的获取过程为：将Iindex中的所有像素点的像素值从小到大排列，将最小的像素值记为Iindex,min，将最大的像素值记为Iindex,max；然后令再将的值作为分割阈值thr；其中，g≥5，在本实施例中取g＝5。
⑤计算参考图像的视觉敏感掩模图，记为Vt，其中，Vt的宽度为W且高度为H；然后对Vt进行归一化处理，得到参考图像的归一化后的视觉敏感掩模图，记为Vt'；再对Vt'进行裁剪，保留宽度为W-(N-1)且高度为H-(N-1)的中间部分，将该中间部分作为参考图像的最终的视觉敏感掩模图，记为Vt”，其中，Vt”的宽度为W-(N-1)且高度为H-(N-1)。
在此具体实施例中，步骤⑤中Vt的获取过程为：
⑤-1、对参考图像进行均值滤波，然后对均值滤波后得到的图像中的每个像素点的像素值进行平方运算，得到参考图像的第一滤波图像，记为If，其中，对参考图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5。
⑤-2、对参考图像中的每个像素点的像素值进行平方运算，然后对平方运算后得到的图像进行均值滤波，得到参考图像的第二滤波图像，记为If'，其中，对平方运算后得到的图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5。
⑤-3、计算If'与If的差值图像，记为Iv，将Iv中坐标位置为(x,y)的像素点的像素值记为Iv(x,y)，其中，1≤x≤W,1≤y≤H，If'(x,y)表示If'中坐标位置为(x,y)的像素点的像素值，If(x,y)表示If中坐标位置为(x,y)的像素点的像素值。
⑤-4、利用canny算子计算参考图像的边界图像，然后对参考图像的边界图像进行膨胀，将得到的膨胀图像记为Id，其中，对参考图像的边界图像进行膨胀所采用的膨胀模版选用半径为3个像素点大小的圆。
⑤-5、根据Iv和Id，计算Iv的非边界区域掩膜图，记为Ine，将Ine中坐标位置为(x,y)的像素点的像素值记为Ine(x,y)，Ine(x,y)＝Iv(x,y)×(1-Id(x,y))，其中，Iv(x,y)表示Iv中坐标位置为(x,y)的像素点的像素值，Id(x,y)表示Id中坐标位置为(x,y)的像素点的像素值。
⑤-6、对Ine进行均值滤波，将均值滤波后得到的图像记为Ivm，其中，对Ine进行均值滤波所采用的滤波窗口的尺寸大小为11×11。
⑤-7、根据Iv和Ivm，计算最大融合图，记为Iva，将Iva中坐标位置为(x,y)的像素点的像素值记为Iva(x,y)，Iva(x,y)＝max(Iv(x,y),Ivm(x,y))，其中，max()为取最大值函数，Ivm(x,y)表示Ivm中坐标位置为(x,y)的像素点的像素值。
⑤-8、对Iva中的每个像素点的像素值进行开方运算，将开方运算后得到的图像作为亮度对比值图像，记为E。
⑤-9、计算参考图像对应的预测图像，记为I'，将I'中坐标位置为(x,y)的像素点的像素值记为I'(x,y)，其中，χ表示参考图像中以坐标位置为(x,y)的像素点为中心且尺寸大小为R×R的窗口，R>1，在本实施例中取R＝21，Ωχ表示由χ内的所有像素点的坐标位置构成的集合，1≤x1≤W,1≤y1≤H，I(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点的像素值，In(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点与其所在的窗口的中心像素点的互信息量，In()为以自然基数e为底的对数函数，exp()为以自然基数e为底的指数函数，σ表示高斯分布的标准差，在本实施例中可取σ＝20，ξ表示参考图像中以坐标位置为(x1,y1)的像素点为中心且尺寸大小为R×R的窗口，Ωξ表示由ξ内的所有像素点的坐标位置构成的集合，1≤x2≤W,1≤y2≤H，(x2,y2)∈Ωξ，表示参考图像中属于Ωξ的坐标位置为(x2,y2)的像素点的像素值，表示参考图像中属于Ωχ的坐标位置为(x1,y1)的像素点的像素值，sum()表示求和函数，表示Ωξ与Ωχ中所有对应位置的像素点的像素值作差再平方后的求和运算，即计算Ωξ中的第1个坐标位置的像素点的像素值与Ωχ中的第1个坐标位置的像素点的像素值作差再平方，得到第1个值，依次类推，共得到R×R个值，再求R×R个值的和。
⑤-10、计算参考图像与I'的差值图像，记为Iu，将Iu中坐标位置为(x,y)的像素点的像素值记为Iu(x,y)，Iu(x,y)＝|I(x,y)-I'(x,y)|，其中，符号“||”为取绝对值符号；然后计算Iu的香农熵，记为Hu。
⑤-11、计算参考图像的视觉敏感掩模图Vt，将Vt中坐标位置为(x,y)的像素点的像素值记为Vt(x,y)，Vt(x,y)＝fe(x,y)×fs(x,y)，其中， α'＝16，β'＝26，E(x,y)表示E中坐标位置为(x,y)的像素点的像素值，Hu(x,y)表示Hu中坐标位置为(x,y)的像素点的像素值，k1＝3.67，k2＝3.22，k3＝1.19。
在此具体实施例中，步骤⑤中Vt'的获取过程为：将Vt'中坐标位置为(x,y)的像素点的像素值记为Vt'(x,y)，其中，Vt(x,y)表示Vt中坐标位置为(x,y)的像素点的像素值，Vt,min表示Vt中的所有像素点的像素值中最小的像素值，Vt,max表示Vt中的所有像素点的像素值中最大的像素值。
图3a给出了Bookarrival序列中的第8视点的第60帧图像的结构相似度值索引图；图3b给出了Bookarrival序列中的第8视点的第60帧图像对应的参考图像的视觉敏感图；图3c给出了Bookarrival序列中的第8视点的第60帧图像的失真掩模图。
⑥计算当前虚拟视点图像的质量评价预测值，记为Scorecur，其中，Lcur表示当前虚拟视点图像的基线距离加权因子，1≤x'≤W-(N-1),1≤y'≤H-(N-1)，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，Vb(x',y')表示Vb中坐标位置为(x',y')的像素点的像素值，Vt”(x',y')表示Vt”中坐标位置为(x',y')的像素点的像素值。
在此具体实施例中，步骤⑥中其中，Bcur表示当前虚拟视点图像的基线距离，medB表示失真图像库中的所有虚拟视点图像的基线距离的中值，τ为用于使Scorecur的值在区间[0,1]内的调节因子，符号“||”为取绝对值符号。
在本实施例中，τ的取值与当前虚拟视点图像本身及对当前虚拟视点图像进行偏移补偿时分块处理所采用的滑动窗口的大小有关，τ的取值如表1所示，表1中RL代表使用右视点绘制左视点，LR代表使用左视点绘制右视点，RL或LR后面的数字代表当前虚拟视点图像的基线距离，如13则表示当前虚拟视点图像的基线距离为13cm，11×11、9×9、7×7代表偏移补偿时滑动窗口的尺寸大小。
表1τ的取值列表
⑦将失真图像库中下一幅待评价的虚拟视点图像作为当前虚拟视点图像，然后返回步骤③继续执行，直至失真图像库中的所有虚拟视点图像处理完毕。
为了测试本发明方法的性能，分别采用“BookArrival”、“Newspaper”和“Lovebirds”三个不同的多视点加深度序列建立的数据库，分别提取绘制视频的关键帧作为待评价的虚拟视点图像。分别采用7种不同的绘制算法，每个测试序列选取4个不同中间视点，共84幅虚拟视点图像作为待评价的虚拟视点图像。其中，所用绘制算法分别为A1到A7。
A1绘制算法：首先，对深度不连续区域做滤波处理；然后，切除虚拟视点图像的边界区域，使用插值算法恢复被切除的边界。此算法会导致图像像素偏移和扭曲失真。
A2绘制算法：首先，对深度不连续区域做滤波处理；然后，使用图像修复算法填充边界空洞。此算法会导致对象边缘模糊。
A3绘制算法：此算法为MPEG3D视频专家组推荐算法，此算法会导致图像边界区域模糊。
A4绘制算法：虚拟视点绘制时，使用Muller等人提出的基于深度信息辅助的空洞填补算法填补空洞。
A5绘制算法：虚拟视点绘制时，使用Ndjiki-Nya等人提出的基于纹理块的空洞填补算法填补空洞。
A6绘制算法：虚拟视点绘制时，使用帧间信息来提升图像被遮挡区域质量。
A7绘制算法：虚拟视点绘制后，对空洞区域不做任何处理。
表2给出了测试序列“BookArrival”、“Newspaper”和“Lovebirds”的相机参数，表3给出了虚拟视点图像质量评价5级评分标准。
表2测试序列“BookArrival”、“Newspaper”和“Lovebirds”的相机参数
测试序列 分辨率(像素pixel) 相机参数
Book Arrival 1024×768 相机个数:16基线距离6.5cm
Newspaper 1024×768 相机个数:9基线距离5cm
Lovebirds 1024×768 相机个数:12基线距离3cm
表3虚拟视点图像质量评价5级评分标准
表4分别给出了利用本发明方法和传统的13种评价算法对测试序列“BookArrival”、“Newspaper”和“Lovebirds”进行处理得到的虚拟视点图像质量评价结果，表4中PLCC用于衡量主客观评价一致性程度，其值越大越好，RMSE为主客观评价值的均方根误差，其值越小越好。由表4可知，利用本发明方法求得的PLCC和RMSE分别为：80.50％和0.3799，而由传统的各种评价算法求得的评价结果均劣于本发明方法。本发明方法相比于传统最优方法即传统多尺度结构相似度方法，PLCC比表4中传统多尺度结构相似度方法高出25.29％，而RMSE小0.2101。
表4虚拟视点图像质量评价结果
方法 PLCC(％) RMSE13 -->
本发明方法 80.50 0.3799
峰值信噪比 47.27 0.61
结构相似度 41.3 0.65
多尺度结构相似度 55.21 0.59
视觉信噪比 36.25 0.65
视觉保真度 31.3 0.66
像素域视觉保真度 22.4 0.68
通用质量索引 19.1 0.68
信息保真度准则 22.3 0.68
噪声质量测度 51.4 0.60
加权信噪比 47.7 0.61
信噪比 40.85 0.64
人类视觉掩蔽峰值信噪比 42.53 0.63
人类视觉峰值信噪比 41.4 0.64
表5给出了根据测试序列“BookArrival”、“Newspaper”和“Lovebirds”中所有的虚拟视点图像的质量评价结果对7种绘制算法的性能排序，通过表5可知，使用传统评价算法在评价各虚拟视点绘制算法性能时，主客观一致性较差。表5第1行为主观评分结果，通过对各虚拟视点绘制算法绘制的虚拟视点图像主观评分，对虚拟视点绘制算法性能进行排序，表5第1行为主观排序结果。
由表5第1行可知，A1绘制算法性能最好，A7绘制算法性能最差。A5、A4绘制算法性能较好，A6、A3绘制算法性能较差，A2绘制算法性能一般。表5第2行为本发明方法的评价结果，后面为传统的各种评价算法的评价结果。
由表5可知，传统评价算法大都不能很好的衡量A1绘制算法绘制的虚拟视点图像的质量，而本发明方法优于传统评价算法，主客观一致性较好。
由于A1绘制算法绘制的虚拟视点图像中发生像素点位置偏移和扭曲失真，造成待评价的虚拟视点图像和参考图像对应位置像素点的偏移，导致参考图像和失真图像中像素点位置不一致。传统评价算法评价此种类型失真时效果较差，造成主客观不一致。因此，传统评价算法不能很好的衡量虚拟视点图像中像素点位置偏移和扭曲失真，评价效果较差。
本发明方法通过设计偏移补偿算法，消除了对应图像中像素点位置偏移的影响，考虑人类视觉特性，将图像分为视觉敏感区域和视觉不敏感区域，同时根据失真掩蔽特性，提取相应的失真掩膜，得到最终评价结果。由表5可知，本发明方法的主客观一致性较强，优于传统评价算法。
表5各虚拟视点绘制算法评价结果
方法 A1 A5 A4 A2 A6 A3 A7
主观评分结果 1 2 3 4 5 6 7
本发明方法 1 4 3 2 6 5 7
峰值信噪比 7 2 3 4 1 5 6
结构相似度 7 1 1 4 3 6 514 -->
多尺度结构相似度 7 2 1 4 2 6 5
视觉信噪比 7 1 3 5 2 6 4
视觉保真度 7 2 2 5 1 6 4
像素域视觉保真度 7 1 1 5 1 6 4
通用质量索引 7 3 1 5 1 6 4
信息保真度准则 7 3 2 5 1 6 4
噪声质量测度 7 2 3 4 1 5 6
加权信噪比 7 2 3 4 1 5 6
人类视觉掩蔽峰值信噪比 7 2 3 4 1 5 6
人类视觉峰值信噪比 7 2 3 4 1 5 6

Claims (8)

1.一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于包括以下步骤：
①选定一幅宽度为W且高度为H的参考图像；并利用多种不同虚拟视点绘制算法分别获取同一视点的虚拟视点视频；接着提取每个虚拟视点视频中的虚拟视点关键帧图像作为待评价的虚拟视点图像；再由提取出的所有待评价的虚拟视点图像构成失真图像库，其中，失真图像库中的每幅虚拟视点图像的宽度为W且高度为H；
②将失真图像库中当前待评价的虚拟视点图像定义为当前虚拟视点图像；
③对当前虚拟视点图像进行偏移补偿，得到当前虚拟视点图像的结构相似度值索引图，记为Iindex，具体过程为：
③-1、利用一个尺寸大小为N×N的滑动窗口，在参考图像中逐像素点移动，将参考图像划分成(W-(N-1))×(H-(N-1))个相互重叠的尺寸大小为N×N的图像块作为参考图像块；同样，在当前虚拟视点图像中逐像素点移动，将当前虚拟视点图像划分成(W-(N-1))×(H-(N-1))个相互重叠的尺寸大小为N×N的图像块作为失真图像块；其中，N≥1；
③-2、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块匹配最佳的参考图像块作为最佳匹配块；
③-3、计算当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值，将当前虚拟视点图像中的第k个失真图像块与其最佳匹配块的结构相似度值记为SSIMk，其中，k的初始值为1，1≤k≤(W-(N-1))×(H-(N-1))；
③-4、将当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值作为该失真图像块的中心像素点的客观评价值；
③-5、将当前虚拟视点图像中的所有失真图像块的中心像素点的客观评价值构成的图像作为当前虚拟视点图像的结构相似度值索引图Iindex，完成当前虚拟视点图像的偏移补偿，其中，Iindex的宽度为W-(N-1)且高度为H-(N-1)；
④根据Iindex计算当前虚拟视点图像的失真掩模图，记为Vb，其中，Vb的宽度为W-(N-1)且高度为H-(N-1)；
⑤计算参考图像的视觉敏感掩模图，记为Vt，其中，Vt的宽度为W且高度为H；然后对Vt进行归一化处理，得到参考图像的归一化后的视觉敏感掩模图，记为Vt'；再对Vt'进行裁剪，保留宽度为W-(N-1)且高度为H-(N-1)的中间部分，将该中间部分作为参考图像的最终的视觉敏感掩模图，记为Vt”，其中，Vt”的宽度为W-(N-1)且高度为H-(N-1)；
⑥计算当前虚拟视点图像的质量评价预测值，记为Scorecur，其中，Lcur表示当前虚拟视点图像的基线距离加权因子，1≤x'≤W-(N-1),1≤y'≤H-(N-1)，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，Vb(x',y')表示Vb中坐标位置为(x',y')的像素点的像素值，Vt”(x',y')表示Vt”中坐标位置为(x',y')的像素点的像素值；
⑦将失真图像库中下一幅待评价的虚拟视点图像作为当前虚拟视点图像，然后返回步骤③继续执行，直至失真图像库中的所有虚拟视点图像处理完毕。
2.根据权利要求1所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤③-2的具体过程为：
③-2a、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块相匹配的所有参考图像块；
③-2b、计算当前虚拟视点图像中的每个失真图像块与其相匹配的每个参考图像块的匹配程度，将当前虚拟视点图像中的第k个失真图像块与其相匹配的第p个参考图像块的匹配程度记为Sk,p，其中，k的初始值为1，1≤k≤(W-(N-1))×(H-(N-1))，1≤p≤P，P表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的参考图像块的总个数，δk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的方差，δp表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的第p个参考图像块中的所有像素点的像素值的方差，δk,p表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值和其相匹配的第p个参考图像块中的所有像素点的像素值的协方差，c为一个较小的常数，0＜c＜0.1；
③-2c、针对当前虚拟视点图像中的每个失真图像块，从步骤③-2b计算得到的该失真图像块对应的所有匹配程度中找出值最大的匹配程度，并将找出的匹配程度对应的参考图像块确定为与该失真图像块匹配最佳的参考图像块，作为该失真图像块的最佳匹配块。
3.根据权利要求1所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤③-3中其中，q∈[1,P]，P表示在参考图像中搜索到的与当前虚拟视点图像中的第k个失真图像块相匹配的参考图像块的总个数，uk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的均值，uq表示当前虚拟视点图像中的第k个失真图像块的最佳匹配块中的所有像素点的像素值的均值，δk表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值的方差，δq表示当前虚拟视点图像中的第k个失真图像块的最佳匹配块中的所有像素点的像素值的方差，δk,q表示当前虚拟视点图像中的第k个失真图像块中的所有像素点的像素值和其最佳匹配块中的所有像素点的像素值的协方差，c1＝6.5025，c2＝58.5225，c3＝29.2613，α＝1，β＝1，γ＝1。
4.根据权利要求1至3中任一项所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤④的具体过程为：
④-1、将Iindex划分成个互不重叠的尺寸大小为M×M的图像块，其中，M≥1，符号为向下取整符号；
④-2、计算Iindex中的每个图像块的失真幅度，将Iindex中的第h个图像块的失真幅度记为dh，其中，h的初始值为1，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，1≤x'≤W-(N-1),1≤y'≤H-(N-1)，Ωh表示Iindex中的第h个图像块中的所有像素点的坐标位置构成的集合；
④-3、计算当前虚拟视点图像的失真掩模图Vb，将Vb中坐标位置为(x',y')的像素点的像素值记为Vb(x',y')，假设Iindex中坐标位置为(x',y')的像素点属于Iindex中的第h个图像块，则有其中，thr表示分割阈值。
5.根据权利要求4所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤④-3中的分割阈值thr的获取过程为：将Iindex中的所有像素点的像素值从小到大排列，将最小的像素值记为Iindex,min，将最大的像素值记为Iindex,max；然后令再将的值作为分割阈值thr；其中，g≥5。
6.根据权利要求1所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤⑤中Vt的获取过程为：
⑤-1、对参考图像进行均值滤波，然后对均值滤波后得到的图像中的每个像素点的像素值进行平方运算，得到参考图像的第一滤波图像，记为If，其中，对参考图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5；
⑤-2、对参考图像中的每个像素点的像素值进行平方运算，然后对平方运算后得到的图像进行均值滤波，得到参考图像的第二滤波图像，记为If'，其中，对平方运算后得到的图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5；
⑤-3、计算If'与If的差值图像，记为Iv，将Iv中坐标位置为(x,y)的像素点的像素值记为Iv(x,y)，其中，1≤x≤W,1≤y≤H，If'(x,y)表示If'中坐标位置为(x,y)的像素点的像素值，If(x,y)表示If中坐标位置为(x,y)的像素点的像素值；
⑤-4、利用canny算子计算参考图像的边界图像，然后对参考图像的边界图像进行膨胀，将得到的膨胀图像记为Id，其中，对参考图像的边界图像进行膨胀所采用的膨胀模版选用半径为3个像素点大小的圆；
⑤-5、根据Iv和Id，计算Iv的非边界区域掩膜图，记为Ine，将Ine中坐标位置为(x,y)的像素点的像素值记为Ine(x,y)，Ine(x,y)＝Iv(x,y)×(1-Id(x,y))，其中，Iv(x,y)表示Iv中坐标位置为(x,y)的像素点的像素值，Id(x,y)表示Id中坐标位置为(x,y)的像素点的像素值；
⑤-6、对Ine进行均值滤波，将均值滤波后得到的图像记为Ivm，其中，对Ine进行均值滤波所采用的滤波窗口的尺寸大小为11×11；
⑤-7、根据Iv和Ivm，计算最大融合图，记为Iva，将Iva中坐标位置为(x,y)的像素点的像素值记为Iva(x,y)，Iva(x,y)＝max(Iv(x,y),Ivm(x,y))，其中，max()为取最大值函数，Ivm(x,y)表示Ivm中坐标位置为(x,y)的像素点的像素值；
⑤-8、对Iva中的每个像素点的像素值进行开方运算，将开方运算后得到的图像作为亮度对比值图像，记为E；
⑤-9、计算参考图像对应的预测图像，记为I'，将I'中坐标位置为(x,y)的像素点的像素值记为I'(x,y)，其中，χ表示参考图像中以坐标位置为(x,y)的像素点为中心且尺寸大小为R×R的窗口，R>1，Ωχ表示由χ内的所有像素点的坐标位置构成的集合，1≤x1≤W,1≤y1≤H，I(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点的像素值，In(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点与其所在的窗口的中心像素点的互信息量，In()为以自然基数e为底的对数函数，exp()为以自然基数e为底的指数函数，σ表示高斯分布的标准差，ξ表示参考图像中以坐标位置为(x1,y1)的像素点为中心且尺寸大小为R×R的窗口，Ωξ表示由ξ内的所有像素点的坐标位置构成的集合，1≤x2≤W,1≤y2≤H，(x2,y2)∈Ωξ，表示参考图像中属于Ωξ的坐标位置为(x2,y2)的像素点的像素值，表示参考图像中属于Ωχ的坐标位置为(x1,y1)的像素点的像素值，sum()表示求和函数，表示Ωξ与Ωχ中所有对应位置的像素点的像素值作差再平方后的求和运算；
⑤-10、计算参考图像与I'的差值图像，记为Iu，将Iu中坐标位置为(x,y)的像素点的像素值记为Iu(x,y)，Iu(x,y)＝|I(x,y)-I'(x,y)|，其中，符号“||”为取绝对值符号；然后计算Iu的香农熵，记为Hu；
⑤-11、计算参考图像的视觉敏感掩模图Vt，将Vt中坐标位置为(x,y)的像素点的像素值记为Vt(x,y)，Vt(x,y)＝fe(x,y)×fs(x,y)，其中， α'＝16，β'＝26，E(x,y)表示E中坐标位置为(x,y)的像素点的像素值，Hu(x,y)表示Hu中坐标位置为(x,y)的像素点的像素值，k1＝3.67，k2＝3.22，k3＝1.19。
7.根据权利要求6所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤⑤中Vt'的获取过程为：将Vt'中坐标位置为(x,y)的像素点的像素值记为Vt'(x,y)，其中，Vt(x,y)表示Vt中坐标位置为(x,y)的像素点的像素值，Vt,min表示Vt中的所有像素点的像素值中最小的像素值，Vt,max表示Vt中的所有像素点的像素值中最大的像素值。
8.根据权利要求1所述的一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于所述的步骤⑥中其中，Bcur表示当前虚拟视点图像的基线距离，medB表示失真图像库中的所有虚拟视点图像的基线距离的中值，τ为用于使Scorecur的值在区间[0,1]内的调节因子，符号“||”为取绝对值符号。
CN201610307584.6A 2016-05-11 2016-05-11 一种基于视觉掩蔽效应的虚拟视点质量评价方法 Active CN105828061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610307584.6A CN105828061B (zh) 2016-05-11 2016-05-11 一种基于视觉掩蔽效应的虚拟视点质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610307584.6A CN105828061B (zh) 2016-05-11 2016-05-11 一种基于视觉掩蔽效应的虚拟视点质量评价方法

Publications (2)

Publication Number Publication Date
CN105828061A true CN105828061A (zh) 2016-08-03
CN105828061B CN105828061B (zh) 2017-09-29

Family

ID=56528632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610307584.6A Active CN105828061B (zh) 2016-05-11 2016-05-11 一种基于视觉掩蔽效应的虚拟视点质量评价方法

Country Status (1)

Country Link
CN (1) CN105828061B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803952A (zh) * 2017-01-20 2017-06-06 宁波大学 结合jnd模型的交叉验证深度图质量评价方法
CN108919265A (zh) * 2018-07-16 2018-11-30 北京航空航天大学 一种基于互信息量最大的星载TomoSAR空间基线序列设计方法
CN112529805A (zh) * 2020-12-14 2021-03-19 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质
CN112529805B (zh) * 2020-12-14 2024-04-30 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102708567A (zh) * 2012-05-11 2012-10-03 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102999911A (zh) * 2012-11-27 2013-03-27 宁波大学 一种基于能量图的立体图像质量客观评价方法
CN103136748A (zh) * 2013-01-21 2013-06-05 宁波大学 一种基于特征图的立体图像质量客观评价方法
KR20140148080A (ko) * 2013-06-21 2014-12-31 한국과학기술원 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102708567A (zh) * 2012-05-11 2012-10-03 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102999911A (zh) * 2012-11-27 2013-03-27 宁波大学 一种基于能量图的立体图像质量客观评价方法
CN103136748A (zh) * 2013-01-21 2013-06-05 宁波大学 一种基于特征图的立体图像质量客观评价方法
KR20140148080A (ko) * 2013-06-21 2014-12-31 한국과학기술원 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱宏等: "一种基于人眼视觉特性的视频质量评价算法", 《计算机辅助设计与图形学学报》 *
焦任直等: "基于图像分割的深度视频校正算法", 《光电子·激光》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803952A (zh) * 2017-01-20 2017-06-06 宁波大学 结合jnd模型的交叉验证深度图质量评价方法
CN108919265A (zh) * 2018-07-16 2018-11-30 北京航空航天大学 一种基于互信息量最大的星载TomoSAR空间基线序列设计方法
CN108919265B (zh) * 2018-07-16 2022-05-06 北京航空航天大学 一种基于互信息量最大的星载TomoSAR空间基线序列设计方法
CN112529805A (zh) * 2020-12-14 2021-03-19 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质
CN112529805B (zh) * 2020-12-14 2024-04-30 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN105828061B (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
Kim et al. Adaptive smoothness constraints for efficient stereo matching using texture and edge information
CN106780485A (zh) 基于超像素分割和特征学习的sar图像变化检测方法
CN103226820B (zh) 改进的二维最大熵分割夜视图像融合目标检测算法
CN108830832A (zh) 一种基于机器视觉的塑料筒表面缺陷检测算法
CN104463870A (zh) 一种图像显著区域检测方法
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN110047139B (zh) 一种指定目标三维重建方法及系统
CN109636784A (zh) 基于最大邻域和超像素分割的图像显著性目标检测方法
CN102420985B (zh) 一种多视点视频对象提取方法
CN101588445A (zh) 一种基于深度的视频感兴趣区域提取方法
CN110728302A (zh) 一种基于HSV和Lab颜色空间的色纺织物组织识别的方法
CN103955949A (zh) 基于Mean-shift算法的运动目标检测方法
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN108664939A (zh) 一种基于hog特征与深度学习的遥感图像飞机识别方法
CN110378924A (zh) 基于局部熵的水平集图像分割方法
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN110910365A (zh) 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法
Chen et al. Single depth image super-resolution using convolutional neural networks
CN108154150B (zh) 一种基于背景先验的显著性检测方法
CN109101985A (zh) 一种基于自适应邻域测试的图像误匹配点对剔除方法
CN104992176B (zh) 一种面向碑文的汉字提取方法
CN111091071A (zh) 基于探地雷达双曲波拟合的地下目标检测方法及系统
CN105828061A (zh) 一种基于视觉掩蔽效应的虚拟视点质量评价方法
CN104268845A (zh) 极值温差短波红外图像的自适应双局部增强方法
CN109658523A (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190809

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210520

Address after: 518057 Room 101, building 1, building 10, Maqueling Industrial Zone, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Weier Vision Technology Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A virtual viewpoint quality evaluation method based on visual masking effect

Effective date of registration: 20220125

Granted publication date: 20170929

Pledgee: Bank of Jiangsu Limited by Share Ltd. Shenzhen branch

Pledgor: Shenzhen Weier Vision Technology Co.,Ltd.

Registration number: Y2022440020017

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230111

Granted publication date: 20170929

Pledgee: Bank of Jiangsu Limited by Share Ltd. Shenzhen branch

Pledgor: Shenzhen Weier Vision Technology Co.,Ltd.

Registration number: Y2022440020017

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method of virtual viewpoint quality evaluation based on visual masking effect

Effective date of registration: 20230116

Granted publication date: 20170929

Pledgee: Bank of Jiangsu Limited by Share Ltd. Shenzhen branch

Pledgor: Shenzhen Weier Vision Technology Co.,Ltd.

Registration number: Y2023440020009